nbr 14598 9126 - iso iec - guia para utilização das normas sobre avaliação de qualidade de...

8/12/2019 NBR 14598 9126 - ISO IEC - Guia Para Utilizao das Normas Sobre Avaliao de Qualidade de Produt

1/65

Andr Koscianski1, Andr Villas-Boas2, Claudete Maria Rgo 3

Cleusa Asanome 4 , Danilo Scalet 5,Danton Romero6 , Jeanine M. Cieslak 7 , Marco Paludo8,

Ronaldo S. Frossard 9, Tnia Mara Vostoupal 5

ABNT Associao Brasileira de Normas TcnicasSC10 - Subcomit de Software

Rua Mateus Leme, 1142 CEP 80610-903Curitiba PR [email protected]

Este guia tem como objetivo facilitar a compreenso das diversas Normaselaboradas ou em elaborao pela ISO/IEC( 9126 e 14598) que tratam doassunto modelo de qualidade e avaliao de qualidade de produto desoftware. Isto feito atravs de comentrios ou explicaes sobre os textosdessas Normas.

Este trabalho est sendo desenvolvido no mbito da CE de Qualidade deSoftwareda ABNT.

Maio de 1999

1Os autores esto vinculados s seguintes instituies: 1 CEFET-PR, 2 FUNDAO CPqD, 3 CTI, 4

UEL, 5 CELEPAR, 6 EMBRATEL, 7 SEGURADORA GRALHA AZUL, 8 BANESTADO, 9 CITS


2/65

Comisso de Estudos de Qualidade de Software (CE21:101.01)

Guia para utilizao das normas sobre avaliao de qualidade de software-ISO/IEC 9126 E ISO/IEC14598

2

SUMRIO

1. INTRODUO.................................................................................................................4

1.1 ORGANIZAO DO GUIA...............................................................................................51.2 CONVENES ...............................................................................................................6

2. VISO GERAL SOBRE A ELABORAO DE NORMAS........................................7

3. PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE ..............................9

4. MODELO DE QUALIDADE DA 9126-1......................................................................24

4.1 OS NVEIS HIERRQUICOS DAS CARACTERSTICAS DE QUALIDADE INTERNAS EEXTERNAS .............................................................................................................................254.2 RELAO ENTRE CARACTERSTICAS DE QUALIDADE EXTERNAS E INTERNAS ...........264.3 QUALIDADE EM USO...................................................................................................26

5. ESCOLHENDO MTRICAS........................................................................................28

6. PROCESSO PARA ADQUIRENTES...........................................................................30

6.1 PROCESSO DE AQUISIO...........................................................................................307. PROCESSO PARA O AVALIADOR ...........................................................................32

8. PLANEJAMENTO E GESTO....................................................................................36

8.1 A FUNO DE SUPORTE AVALIAO NO NVEL DA ORGANIZAO ........................368.2 A FUNO DE SUPORTE AVALIAO NO NVEL DO PROJETO ..................................37

9. DOCUMENTAO DE MDULOS DE AVALIAO...........................................38

9.1 PREFCIO E INTRODUO ..........................................................................................389.2 ESCOPO ......................................................................................................................399.3 REFERNCIAS .............................................................................................................39

9.4 TERMOS E DEFINIES ...............................................................................................399.5 ENTRADA PARA A AVALIAO...................................................................................399.6 INTERPRETAO DE RESULTADOS .............................................................................40

10. TABELAS RESUMO DAS NORMAS ISO/IEC 14598 E 9126...............................42

1.1 TABELA 1 - VISO GERAL DAS NORMAS 14598........................................................421.1 TABELA 2 - VISO GERAL DAS NORMAS 9126 ..........................................................45

11. GLOSSRIO ...............................................................................................................46

12. REFERNCIAS BIBLIOGRFICAS ......................................................................65


3/65



3

LISTA DE FIGURAS

FIGURA G1.1 - PROCESSO DE AVALIAO ..................................................................5

FIGURA G2.7 NVEIS DE PONTUAO PARA AS MTRICAS..............................17

FIGURA G3.3 QUALIDADE INTERNA E EXTERNA .................................................24

FIGURA G4.4 QUALIDADE EM USO ............................................................................26

FIGURA G5. 1: O PROCESSO DE AVALIAO............................................................34


4/65



4

GUIA PARA UTILIZAO DAS NORMAS SOBRE QUALIDADEDE PRODUTO DE SOFTWARE ISO/IEC 9126 E 14598

1. INTRODUO

A avaliao de produto de soft w are tem sido uma das formas empregadas pororganizaes que produzem ou adquirem soft w are para obteno de maiorqualidade nestes produtos, sejam eles produtos completos ou partes a seremintegradas num sistemacomputacional mais amplo. Para que a avaliao seja maisefetiva importante que se utilize de um modelo de qualidade que permitaestabelecer e avaliar requisitos de qualidadee tambm que o processode avaliaoseja bem definido e estruturado. As famlias de normas ISO/IEC JTC1/SC7 9126 e14598 descrevem um modelo de qualidade, um processo de avaliao e algunsexemplos de mtricas que podem ser utilizadas por organizaes que pretendam

fazer avaliao de produto de soft w are.Este Guia foi elaborado pela Comisso de Estudos de Qualidade de Software daABNT, baseado na experincia de seus membros atuando h cerca de 5 anos notrabalho de normatizao nacional e internacional.

As normas internacionais de avaliao de produto de soft w are so recentes,algumas ainda em elaborao, e a compreenso completa do processode avaliaoexige a anlise das duas famlias de normas, ISO/IEC 9126(partes 1 a 4) e ISO/IEC14598(partes de 1 a 6). A famlia ISO/IEC14598 est organizada por diferentesobjetivos de avaliao (ponto de vista do desenvolvedor, adquirente e avaliadorindependente). Assim sendo, a aplicao do modelo e processo definido nestasnormas pode tornar-se complexa, principalmente para interessados que ainda notiveram maior contato com o tema.

O objetivo deste guia facilitar a compreenso dessas diversas normas, dando umaviso completa de todo o processode avaliao de produto de soft w are, utilizandotrechos dos textos originais das respectivas normas, organizados de modo a se teruma viso de conjunto e complementados por comentrios ou explicaes.

Este guia foi elaborado considerando o seguinte pblico:

Desenvolvedores de soft w are que pretendam utilizar avaliao de produtosintermedirios ou finais como forma de aprimorar seu processo dedesenvolvimento e consequentemente melhorar a qualidade do produto desoft w areresultante;

Pessoas ou organizaes que adquirem soft w are e que pretendem utilizar aavaliao de qualidadecomo um processode seleo desses produtos;

Organizaes que executem avaliao independente de produto de soft w are eque pretendam utilizar normas internacionais como referncia para o processodeavaliao;

Professores e estudantes universitrios com interesse em qualidade de soft w are


5/65



5

1.1 ORGANIZAO DO GUIA

A organizao deste guia est orientada pelo processode avaliao de produto desoft w are, descrito na Norma 14598-1 e representado na Figura 1(da Norma).

O item 2 d uma viso geral sobre a finalidade e o processo de elaborao de

normas nacionais e internacionais. No item 3 esto apresentadas as etapas doprocesso de avaliao de produto de soft w are. Os itens 4 e 5 apresentaminformaes complementares e necessrias ao entendimento do processo deavaliao. O item 6 fornece algumas informaes complementares especficas parao processo de aquisio de soft w are. O item 7 complementa o processo deavaliao quando se trata de avaliao por organizaes independentes. O item 8apresenta as funes de suporte ao processode avaliaoobtidas da Norma 14598-2 Planejamento e Gesto. O item 9 apresenta uma sistemtica para documentaode mdulos de avaliao, obtida da Norma 14598-6 Documentao de Mdulos deAvaliao. O item 10 apresenta tabelas com uma viso integrada da srie deNormas 9126 e 14598, com seus objetivo, pblico alvo, contedo e uso. O item 11apresenta um glossrio de termos que so utilizados no

processode

avaliao.

EstabelecerRequisitos deAvaliao

Especificar aAvaliao

Estabelecer o propsito da avaliao (7.1)

Identificar tipos de produto(s) a serem avaliados (7.2)

Especificar modelo de qualidade (7.3)

Selecionar mtricas (8.1)

Julgar os resultados (10.3)

Estabelecer critrios para julgamento (8.3)

Projetar aAvaliao

Produzir o plano de avaliao (9.1)

Obter as medidas (10.1)

Comparar com critrios (10.2)

Estabelecer nveis de pontuao para as mtricas (8.2)

9126-1 Caractersticas de qualidade

9126-2 Mtricas externas9126-3 Mtricas internas14598-6 Mdulos de avaliao

Executar aAvaliao

Figura G1.11- Processo de Avaliao

1Os nmeros entre parnteses da figura correspondem aos itens da norma 14598-1 que tratam do assunto.


6/65



6

1.2 CONVENES

Norma 14598-1 Como as normas utilizadas neste trabalho serotodas da ISO/IEC, sero referenciadas apenas peloseu nmero

NBR 12119 Caso haja verso brasileira de alguma norma, serutilizado o prefixo NBR.

Titulo

Texto extrado de norma

Quando o texto do guia for obtido do original dealguma norma, estar contido num quadro, tendocomo ttulo a identificao principal da norma.

Este smbolo indica que o texto a seguir complementar ao texto principal e destina-se aenvolvidos no processo de avaliao de softwareemdesenvolvimento.

Este smbolo indica que o texto a seguir

complementar ao texto principal e destina-se aenvolvidos no processo de avaliao com vistas aaquisio de software.

Este smbolo indica que o texto a seguir complementar ao texto principal e destina-se aenvolvidos em processo de avaliao de softwarepor terceira-parte.

Este smbolo indica que o texto a seguir explicativo, elaborado pelos autores deste guiavisando facilitar a compreenso.

Figura G1.1 Processo deAvaliao

Nmero da figura em relao ao guia (G1) e nmeroda figura(1) em relao a Norma a qual ela pertence

Definies do glossrio As normas 9126 e 14598 utilizam uma terminologiaprpria, expresses destacadas no texto encontram-se explicadas em um glossrio ao final do guia

importante lembrar que estamos utilizando o nome NORMA para todos osdocumentos, mas nem todos se encontram na mesma fase de elaborao (ver as

Referncias Bibliogrficas e item 2 Viso Geral sobre Elaborao de Normas).

DES

AQ

TER


7/65



7

2. VISO GERAL SOBRE A ELABORAO DE NORMAS

Normalizao o processo de aplicar regras estabelecidas e executar umaatividade de maneira ordenada. Objetiva-se com a utilizao de normas nodesenvolvimento e teste de soft w are propiciar benefcios quantitativos como

reduo de custo, tempo e erros e qualitativos como adequao, facilidade de uso euma melhor percepo pelo usurio, atravs de uma linguagem comumestabelecida entre fornecedores e consumidores. importante destacar tambmque o uso de normas auxilia na obedincia ao Cdigo do Consumidor e a maiorcompetitividade internacional.

As normas podem ser internacionais, regionais, nacionais e organizacionais emfuno da sua rea de aplicao. Normas nacionais so editadas por umaorganizao nacional de normas. No Brasil, esta organizao a AssociaoBrasileira de Normas Tcnicas - ABNT. Ela reconhecida como Foro Nacional deNormalizao. Foi fundada em 1940 e uma entidade privada, sem fins lucrativos, erepresenta o Brasil nas entidades de normalizao internacional como a ISO e aIEC. Ela composta de Comits Brasileiros-CB e Organismos de NormalizaoSetorial-ONS que fazem o planejamento, a coordenao e controle das Comissesde Estudo-CE que elaboram e mantm atualizadas as Normas Brasileiras.

A partir da percepo de necessidade de uma norma o CB ou ONS avalia e decidepela incluso em seu Programa de Normalizao Setorial-PNS. , ento, criada umaCE, integrada voluntariamente por produtores, consumidores e neutros(universidades, centros de pesquisa, etc.) que elabora um Projeto de Norma,baseada no consenso de seus participantes. O Projeto de Norma votado pelosassociados da ABNT e outros interessados e as sugestes recebidas so analisadaspela CE e na seqncia aprovada como Norma Brasileira. O passo seguinte aimpresso e distribuio atravs dos postos de venda da ABNT.

Os organismos internacionais mais importante para o setor desoft w are

so a ISO eaIEC.

A International Organization for Standardization - ISO uma organizao no-governamental estabelecida em 1947. Sua misso promover o desenvolvimentoda normatizao e atividades relacionadas a nvel mundial. O seu trabalho resultaem acordos entre pases e que so publicados como Normas Internacionais.

Todos os pases tem o direito de participar dos trabalhos da ISO em ComitsTcnicos ou Subcomits. A participao pode ser to tipo P, quando h atuao ativanos trabalhos e com a obrigao de votar, ou do tipo O, quando participa comoobservador recebendo cpias dos documentos, participando das reunies eapresentando comentrios, mas sem votar.

A International Electrotechnical Commission - IEC, fundada em 1906 aorganizao mundial que publica as normas internacionais relacionadas comeletricidade, eletrnica e reas relacionadas. Conta com a participao de mais de50 pases.

Na rea de tecnologia de informao, a ISO e IEC, estabeleceram um comitconjunto- Joint Technical Committees- JTCpara a elaaborao de normas na rea.

Os trabalhos so organizados de acordo com as reas de especializao e entoso criados os Working Groups, numerados sequencialmente na ordem em queforam estabelecidos. Os trabalhos dos grupos so chamados de projetos eclassificados conforme a etapa de desenvolvimento em que se encontram.


8/65



8

A Tabela 1 mostra a seqncia de etapas de projetos atravs dos quais o trabalho desenvolvido e fornece o nome do documento associado a cada etapa.

Tabela 1 - Etapas de Projeto e documentos associados

Documentos associadosEtapas de Projeto

Nome Abreviao

0 - Preliminary stage Preliminary work item PWI

1 - Proposal stage New work item proposal NP

2 - Preparatory stage Working draft(s) WD

3 - Committee stage Committee draft(s) CD

4-Enquiry stage Draft International Standard DIS

5 - Approval stageFinal Draft InternationalStandard FDIS

6 - Publication stage International Standard ISO/IEC

Na ABNT as normas relacionados com soft w areesto subordinadas ao Comit CB21 - Computadores e Processamento de Dados. Este Comit um participante tipoP da ISO/IEC/JTC 1, ISO/TC 154 e ISO/TC 184, ligado a ele est o Subcomit deSoftware SC10, composto por diversas Comisses de Estudos, entre elas a CE-21:101.01 que trata das normas relativas a Qualidade de Software.

Esta Comisso participa da elaborao das sries de Normas 9126, 14598, almdas Normas 12119 e 14756. Elaborou as normas brasileiras NBR 13596(correspondente a ISO/IEC 9126:1991) e NBR 12119. A norma NBR 14598-1 jpassou pelo processode aprovao nacional e aguarda sua publicao.


9/65



9

3. PROCESSO DE AVALIAO DE PRODUTO DE SOFTWARE

NORMA 14598-1

EstabelecerRequisitos deAvaliao

Estabelecer o propsito da avaliao (7.1)

Identificar tipos de produto(s) a serem avaliados (7.2)

Especificar modelo de qualidade (7.3)

9126-1 Caractersticasde qualidade

7. Estabelecer requisitos de avaliao

7.1 Estabelecer o propsito da avaliao

7.1.1 Geral

O propsito da avaliao de qualidade de soft w are apoiar diretamente odesenvolvimento e a aquisiode soft w areque atenda as necessidades do usurioe do cliente. O objetivo final assegurar que o produto fornea a qualidaderequerida - que ele atenda as necessidades explcitas e implcitas dos usurios(incluindo operadores, destinatrios dos resultados do soft w are, ou mantenedoresde soft w are.

7.1.2 Aquisio

Na aquisio de um produto de soft w are sob encomenda, convm que oadquirente estabelea requisitos de qualidade externa, especifique os requisitospara o fornecedor, e avalie compras potenciais em relao a estes requisitos antes

da aquisio. Quando um produto est sendo desenvolvido, o objetivo daespecificao dos requisitos de qualidade assegurar que o produto atenda asnecessidades explcitas e implcitas do usurio(ver ISO/IEC 14598-3).

Na compra de um produto de soft w are, a avaliao pode ser utilizada para compararprodutos alternativos e para assegurar que o produto selecionado atende osrequisitos de qualidade (ver ISO/IEC 14598-4 no caso de processo paraadquirentes e ISO/IEC 14598-5 no caso de processo para avaliadores, incluindorequisitos para avaliao de terceira-parte).

Informaes adicionais sobre aquisiode produtos de soft w arepodem ser

obtidas nos itens Processo para Adquirentes e Processo de Aquisio.NORMA 14598-1

7.1.3 Fornecimento

O fornecedorpode utilizar os resultados da avaliao de produto de soft w areparaassegurar que os produtos atendem os critrios de qualidade requeridos, quepodem ter sido definidos pelo adquirente, ou por comparao com outros produtos.

7.1.4 Desenvolvimento

Convm que a avaliao de soft w are seja utilizada para prever e verificar aqualidade durante o desenvolvimento, especificando requisitos de qualidade

interna para os produtos intermedirios no processo de desenvolvimento. A

AQ


10/65



10

qualidade externa do produto completo para o uso pretendido podesubseqentemente ser avaliada em relao aos requisitos iniciais (ver ISO/IEC14598-3 no caso do processode avaliaopara desenvolvedores).

Os resultados da avaliao de qualidade de soft w are podem ser utilizados paraobter feedback sobre o quanto os diferentes processos de desenvolvimento,

mtodos de projeto ou ferramentas CASE podem ser utilizados para atender osrequisitos de qualidade.

7.1.5 Operao

A organizao que opera um sistema de soft w are pode utilizar a avaliao dequalidade de soft w are para validar que os requisitos de qualidade so atendidossob diferentes condies de operao, e para fornecer feedback aos responsveispela manuteno sobre a necessidade de qualquer alterao.

7.1.6 Manuteno

A organizao que mantm o sistema de soft w are pode utilizar a avaliao desoft w are para validar se os requisitos de qualidade ainda so atendidos, e se osrequisitos para manutenibilidadee portabilidadeso atingidos.

O texto abaixo, obtido da 14598-1 distingue propsitos de avaliao paraprodutos intermedirios e finais.

Norma 14598-1

O propsito da avaliao de qualidadede produto intermedirio pode ser : decidir quanto aceitao de um produto intermedirio de um subcontratado;

decidir quanto ao encerramento de um processoe quando enviar produtos parao prximo processo; prever ou estimar a qualidadedo produto final; recolher informaes sobre produtos intermedirios para controlar e gerenciar o

processo. propsito da avaliao de qualidadede produto final pode ser: decidir quanto aceitao do produto; decidir quando liberar o produto; comparar o produto com produtos competidores; selecionar um produto entre produtos alternativos; analisar os efeitos positivos e negativos da utilizao de um produto;

decidir quando aprimorar ou substituir o produto.

O estabelecimento do propsito da avaliao, em qualquer das situaesapresentadas anteriormente deve envolver um avaliador. Informaesadicionais sobre o processo para avaliadores podem ser obtidas no itemProcesso para o avaliador.

TER


11/65



11

NORMA 14598-1

7.2 Identificar os tipos de produto(s) a serem avaliados

O tipo de produto de soft w are, quer seja um dos produtos intermedirios ou final, a

ser avaliado depender do estgio no ciclo-de-vida e do propsito da avaliao (verFigura 4).

O objetivo que quando o produto seja realmente utilizado pelo usurioele atendaas necessidades explcitas e implcitas. A qualidade externa pode ser julgadaapenas para um sistema completo de hardware/soft w are do qual o produto desoft w areseja uma parte. As mtricasexternas so aplicadas durante a execuo dosoft w are. Os valores das medidas externas necessariamente dependem de maisfatores alm do soft w are, assim o soft w aretem que ser avaliado como parte de umsistemaem operao.

Mais informaes sobre a influncia do estgio do ciclo-de-vida para aescolha dos produtos a serem avaliados podem ser obtidos no itemQualidade e o ciclo-de-vida do soft w are.

Dependendo do tipo de avaliao a ser realizada, isto , avaliao deprodutos intermedirios ou finais, modelo de qualidade utilizado e tipo derequisitante da avaliao, o avaliador deve participar da identificao dosprodutos a serem avaliados. Mais informaes sobre o processo paraavaliadores podem ser obtidas no item Processo para Avaliadores.

Nesta fase do processo de avaliao a identificao do produto a seravaliado ainda preliminar. No decorrer das outras fases do processomaisinformaes so obtidas, o que contribui para uma melhor identificao dosprodutos a serem avaliados.

Dvidas que podero ocorrer dependendo da fase em que se encontra a avaliao:

quando se trata de produto final, de acordo com o escopo da avaliao,poder ser selecionado todo o produto de soft w are, ou eventualmenteapenas alguns de seus componentes. Esta definio ocorrer quando nomnimo os requisitos bsicos de qualidade estiverem definidos. Serento necessrio voltar a esta fase de definio de produtos para a suacomplementao.

Um fator que pode ser determinante na seleo dos componentes aserem avaliados a disponibilidade de mtodos de avaliao naorganizao que ir realizar a avaliao. Por exemplo, suponha-se queum propsito de avaliao seja a escolha entre alguns produtos demercado e que um dos requisitos de qualidade para esta escolha sejasegurana de acesso a dados. Suponha-se tambm que a organizaono disponha de mtodos de avaliao deste requisito de qualidade.Esta no disponibilidade poder determinar que os componentes doproduto que tratam especificamente de segurana de acesso sejam

TER


12/65



12

desconsiderados para efeito de avaliao ou que este requisito, caso sejamuito importante, tenha que ser avaliado por outra organizao;

j para o produto intermedirio, a definio de qual produto intermedirioser avaliado mais complexa, pois depende em primeiro lugar do ciclo-de-vida de desenvolvimento adotado pela organizao e do estgio em

que se encontram seus respectivos produtos. Alm disso, deve-seconsiderar que as mtricas internas devem ser escolhidas de modo arefletir a futura qualidade externa do produto e, assim sendo, necessrio conhecer-se os requisitos externos, para ento definir-se quemtricas internas so aplicveis aos produtos intermedirios de modo ase obter uma avaliao efetiva.

As primeiras vezes que estas definies de produtos intermedirios paraavaliao so feitas, no se constituem em um trabalho simples, porm,em termos prticos, a partir da existncia de um histrico de mtricasaplicadas na organizao, provvel que exista uma refernciaemprica a ser considerada, tanto para a seleo de mtricas como para

identificao dos produtos a serem avaliados. E como j dito, a escolhainicial tende a ser refinada nas demais fases de avaliao.

NORMA 14598-1

7.3 Especificar o modelo de qualidade

A primeira etapa na avaliao de soft w are selecionar as caractersticas dequalidade relevantes, utilizando um modelo de qualidade que desdobre aqualidade de soft w areem diferentes caractersticas. Os modelos de qualidadeparaavaliao de soft w are geralmente representam a totalidade dos atributos dequalidade de soft w are classificados em uma estrutura de rvore hierrquica decaractersticas e subcaractersticas. O nvel mais alto desta estrutura compostopelas caractersticas de qualidadee o nvel mais baixo composto pelos atributosde qualidade do soft w are. A ISO/IEC 9126 -1 fornece um modelo de propsito geralo qual define seis amplas categorias de caractersticas de qualidade de soft w are:funcionalidade, confiabilidade, usabilidade, eficincia, manutenibilidade eportabilidade. Estas podem ser subdivididas em subcaractersticas que possuematributos mensurveis. O efeito combinado das caractersticas de qualidade emuma situao particular de uso definido como qualidade em uso.

Os requisitos de produto de software expressam as necessidades do usuriopara oproduto de software considerado e so definidos antes do desenvolvimento. Se um

produto de software dividido em componentes principais, os requisitos derivadosdo produto global podem variar para os diferentes componentes, bem como requerercritrios de avaliao diferentes. Antes da avaliao de qualidade, convm que osrequisitos de qualidade sejam especificados em termos de caractersticas esubcaractersticas de qualidade(ver ISO/IEC 9126-1).

No estgio inicial da avaliao, convm que esses requisitos de qualidade sejamestudados e identificados, para o planejamento e implementao da avaliao.Convm que o desenvolvedor estabelea requisitos de qualidade externa paracada caracterstica de qualidade que seja relevante. Convm que a completitude ecorreo da especificao dos requisitos de qualidadeseja avaliada para assegurarque todos os requisitos necessrios tenham sido especificados e que requisitos


13/65



13

desnecessrios tenham sido excludos. O desenvolvedornecessita avaliar o produtoem relao a estes requisitos antes da entrega.

As necessidades explcitas e implcitas precisam ser atendidas para que se alcancequalidade. Assim, importante verificar se as necessidades implcitas estoespecificadas com detalhes suficientes para cada caracterstica de qualidade

relevante. Se possvel, convm que os requisitos sejam avaliados quanto aoatendimento de necessidades implcitaspor intermedirios de compras (procurers),compradores e usurios finais. A experincia do usurio com prottiposfreqentemente conduz a uma definio mais precisa quanto aos requisitos dequalidade em uso.

Convm que o desenvolvedor identifique os requisitos de qualidade interna.Quando so utilizados requisitos de qualidade interna, convm que odesenvolvedor identifique-os usando um modelo de qualidade que os relacionecom os requisitos de qualidade externa, e utilize os requisitos internos para verificara qualidadedos produtos intermedirios durante o desenvolvimento.

Uma explicao mais detalhada do modelo de qualidade da 9126-1 podeser obtida no item Modelo de qualidadeda 9126-1.

Apesar da 14598-1 possibilitar o uso de qualquer modelo de qualidade, a aplicaodeste processode avaliaotorna-se muito mais simples se for utilizado o modeloda 9126-1, pois todas as normas da famlia 14598 esto fortemente relacionadasquele modelo.

A norma 14598-1 no muito clara quanto forma e momento adequado de sedefinir os requisitos esperados para o produto de software e que devem seravaliados. Nesta fase de especificao do modelo de qualidade dado um certo

destaque para a definio dos requisitos de qualidade para cada uma dascaractersticas de qualidade relevantes. Porm, neste ponto ainda no foramdefinidas mtricas externas a serem utilizadas, dificultando o processo dequantificao dos requisitos. Assim sendo, pode-se definir, por exemplo, que tempode resposta relevante para uma determinada transao, mas a quantificao desterequisito ainda depende da mtrica a ser aplicada. Esta constatao nos leva aperceber que o processo de identificao de requisitos de qualidade necessita serrefinado em estgios posteriores da avaliao.

Podem ser aplicadas diversas tcnicas de identificao de requisitos, mas suaefetividade pode ser aumentada a partir da construo de listas de verificaoobtidas a partir do prprio modelo de qualidadeda 9126-1. Caso no seja adotada

esta sistemtica, ao final do processo de obteno de requisitos, de qualquermaneira, ser necessrio fazer seu mapeamento com relao ao modelo dequalidadeescolhido, como por exemplo no modelo mostrado a seguir.


14/65



14

Caracterstica de Qualidade:Usabilidade

Subcaracterstica: Operacionalidade

Id. Descrio do Requisito Prioridade Alocado (S/N)

U01O produto de software dever possibilitar acustomizao das funes pelo prpriousurio

Essencial Sim

Observao:somente podero ser customizadas as funes s quais o usurio temacesso autorizado.

A prioridade de atendimento ao requisito Essencial devido ao nmero elevado deusuriosque executam somente algumas funesdo sistema.

Subcaracterstica: Apreensibilidade


U02O produto de software dever apresentar helpde contexto para campos. Essencial Sim

Observao:

Caracterstica de Qualidade: Funcionalidade

Subcaracterstica: Adequao


F01

Dever ser disponibilizada uma funogenrica para customizao do software peloprprio usurio.

Essencial Sim

Observao:requisito identificado a partir de um outro requisito ligado usabilidade:O software dever possibilitar a customizao das funes pelo prprio usurio.

F02

Dever ser disponibilizada uma funo paracadastro de usurios, senhas e funes squais o usuriopossui acesso.

Essencial Sim

Observao:No existiro restries em relao aos dados de cada funo, ou seja,se o usurio possuir autorizao para acessar determinada funo poder atualizartodos os dados desta funo.

Subcaracterstica: Segurana de acesso


F03

O acesso ao produto dever ser permitidosomente a usurios autorizados, comsolicitao de senha de acesso.

Essencial Sim

Observao:

F04

O acesso s funes do produto dever serpermitida somente a usuriosautorizados.

Essencial Sim

Observao:


15/65



15

Na avaliao de produtos intermedirios (tais como diagramas, cdigo deprogramas, documentao etc.), s possvel avaliar o cumprimento de requisitosde qualidade interna. Neste caso tais requisitos devero ser estabelecidos a partirdos requisitos de qualidade externa. Por exemplo, caso eficinciaseja um requisito

esperado para o produto em produo, provavelmente a definio da ordem decomplexidade dos algortmos (O(n), O(Log(n)) ser um dos requisitos internos aserem avaliados como forma de prever esta eficinciadesejada.

Na prpria definio de requisitos externos podero surgir alguns requisitos dequalidade interna. Isto pode acontecer seja pela experincia dos agentesenvolvidos, ou por padres adotados na prpria organizao, pois possvel queorganizaes que j mantm histricos de mtricas adotadas os utilizemhabitualmente nos seus processos de avaliao.

Este primeiro nvel de definio de requisitos j permitir uma reviso dos produtos aserem avaliados e que foram definidos na fase de identificao de produtos.

NORMA 14598-1

Especificar aAvaliao

Selecionar mtricas (8.1)

Estabelecer critrios para julgamento (8.3)

Estabelecer nveis de pontuao para as mtricas (8.2)

9126-2 Mtricas externas9126-3 Mtricas internas14598-6 Mdulos de avaliao

8. Especificar a Avaliao

8.1. Selecionar mtricas importante que as medies de um produto de softwarepossam ser feitas fcil eeconomicamente e que as medidasresultantes sejam fceis de usar.

A forma pela qual as caractersticas de qualidade tm sido definidas no permitesua medio direta. necessrio estabelecer mtricas que se correlacionem scaractersticas do produto de software. Todo atributo interno quantificvel dosoftware e todo atributo externo quantificvel do software interagindo com seuambiente e que se correlacione com uma caracterstica, pode ser definido como umamtrica.

Mtricas podem ser diferenciadas, dependendo do ambiente e das fases do

processo de desenvolvimento em que so utilizadas. Convm que as mtricasutilizadas no processode desenvolvimento estejam correlacionadas com as mtricassob a perspectiva do usurio, pois essas so decisivas.

Convm que as mtricas internas tenham validade para efeito de previso, isto ,convm que estejam correlacionadas com algum critrio externo desejado. Porexemplo, convm que uma medida internade um atributoparticular de um softwareesteja correlacionada com algum aspecto de qualidade mensurvel quando osoftware utilizado. importante que as medies resultem em valores quecoincidam com as expectativas; por exemplo , se a mediosugere que o produto de alta qualidade ento convm que esta constatao seja consistente com asatisfao que o produto proporciona s necessidades especficas de um usurio.


16/65



16

Maiores informaes sobre critrios para seleo de mtricas podero serobtidas no item Escolhendo mtricas.

Um critrio adicional para seleo de mtricas pode ser baseado na definio dosrequisitos de qualidadeconsiderados fundamentais (ou de maior importncia). Emoutras palavras, o primeiro nvel de seleo de mtricas pode ser para provermedies para os requisitos de qualidadeobrigatrios. Ao mesmo tempo, requisitosconsiderados acessrios podero sugerir o descarte prvio de qualquer proposta demtricapara os mesmos. Isto evita o uso de mtricasdesnecessrias que terminampor simplesmente onerar o processode avaliao.

A partir do momento que os requisitos foram estabelecidos, os mesmos podero sermelhor definidos a partir da escolha de uma mtricaque, ao mesmo tempo permitaa especificao deste requisito e tambm a sua avaliao.

Nesta fase da avaliao poder ser completada a lista de requisitos, mantendo-sesem identificao apenas aqueles requisitos que no foram percebidos pelosagentes envolvidos, ou tambm aqueles considerados implcitos, ou seja, pode serentendido como um requisito pelo requisitante da avaliao, mas no ser repassadoao avaliador.

No caso de aquisio de produtos de soft w are de prateleira, as mtricasselecionadas devem identificar a qualidade em usodo produto e o nvel decobertura aos requisitos de avaliao, permitindo assim a classificao dosresultados, e portanto possibilitando a seleo de um determinado produtoentre produtos similares.

Para produtos sob encomenda ou para modificaes em software existente,

deve-se considerar mtricas internas para avaliao dos produtosintermedirios, que permitam predizer a qualidadedo produto final.

NORMA 14598-3

O desenvolvedor deve definir as condies sob as quais as medies devem serexecutadas. Isto significa que se deve identificar outros atributos cujos valoresinfluem nas medies e definir os valores desses mesmos atributos.

O texto acima se aplica no apenas a desenvolvedores, mas claramente aavaliadoresde forma geral.

Na definio de atributosde qualidadea serem avaliados, deve-se observarpossveis influncias de outros atributos no resultado da avaliaoinicialmente determinada. Por exemplo, caso o atributo tempo deaprendizado seja utilizado para avaliao de usabilidade, provavelmenteser necessria a avaliao de um outro atributo capacitao dosenvolvidos, pois esta capacitao com certeza influencia na aprendizagem.

importante ressaltar que existem diversas fontes de rudo e imprecisoagindo sobre as mtricasde software. Mais detalhes podem ser encontradosno item Escolhendo Mtricas.

AQ


17/65



17

NORMA 14598-1

8.2 Estabelecer nveis de pontuao para as mtricas

As particularidades(features) quantificveis podem ser medidas quantitativamenteusando-se

mtricasde

qualidade. O resultado, isto , o valor medido, mapeado

numa escala. Este valor, por si s, no mostra o nvel de satisfao. Para isso, aescala precisa ser dividida em faixas correspondentes aos diversos graus desatisfao dos requisitos. So exemplos:

dividir a escalaem duas categorias : satisfatria e insatisfatria;

dividir a escala em quatro categorias delimitadas por: o pior caso, o nvelatual para um produto existente ou alternativo, e o nvel planejado. O nvel atual estabelecido para controlar se o novo sistema no se deteriora em relao asituao atual. O nvel planejado o que considerado alcanvel com osrecursos disponveis. O pior caso o limite para a aceitao pelo usurio, no casoem que o produto no alcance o nvel planejado (Figura 7).

Ultrapassa os requisitos

Intervalo alvo

Mnimo aceitvel

Inaceitvel

Nvel planejado

Valormedido

Nvel atual

Pior caso

Escala de medio Nveis de pontuao

satisfatrio

insatisfatrio

Figura G2.7 Nveis de pontuao para as mtricasAo elaborar uma escalacomo a apresentada na figura 7 da ISO/IEC 14598-1,um avaliadordeve observar dois pontos importantes:

cada mtrica ser relacionada a uma escalaespecfica. Um grande nmerode mtricas implicar num trabalho cuidadoso para estabelecer edocumentar todas as escalas. Alm disso, preciso que exista um mtodopara sintetizar os resultados de avaliao, principalmente para subsidiardecises como adquirir ou no adquirir o produto. Maiores explicaessobre como e o que documentar no processode avaliaopodem ser obtidasno item Documentao de Mdulos de Avaliao.


18/65


19/65



19

possvel assim calcular mdias agrupando as mtricas de cada caracterstica dequalidade. Por exemplo, calcular uma mdia ou nota ponderada para usabilidade,dadas as mtricas relacionadas com as subcaractersticas de usabilidade e ospesos atribudos a cada subcaracterstica. O mesmo pode ser feito com cadacaracterstica, separadamente. O processo pode ser repetido no nvel de

caractersticas de qualidade, permitindo que se compute um ndice (ou nota) nico,representando a qualidade do software.

Este procedimento permite:

1) confrontar diretamente produtos, no caso de avaliaes comparativas (porexemplo, visando seleo para posterior aquisio);

2) examinar os resultados da avaliao em diferentes nveis de detalhe: desde oresultado nico e sinttico, at os resultados colhidos individualmente pelasmtricas, passando por mdias ponderadas para cada caracterstica.

A comparao s possvel quando a avaliao utilizada sobre os produtos foridntica, ou seja: utilizar as mesmas mtricas e mesmos pesos, alm de mesmo

ambiente de avaliao, hardware, usuriosetc.Mais detalhes sobre reproducibilidade de avaliao se encontram no itemEscolhendo mtricas e Processo para o avaliador.

NORMA 14598-1

Projetar aAvaliao

Produzir o plano de avaliao (9.1)

9. Projetar a avaliao

9.1 Produzir o plano de avaliao

O Plano de Avaliao descreve os mtodos de avaliao e o cronograma das aesdo avaliador (ver a srie ISO/IEC 14598 partes 3, 4 e 5 ). Convm que ele estejaconsistente com o Plano de Medies (ISO/IEC 14598-2).

NORMA 14598-3O desenvolvedorde software deve especificar aes (procedimentos) paracoleta dos dados a serem executadas para obter valores reais para cadamtrica externa ou interna. Isto inclui a especificao de cronogramas,responsabilidades, e o uso de ferramentas de coleta de dadose de anlise.Se for necessrio treinamento especial para o pessoal, isto tambm deveser planejado.

O desenvolvedordeve tambm definir o grau de preciso da medio. Todomodelo estatstico aplicado deve ser especificado, incluindo requisitos deentrada de dados, estratgias de amostragem etc.

DES


20/65



20

O desenvolvedor deve definir aes em caso de eventualidades, comoavaliaes extras, caso os resultados das medies sejam no conclusivosou alarmantes.

Esta explicao do texto da norma 14598-3 vale para qualquer enfoque deavaliao.

No processo de aquisio, a elaborao do plano de avaliao podeconsiderar questes como:

Se o fornecedor est disposto e apto a prover acesso documentao,ferramentas, software, cursos ou treinamentos requeridos;

A confidencialidade e propriedade de informaes;

Custos associados com a disponibilidade de ambiente de testes;

Os pontos limite entre atividades de avaliao e ;

As ferramentas de avaliao.Para produtos sob encomenda ou modificaes em produtos existentes, ofornecedor deve, durante o processo de desenvolvimento, definir as seguintesatividades: verificao, reviso conjunta e auditoria, testee validao.

Para o avaliador este plano bastante detalhado. Informaes adicionaissobre o processopara avaliadores podem ser obtidas item Processo para oavaliador.

NORMA 14598-1

Julgar os resultados (10.3)

Obter as medidas (10.1)

Comparar com critrios (10.2)Executar aAvaliao

10. Executar a avaliao

Ver informaes sobre o processopara avaliadores no item Processo paraAvaliadores.

NORMA 14598-1

10.1 Tomar as medidas

Para medio, as mtricas selecionadas so aplicadas ao produto de software.

Como resultado obtm-se os valores nas escalasdas mtricas.

TER

AQ

TER


21/65



21

NORMA 14598-3

O desenvolvedorde software deve coletar os valores reais das medidaspara os atributosinternos definidos de acordo com as aes para coleta de

dadosdefinidas. Se os requisitos de qualidadeforem modificados, odesenvolvedordeve reconsiderar as especificaes da avaliaoe o projetoda avaliao.

O desenvolvedor deve tomar as medidas necessrias para assegurar aqualidadedos dadoscoletados. As aes devem incluir, quando apropriado,validaode ferramentas automticas para coleta de dadose utilizao depessoas para conferncia dos dados.

Esta explicao do texto da norma 14598-3 vale para qualquer enfoque deavaliao.

NORMA 14598-1

10.2 Comparar com critrios

Na etapa de pontuao, o valor medido comparado com critrios predeterminados(por exemplo como mostrado na Figura 7).

No processo de aquisio devem ser consideradas as deficinciasencontradas no produto e se as mesmas podem ser aceitas, ainda que onvel de pontuao para uma determinada mtrica seja consideradoinaceitvel. No caso de aceitar-se uma deficincia relacionada a um requisito

obrigatrio, deve-se justificar tal atitude. Tambm devem ser consideradasavaliaes adicionais, caso sejam aceitos produtos com deficinciasdetectadas, ou ainda sejam percebidas deficincias no prprio processodeavaliao.

NORMA 14598-1

10.3 Julgar os resultados

O julgamento a etapa final do processo de avaliao do software, onde umconjunto de nveis pontuados so resumidos. O resultado uma declarao de

quanto o produto de software atende os requisitos de qualidade. Ento a qualidaderesumida comparada com outros aspectos como tempo e custo. Finalmente umadeciso gerencial ser tomada baseada nos critrios gerenciais. O resultado umadeciso gerencial quanto aceitao ou rejeio, ou quanto liberao ou no doproduto de software.

Os resultados da avaliao so importantes para decises sobre os prximospassos no ciclo-de- vida de desenvolvimento do software. Por exemplo, os requisitosdevem ser alterados ou so necessrios mais recursos para o processo dedesenvolvimento?

AQ

DES


22/65



22

NORMA 14598-3

Convm que o desenvolvedorde software utilize os valores obtidos para osindicadores definidos para estimar a qualidadedo produto final, levando-seem conta, para tanto, a experincia da organizao do desenvolvedor emprojetos anteriores com requisitos de qualidadesimilares.

Tambm convm que o desenvolvedor utilize os valores obtidos paramonitorar tendncias de forma a identificar riscos de desenvolvimento,tomando aes de contingncia quando necessrio.

O desenvolvedor deve fazer um julgamento dos resultados da avaliao epara tanto convm que os valores obtidos sejam resumidos e comparadoscom outros valores, como tempo e custo, de maneira a sustentar umadeciso sobre o resultado do desenvolvimento (por exemplo melhorando oproduto, revendo os requisitos etc.).

Por fim, o desenvolvedordeve rever os resultados da avaliaoe a validadedo processo de avaliao, dos indicadores e das mtricas aplicadas.

Convm que a retroalimentao sobre esta reviso seja utilizada de maneiraa melhorar o processode avaliaoe os mdulos de avaliao. Quando fornecessrio melhorar os mdulos de avaliao, convm que seja includa acoleta de dadossobre indicadoresextras, de maneira a valid-los para usoposterior .

Quando a avaliao feita para produtos de software em desenvolvimento, estaetapa de julgar os resultados pode ser feita mais de uma vez ao longo do ciclo dedesenvolvimento do produto, sendo utilizada para a previso da qualidade final doproduto em operao.

Mantendo-se um histrico de resultados de avaliaes ao longo do ciclo de vida doproduto, isto , um registro dos valores obtidos pelas mtricas, deve ser possvelacompanhar a evoluo do software durante seu desenvolvimento. A partir da,torna-se possvel identificar as tendncias mencionadas acima no texto da 14598-3,como por exemplo, curvas de queda de eficincia, de usabilidadeetc.

Na verdade, manter registros de avaliao um recurso valioso seno essencial,tanto para acompanhar o desenvolvimento de produtos, como para melhorar apreciso do prprio processo de avaliao. Lembramos que para estabelecer osnveis de pontuaode mtricas, mencionado no item 8.2 da 14598-1, necessrioconhecer de antemo o que um resultado bom ou um resultado ruim de umamedio. Um histrico de experincia prtica enriquecer sobremaneira esse

julgamento.No processo de aquisio, quando tratar-se de produtos de soft w are deprateleira deve-se redigir concluses com respeito aceitabilidade doproduto e a deciso final de comprar ou no comprar. A deciso de comprado produto pode, tambm, gerar um contrato de aquisio do produtocontendo solicitaes de ajustes das deficincias identificadas.

Nos produtos sob encomenda, o adquirente pode decidir pela realizao demodificaes para soluo das deficincias encontradas no produto durante aavaliaoe durante o desenvolvimento, isto , antes do produto estar finalizado. Nocaso de produtos j acabados, a deteco de deficincias pode levar a uma

negociao para que o fornecedorrealize modificaes. Um teste de aceitao do

AQ

DES


23/65



23

produto que resulte bem sucedido um critrio aconselhvel antes da entrega doproduto ao adquirente.

Na medida em que os requisitos de qualidadesejam mais estritos ou maiscomplexos, de se esperar um aumento tanto no nmero de atributos dosoftware quanto no nmero de mtricas utilizadas. Isto traz como

conseqncia uma maior dificuldade para emitir um julgamento ousimplesmente enunciar resultados sobre a qualidade de um produto. Porexemplo, uma avaliao com o propsito de escolher entre trs produtospara aquisio, tendo sido utilizadas 50 mtricas no processo. Ao fim doprocesso, o requisitante da avaliao poderia sugerir algumas questes,como:

se usabilidadeera mais importante do que a eficincia, como isso foicomputado?

qual a influncia da mtricanmero 23 na determinao do resultadofinal?

como se chegou concluso de que o produto A era melhor que B e C?O procedimento sugerido aps o item 8.3 da norma 14598, neste Guia, um mtodopossvel para auxiliar a resposta a tais perguntas. Utilizando-se aqueleprocedimento, temos que a influncia de cada mtrica ou cada caracterstica representada diretamente pelo seu peso aritmtico. Os resultados da avaliaopodem ser analisados levando em conta tais pesos. Eventualmente o requisitantedaavaliaopode sugerir alterar a importncia de uma caracterstica, visando obtermaior clareza sobre os resultados.

Por exemplo: seja uma avaliaocomparativa entre produtos A e B. Na avaliaooriginal usabilidade tinha peso maior que eficincia e o produto A teve maior nota

final. O cliente pode sugerir inverter os pesos, e verificar se tal produto continuasendo superior ao concorrente. Estabelecer diferentes cenrios pode contribuir paraaumentar a certeza sobre uma deciso de compra.

O avaliador responsvel pela concluso da avaliao(ver item Processopara Avaliadores), mas ele s far o julgamento final, caso isto estejaestabelecido na especificao da avaliao. O mais comum que oavaliador entregue o relatrio da avaliao, que pode ter algum tipo deconcluso, ao requisitante e este faa o julgamento final com base nesterelatrio. Isto ocorre porque o julgamento final pode levar em consideraodecises estratgicas, especficas da organizao, como por exemplo custo,

adaptaes etc.

TER


24/65



24

4. MODELO DE QUALIDADE DA 9126-1

NORMA 9126-1

5.4 Utilizando um modelo de qualidade

Convm que a qualidadede produtos de software seja avaliada usando um modelode qualidadedefinido. Convm que este modelo de qualidadeseja usado durante oestabelecimento de metas de qualidade para produtos de software finais eintermedirios. Convm que a qualidade do produto seja hierarquicamentedecomposta por meio de um modelo de qualidade composto de caractersticas esubcaractersticas as quais possam ser usadas como uma lista de verificao detpicos relacionados com qualidade. Os itens 6 e 7 definem um modelo hierrquicode qualidade (embora outros meios de categorizar qualidade podem ser maisapropriados em determinadas circunstncias).

praticamente impossvel medir todas as subcaractersticas (internas e externas)

para todas as partes de um produto de software de grande porte. Da mesma forma,em geral no prtico medirqualidade em usopara todos os possveis cenriosde uso. Os Recursos para avaliaoprecisam ser alocados entre os diferentes tiposde medies dependendo dos objetivos de negcio e da natureza do produto e doprocessoutilizado no projeto.

6. CARACTERSTICAS DE QUALIDADE INTERNAS E EXTERNAS

O modelo de qualidadenesta parte da srie ISO/IEC 9126 categoriza os atributosde qualidade de softwareem seis caractersticas (funcionalidade, confiabilidade,usabilidade, eficincia, manutenibilidade e portabilidade) as quais so, por sua

vez, subdivididas em subcaractersticas (Figura 3). As subcaractersticas podem sermedidas por meio de mtricasinternas e externas.

Qualidade de produto de software

Adequao

AcurciaInteroperabilidadeSegurana de

acessoConformidade

MaturidadeTolerncia a FalhasRecuperabilidade

Conformidade

Inteligibilidade

ApreensibilidadeOperacionalidade

AtratividadeConformidade

Comportamento em

relao ao tempoComportamento emrelao aos recursos

Conformidade

Analisabilidade

ModificabilidadeEstabilidadeTestabilidadeConformidade

AdaptabilidadeCapacidade para

ser instaladoCo-existncia

Capacidade parasubstituir

Conformidade

Funcionalidade Confiabilidade Usabilidade Eficincia Manutenibilidade Portabilidade

Figura G3.3 Qualidade interna e externa

Cada caracterstica e subcaracterstica do software que influenciam a caractersticade qualidadepossui uma definio. Para cada caracterstica e subcaracterstica, acapacidade do software determinada por um conjunto de atributos internos quepodem ser medidos. Exemplos de mtricas internas so dadas na norma 9126-3.As caractersticas e subcaractersticas podem ser medidas externamente pelo grau


25/65



25

da capacidade do sistemacontendo o software. Exemplos de mtricasexternas sodadosna norma 9126-2.

O modelo de qualidade da 9126-1 representado por um desdobramento

hierrquico das caractersticas de qualidade de produto de software, estandobem definido nos seus dois primeiros nveis (caractersticas e subcaractersticas)e deixando o terceiro nvel de desdobramento (atributos) a critrio do usuriodomodelo.

As caractersticas pretendem abranger todos os aspectos de qualidade desoftware, ou seja, deve ser possvel especificar qualquer requisito de qualidadeutilizando-se das 6 caractersticas.

A subcaracterstica conformidade est presente em todas as caractersticas, tendoem vista que o produto pode ser aderente a legislao, padres internos e normasdiversas associadas a cada uma das caractersticas.

As definies atribudas pela 9126 a cada caracterstica e subcaracterstica so taisque no permitem sobreposio. Exemplificando, a definio de usabilidade da9126 no permite que, na avaliaodessa caracterstica, se considerem fatores queso prprios de portabilidade. A norma admite, contudo, que um atributo dequalidade possa influenciar mais de uma subcaracterstica ou caracterstica. Porexemplo: nmero de linhas de cdigo atributo tanto de analisabilidadequanto deadaptabilidade.

4.1 OS NVEIS HIERRQUICOS DAS CARACTERSTICAS DE QUALIDADEINTERNAS E EXTERNAS

A ISO/IEC 9126-1 nos conduz a um entendimento dos conceitos que definem asdiversas caractersticas e subcaractersticas de qualidadede produto de software,porm, na prtica, ainda no facilita o suficiente a definio dos requisitos dequalidadea partir dela. As definies de caractersticas de qualidadenos permitemperceber um possvel universo de requisitos que se enquadram no conceitoapresentado, mas dificilmente permitiriam elaborar uma declarao de requisitosmais cuidadosa, quanto s mesmas. No faz sentido, por exemplo, uma declaraodo tipo o produto de software deve ter uma usabilidadede 0,5, pois esse nmerono teria qualquer significado (pelo menos no estado-da-arte em que se encontra otema de mediode qualidade de software).

O primeiro desdobramento em subcaractersticas serve para delimitar melhor oamplo universo contemplado pela caracterstica. Introduz conceitos mais detalhadosque facilitam a especificao de requisitos, ajudando a pensar na caracterstica dequalidade a partir de seus componentes. Mas este desdobramento ainda no suficiente para especificar os requisitos de qualidade. Uma declarao do tipo Aoperacionalidadedeve ser igual a 0,8, por exemplo, continua sem fazer sentido.

Assim, o usurio da norma que necessite elaborar sua declarao de requisitosdeve, ento, fazer o prximo nvel de desdobramento, os atributos, que no estopresentes na ISO/IEC 9126-1, identificando aspectos relevantes ao produto desoftware, e que se enquadrem nas caractersticas e subcaractersticas citadas.Desta forma, uma declarao do tipo O tempo de uso do produto de software atque se tenha domnio operacional do mesmo dever ser inferior a 20 horas, por


26/65



26

exemplo, adequada como requisito da subcaracterstica operacionalidade, que fazparte da caracterstica usabilidade. Observe que foi necessrio descer ao nvel doatributo tempo para se ter domnio operacional para que o requisito pudesse serdeclarado de forma objetiva e no ambgua.

O documento ISO/IEC 9126-2 define exemplos de mtricas externas que se

associam a atributos de qualidade e que podem ser uma referncia inicial,facilitando a tarefade definir atributos.

4.2 RELAO ENTRE CARACTERSTICAS DE QUALIDADE EXTERNAS EINTERNAS

O modelo de qualidadeda ISO/IEC 9126-1 privilegia a viso do usuriodo produtode software que, em geral, atua a partir da operao do sistemado qual o produtode software faz parte. Esta a viso de qualidade externa.

Porm, o efeito externo percebido no uso do produto de software decorrente deseus atributos internos, tpicos de sua arquitetura, tais como o nvel de

modularizao dos programas, a documentao gerada, o tipo de dilogo utilizadona interao com o usurioetc. Esses atributosinternos mantm correlaes comas caractersticas e subcaractersticas externas do produto de software. Cadaatributo interno pode influenciar uma ou mais caractersticas e subcaractersticas,sendo que a identificao das correlaes existentes no um trabalho simples,depende de cada organizao que desenvolve software. Apesar disso, se aorganizao fizer este investimento, cada vez mais ela ter mais condies demelhor e garantir a qualidadede seus produtos pois ela ser capaz de especific-los e avali-los(atravs das caractersticas, subcaractersticas e atributos externos)cada vez com mais preciso.

4.3 QUALIDADE EM USO

NORMA 9126-1

7 Caractersticas de qualidade em uso

Os atributos de qualidade em uso so categorizados em quatro caractersticas:efetividade, produtividade, seguranae satisfao (Figura 4).

Qualidadeem

uso

efetividade produtividade segurana satisfao

Figura G4.4 Qualidade em uso

A qualidade em uso a viso de qualidadedo usurio. A obteno de qualidadeem uso dependente da obteno da necessria qualidade externa, a qual por sua


27/65



27

vez dependente da obteno da necessria qualidade interna (Figura 2). Asmedidas so normalmente necessrias em todos os trs nveis, pois atingir oscritrios para medidas internas no usualmente suficiente para garantir aobteno dos critrios para medidas externas, e atingir os critrios para medidasexternasde subcaractersticas no usualmente suficiente para garantir a obteno

de critrios para qualidade em uso. Exemplos de mtricasde qualidade em usosodadas no relatrio tcnico 9126-4.

7.1 Qualidade em uso

A capacidade do produto de software de permitir a usurios especficos atingirmetas especificadas com efetividade, produtividade, seguranae satisfao em umcontexto de uso especificado.

Nota 1: Qualidade em uso a viso do usurio da qualidade de um ambientecontendo software, e medida por meio dos resultados do uso do software emambientes, e no pelas propriedades do software.

A viso do modelo de qualidadelevando em conta os resultados obtidos a partirdo uso do software no ambiente especificado, uma inovao em relao aomodelo original da 9126(1991) e tambm pode ser usada como referncia paradefinio de requisitos de qualidadeesperados para o ambiente de uso, assimcomo para a avaliao dos resultados obtidos. Quando utilizado o modelo dequalidade em uso para definio de requisitos, tambm necessrio oestabelecimento das regras de derivao de atributos de caractersticasexternas para o produto de software a partir das caractersticas de qualidade emuso.


28/65



28

5. ESCOLHENDO MTRICAS

A preciso de uma avaliao de qualidade depende em grande parte das

mtricas escolhidas. Para aumentar a confiabilidade dos resultados soapresentadas a seguir algumas caractersticas que as mtricas deveriamapresentar. Tais caractersticas esto de acordo com os requisitos deavaliao enumerados na 14598-1(itens 3 e 8.1.2), 14598-5(item 4.3) e9126-1(item 6.4), alm de incluir outros fatores significativos para o resultadofinal.

So eles:

1. significncia: os resultados da medio devem agregar informao sobre ocomportamento do software ou suas caractersticas de qualidade. Asmtricas consideradas no relevantes para o propsito da avaliaopoderiam ser (ou seria conveniente que fossem) descartadas.

2. custo e complexidade: a aplicao da mtrica deve ser econmica etecnicamente vivel dentro do processo de avaliao. Uma medio podeno satisfazer este critrio por: i) demandar um investimento acima dooramento, como laboratrios e usurios-teste; ou ii) exigir condiestcnicas fora do alcance do avaliador, como emprego de estatstica muitosofisticada ou paralisao das atividades da organizao para executar umteste.

3. repetibilidade: o uso da mtrica i) no mesmo produto; ii) com a mesmaespecificao de avaliao; iii) com os mesmosavaliadores, usurios-testee ambiente: deveria produzir resultados aceitos como idnticos. Sempre que

os resultados puderem sofrer alguma variao, algum tratamento adequado(por exemplo, estatstico) deve ser aplicado.

Para exemplificar, a mediode tempo de resposta de uma query SQLemum ambiente de rede com diversas tarefas em andamento, simulando oambiente de uso real, poderia ser calculada pela mdia de vrias tentativas.

4. reproducibilidade: o uso da mtrica i) no mesmo produto; ii) com a mesmaespecificao de avaliao; iii) com diferentesavaliadores, usurios-teste eambiente: deveria produzir resultados aceitos como idnticos. Valem osmesmos comentrios de 3. acima.

5. validade: deve ser possvel demonstrar a corretude e preciso ou a margem

de erro dos resultados da medio. importante considerar neste requisitotodos os fatores que podem influir no resultado, como:

(a) caractersticas de hardware -considerando o exemplo do tem 3. acima,se houverem problemas com o meio fsico como m conexo de cabosde rede, claro que o resultado da medioser falseado.

(b) caractersticas de software - configurao de parmetros do sistemaoperacional e do prprio software, e combinaes desses fatores. Porexemplo, em alguns casos a configurao, versoou mesmo a ordem de


29/65



29

carga de daemons ou device drivers3 pode alterar resultados dedesempenho.

(c) avaliadores- deve ser verificado com que peso e de que forma ocorre ainfluncia humana no processo. Por exemplo, no julgamentodo requisitoajuda on-line para cada item de interface, os avaliadores podem

discordar sobre a definio de item (janelas e menus inteiros ou botes,editores etc.).

(d) modelos matemticos - sempre que a manipulao matemtica dosdadosobtidos puder introduzir diferenas, isto deve estar explicitado. Porexemplo, uso de interpolao para prever o resultado de uma medidaque no est sendo de fato realizada.

6. objetividade: os resultados da medio devem ser objetivos, i.e., no podemsofrer influncia de opinio e sentimentos do avaliador, usurios de teste etc.Quando isto no for possvel, a mtricadeve oferecer algum tratamento (p.ex.,estatstico) de correo.

7. imparcialidade: a medio no deve ser tendenciosa. Este requisito pode serdescumprido de vrias formas:

publicao parcial de resultados - por exemplo a declarao 80% deusurios satisfeitos no explica qual o tipo de usurio, satisfeito em relaoao que e sob quais circunstncias. Isto vale para as observaes 5. a, b, c, e dacima.

ambiente tendencioso - utilizando novamente o exemplo do tem 3., seriapreciso definir com muita preciso o que significa simular o ambiente real deuso. Uma definio possvel mas que por si s no garante um processoimparcial, seria: utilizar como ambiente fsico a prpria organizao, fora deexpediente, empregando usurios de teste.

A aplicao das caractersticas para as mtricasdepende do grau de sofisticao daavaliao. Para exemplificar, a caracterstica 5.b acima pode introduzir uma grandedificuldade ou mesmo inviabilizar o processo de avaliao, na medida em que,teoricamente, a parametrizao de todo elemento de hardware ou softwareenvolvido no processo deveria ser verificada. Essa exigncia poderia ser relaxadapara apenas os elementos mais influentes nos resultados, determinados peloavaliador, ou at mesmo nenhum no caso de uma avaliaomais informal.

3Exemplo no sistema operacional MS-DOS: a ordem em que aparecem device drivers no arquivo deconfigurao CONFIG.SYS pode alterar o desempenho do sistema.


30/65



30

6. PROCESSO PARA ADQUIRENTES

A Norma 14598-4 est dividida em dois processos distintos: um paraaquisio de produtos de soft w arede prateleirae outro para aquisio deprodutos de software sob encomenda ou modificaes em produtos de

software existentes. O Processo para Adquirentes resultado dacombinao do processogenrico de avaliaoe do processode aquisiodefinido pela NBR 12207 Processo do Ciclo de Vida do Sofware.

O propsito da avaliao no processo de aquisio pode ser a comparao deprodutos alternativos ou garantir que um produto desenvolvido ou modificado sobencomenda atenda os requisitos inicialmente especificados.

Outras normas podem apoiar a avaliaono processode aquisiocomo:

12119 - quando deseja-se adquirir pacotes de software

14598-5 - quando forem requeridas avaliaes independentes.

12207 a qual define o processode aquisioa ser seguido pelo Processopara Adquirentes.

6.1 PROCESSO DE AQUISIO

O processo de aquisio definido pela NBR 12207 constitudo das seguintesatividades:

a) Iniciao

O adquirenteinicia o processode aquisioa partir de uma necessidade emadquirir, desenvolver ou melhorar um sistema, produto ou servio desoftware.

Nesta atividade so identificados e analisados os requisitos de sistema, osquais podem ser: de negcio, organizacionais e de usurio, seguranaentreoutros.

Ao final desta atividade so consideradas opes de aquisio, incluindoanlise de risco, custo e benefcio para cada opo, sendo alguns exemplos:comprar um produto de prateleira, desenvolver internamente, contratar odesenvolvimento, melhorar um produto existente ou uma combinao dasopes anteriores.

Caso a opo escolhida seja a aquisio de produto de prateleira, oadquirente deve assegurar que os requisitos sejam satisfeitos, que a

documentao do produto esteja disponvel, os direitos de propriedade sejamsatisfeitos e que o suporte futuro esteja planejado.

b) Preparao do pedido de proposta

Nesta atividade realizada a documentao dos requisitos de aquisio.Alm disto so determinados os pontos de controle nos quais o progresso dofornecimento dever ser revisado e auditado.

c) Preparao e atualizao do controle

Nesta atividade realiza-se a seleo de fornecedores, baseando-se naavaliaodas propostas dos fornecedores, bem como suas capacidades. Umcontratocom o fornecedordeve ser preparado e negociado, incluindo custo


31/65



31

e cronograma de execuo. Quando o processoest andando, o adquirentedeve possuir o controle de mudanas no contrato.

d) Monitorao do fornecedor

A monitoraodo fornecedorconsiste em atividades de avaliaoaplicadasdurante a execuo do

contrato levando aceitao e entrega do

produtode soft w are.

e) Aceitao e concluso

A aceitao e concluso so atividades executadas durante a aceitao doproduto e entrega do produto de soft w are final, obedecendo os critrios deaceitao previamente definidos durante a atividade de iniciao.


32/65



32

7. PROCESSO PARA O AVALIADOR

A Norma 14598-5 - Processo para o avaliador fornece requisitos e

recomendaes para implementao prtica de avaliao de produto desoft w are. Ela segue o processode avaliao como definido na 14598-1(verFigura 1 Processo de Avaliao) e detalha as fases deste processopara afuno de avaliao.

O processode avaliaoproposto na norma pode ser usado para avaliar produtos jexistentes ou produtos em desenvolvimento. Pode ser utilizada por avaliadores delaboratrio, fornecedoresde software, adquirentes de software (ver Norma 14598-4), usurios e entidades certificadoras, cada um com objetivos especficos.

O processo de avaliao descrito como um procedimento passo-a-passo, de talforma que os requisitos de avaliao possam ser expressos em termos de

caractersticas de qualidade, como definido na NBR 13596, e na nova versoda9126-1. A avaliao leva em considerao vrios documentos que podem serconsiderados como parte do produto de software, por exemplo, documentos deprojeto, relatrios de testee validao, cdigo fonte e documentao de usurio.

importante ressaltar que o objetivo principal de avaliaode produto de soft w are fornecer resultados quantitativos sobre a qualidade de produto de software quesejam compreensveis, aceitveis e confiveis por quaisquer das partesinteressadas. Assim, a norma fornece orientaes para manter o nvel deobjetividadeda avaliaoo mais alto possvel em todas as circunstncias.

A seguir mostrado quais as possveis partes interessadas nos papis derequisitante de uma avaliaoou de avaliador.

Norma 14598-5

5.2.2 Partes envolvidas na avaliao

Potenciais requisitantes de avaliaes podem ser:- desenvolvedoresde soft w are;- fornecedoresde soft w are;- adquirentesde soft w are;- usuriosde soft w are;- integradores desistemasatuando como adquirentes de soft w are.

Potenciais avaliadorespodem ser:

- laboratrios de testesde terceira-parte ;- equipes de testes integrantes de organizaes de produo ou distribuio desoft w are;- equipes de testes integrantes de organizaes compradoras ou usurias desoft w are;- equipes de testesintegrantes de organizaes integradoras de sistemas;- organizaes que fazem comparaes entre produtos.

5.3 Caractersticas do processo de avaliao

O objetivo principal do processode avaliaodescrito nesta parte da ISO/IEC 14598

promover as seguintes caractersticas desejveis em um processode avaliao:


33/65



33

- repetibilidade: convm que avaliaes repetidas do mesmo produto, com amesma Especificao de Avaliao, pelo mesmo avaliador, produzamresultados que possam ser aceitos como sendo idnticos;

- reprodutibilidade: convm que avaliaes do mesmo produto, com a mesmaespecificao de avaliao, por avaliadores diferentes, produzam resultados

que possam ser aceitos como sendo idnticos;- imparcialidade: convm que a avaliaono seja tendenciosa com relao a

algum resultado particular;

- objetividade: convm que os resultados das avaliaes sejam baseados emfatos, isto , desprovidos de sentimentos ou opinies do avaliador.

NOTA: Avaliaes de um mesmo produto podem ser conduzidas com diferentes especificaes de avaliao. Assimsendo, no so comparveis e podem levar a resultados diferentes

5.4 Processo de Avaliao

O processode avaliaoconsiste de um conjunto de atividades, que so conduzidaspelo requisitante daavaliaoe pelo avaliadorcooperativamente. As atividades doprocessousam como base os dadosfornecidos pelo requisitante, pelo avaliador, ouproduzidos por outras atividades do conjunto. Elas produzem dados que so osresultados do processode avaliaoe que tambm podem ser utilizados por outrasatividades do processo.

As principais entradas para o processo de avaliao so a descrio doproduto e seus componentes e mtodos e ferramentas para a avaliao. Asprincipais sadas so os registros das aes e resultados da avaliao e orelatrio da avaliao.

A Figura 1 d uma idia geral das entradas e sadas de cada fase do processodeavaliaopara o avaliador.


34/65



34

Norma 14598-5

Estabelecimentodos

requisitos daavaliao

Especificao daavaliao

Projeto daavaliao

Execuo daavaliao

Concluso daavaliao

Entradasfornecidas pelo

requisitante

Componentesdo produto

Entradasfornecidas pelo

avaliador

Ferramentasde avaliao Sntese dos

resultadosde avaliao

Relatriode avaliao

preliminar Relatriode avaliao

revisado

Registrosde avaliao

Registrode aes de

reviso

Plano deavaliao

Mtodos deavaliao

Descriodo produto

Especificaode avaliaopr-definida

Especificao deavaliao

Requisitosde avaliao

Requisitosdo

requisitante

Figura G5. 1: O processo de avaliao

As atividades do processode avaliaoso as seguintes (ver Figura 1):

- estabelecimento dos requisitos de avaliao, onde devem ser descritos osobjetivos da avaliao relacionando-os com o uso do produto de soft w areeos riscos associados. Vrios pontos de vista podem ser considerados:aqueles dos diferentes usurios do produto tais como compradores,fornecedores, desenvolvedores, operadoresou mantenedores do produto.

O item Processo de avaliao de produto de soft w aredeste Guia trata destetpico e os itens 7.1, 7.2, 7.3 da 14598-1 tambm tratam deste assunto

- especificao da avaliao cujo objetivo definir o escopo da avaliao e asmedies a que o produto ser submetido. baseada nos requisitos deavaliaoe na descrio do produto fornecida pelo requisitante;

O item Processo de avaliao de produto de soft w aredeste Guia trata destetpico e os itens 8.1, 8.2, 8.3 da 14598-1 tambm tratam deste assunto.

- projeto da avaliao que resulta num plano baseado na especificao daavaliao. O plano deve documentar os mtodos de avaliaoa serem usadospelo avaliador, para realizar as medies especificadas na especificao deavaliaoe deve mostrar o cronograma da avaliaode acordo com os recursosnecessrios e disponveis para realizar a avaliao. No plano deve estarrelacionados os mtodos a serem utilizados de acordo com cada parte doproduto onde estes mtodos sero utilizados. Os mtodos podem estar emforma de mdulos de avaliao(ver item Documentao de Mdulos de

Avaliao)


35/65



35

O item Processo de avaliao de produto de soft w aredeste Guia trata destetpico e o item 9.1 da 14598-1 tambm tratam deste assunto.

- execuo do plano de avaliaoconsistindo em inspeo, medioe testedosprodutos e de seus componentes de acordo com o plano de avaliao. Estasaes podem ser executadas utilizando-se de ferramentas de soft w are

(normalmente do avaliador), tanto para as medies como para a interpretaodos resultados. As aes executadas pelo avaliadorso registradas assim comotodos os dados referentes ao produto sendo avaliado e os resultados obtidos. Apartir disso criada uma versopreliminar do relatrio deavaliao;

O item Processo de avaliao de produto de soft w aredeste Guia trata destetpico e os itens 10.1, 10.2, 10.3 da 14598-1 tambm tratam deste assunto.

- concluses da avaliao, que consiste na reviso do relatrio de avaliao eliberao dos dadosde avaliao, assim como a devoluo, pelo avaliador, doproduto avaliado e de seus componentes.

Este tpico no relatado separadamente no Processo de avaliao da

14598-1, ele est englobado nos itens 10.1, 10.2, 10.3 da 14598-1.


36/65



36

8. PLANEJAMENTO E GESTO

A Norma 14598-2 tem como objetivos bsicos a organizao das atividadesnecessrias ao suporte das avaliaes realizadas dentro dos vrios projetosde uma organizao. Essas atividades so, entre outras, o fornecimento derequisitos, recomendaes e orientaes para uma funo de suporte avaliaode produtos de soft w are.

A funo de suporte avaliao deve motivar e treinar as pessoas envolvidas emavaliao dentro da organizao e preparar documentos, mtodos e tecnologiasadequadas para avaliao. A gesto de tecnologia para avaliaoest relacionadacom o planejamento e gesto de processos, mtricase ferramentas para avaliao.

O pblico alvo da 14598-2 so as pessoas responsveis pelo(a):

1. gerncia do uso de tecnologias de avaliao,

2. suporte avaliaode produtos de soft w are,

3. gerncia de organizaes de desenvolvimento de soft w are,

4. funo de garantia da qualidade.

A funo de apoio avaliaodeve fornecer um suporte abrangente organizaopara projetos de desenvolvimento de soft w are, aquisio de soft w are e avaliaode soft w are. Ela deve desempenhar papis que incluam:

obteno de padres e de informaes tcnicas,

desenvolvimento de padres e ferramentas domsticas,

desenvolvimento de critrios para benchmark,

avaliao da eficcia e da qualidade de qualquer aquisio ou

desenvolvimento de soft w are, coleta e anlise de resultados de avaliaes,

disseminao dos resultados de avaliaes,

facilitao da transferncia de tecnologia (baseada na experincia interna deavaliao), e

suporte a projetos de avaliaoe seus respectivos gerentes.

Ela pode ser interna, ou externa, organizao que est avaliando o soft w are

Esta funo dever ser pensada em dois nveis, como ser descrito a seguir: no nvel

da organizao e no nvel dos projetos.8.1 A FUNO DE SUPORTE AVALIAO NO NVEL DA ORGANIZAO

As organizaes encarregadas de desenvolver, adquirir ou avaliar soft w aredevemter as responsabilidades de avaliao e de garantia de qualidade claramentedefinidas e incorporadas em um plano. Os seguintes requisitos e recomendaesdevem ser seguidos mesmo que as atividades de avaliaosejam terceirizadas:

1. planejamento do uso e da melhoria da tecnologia de avaliao

2. implementao da tecnologia de avaliao

3. transferncia da tecnologia de avaliao


37/65



37

4. avaliaoda tecnologia de avaliaousada

5. gerenciamento das experincia de avaliao

8.2 A FUNO DE SUPORTE AVALIAO NO NVEL DO PROJETO

Todo projeto deveria ter associado um projeto de avaliao. O apoio a esse projetode avaliaodeve ser dado pela funo de suporte de avaliaoexistente dentro daorganizao. Esse suporte inclui o planejamento da avaliao (atravs daelaborao de um Plano de Avaliao Quantitativa, que auxilia o gerente de projetoa definir e monitorar os seus objetivos quantitativos de qualidade) e a promoodesse plano de avaliao e da tecnologia usada para outros projetos dentro daorganizao. A implementao do plano deve ficar a cargo do gerente do projeto emquesto.

A funo de suporte de avaliaopode obter a confiana dos gerentes de projetocom relao utilidade de um plano de avaliao atravs de ferramentas dedivulgao (por exemplo, palestras, reunies tcnicas etc.).

Para cada projeto de avaliao deve ser elaborado um Plano de AvaliaoQuantitativa quepossua a seguinte estrutura de tpicos:

1. Introduo

2. Objetivos da avaliao

3. Caractersticas de qualidadeaplicveis

4. Lista de prioridades

5. Objetivos de qualidade

6. Cronograma

7. Definio de responsabilidades8. Categorias de medio

9. Uso e anlise de dados

10.Relatrios

11.Outros requisitos


38/65


39/65



39

9.2 ESCOPO

No escopo so identificadas as caractersticas (ou subcaractersticas), o nvel deavaliao, as tcnicas utilizadas e o escopo de aplicao do MA.

As caractersticas, ou subcaractersticas, que o mdulo de avaliao pode avaliar

so as definidas na norma ISO/IEC 9126 (funcionalidade, confiabilidade,usabilidade, eficincia, manutenibilidadee portabilidade). Um MA pode contribuirpara uma, ou mais, caractersticas ou subcaractersticas, mas como foi dito hpouco interessante que cada um se atenha a uma nica (sub)caracterstica porfacilidade de gesto.

Os nveis de avaliao so relacionados com a importncia da caracterstica, ousubcaracterstica, avaliada. Convm que o nvel seja descrito levando-se emconsiderao o uso pretendido do soft w are e o ambiente no qual o produto desoft w areoperar (por exemplo, condies de segurana, restries de seguranadeacesso, riscos econmicos e restries de aplicao). Ele define a profundidade oueficcia da avaliao em termos de tcnicas de avaliao a serem aplicadas e

resultados de avaliaoa serem obtidos. Diferentes nveis de avaliao fornecemdiferentes nveis de confiabilidadesobre a qualidadedo produto de soft w are.

A tcnica da avaliaoaplicada pelo mdulo deavaliao inclui a teoria relevante,modelos ou heursticas que sirvam de base para a avaliao. Se a descrio no auto-contida, referncias adequadas devem ser includas. As tcnicas tem umagrande ligao com o nvel de avaliaoescolhido. Alguns exemplos de tcnicas deavaliao so: modelos de crescimento de confiabilidade, teste funcional, anliseesttica de cdigo e inspeo de cdigo.

A aplicabilidade deve identificar o escopo de aplicao do mdulo deavaliao. Porexemplo, o mdulo deavaliaopode ser aplicvel a uma linguagem de programa

particular, ou classe de linguagens imperativas.9.3 REFERNCIAS

Nas referncias so fornecidas todos os documentos normativos e normas tcnicasrelevantes. Tambm se mencionam aqui outros MA, caso este MA dependa doresultado de outros mdulos de avaliao.

9.4 TERMOS E DEFINIES

So definidos todos os term

nbr 14598 9126 - iso iec - guia para utilização das normas sobre avaliação de qualidade de...

Documents