elaboração de planos de medição para apoiar a melhoria reinaldo cabral [email protected]

Elaboração de Planos de Medição para Apoiar a Melhoria

Reinaldo Cabral

[email protected]

Objetivos de Aprendizagem Ao final, todos devem estar aptos:

Elaborar um plano de medição para sua unidade organizacional

Executar o plano de medição Interpretar os resultados a partir das

medições realizadas

Roteiro

1. Notas Introdutórias

2. Uso do GQM na Elaboração do Plano de Medição:PlanejamentoDefiniçãoColeta de Dados Interpretação e Análise

3. Medição e Análise no CMMI

1. Notas IntrodutóriasMedição

Ambiente

Produtos

Processos

Recursos

Repositório de Medidas

Mensura

ArmazenaOrganização

Analisa e Interpreta

1. Notas Introdutórias Métrica Medida Unidade de medida Escala Medição

ProdutosDesempenhoTaxa de defeitos

ProcessosTempo de execuçãoNúmero de inadequações

RecursosDisponibilidade da infraestruturaTaxa de utilização dos recursosExperiência da equipe

(Fenton e Pfleeger, 1997)


Valor coletado automaticamente ou manualmente a partir da entidade que está sendo caracterizada


Agrega informação à medida. Ex.: cm, metros, minutos,


NominalOrdinalIntervaloRacional


Ato de coletar e registrar medidas.Ex.: Contagem e registro de discrepâncias encontradas em um documento de requisitos; Extração do tempo total investido em uma determinada atividade, etc

1. Notas Introdutórias GQM Paradigm

Origem: Nasa – 1994, Basili e Rombach

Objetivo

Questão

Métrica

Coleta de Dados

Medição

Resposta

Objetivo Alcançado

Definição Interpretação

Planejamento

Coleta de Dados

2. Uso do GQM - Planejamento

Objetivo

Questão

Métrica

Coleta de Dados

Medição

Resposta

Objetivo Alcançado


Planejamento

Coleta de Dados


ObjetivosColetar todas as informações requeridasPreparar e motivar os participantes do

programa de mediçãoDefinir objetivos, procedimentos e cronograma

para o programa de medição


Passo 2: Identificar a área para melhoria Deve-se considerar os objetivos de melhoria do

negócio, geralmente, levando em conta fatores como custo, tempo, risco e qualidade.

Alguns mecanismos de apoio: entrevistas, brainstorming e condução de avaliações preliminares.

Após identificar a área deve-se descrever: O problema ou área de melhoria, processos e produtos

envolvidos, influências (tecnológicas, ambientais, organizacionais e outras), pessoas envolvidas e relatar se estas pessoas possuem alguma experiência com medição e GQM.


Passo 3: Selecionar o projeto e sua equipeNo projeto, a equipe selecionada irá realizar as

atividades de medição. Ela é responsável pelo programa de medição e seus resultados.

Comprometimento, motivação e entusiasmos são fatores vitais para o sucesso no programa de medição.

A equipe de projeto deve ter um canal de comunicação eficiente com a equipe GQM para discutir propostas para alterações no programa de medição.


Passo 4: Criar o plano do projeto Deve conter: uma apresentação geral do plano,

introdução, caracterização do plano, cronograma detalhado, organização, processo de gerenciamento, treinamento e atividades para divulgação dos resultados.

Deve-se dar ênfase na análise custo-benefício e na lista dos marcos e datas limites associadas aos respectivos subprodutos que devem ser produzidos.

A equipe do projeto deve participar e se comprometer com a execução do plano.


Passo 5: Treinamento e divulgação Todos os participantes devem entender claramente a

proposta, bem como seus benefícios, o investimento (esforço) e a necessidade de executar todas as atividades previstas.

A pauta de treinamento aos participantes deve incluir: os princípios da medição, o paradigma e o método GQM. Entretanto, a ênfase deve ser em questões práticas relativas ao método, tais como:

Que tarefas de medição executar? por que? Como e quando? Quanto esforço estas tarefas vão demandar? Qual a influência delas nas minhas atividades diárias? O que se pode ganhar com isso? Qual o aprendizado a ser adquirido?


1. A equipe GQM foi selecionada e está instalada2. Há recursos suficientes para a equipe GQM3. Os objetivos de melhoria do negócio foram formulados e

aprovados4. A equipe do projeto foi estabelecida e apóia os objetivos de

melhoria5. A equipe do projeto tem ao menos 2% dos recursos

reservados para o programa GQM6. O plano do projeto está disponível7. Os procedimentos de comunicação estão definidos8. O treinamento e a divulgação estão planejados e descritos9. A gerência está comprometida e é informada regularmente10. A gerência aprova o plano do projeto

Checklist

2. Uso do GQM - Definição

Objetivo

Questão

Métrica

Coleta de Dados

Medição

Resposta

Objetivo Alcançado


Planejamento

Coleta de Dados


ObjetivosProduzir o plano GQMProduzir o plano de mediçãoProduzir o plano de análise


Passo 1: Definir metas para medição As metas são derivadas a partir dos objetivos gerais do

negócio, geralmente, relacionados a melhorias Todos os envolvidos devem participar e se comprometer

com o programa. Modelo para auxiliar na definição das metas:

Analisar: <objeto de estudo> com o propósito de <propósito> com relação aos seus <foco de qualidade> a partir do ponto de vista do <perspectiva> no contexto do <contexto>

Neste modelo, proposto inicialmente por Basili, em 1994, temos:

Objeto de estudo Delimita um escopo para o experimento. Produtos, processos,

recursos, modelos, métricas ou teorias. Propósito

Define a intenção da meta. Caracterizar, controlar ou melhorar o objeto de estudo.

Foco da qualidade Qual o foco da qualidade que vai ser dado ao objeto de estudo.

Efetividade, custo, confiabilidade etc. Ponto de vista

Perspectiva a partir da qual os resultados do experimento são interpretados. Pesquisador, usuário, etc.

Contexto Descrição do ambiente relativo a caracterização dos objetos e

dos sujeitos. A caracterização também pode ser feita de forma quantitativa [Wohlin00].

Auxilia na delimitação do escopo da validade do experimento


Analisar

com o propósito de

com relação aos seus

a partir do ponto de vista do

no contexto do


7 questões para apoiar na definição das metas Quais são os objetivos estratégicos do negócio? Quais forças tem impacto sobre seus objetivos estratégicos? Como podemos melhorar seu desempenho? Quais são as maiores preocupações (problemas)? Quais são as metas de melhorias? Como podemos atingir estas metas? Quais são as possíveis metas de medição e quais as

prioridades?

O resultado deste primeiro passo é a lista de especificações das metas de medição GQM


Passo 2: Revisar ou produzir o modelo de processo de software ou produto É necessário revisar o modelo para que ele possa

suportar as atividades de medição Caso ele não exista o grupo GQM deve cria-lo O modelo não deve ser modificado para se tornar o

ideal, mas deve representar fielmente o estado da prática atual.

Revisões formais, brainstorming, entrevistas estruturadas, apresentações e outros mecanismos, podem auxiliar nesta atividade.


Passo 3: Conduzir entrevistas GQMO objetivo das entrevistas é tornar o

conhecimento tácito em torno da atividade de medição em conhecimento explícito para todos os integrantes da equipe de projeto.

Entrevistas individuais são mais indicadas, pois ajudam a anular fatores que podem influenciar a opinião do entrevistado.

Uso de abstraction sheets


Passo 4: Definir questões e hipótesesQuestões são um refinamento das metas para

um nível mais operacional.O nível de abstração das questões deve ser

equilibrado para facilitar tanto a interpretação dos dados quanto relacioná-los com as metas.

Deve ser levantada quais as expectativas das respostas para cada questão. Isto induzirá uma reflexão em prol do entendimento do processo/produto a ser mensurado.


Passo 5: Revisar questões e hipótesesVerificar se as questões estão corretas. Verificar se as questões estão claras e bem

definidas de modo a facilitar o processo de interpretação e análise e evitar erros ou interpretações equivocadas.


Passo 6: Definir as métricasAs métricas são definidas para prover

informação quantitativa que permita responder as questões de forma satisfatória.

Fatores que podem influenciar os resultados das métricas devem ser identificados

Estes fatores, usualmente, também são definidos como métricas


Passo 7: Checar a completude e consistência das métricasAs métricas devem estar consistentes e

completas com relação ao modelo do objeto sob medição.

Esta verificação deve ser realizada durante toda a fase de definição

A métrica é possível de ser extraída? Em que momento do processo?


Passo 8: Produzir o plano GQMO plano descreve o refinamento de metas para

questões e de questões para métricas.Serve como um guia para interpretação dos

dados.Serve de base para elaboração do plano de

medição e o plano de análise.Também é base da definição dos procedimentos

de coleta de dados e do sistema de suporte à medição.


Passo 9: Produzir o plano de mediçãoCom base no plano GQM, o plano de medição

contempla: Definições formais e descrição textual das medições

diretas; define todos os possíveis resultados; identifica as pessoas responsáveis pelas coletas; em que momento as coletas irão ser realizadas; define e descreve os meios (formulários ou ferramentas) utilizado para realizar a coleta.


Passo 10: Produzir o plano de análiseSimula a interpretação dos dados de acordo com

o plano GQM.Fornece uma indicação da forma dos dados que

serão encaminhados para a equipe do projeto.É criado a partir da baseline de hipóteses.Contém gráficos e tabelas que validam as

hipóteses e a descrição de como os fatores de variação são considerados nos resultados, assim é possível estimar o impacto de cada fator durante a interpretação.


Passo 11: Revisar os planosAlém de garantir a sintonia entre os planos, a

revisão deve: Obter a aprovação dos membros do projeto a respeito

das metas, questões e métricas definidas Incentivar a identificação da ausência ou não

necessidade de alguma definição. Obter a aprovação da definição do material de

feedback proposto.

2. Uso do GQM – Definição

Checklist1. As metas GQM estão definidas 2. A equipe do projeto adotou as metas GQM3. Os modelos de processo que identificam as medições estão

disponíveis4. As questões GQM estão disponíveis e consistentes com as

metas5. As métricas GQM estão disponíveis e consistentes com as

questões6. As métricas GQM estão verificadas e consistentes com o

modelo do processo7. O plano GQM está disponível8. O plano de medição está disponível9. O plano de análise está disponível

2. Uso do GQM – Coleta de dados

Objetivo

Questão

Métrica

Coleta de Dados

Medição

Resposta

Objetivo Alcançado


Planejamento

Coleta de Dados


Objetivos Garantir que todos os procedimentos definidos para a

coleta serão utilizados pela equipe do projeto Garantir que a equipe de projeto possui acesso aos

instrumentos utilizados para a coleta e que está devidamente preparada para utilizá-los.

Realizar a coleta dos dados propriamente dita Validar a medição e armazenar os dados coletados

adequadamente.

Esta fase é orientada pelo plano de medição

2. Uso do GQM – Coleta de Dados

Procedimentos de coleta de dados Deve-se localizar no plano de medição

Quem, quando, como coletar o dado e para quem deve ser enviado.

Meios de coleta Formulários manuais, formulários eletrônicos e ferramentas

automatizadas. Restrições

Geralmente os dados mais valiosos vem de pessoas não de ferramenta

Dados coletados manualmente podem ser suficientes para responder uma questão

Todos os procedimentos devem estas documentados, disponíveis e ser do conhecimento de todos.


Treinamento e início da coleta dos dadosA equipe GQM deve desenvolver em paralelo

um sistema de suporte à medição, que será a base para a fase de interpretação.

Inicialmente pode ser feito um ensaio de coleta com pessoas experientes para identificação de potenciais melhorias antes do início do processo de coleta propriamente dito.

Uma sessão Kick-off deve ser realizada para ratificar o comprometimento com as atividades e procedimentos de coleta de dados.


A equipe GQM deve monitorar o uso de procedimentos, ferramentas e formulários, checando a consistência e a corretude, pois pequenos problemas tendem a ganhar escala durante a coleta de dados. Estes devem ser corrigidos imediatamente após sua identificação.


Construção do sistema de suporte à medição Deve contemplar:

A coleta, o armazenamento, a manutenção e o processamento dos dados. Bem como a formatação e o empacotamento dos dados para uso nas fase de interpretação e/ou para divulgação dos dados.

Flexibilidade e acessibilidade são características importantes

O sistema é baseado no plano GQM Constituído por um banco de métricas, analysis sheet

(dados brutos, processados e formatados em forma de gráficos e tabelas), ferramentas para elaboração de apresentações e um mecanismo de distribuição.


Checklist1. Ferramentas e formulários estão disponíveis2. O período de ensaio foi organizado3. Ferramentas e formulários estão atualizados4. A sessão kick-off de medição foi organizada5. A base de métricas do sistema de suporte à medição está disponível6. Analysis sheet do sistema de suporte à medição está em conformidade

com o plano GQM e o plano de análise7. Slides de apresentação do sistema de suporte à medição estão criados8. Os formulários de coleta de dados estão completamente e

corretamente preenchidos9. A medição validade está armazenada na base de métricas do sistema

de suporte à medição

2. Uso do GQM – Interpretação

Objetivo

Questão

Métrica

Coleta de Dados

Medição

Resposta

Objetivo Alcançado


Planejamento

Coleta de Dados


ObjetivosEncontrar respostas para as questões

estabelecidas no programa de medição (sessões de feedback)

Reportar a alta gerência, em detalhes, os resultados do programa

Realizar uma análise de custo-benefício


Passo 1: Preparação da sessão de feedback Preparar os dados coletados para possibilitar

apresentação e interpretação Procedimentos:

Atualizar analysis sheet no sistema de suporte a medição Criar material adicional para sessão de feedback Atualizar os slides de apresentação Revisar slides de apresentação Salvar cópias de slides e base de métricas (manter versões para

uso futuro) Criar e distribuir amostras


Passo 2: Organizar a sessão de feedbackCaracterísticas gerais

Duração: 1,5 a 2h, máximo 3h, Durante 6 a 8 semanas.

15 a 20 slides para discussão por sessão contendo gráficos e tabelas.

A equipe do projeto é que executa a sessão. O papel da equipe GQM é instigar a equipe

do projeto a refletir sobre os dados e tomar notas sobre o andamento de cada sessão.


Passo 3: Relatar interpretações e resultados da medição A equipe GQM relata em detalhes todas as observações,

interpretações, conclusões e ações pontuais relevantes que foram formuladas durante as sessões.

Os resultados do programa devem ficar documentados, facilmente acessíveis e compreensíveis

Divulgar os resultados para fomentar a criação da consciência organizacional relacionada a programas de medição


Passo 4: Realizar a análise custo-benefício do programa de medição Os benefícios estimados superaram os custos Custos típicos: tempo investido na preparação, em

reuniões, no preenchimento de formulários e no desenvolvimento do sistema de suporte à medição; recursos materiais; recursos humanos.

Benefícios típicos: aumento das vendas, economia de tempo e esforço e melhoria no gerenciamento dos recursos.

Esta atividade é de responsabilidade da equipe GQM.


Checklist1. O material de feedback está consistente com o plano GQM2. Slides de apresentação estão corretos e atualizados3. Uma amostra das apresentações são distribuídas para a equipe

do projeto4. Todos os membros da equipe GQM e de projeto foram

convidados para as sessões de feedback5. Acomodações e equipamentos foram reservados6. Os relatórios da sessão de feedback foram distribuídos entre os

participantes7. Os resultados da medição foram reportados

3.Medição e Análise no CMMI

EspecificarMétricas

Objetivos das Medições

Indicadores das Medições

Repositório das Medições

Procedimentos, Ferramentas

Especificar Procedimentos para Coleta de

Dados e Armazenament

o

Especificar Procedimentos de Análise

Comunicar Resultados

Armazenar Dados e

Resultados

Analisar Dados

das Medições

Coletar Dados

das Medições

Fornecer Resultado

s das Medições

Definir Atividades

de Medição e

Análise

Estabelecer Objetivos da

MediçãoSP 1.1 SP 1.2 SP 1.3 SP 1.4

SP 2.1SP 2.2SP 2.3SP 2.4

SG 1

SG 2

4. Verificação do Alcance dos Objetivos de Aprendizagem

O que deve conter em um plano de medição?

O que deve ser feito antes de executar o plano de medição?

Como realizar a interpretação dos dados?

5.Referências (Wohlin, 2000) Wohlin, Claes “Experimentation in Software Enginneering - An introduction”,

Kluwer Academic Publishers, Massachusetts, USA, 2000.

(van Solingen e Berghout, 1999) Van Solingen, R., Berghout, E. “The Goal/Question/Metric

Method, A pratical guide for Quality Improvement of Software Development”, McGraw Hill, Great

Britain, Cambridge,1999

(Fenton e Pfleeger, 1997) Fenton, N., Pfleeger, S “Software Metrics a Rigorous & Pratical

Approach”, 2nd Ed., PWS Publishing Company, 1997

(Basili e Rombach, 1994) Basili, V. e Rombach, H. “Goal Question Metric Paradigm”,

Encyclopedia of Software Enginnering, v2, 1994.

Elaboração de Planos de Medição para Apoiar a Melhoria

Reinaldo Cabral

[email protected]

elaboração de planos de medição para apoiar a melhoria reinaldo cabral [email protected]

Documents