scampi1/47 o método de avaliação scampi alexandre vasconcelos

SCAMPISCAMPI 11/47/47

O O Método de Avaliação SCAMPI Método de Avaliação SCAMPI

Alexandre VasconcelosAlexandre Vasconcelos


Método de Avaliação SCAMPIMétodo de Avaliação SCAMPI

Um método de avaliação tem como objetivo determinar o nível de aderência de um processo, ou conjunto de processos, à um modelo de referência

Um dos produtos do projeto CMMI é o método de avaliação SCAMPI – Standard CMMI Appraisal Method for Process Improvement


Método de Avaliação SCAMPIMétodo de Avaliação SCAMPI

Objetivos Coletar dados para entender os processos implementados Determinar o nível de aderência de um processo, ou conjunto de

processos, nos projetos eleitos como representativos na organização, às práticas do CMMI

Determinar o grau de satisfação das metas investigadas na avaliação

Identificar pontos fortes e fracos do processo Atribuir classificação (se requerido pelo patrocinador da

avaliação)


Método de Avaliação SCAMPI: Principais Método de Avaliação SCAMPI: Principais AspectosAspectos

Realizada colaborativamente por uma equipe liderada por um Lead Appraiser autorizado pelo SEI

Seleção do escopo organizacional Unidade organizacional previamente definida em comum acordo

com o contratante.

Verificação através de evidências objetivas Informações qualitativas ou quantitativas, registros, declaração de

fatos que caracterizam a implementação de elementos do processo



Implementação das práticas baseadas em Indicadores de Implementação

das Práticas “PII-based process appraisal”

Tipos de indicadores Artefatos diretos, artefatos indiretos e afirmativas

PP SP1.1-1

Estabelecer um WBS (work breakdown structure) de alto nível para o escopo do

projeto

Artefatos indiretos:

Atas de reuniões, Anotações do desenvolvimento do WBS

Artefatos diretos:

WBS, descrição de tarefas, descrição dos pacotes do projeto

Informações:

“Eu trabalhei na equipe de definição do WBS”, “Eu utilizei o WBS como base para minhas atividades”



“Corroboração” das informações Artefatos diretos combinados com artefatos indiretos ou

informações obtidas em apresentações e entrevistas

Cobertura da avaliação Evidências objetivas suficientes para a implementação de cada

prática Evitar avaliações baseadas somente em papel, devem haver

afirmações declaradas (chamadas face-to-face F2F)Pelo menos 50% das práticas de cada meta


Método de Avaliação SCAMPI: Classes de Método de Avaliação SCAMPI: Classes de AvaliaçãoAvaliação

Características Classe C Classe B Classe AEvidência objetiva baixa média altaGeração de ratings não não simUso de recursos baixo médio altoTamanho da equipe pequeno

mínimo 1médio

mínimo 2grande mínimo 4 e

máximo 9


Método de Avaliação SCAMPI: AtividadesMétodo de Avaliação SCAMPI: Atividades

Planejar e preparar a avaliação Média de tempo de três meses

Conduzir a avaliação Média de 6-8 dias

Reportar os resultados da avaliação Resultado preliminar Resultado final Ocorre imediatamente após a realização da avaliação


Método de Avaliação SCAMPI: Papéis em Método de Avaliação SCAMPI: Papéis em uma Avaliaçãouma Avaliação

Participantes da avaliação Patrocinador da avaliação Gerentes de projeto Lideres de equipe Membros da equipe de desenvolvimento

As pessoas a serem entrevistadas são selecionadas desde a fase do planejamento


Método de Avaliação SCAMPI: Papéis em Método de Avaliação SCAMPI: Papéis em uma Avaliaçãouma Avaliação

Equipe de avaliação Média de 4 a 5 pessoas Líder da avaliação – Possui a responsabilidade geral sobre a

avaliação Membros da equipe - Se dividem em mini-equipes por área de

processo a ser avaliada Outras Responsabilidades a serem atribuídas na equipe:

Coordenador – responsável pela logística da avaliaçãoBibliotecário – responsável por toda documentação da avaliação Controlador do tempo Todos devem tomar nota de tudo durante o processo

Equipe completa => REVISA TODO O TRABALHO O resultado final de uma avaliação é consensual!!


Processo de Obtenção de Processo de Obtenção de RatingsRatings

Ratings de nível de capacidade e/ou maturidade

Ratings de satisfação dos objetivos (metas)

Caracterização da implementação das práticas (PIIs) em nível de unidade organizacional

Caracterização da implementação das práticas (PIIs) em nível das instanciações (projetos)


Caracterização da ImplementaçãoCaracterização da Implementação

Nível de Implementação da Prática

Caracterização

FI (Fully Implemented) O indicador direto está presente e julgado adequado

Existe pelo menos um indicador indireto e/ou afirmação para confirmar a implementação

Não foi notada nenhuma fraqueza substancial LI (Largelly Implemented) O indicador direto está presente e julgado

adequado Existe pelo menos um indicador indireto e/ou

afirmação para confirmar a implementação Foi notada uma ou mais fraquezas

PI (Partially Implemented) O indicador direto não está presente ou é julgado inadequado

Artefatos ou afirmações sugerem que alguns aspectos da prática estão implementados

Foi notada uma ou mais fraquezas NI (Not Implemented) Qualquer situação diferente das acima


Regras de Agregação em Nível de Regras de Agregação em Nível de ProcessosProcessos

Caracterizações Resultado Notas Todas X X Todas LI ou FI LI Existe alguma PI, mas sem NI

LI ou PI Decidido pela equipe

Existe algum NI NI, PI ou LI Decidido pela equipe


Exemplo de DiagnósticoExemplo de Diagnósticodo Nivel de Maturidade do Nivel de Maturidade


Resultado do DiagnósticoResultado do Diagnóstico do Setor XXX do Setor XXX


ObjetivosObjetivos

A finalidade do diagnóstico é prover visibilidade para a gerência do setor XXX a respeito da aderência dos processos e práticas da unidade ao nível 2 do CMMI;

Para atingir o objetivo proposto, se torna indispensável o entendimento a respeito do status atual dos processos e práticas quanto ao atendimento ao nível 2 do CMMI.


Descrição dos Papéis na AvaliaçãoDescrição dos Papéis na AvaliaçãoPapel Descrição Responsável Responsabilidade

Patrocinador Alta gerência João Xyz - Revisar e aprovar este plano- Promover recursos necessários para avaliação- Providenciar a sala e equipamentos conforme requisitos colocados

Coordenador da Avaliação

Representante do setor avaliado, responsável por facilitar a condução da avaliação

Fabio Abc - Organizar a documentação dos projetos e dos processos e torná-las disponíveis para consulta na sala de trabalho- Fazer o intercâmbio de informações com os avaliadores, assegurando que todos os aspectos aqui definidos estarão sendo atendidos- Obtenção das assinaturas dos envolvidos e patrocinadores no documento de planejamento até a data prevista no cronograma.

Avaliador Equipe Externa

Avaliadores responsáveis por conduzir a avaliação e apresentar resultados

Alexandre Vasconcelos e ...

- Elaborar o plano da avaliação e submetê-lo à aprovação- Conduzir a avaliação através de entrevistas e análise de documentos- Reportar resultados

Avaliador Equipe Interna

Avaliadores internos, representantes do setor avaliado

Fabio Abc e ... - Apoiar os Avaliadores Equipe Externa no entendimento dos processos e práticas do setor- Não divulgar os resultados dos avaliadores antes da comunicação final.

Equipe avaliada Participantes das equipes de projetos de desenvolvimento e manutenção

Maria, Martha, ... - Comparecer com antecedência a hora marcada nas entrevistas previstas, no local comunicado- Fornecer todas as informações requisitadas pelos Avaliadores


Condução do DiagnósticoCondução do Diagnóstico

Conduzido por: Alexandre Vasconcelos e ... Data: de xx/yy/zz a xx/yy/zz Local: XXX Técnica:

Processo adaptado do método de avaliação oficial CMMI, com menos rigor, tempo e envolvidos

Entrevistas a membros da equipe Análise de documentos

Foram realizadas x sessões de entrevistas com um total de y pessoas e algumas entrevistas informais complementares.


Escopo AvaliaçãoEscopo Avaliação

Escopo: Unidade de Sistemas Projetos XXX e YYY

Tipos de Serviços Avaliados Desenvolvimento de Sistemas e Manutenção

Escopo do Modelo Nível de maturidade 2 do CMMI, com exceção da Área de

Processo SAM - Gerência do Contrato do Fornecedor, por entendermos como não aplicável


Riscos da AvaliaçãoRiscos da Avaliação

A avaliação não foi realizada no nível de profundidade de uma avaliação oficial Nem todas as subpráticas foram analisadas Não houve corroboração das informações coletadas Nem todos os documentos associados foram analisados


Critérios de AvaliaçãoCritérios de Avaliação

Foi julgado para cada prática: Definição de Processos: quanto a prática está documentada em relação a como

deve ser realizada TD: Totalmente Definido LD: Largamente Definido PD: Parcialmente Definido ND: Não Definido NR: Não Definido

Institucionalização: quanto a prática está em uso na organização TI: Totalmente Implementado (os dois projetos atendem) LI: Largamente Implementado (um projeto atende, e o outro está quase) PI: Parcialmente Implementado (Os dois projetos atendem parcialmente / um dos

projetos atende e ou outro não) NI: Não Implementado (Nenhum dos projetos executou a prática / ou um dos projeto

executou parcialmente)


Dados OrganizacionaisDados Organizacionais


A Empresa (1) – DescriçãoA Empresa (1) – Descrição

Objetivo da obtenção do CMMI-2 Controle e Melhoria do processo de desenvolvimento Marketing, vantagem competitiva no mercado, exportação de

software.

Missão/Negócio Usar a melhor solução tecnológica para satisfazer os clientes dos

clientes.

Tamanho X pessoas: y diretores, z pessoas administrativo-financeira, n

pessoas de suporte ao usuário e o restante como desenvolvedores.


A Empresa (2) – Organograma A Empresa (2) – Organograma

Diretoria Geral

SQA

Conectividadee Segurança

ConsultoriaOrganizacional

Unidade deSistemas

(USI)

UnidadeAdministrativa/

Financeira

Foco da certificaçãoFoco da certificação


A Empresa (3)A Empresa (3)

• Mapeamento dos papeis do CMMI nível 2 nos papéis da organização

Acumulado pelo SQA. Gradativamente passando para os projetos

Gerente de Configuração

Engenheiro de QualidadeSQA

Outros diretoresGerente de Projetos

Diretor geralGerência Sênior

Papel na EmpresaPapel CMMI


A Empresa (4)A Empresa (4)

• Ferramentas

Word, Access (tracking)

PP/PMCMS Project, AllNetic Time Tracker

RM

Helpdesk da Portais, MantisControle de Mudanças

CVS, Ant + XML (geração de builds)GC

FerramentaPropósito


Dados dos Projetos AvaliadosDados dos Projetos Avaliados


Dados dos ProjetosDados dos Projetos

A empresa atualmente possui um total de x projetos de desenvolvimento / manutenção de software

Os x projetos foram avaliados, com o objetivo de se conhecer as principais características dos projetos desenvolvidos na empresa Tipo de cliente Objetivos Ciclo de vida Identificar a atividade primária (desenvolvimento ou manutenção) Tamanho da equipe Cronograma Aspectos de Sub-contratação


Dados de ProjetosDados de Projetos

Os projetos de evolução têm ciclos pequenos de desenvolvimento (1 mês).

Projetos de curta duração < 1 ano utilizam o ciclo em cascata.

Projeto mais longos utilizam o ciclo iterativo e incremental.

Podem existir projetos com uma única pessoa.


Projeto XXXProjeto XXX

Cliente YYY

Objetivo Abc...


Projeto XXXProjeto XXX

Equipe do projeto 1 desenvolvedor em tempo integral; 1 gerente em tempo parcial.

Modelo de ciclo de vida adotado cascata

Cronograma Inicio em xx/yy/zzzz Atualmente o projeto encontra-se na etapa de Análise e Projeto Situação atual: no prazo


Resultados da AvaliaçãoResultados da Avaliação


Resultados – Práticas GenéricasResultados – Práticas Genéricas

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Gráfico Qualitativo de Aderência às Áreas de ProcessoINSTITUCIONALIZAÇÃO PRÁTICAS GENÉRICAS

PA 0 0 0 0 0 0 0

NI 0 0 0 0 0,2 0,1 0,1

PI 0,2 0 0 0 0,2 0,1 0,1

LI 0,4 0,2 0,2 0 0,2 0,2 0,4

TI 0,4 0,8 0,8 0 0,4 0,6 0,4

REQM PP PMC SAM MA PPQA CM


Resultados – Definição de ProcessosResultados – Definição de Processos

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Gráfico Qualitativo de Aderência às Áreas de ProcessoDEFINIÇÃO DOS PROCESSOS

NR 0% 0% 0% 0% 0% 0% 0%

ND 0% 0% 0% 0% 0% 0% 0%

PD 20% 0% 0% 0% 0% 0% 0%

LD 0% 0% 0% 0% 0% 50% 20%

TD 80% 100% 100% 0% 100% 50% 80%



Resultados – InstitucionalizaçãoResultados – Institucionalização

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%

Gráfico Qualitativo de Aderência às Áreas de ProcessoINSTITUCIONALIZAÇÃO DAS PRÁTICAS ESPECÍFICAS

PA 0% 0% 0% 0% 0% 0% 0%

NI 20% 0% 0% 0% 13% 0% 43%

PI 40% 14% 10% 0% 38% 0% 29%

LI 20% 14% 40% 0% 13% 50% 14%

TI 20% 71% 50% 0% 38% 50% 14%



Práticas Genéricas – Principais AspectosPráticas Genéricas – Principais Aspectos

Existe política definida para os processo Os recursos necessários são

disponibilizados para a equipe As responsabilidades estão bem definidas

pelo processo Os papéis na área de medição precisam

ser melhor definidos Treinamentos nos processos foram

realizados Os processos estão sendo avaliados pelo

SQA Com exceção do processo de MA, que

sofreu apenas uma auditoria

Nem todos aparentam conhecer a política dos processos

Nem todos os processos estão sendo seguidos, em geral os processos não estão sendo controlados nem por medições nem por atividades planejadas X realizadas (a PA de medição está tendo a institucionalização iniciada)

O acompanhamento dos processos está sendo feito de maneira informal e sob demanda pela alta gerência

O grupo de SQA não está sendo avaliado quanto a aderência

Desvios EncontradosDesvios EncontradosPontos FortesPontos Fortes


REQM – Principais AspectosREQM – Principais Aspectos

Criação de protótipos para homologação dos requisitos

definição de critérios de aceitação e de provedores de requisitos

A aceitação dos requisitos está sendo realizada através de um checklist

Pontos FortesPontos Fortes Desvios EncontradosDesvios Encontrados

Algumas reuniões não estão sendo documentadas (comprometimento da equipe interna);

O processo de gestão de mudanças ainda não foi executado;

Atenção: O conceito de mudança de requisitos está com foco em mudanças solicitadas pelo cliente (mudanças levantadas internamente)

Um dos projetos não tem matriz de rastreabilidade (análise de impacto empírica);


PP – Principais AspectosPP – Principais Aspectos



PMC – Principais AspectosPMC – Principais Aspectos



MA – Principais AspectosMA – Principais Aspectos



PPQA – Principais AspectosPPQA – Principais Aspectos



CM – Principais AspectosCM – Principais Aspectos



Observações GeraisObservações GeraisInformações não relacionadas com o CMMI


Aspectos GeraisAspectos Gerais

Pontos fortes Existe um grupo de definição de processos atuante; Existe um processo de testes definido; A empresa tem certificação ISO9001 (cultura de qualidade).

Observações O papel e a composição da gerência sênior precisa ser melhor trabalhado

internamente e o processo precisa ser ajustado Não está claro para a equipe de desenvolvimento o papel de cada um

dos coordenadoresNecessidade de melhor conhecimento sobre o organograma da

empresa, papéis e responsabilidades de alguns cargos


Recomendações GeraisRecomendações Gerais


Recomendações GeraisRecomendações Gerais

Recomendação 1: xxx. Recomendação 2: yyy. Recomendação 3: zzz.

scampi1/47 o método de avaliação scampi alexandre vasconcelos

Documents