jogo educativo para apoiar a aplicaÇÃo das Áreas de
TRANSCRIPT
KRISTIANE SILVA VASCONCELOS DE PINA ADORNO
JOGO EDUCATIVO PARA APOIAR A APLICAÇÃO DAS ÁREAS DE PROCESSO DO CMMI-DEV:
NÍVEIS DE MATURIDADE 2 E 3
São José (SC), Fevereiro de 2012
UNIVERSIDADE DO VALE DO ITAJAÍ
CURSO DE MESTRADO ACADÊMICO EM
COMPUTAÇÃO APLICADA
JOGO EDUCATIVO PARA APOIAR A APLICAÇÃO DAS ÁREAS DE PROCESSO DO CMMI-DEV:
NÍVEIS DE MATURIDADE 2 E 3
por
Kristiane Silva Vasconcelos de Pina Adorno Dissertação apresentada como requisito parcial à obtenção do grau de Mestre em Computação Aplicada. Orientador: Marcello Thiry, Dr.
São José (SC), Fevereiro de 2012
FOLHA DE APROVAÇÃO
Esta página é reservada para inclusão da folha de assinaturas, a ser disponibilizada pela
Secretaria do Curso para coleta da assinatura no ato da defesa.
Dedico esse trabalho, primeiramente, a Deus por me conceder a oportunidade de passar
por esse momento mágico em minha vida. Foram dias e noites de estudo e Ele nunca me deixou
esmorecer. Com fé e determinação a sonhada conclusão do mestrado chegou e agora colherei
maravilhosos frutos. Senhor, obrigada!
Às minhas filhas, Ana Luísa e Ana Laura,obrigada pelo amor incondicional e me fazerem
lutar pelos sonhos, mesmo tão crianças passam mensagens de fé, encorajamento e determinação.
Filhas, obrigada! Vocês moram em meu coração para sempre. Eu amo vocês!
Ao meu marido, Gustavo, companheiro, sempre me apoiando nos momentos críticos, nas
trocas de orientadores, nas mudanças de cidade e você sempre ali, presente e dando forças para eu
ir adiante, sem o seu apoio talvez eu não estaria aqui hoje. Amor, obrigada! Eu amo você!
Ao meu pai e minha mãe, com certeza perto e longe me inspiraram a correr atrás dos
sonhos, pelo amor e união que construíram a nossa família e passaram a importância do amor, do
carinho e da compreensão em um lar. Obrigada! Eu amo vocês!
Aos meus irmãos, cunhados e sobrinhos, obrigada pelas vezes que falei sobre o mestrado
para desabafar e, mesmo sem entender do assunto, escutaram.Obrigada! Eu amo vocês!
E, por último, a mim mesma! Kristiane por Kristiane: Guerreira! Você sabe das
dificuldades que enfrentou e tudo que passou, mas foi importante para seu crescimento pessoal,
profissional, como pesquisadora e a busca incessante do conhecimento. Como ser humano,
aprendeu a superar limites, romper obstáculos e provou novamente para si mesma, que com
dedicação e determinação somos capazes de realizar sonhos, você é MESTRE!
Tudo vale a pena quando a alma não é pequena! (Fernando Pessoa)
AGRADECIMENTOS
Ao meu orientador, Marcello Thiry, obrigada pela orientação, pelas críticas feitas de
maneira transparente, pela confiança e apoio, principalmente, na reta final, você foi decisivo para eu
chegar aqui, com certeza eu teria desistido se você não tivesse entrado no meu caminho. Obrigada!
A minha primeira orientadora Christianne Gresse, obrigada por me aceitar como orientanda,
tudo começou com você. Obrigada!
Aos participantes da banca, pelo apoio, pelas críticas e direcionamento. Obrigada!
Ao professor Juliano Oliveira, em especial, por aceitar o convite de participação na banca.
Obrigada!
Aos professores César, André, Anita, Fabiane e Rudimar, pelas contribuições e apoio.
Obrigada!
À Lurdes, com seu sorriso e suas palavras amigas, exemplo de solidariedade e compromisso
com a instituição e alunos. Obrigada!
Aos alunos participantes dos treinamentos e das “jogatinas”, obrigada pela disponibilidade
em estar presentes nos momentos solicitados, transformamos o formalismo de um treinamento em
um ambiente agradável para aprendermos juntos sobre melhoria de processos de software através
do jogo 123SPI. Obrigada!
Obrigada aos que contribuíram direta ou indiretamente com o meu projeto, posso ter
esquecido nomes, mas fica aqui o meu agradecimento especial a cada um que me ajudou seja
elaborando uma pergunta, lendo um trecho do projeto, criticando a aula, sugerindo mudanças para o
jogo. Obrigada!
JOGO EDUCATIVO PARA APOIAR A APLICAÇÃO DAS ÁREAS DE PROCESSO DO CMMI-DEV:
NÍVEIS DE MATURIDADE 2 E 3
Kristiane Silva Vasconcelos de Pina Adorno
Fevereiro / 2012
Orientador: Marcello Thiry, Dr.
Área de Concentração: Computação Aplicada
Linha de Pesquisa: Engenharia de Software
Palavras-chave: Jogos Educativos, Melhoria de Processos, CMMI.
Número de páginas: 195
RESUMO
A melhoria de processos é abordada como agente que eleva a qualidade dos produtos de software, reduz os custos e o tempo dos projetos de desenvolvimento e manutenção de software e, ainda, aumenta a produtividade das empresas. O objetivo desta dissertação é apresentar um jogo de tabuleiro construído com base no modelo de referência CMMI-DEV, considerando os níveis de maturidade 2 e 3, para ser utilizado como complemento ao treinamento tradicional de melhoria de processos. O processo de aprendizagem pode ser motivado com o uso de jogos, dada a estreita relação desses com a construção do conhecimento. O lúdico possibilita desenvolver o cognitivo, trata-se de uma técnica reconhecida na área da educação por facilitar o aprendizado de conceitos, permitir perceber dificuldades e incentivar discussões de forma a descobrir soluções para superá-las. Além da fundamentação teórica, levantou-se o estado da arte de jogos educativos na aprendizagem de conceitos ligados à melhoria de processos, identificando pontos fortes e deficiências dessa técnica e se houve a realização de estudos empíricos. O trabalho ainda apresenta uma avaliação sobre o uso do jogo 123SPI num ambiente educacional por meio de experimentos com grupos de profissionais, atuantes em organizações desenvolvedoras de software e alunos de graduação e especialização em TI, a fim de demonstrar os benefícios do uso do jogo, desenvolvido nesse trabalho, como complemento ao treinamento tradicional, comparando-se os que usaram e não usaram o jogo. Todos os resultados das avaliações realizadas estão documentados e estatisticamente analisados e podem ser verificados ao final do projeto.
EDUCATIONAL GAME TO SUPPORT APPLICATION AREAS OF CASES OF CMMI-DEV: MATURITY LEVELS 2 AND 3
Kristiane Silva Vasconcelos de Pina Adorno
February / 2012
Advisor: Marcello Thiry, Dr.
Area of Concentration: Applied Computer Science
Research Line: Software Engineering
Keywords: Educational Games, Process Improvement, CMMI.
Number of pages: 195
ABSTRACT
Process improvement is discussed as an agent that raises the quality of software products, reduces the time and cost of development projects, and increases companies’ productivity. This dissertation presents a board game built on the reference model CMMI-DEV, considering maturity levels 2 and 3, to complement traditional training in process improvement. The learning process can be motivated through the use of games, given the close relationship between games and the construction of knowledge. Play enables cognitive skills to be developed, and is a recognized technique in education as it facilitates the learning of concepts, enabling difficulties to be perceived, and encouraging discussion aimed at finding solutions to overcome them. Besides the theoretical basis, this work investigates the state-of-the-art in educational games for learning concepts related to process improvement, identifying the strengths and weaknesses of this technique and whether there have been any empirical studies. The work also assesses the use of the game 123SPI in the educational environment, through experiments with a group of professionals working in software development organizations, and undergraduate students and IT experts, seeking to demonstrate the benefits of using the game, developed in this work, as a complement to traditional training, and comparing those who have played the game with those who have not. All the results of the evaluations are documented and statistically analyzed, and are given at the end of the project.
LISTA DE ILUSTRAÇÕES
Figura 1. Habilidades Cognitivas segundo a Taxonomia de Bloom .................................................. 31 Figura 2. Tipos de Aprendizagem ...................................................................................................... 33
Figura 3. Processos de Aprendizagem ............................................................................................... 34
Figura 4. Publicação Currículo Engenharia de Software ................................................................... 36 Figura 5. Áreas de Conhecimento do SWEBOK – Parte I ................................................................ 40 Figura 6. Áreas de Conhecimento do SWEBOK – Parte II ............................................................... 41 Figura 7. Aprendizagem Significativa ............................................................................................... 49
Figura 8. Tabuleiro do Jogo 123SPI .................................................................................................. 71
Figura 9. Diagrama de Processos do Tabuleiro do Jogo 123SPI....................................................... 71 Figura 10. Figura de Áreas de Processo do Jogo ............................................................................... 72 Figura 11. Figura de Recursos de Treinamento do Jogo .................................................................... 73 Figura 12. Exemplo de uma Carta de Pergunta do Jogo .................................................................... 73 Figura 13. Exemplo de Cartas de Missão contendo os objetivos a serem atingidos no Jogo ............ 74
Figura 14. Diagrama de Atividades do funcionamento do Jogo ........................................................ 81 Figura 15. Distribuição por Perfil – 1º, 2º, 3º e 4º Experimentos ...................................................... 94 Figura 16. Perguntas sobre a percepção do jogo. ............................................................................. 125 Figura 17. Pergunta sobre a dificuldade e duração do jogo ............................................................. 126 Figura 18. Pergunta sobre o que é mais e menos interessante e o que pode ser melhorado no jogo
.................................................................................................................................................. 127
Figura 19. Perguntas sobre percepção do jogo no quarto experimento ........................................... 129 Figura 20. Pergunta sobre dificuldade, duração e conteúdo do jogo no quarto experimento .......... 130
LISTA DE TABELAS
Tabela 1. Estrutura do processo cognitivo na taxonomia de Bloom – revisada ................................ 31 Tabela 2. Áreas de Conhecimento do SWEBOK .............................................................................. 39 Tabela 3. Movimentos possíveis durante o jogo ................................................................................ 48 Tabela 4. Movimentos possíveis durante o jogo ................................................................................ 52 Tabela 5. Resumo comparativo de características dos jogos digitais analisados ............................... 56 Tabela 6. Resumo comparativo de características dos jogos não digitais analisados ........................ 59 Tabela 7. Design instrucional para aplicação do jogo 123SPI. ......................................................... 67 Tabela 8. 1° Experimento - Comparativo entre os que jogaram e não jogaram o Jogo 123SPI. ...... 97 Tabela 9. 2° Experimento - Comparativo entre os questionários Pré e Pós-Teste do Jogo 123SPI.
.................................................................................................................................................. 100
Tabela 10. 2° Experimento - Comparativo entre as perguntas dos questionários Pré e Pós-Teste dos níveis de lembrança, entendimento e aplicação. ...................................................................... 100
Tabela 11. 3° Experimento - Comparativo entre os que jogaram e não jogaram o Jogo 123SPI. .. 103 Tabela 12. 3° Experimento – Resultado do Experimento. ............................................................... 104 Tabela 13. 3° Experimento – Comparativo da média de acerto dos grupos experimental e de
controle..................................................................................................................................... 105
Tabela 14. 3° Experimento – Classificação das Diferenças............................................................. 105 Tabela 15. 3° Experimento – Cálculo de T1 e T2 ............................................................................ 106 Tabela 16. 3° Experimento – Hipóteses H2, H3 e H4. .................................................................... 107 Tabela 17. 4° Experimento - Comparativo entre o Grupo A e Grupo B.......................................... 110 Tabela 18. 4° Experimento - Comparativo entre os que jogaram e não jogaram o Jogo 123SPI. .. 111 Tabela 19. 4° Experimento – Comparativo entre os Resultados do Pré e Pós-teste e entre o Grupo A
e Grupo B nos níveis de lembrança, entendimento e aplicação ............................................... 112 Tabela 20. 4° Experimento – Comparativo entre os Resultados do Pré e Pós-teste do Grupo A e
Grupo B – Apenas os que jogaram e não jogaram o jogo........................................................ 113 Tabela 21. 4° Experimento – Classificação das Diferenças............................................................. 115 Tabela 22. 4° Experimento – Cálculo de T1 e T2 ............................................................................ 116 Tabela 23. 4° Experimento – Teste de Normalidade ....................................................................... 117 Tabela 24. 4° Experimento – Grupo Estatístico ............................................................................... 117 Tabela 25. 4° Experimento – Teste Independente ........................................................................... 118 Tabela 26. 4° Experimento – Hipóteses H2, H3 e H4 ..................................................................... 119 Tabela 27. Características entre os Experimentos ........................................................................... 123 Tabela 28. Características entre as avaliações qualitativas .............................................................. 132
LISTA DE ABREVIATURAS E SIGLAS
ACM Association for Computing Machinery ARC Appraisal Requirements for CMMI CMM Capability Maturity Model CMMI Capability Maturity Model Integration CMMI-DEV Capability Maturity Model Integration for Development ES Engenharia de Software ICSE International Conference on Software Engineering IEC International Electrotechnical Commission ISD Instructional System Design ISO International Organization for Standardization ISPIC International Software Process Improvement Certificationn MCA Mestrado em Computação Aplicada MPS Melhoria de Processos de Software MPS.BR Melhoria de Processo de Software Brasileiro PMBOK Project Management Body of Knowledge PMI Project Management Institute PMP Project Management Professional ROI Return on Investment SBC Sociedade Brasileira de Computação SBES Simpósio Brasileiro de Engenharia de Software SBIE Simpósio Brasileiro de Informática na Educação SCAMPI Standard CMMI Appraisal Method for Process Improvement SEI Software Engineering Institute SEPG Software Process Engineering Group SOFTEX Associação para Promoção da Excelência do Software Brasileiro SPI Software Process Improvement SPIBOK Software Process Improvement Body of Knowledge SWEBOK Software Engineering Body of Knowledge TI Tecnologia da Informação UNIVALI Universidade do Vale do Itajaí
SUMÁRIO
1 INTRODUÇÃO .................................................................................... 13
1.1. PROBLEMA DE PESQUISA ........................................................................... 18
1.1.1. Solução Proposta ............................................................................................. 20 1.1.2. Delimitação de Escopo .................................................................................... 22
1.1.3. Justificativa ...................................................................................................... 23 1.2. OBJETIVOS ....................................................................................................... 25 1.2.1. Objetivo Geral ................................................................................................. 25 1.2.2. Objetivos Específicos ....................................................................................... 25 1.3. METODOLOGIA .............................................................................................. 25 1.3.1. Metodologia da Pesquisa ................................................................................ 25 1.3.2. Procedimentos Metodológicos ........................................................................ 27 1.4. ESTRUTURA DA DISSERTAÇÃO ................................................................ 28
2 FUNDAMENTAÇÃO TEÓRICA ...................................................... 30
2.1. PROCESSO DE ENSINO-APRENDIZAGEM ............................................... 30
2.2. FORMAÇÃO PARA PROFISSIONAIS DA ÁREA DE MELHORI A DE PROCESSOS ............................................................................................................. 35 2.3. JOGOS EDUCATIVOS ..................................................................................... 43 2.4. JOGOS EDUCATIVOS PARA MELHORIA DE PROCESSOS ................. 50 2.5. ESTADO DA ARTE SOBRE JOGOS PARA ES ........................................... 51
3 DESENVOLVIMENTO DO JOGO 123SPI ..................................... 63
3.1. DESIGN INSTRUCIONAL .............................................................................. 63
3.2. DESIGN DO JOGO ........................................................................................... 70 3.2.1. Descrição do Jogo ............................................................................................ 70 3.2.2. Referências ....................................................................................................... 70 3.2.3. Composição ...................................................................................................... 70 3.2.3.1. Tabuleiro ....................................................................................................... 70 3.2.3.2. Pinos ............................................................................................................... 72 3.2.3.3. Botões ............................................................................................................. 72 3.2.3.4. Cartas de Perguntas ..................................................................................... 73 3.2.3.5. Cartas para Respostas ................................................................................. 74 3.2.3.6. Cartas para Missão ...................................................................................... 74 3.2.3.7. Recursos......................................................................................................... 74 3.2.3.8. Banca ............................................................................................................. 75 3.2.3.9. Livro de Respostas ........................................................................................ 75 3.2.3.10. Informações sobre o Jogo .......................................................................... 75 3.2.4. Dinâmica do Jogo (jogabilidade) ................................................................... 75
3.2.5. Narrativa .......................................................................................................... 78 3.3. CARACTERÍSTICAS DO JOGO .................................................................... 79
3.4. DESENVOLVIMENTO DO JOGO ................................................................ 81
3.4.1. Seleciona Jogadores ........................................................................................ 81 3.4.2. Jogadores Escolhem um Pino para Representação .................................... 82
3.4.3. Informa Regras do Jogo ................................................................................ 82 3.4.4. Distribui Cartas de Missão e Recursos para Apostas ................................. 82
3.4.5. Recebe Cartas de Missão ............................................................................... 82 3.4.6. Analisa Estratégia a ser Adotada para Concluir Missão do Jogo ............. 82 3.4.7. Realiza Pergunta ............................................................................................. 82 3.4.8. Movimenta para uma Área de Processo do Tabuleiro ............................... 83
3.4.9. Aposta de 1 a 4 Recursos no Processo e Escolha de uma Alternativa correta como Resposta .............................................................................................. 83 3.4.10. Informa Resposta Correta ........................................................................... 83 3.4.11. Recurso incorporado ao processo ............................................................... 83
3.4.12. Recebe Recurso Adicional para Aposta ..................................................... 84
3.4.13. Recurso apostado Retorna para a Banca ................................................... 84
4 AVALIAÇÃO do JOGO 123SPI ........................................................ 85 4.1. AVALIAÇÃO QUANTITATIVA ....................... .............................................. 88
4.1.1. 1º Quase-Experimento Realizado .................................................................. 94
4.1.1.1. Planejamento ................................................................................................ 94 4.1.1.2. Execução ........................................................................................................ 95 4.1.1.3. Ameaças ......................................................................................................... 96 4.1.1.4. Discussão ....................................................................................................... 97 4.1.2. 2º Quase-Experimento Realizado .................................................................. 98
4.1.2.1. Planejamento ................................................................................................ 98 4.1.2.2. Execução ........................................................................................................ 99 4.1.2.3. Ameaças ......................................................................................................... 99 4.1.2.4. Discussão ..................................................................................................... 100 4.1.3. 3º Experimento Realizado............................................................................. 101 4.1.3.1. Planejamento .............................................................................................. 101 4.1.3.2. Execução ...................................................................................................... 102 4.1.3.3. Ameaças ....................................................................................................... 103 4.1.3.4. Discussão ..................................................................................................... 103 4.1.4. 4º Experimento Realizado............................................................................. 108 4.1.4.1. Planejamento .............................................................................................. 108 4.1.4.2. Execução ...................................................................................................... 109 4.1.4.3. Ameaças ....................................................................................................... 110 4.1.4.4. Discussão ..................................................................................................... 110 4.1.5. Análise dos Resultados da Avaliação Quantitativa .................................... 120
4.2. AVALIAÇÃO QUALITATIVA ........................ .............................................. 124
4.2.1. Avaliação Qualitativa do Segundo e Terceiro Experimentos ................... 124
4.2.2. Avaliação Qualitativa do Quarto Experimento .......................................... 129
4.2.3. Análise dos Resultados da Avaliação Qualitativa ...................................... 131
5 CONCLUSÕES .................................................................................. 133
5.1 CONTRIBUIÇÕES DA DISSERTAÇÃO .................................................... 137
5.2 TRABALHOS FUTUROS .............................................................................. 138
REFERÊNCIAS ..................................................................................... 140
APÊNDICE A – QUESTIONÁRIO SOBRE O PERFIL ................... 149 APÊNDICE B – TERMO DE CONSENTIMENTO .......................... 152 APÊNDICE C – AVALIAÇÃO PRÉ-TESTE ..................................... 153 APÊNDICE D – AVALIAÇÃO PÓS-TESTE ..................................... 156 APÊNDICE E – AVALIAÇÃO DA AULA .................... ..................... 159 APÊNDICE F – AVALIAÇÃO DE PERCEPÇÃO DO JOGO 123SPI 161
APÊNDICE G – INFORMAÇÕES SOBRE O JOGO 123SPI ......... 163 APÊNDICE H – PERGUNTAS DO JOGO 123SPI ........................... 169
APÊNDICE I – CLASSIFICAÇÃO DAS PERGUNTAS .................. 176 APÊNDICE J – FRAMEWORK DE AVALIAÇÃO DO JOGO ...... 178
APÊNDICE K – AVALIAÇÃO DO GRUPO DE CONTROLE ....... 191
APÊNDICE L – TESTES ESTATÍSTICOS ....................................... 193
13
1 INTRODUÇÃO
Um dos grandes desafios da Engenharia de Software tem sido assegurar qualidade,
produtividade, prazo e, ainda, as previsões de recursos e custos no desenvolvimento de software.
Yamamura (1999) e Pitterman (2000) abordam a melhoria do processo de software, do
acrônimo inglês SPI – Software Process Improvement, como agente que eleva qualidade dos
produtos de software, reduz os custos e o tempo dos projetos de desenvolvimento e aumenta a
produtividade das empresas. Greenfield (2003) ressalta que o mercado, cada vez mais exigente,
valoriza atributos como qualidade, preço e prazo. Para sobreviver e crescer neste mercado, as
empresas desenvolvedoras de software precisam estabelecer sistemas de produção mais flexíveis,
incorporar mudanças e criar propostas ágeis e eficazes que agreguem valor ao produto
desenvolvido.
Projetos de software mal-sucedidos continuam a liderar as estatísticas da indústria de
software. No entanto, há uma tendência de melhoria, segundo as estatísticas divulgadas nos
relatórios Chaos Report (STANDISH GROUP, 2009). Em 1994, apenas 16% dos projetos de
software foram bem sucedidos. No ano de 2001, esse percentual subiu para 27%, continuou a
apresentar melhoras em 2003, na ordem de 34%, e 35% em 2006. Os últimos números de 2009
mostram que houve uma pequena queda nos indicadores, baixando para 32% os projetos
considerados bem sucedidos, mas não se pode desconsiderar o fato de que a quantidade de projetos
bem sucedidos dobrou nos últimos quinze anos. Embora esse número pareça pouco significativo,
ele é bastante relevante, dada a complexidade dessa indústria.
Couto (2007) aponta possíveis causas dessa melhoria: o término da crise que atingiu a
indústria de software na década de 80, destacando-se a consequente evolução do processo de
desenvolvimento de software de um modelo caótico para um processo gerenciável e controlado;
aumento da percepção da indústria da importância estratégica do software e da exigência dos
clientes; investimentos realizados pelo mercado de software no sentido de desenvolver e difundir
normas e modelos de qualidade como ISO 9001 - International Organization for Standardization e
CMMI – Capability Maturity Model Integration, os quais passaram a ser implementados pelas
organizações desenvolvedoras e exigidos pelos clientes.
14
Nos últimos anos, tem-se percebido uma preocupação quanto a melhorar a maturidade do
processo de desenvolvimento de software tanto nos clientes como nas organizações
desenvolvedoras de software, as quais passaram a ser solicitadas a comprovar suas competências:
técnica, operacional e gerencial.
Neste contexto, o mercado passou a exigir que essas organizações demonstrem seus
processos operacionais e gerenciais, internos e externos, especialmente os relacionados aos clientes
e fornecedores - parceiros tecnológicos, fornecedores de serviços e financeiros. A implementação
de programas de melhoria de processos – SPI – possibilita demonstrar e aumentar a competitividade
das empresas, nos mercados nacional e internacional (WEBER, 2004; DYBA, 2003).
Alguns programas de melhoria de processos provêem orientações para aumento da
capacidade de um sistema de processos, com base nos resultados de uma avaliação e por meio de
mudanças, atualizações ou aperfeiçoamento dos processos existentes (WANG, 2002).
E, o desafio da gestão de processos é ajustar os processos para atenderem aos requisitos do
cliente com o objetivo de entregar produtos e serviços de qualidade garantindo a organização uma
gestão de processos controlada e estável que permita predizer resultados, realizar planejamentos
adequados, acertar as estimativas de custos e prazos e entregar produtos de qualidade reconhecida.
Se processos sob controle não atingem os objetivos organizacionais desejados, devem ser revistos e
aperfeiçoados (WANG, 2002).
Assim, pode-se dizer que a melhoria dos processos de desenvolvimento e manutenção de
software depende da definição e uso de processos de software, tarefa que envolve a complexa inter-
relação de fatores organizacionais, culturais, tecnológicos e econômicos (ROCHA, 2001).
Na mesma linha de pensamento, Pressman (2005) apontava como principal causa dos
problemas de gerenciamento a ausência de um processo de desenvolvimento de software claramente
definido, possibilitando a coleta das lições aprendidas e a incorporação de novas tecnologias,
resultando em um processo de melhoria contínua.
Estudos de caso realizado pelo SEI – Software Engineering Institute, conduzidos durante
mais de duas décadas, fornecem evidências de que a melhoria do processo de desenvolvimento traz
diversos benefícios, entre eles: o aumento da qualidade do software produzido, aumento da
satisfação do cliente, aumento da produtividade da empresa, redução dos custos de
15
desenvolvimento, diminuição da rotatividade de pessoal, aceleração da curva de aprendizado do
desenvolvedor e aumento da moral da equipe (SEI, 2010).
Uma iniciativa relevante no estudo de aplicação de métodos de avaliação de investimento
em TI, direcionada ao setor de software, foi feita pela revista IEEE Software, publicada pela IEEE
Computer Society que, em 2003, realizou uma chamada de artigos em torno do assunto “Retorno
sobre o Investimento (ROI) no Setor de Software (Return on Investment in the Software Industry –
Call for Articles)” (IEEE Software, 2003).
Os artigos apresentados na chamada focaram no impacto das iniciativas de software e no
relato de escolhas técnicas e gerenciais a partir de uma perspectiva direcionada pelo retorno sobre o
investimento. Essa iniciativa buscou relatos de análises práticas de ROI na melhoria ou adoção de
processos e métodos de desenvolvimento de software; na aquisição de software versus
desenvolvimento interno; e nas infraestruturas e plataformas de software, incluindo projetos de
migração e de reestruturação. Erdogmus et al. (2004) relatam que esses artigos provêem ideias
concretas sobre a avaliação de investimentos no contexto do desenvolvimento de software, mas não
esgotam todo o escopo dessa aplicação. A avaliação do investimento na manutenção de sistemas
legados, por exemplo, não foi abordada nesses artigos.
Além de outras pesquisas realizadas que também indicam que empresas que investiram em
melhoria de processo de software foram bem sucedidas e obtiveram retorno de investimento, da
ordem de 4,7 por 1 e, em alguns casos, até 9 por 1 na relação entre os benefícios e os custos da
melhoria de processos (MCCONNELL, 2003; CMMI, 2010).
Segundo Fuggetta (2000), foram criados modelos de referência para melhoria dos processos
de software visando obter mais controle e mais competitividade para as organizações que os
adotam. Alguns desses modelos propõem etapas a serem realizadas de forma a melhorar a qualidade
de um processo de software.
Os modelos e normas mais conhecidos são: CMMI-DEV (CMMI, 2010), ISO/IEC
12207:2009 (NBR ISO/IEC 12207, 2009), ISO/IEC 15504-5:2008 (NBR ISO/IEC 15504, 2008) e,
mais recentemente, o MPS.BR (Melhoria do Processo de Software Brasileiro) (MPS, 2009).
Debou (2000) observa que um número cada vez maior de empresas tem empreendido
esforços e recursos financeiros significativos na melhoria de seus processos de software. Esses
16
empreendimentos podem durar anos e consumir muita energia das equipes envolvidas. No entanto,
estudos demonstram que cerca de dois terços dessas iniciativas falham ou não evoluem como
esperado, causando sérios prejuízos financeiros e desestimulando as equipes (NIAZI; WILSON;
ZOWGHI, 2005).
Esse interesse crescente pela melhoria do processo de software tem aumentado de forma
significativa a demanda do mercado por profissionais atuantes na área de Engenharia de Software.
Em 2009, o Observatório da Associação para Promoção da Excelência do Software
Brasileiro (SOFTEX) realizou estudo que apontava o crescimento de 17% ao ano, de 2003 a 2006,
de trabalhadores assalariados no setor de Tecnologia da Informação (TI), nas empresas cuja área
fim é a Informática. Esse mesmo estudo apontou um déficit nacional de 200 mil profissionais
qualificados na área de Engenharia de Software, apenas para o setor de serviços. Segundo o mesmo
estudo, o setor tem dificuldades para contratar em decorrência da falta de formação profissional
(SOFTEX, 2009).
Segundo, ainda, o relatório, 48.2% das empresas participantes da pesquisa qualificaram a
formação do profissional de TI como sendo ruim ou razoável e apenas 3.6% das empresas
consideram a qualificação dos profissionais ótima e, a maioria das empresas declarou não ter
dificuldades para recrutar profissionais com o perfil desejado (SOFTEX, 2009).
Parte dessa qualificação ruim dos profissionais está relacionada ao conhecimento formal do
profissional de Engenharia de Software. Lethbridge (2003) divulgou pesquisa realizada sobre o
conhecimento que um profissional de Engenharia de Software considerava importante e quais as
necessidades de treinamentos deveriam ser enfatizadas com o objetivo de prover informações a
serem utilizadas na melhoria da educação e dos treinamentos para profissionais dessa área.
A pesquisa de Lethbridge (2003) evidenciou que é dada ênfase às disciplinas de design de
software, programação, análise e testes, mas os assuntos relacionados à MPS – Melhoria de
Processos de Software, que dizem respeito à melhoria de processos, não eram suficientemente
ensinados nas universidades. Classificou-se 75 tópicos aprendidos dentro da educação formal e o
tópico relacionado à MPS ficou na 74º classificação. Chegou-se a conclusão que havia a
necessidade de se readequar os currículos universitários a fim de melhor atender as indústrias e aos
próprios estudantes. Apesar disso, não existiu um esforço integrado da comunidade acadêmica na
17
identificação e elaboração de propostas de solução para os problemas relacionados à educação de
ES – Engenharia de Software, de maneira que transcendesse apenas a documentação de corpo
estático e não representativo das particularidades da área (SANTO et al., 2009).
Apesar das iniciativas existentes para melhorar este processo, as pesquisas subjacentes
muitas vezes são realizadas de forma isolada e localizada, sem focar em uma ação conjunta para
identificar as questões que impactam a educação de ES no cenário nacional. Para tanto, existem
iniciativas para criar uma infraestrutura que busque uma integração das comunidades de educadores
e pesquisadores em educação de ES, a fim de auxiliar a condução de estudos experimentais que
contribuam para a organização e manutenção de um corpo de conhecimento sobre educação em ES
no Brasil (SANTO et al., 2009).
Além dos problemas com a qualificação profissional, a melhoria de processos apresenta,
ainda, dificuldades na implantação de um modelo de referência. Devido à complexidade envolvida
na adoção de modelos de processos de software e de modelos de maturidade e capacidade desses
processos, os profissionais e organizações reconhecem a crescente necessidade de um guia para
estabelecimento de um ciclo de vida na implantação dessas iniciativas. O modelo IDEAL -
Initiating Diagnosing Estabilishing and Learning – é um exemplo que pode ser adotado como
modelo de referência (MCFEELEY, 1996). O modelo IDEAL foi concebido e revisado pelo SEI
para guiar iniciativas de melhoria de processos de software baseadas no CMMI (CHRISSIS, 2011).
Uma possível utilização do IDEAL, proposta por Chrissis (2011), para melhoria de
processos, em conjunto com o CMMI-DEV em estágios, que é objeto de estudo desta dissertação, é
estabelecer uma iteração para cada nível de maturidade a ser atingido. Outra possibilidade é a
granularização em mais etapas, tornando menores as iterações do IDEAL para cada área de
processo prevista nos níveis de maturidade do CMMI-DEV. A forma de conduzir esse processo
depende fortemente da infraestrutura que a organização é capaz de disponibilizar para o esforço de
melhoria, além é claro da cultura organizacional da empresa.
Como infraestrutura, entende-se, sobretudo, a alocação de pessoal capacitado nos papéis e
responsabilidades estabelecidos para os que conduzem o esforço de melhoria, os quais realizam
atividades como: planejamento, definição de processos, avaliações, auditorias, documentação e
treinamento para os usuários dos processos e para a própria equipe de melhoria.
18
Estudos conduzidos para entender as razoes do porquê as organizações não adotam as
normas e modelos para melhoria de processos apontam para questões associadas ao alto custo e à
burocracia relacionada à grande quantidade de recursos e tempo demandados pela execução dos
processos (STAPLES et al., 2007; COLEMAN e O’CONNOR, 2008).
A fim de motivar e buscar o comprometimento desses profissionais com os desafios e as
mudanças, tem-se a necessidade de campanhas de esclarecimentos, treinamentos e participação
efetiva nos novos processos definidos pelo programa. Nesse caso, a alocação de profissionais
motivados e comprometidos é fator importante no programa de melhoria, assim como a criação de
um grupo específico, geralmente denominado geralmente de SEPG – Software Process Engineering
Group, o qual define o planejamento e os objetivos a serem alcançados, bem como as etapas
necessárias para alcance desses objetivos. No entanto, a responsabilidade pelo sucesso desse
empreendimento não é exclusiva do SEPG, a participação da empresa, como um todo, e seus
colaboradores é de extrema importância. Nesse caso, a importância de se investir na gestão de
pessoas, para desenvolver o aspecto comportamental do grupo, focando no desenvolvimento,
treinamento e institucionalização de processos de software (HILGERT et al., 2008). O próprio
framework CMMI-DEV (CMMI, 2010) prevê o processo de treinamento organizacional para todas
as áreas a serem implantadas abordando as necessidades dos profissionais que realizam ou apoiam o
processo (CHRISSIS, 2011).
1.1. Problema de Pesquisa
Embora tenha havido avanços nos modelos de melhoria de software, especificamente o
CMMI-DEV, a forma de implementação desses modelos nos processos das empresas não evoluiu
da mesma maneira, ou seja, existe uma carência de estratégias, processos ou métodos de
implantação de melhoria de software (NIAZI; WILSON; ZOWGHI, 2005).
Já existem iniciativas de identificação de onde estão as dificuldades de implantação dos
programas de melhoria de processos de software. De acordo com um survey realizado por Rainer e
Hall (2002), foram identificados quais fatores influenciam positiva ou negativamente nessas
iniciativas, atentando para o relacionamento entre os fatores relatados e os diferentes níveis de
maturidade das organizações participantes do estudo. Quatro fatores foram considerados críticos: (i)
revisões; (ii) padrões e procedimentos; (iii) treinamento; e (iv) equipe com experiência em
melhorias de processo.
19
Mais, recentemente, STAPLES et al. (2007) realizaram uma investigação das razões que
impedem as organizações de software em implementar melhorias nos seus processos com base no
modelo CMMI. O resultado dessa investigação apontou as seguintes razões: (i) a organização é
pequena, (ii) os serviços de avaliação com base no CMMI são muito caros, (iii) a organização não
tem tempo para utilizar esses serviços e (iv) a organização adota outras abordagens para melhoria
de processos de software.
Observa-se que há vários pontos como fatores críticos de sucesso. Por um lado, quando se
olha a área de treinamento dos profissionais envolvidos na implantação da melhoria de processo, os
mesmos têm enfoque preponderantemente teórico ou abrangem práticas de processos que não são
familiares aos participantes, ou não se baseiam em exemplos concretos da organização ou de seu
domínio de aplicação específico. Essa deficiência dos treinamentos evidencia-se nas iniciativas de
melhoria de processos colaborativas, envolvendo várias empresas. Nesse tipo de treinamento que
reúne várias organizações, o conteúdo é ministrado em blocos organizados por processo, que
correspondem aos processos que devem ser tratados na melhoria (VARKOI e MAKINEN, 1999)
(THIRY et al., 2007).
Na prática, observa-se que durante um programa de melhoria, dependendo da abordagem a
ser seguida e o modelo de referência do processo a ser adotado, CMMI-DEV (CMMI, 2010),
MPS.BR (MPS, 2009) ou NBR ISO/IEC 15504 (2008), por exemplo, as necessidades de
conhecimento diferem para cada etapa do processo de melhoria e, também, para os diferentes tipos
de papéis (WANGENHEIM e SHULL, 2009).
Implantar o CMMI numa empresa e obter os benefícios por ele gerados não é uma tarefa
trivial, e deve ser muito bem planejada e implantada. Uma das grandes dificuldades é que o CMMI
não informa como implantá-lo. Para suprir esta lacuna, foi desenvolvido o modelo IDEAL,
indicando as necessidades de treinamento e as atividades para definir as estratégias de treinamento,
mas não fornece suporte suficiente sobre como esses treinamentos podem ser planejados e
realizados (MCFEELEY, 1996).
Os próprios modelos de maturidade fornecem treinamentos oficiais, como por exemplo:
treinamentos introdutórios aos modelos – Introdução ao MPS.BR (SOFTEX, 2009a) e Introduction
to CMMI (SEI, 2010a); treinamentos para implementadores – Curso para Implementadores do
MPS.BR (SOFTEX, 2009a) e Intermediate Concepts of CMMI for Development (SEI, 2010a); e,
20
treinamentos para avaliadores – Curso para Avaliadores do MPS.BR (SOFTEX, 2009a) e SCAMPI
Lead Appraiser Training (SEI, 2010a).
Para ensinar ES abordagens alternativas podem ajudar os alunos a aprender de maneira mais
efetiva, como por exemplo: a substituição de aulas expositivas por discussão de casos práticos
(GNATZ et al., 2003), dinâmicas de grupo e o uso de jogos (WANGENHEIM e SHULL, 2009).
Acredita-se, então, que formar profissionais capacitados a conduzirem MPS alinhados a um
modelo de referência não é tarefa fácil, pois a ES como disciplina ou curso acadêmico é
relativamente novo (BOEHM, 2006), e a educação de seus princípios e práticas tem recebido uma
atenção especial da comunidade, em virtude das demandas dos sistemas de software atuais, que
exigem escalabilidade, distribuição, integração de diferentes tecnologias, entre outros.
(LETHBRIDGE et al., 2007).
A carência de profissionais adequadamente treinados deve ser o maior empecilho para a
manutenção e posterior crescimento da indústria de software indiana (GARG, 2008). Sem
generalizações, o cenário nacional não é diferente. Por último, o uso extensivo de software pela
sociedade cria uma dependência de profissionais desta área e um lucrativo mercado, que emprega
muita mão-de-obra e não agride o meio ambiente.
Em um curso de Computação ou similar, mais especificamente em uma disciplina de ES,
pouco se usa software no aprendizado dos processos de desenvolvimento de software. Os projetos
desenvolvidos em sala de aula pelos estudantes de ES, em função do tempo e da natureza didática,
não permitem evidenciar diversos aspectos do processo de desenvolvimento (BENITTI, 2008).
O problema está relacionado à maneira como a ES é comumente ensinada, não abrangendo
adequadamente as ações críticas envolvidas no processo de desenvolvimento e na gestão de projetos
(BAKER et al. 2005). Mesmo que o professor possa explicar a maioria destas ações em aulas
expositivas, os estudantes não devem ter a oportunidade de participar de um processo de
desenvolvimento de software completo (BENITTI, 2008).
1.1.1. Solução Proposta
Como visto, anteriormente, o problema abordado nesta dissertação está relacionado à
dificuldade de ensinar melhoria de processos de software. Para contribuir para a sua solução, está
21
sendo proposta a utilização de um jogo de tabuleiro, como estratégia de ensino. Jogos de simulação
são jogos que reproduzem diversas situações da vida real com objetivos de formação, análise ou
previsão (JONES, 1995).
O jogo proposto simula um ambiente organizacional onde os jogadores têm o objetivo de
implementar as áreas de processo dos níveis 2 e 3 de maturidade do modelo CMMI-DEV v1.3:2010
(CMMI, 2010).
A solução proposta, baseada em um jogo de tabuleiro, leva às hipóteses de pesquisa
definidas abaixo, usando nas hipóteses H2, H3 e H4 a taxonomia revisada de Bloom (ANDERSON e
KRATHWOHL, 2001):
• H0 – o efeito de aprendizagem nos níveis de compreensão, aplicação e análise é o
mesmo tanto para os alunos que utilizaram o jogo quanto para aqueles que não
jogaram;
• H1 – o efeito de aprendizagem nos níveis de compreensão, aplicação e análise dos
alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram o jogo;
• H2 – o efeito de aprendizagem no nível de lembrança da taxonomia revisada de
Bloom dos alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram
o jogo;
• H3 – o efeito de aprendizagem no nível de entendimento da taxonomia revisada de
Bloom dos alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram
o jogo;
• H4 – o efeito de aprendizagem no nível de aplicação da taxonomia revisada de Bloom
dos alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram o jogo.
As hipóteses definidas acima devem ser analisadas através da análise quantitativa das
avaliações. Além das hipóteses foram definidas questões para apoiar a avaliação qualitativa do jogo.
As questões estão associadas às cinco hipóteses da pesquisa. As perguntas de pesquisa são:
• 1 – O jogo educacional proposto facilita a aprendizagem em relação aos conceitos
sobre os níveis 2 e 3 do modelo de maturidade CMMI?
22
• 2 – O jogo educacional proposto torna o processo de aprendizagem mais atrativo?
O planejamento dos experimentos deve avaliar quantitativamente e qualitativamente o jogo.
A base para o planejamento foi o framework desenvolvido por Kochanski (2009), norteado por três
questionamentos principais:
a) É possível aos estudantes aprenderem uma habilidade e adquirirem conhecimento
utilizando o jogo proposto?
b) O jogo proposto facilita a aprendizagem dessa habilidade/aquisição de conhecimento?
c) O jogo proposto é considerado apropriado em termos de correção, grau de dificuldade,
atratividade e duração?
1.1.2. Delimitação de Escopo
O presente trabalho se limita à concepção e desenvolvimento de um jogo para o reforço de
conceitos sobre as áreas de processo dos níveis 2 e 3 de maturidade do modelo CMMI-DEV
v1.3:2010 (CMMI, 2010). Não deve ser objeto desse trabalho a infraestrutura de medição incluindo
os objetivos e práticas genéricas do modelo.
O jogo aborda as dezoito áreas de processo associadas aos níveis 2 e 3 de maturidade do
modelo CMMI-DEV v1.3:2010 (CMMI, 2010). Embora outros modelos de maturidade estejam
fortemente relacionados com o tema em estudo, como, por exemplo, o MPS.BR, os mesmos não são
objetos de estudo desse trabalho.
As organizações têm adotado o uso de modelos de maturidade para melhorar sua forma de
trabalho, ou seja, seus processos. E a escolha do jogo sobre CMMI deve-se ao fato de ser um
modelo reconhecido internacionalmente e é referência pelas maiores organizações nacionais de TI.
Sendo que a justificativa de ficar restrito aos níveis 2 e 3 do modelo, deve-se ao fato de serem os
níveis mais usados nas implantações e avaliações do modelo CMMI (SEI, 2011)
O público alvo deste jogo é formado por profissionais de Engenharia de Software. O jogo é
projetado como uma ferramenta didática complementar às aulas tradicionais provendo um ambiente
para exercitar os conceitos apresentados. É suposto que os alunos tenham conhecimento básico em
Engenharia de Software, Gerência de Projetos e sobre CMMI ou MPS.BR.
23
O objetivo é desenvolver um jogo de tabuleiro com cartas, jogadores e desafios, e que possa
ser utilizado dentro de programa de treinamento de melhoria de processos de software. Não é
objetivo deste trabalho desenvolver um jogo de computador.
1.1.3. Justificativa
A justificativa para desenvolver esse trabalho está nas dificuldades já apresentadas sobre os
treinamentos na área de melhoria de processos de software. Como dito anteriormente, uma parte das
iniciativas de treinamento não alcançam os objetivos propostos, em função das abordagens
comumente usadas terem enfoques teóricos e poucos aspectos práticos (VARKOI e MAKINEN,
1999).
A introdução do jogo como ferramenta didática pode auxiliar no processo de treinamento
tradicional (VYGOTSKY, 2001 e KISHIMOTO, 2007). Dessa forma, acredita-se também que os
jogos podem auxiliar nos treinamentos em melhoria de processos de software, apoiando o processo
de absorção do aprendizado e permitindo aos participantes reforçar o conhecimento obtido com o
treinamento tradicional e interagindo com um ambiente lúdico.
Espera-se que o jogo desenvolvido auxilie no processo de fixação dos conceitos
apresentados em sala de aula, criando desafios e colaborações entre os profissionais, incentivando
disputas que estimulem a aprendizagem. A proposta do jogo é propiciar:
• Entendimento da aplicação e do processo de software (CMMI, 2010; CHRISSIS, 2011;
COUTO, 2007);
• Conhecimento e entendimento dos processos previstos nos níveis 2 e 3 de maturidade do
CMMI-DEV v1.3:2010 através de aulas expositivas; e
• Exercício do conhecimento absorvido em sala de aula.
O estabelecimento de processos de software pressupõe uma mudança cultural
organizacional, por essa razão necessita do subsídio de um processo de capacitação e treinamento,
de modo a reduzir a resistência à sua implementação. Treinamentos são mecanismos utilizados
pelas empresas para reciclar os conhecimentos de seus profissionais, possibilitando novas formas de
conduta ou modificando anteriores. As sessões de treinamentos possibilitam, adicionalmente,
24
identificar pessoas chaves para conduzir novos processos, as quais tornam-se referências para os
demais colaboradores (RIBEIRO, 2006).
O jogo, objeto desta dissertação de mestrado, foi concebido para, de forma lúdica, auxiliar
no ensino e aprendizagem dos profissionais a melhor entenderem os conceitos e terminologias do
modelo de maturidade e sua importância na melhoria da qualidade e produtividade do
desenvolvimento de softwares. O jogo é motivacional, como citado por Vigotsky (2001). No jogo
existe a ação, o pensamento e o desenvolvimento de forma livre e essa liberdade incentiva o jogador
a continuar no jogo.
O uso de jogos como ferramentas auxiliares no processo pedagógico é objeto de estudo na
área da educação. Existem referências positivas de especialistas em ensino que apontam o lúdico
como agente motivador da aprendizagem, estimulando o uso desse instrumento metodológico capaz
de criar um ambiente crítico e participativo (BRENELLI, 1996), (BATLLORI, 2006),
(KISHIMOTO, 2007), (MACEDO, 2000).
Segundo Kishimoto (2007), o jogo educativo dá suporte ao treinamento e é um meio de
instrução, um recurso de ensino para o professor, utilizado para desenvolver e educar de forma
prazerosa, transportando para o campo do processo de ensino-aprendizagem condições de
maximizar a construção do conhecimento, introduzindo as propriedades do lúdico, do prazer, da
capacidade, de ação ativa e motivadora.
Como resultado científico esse trabalho pretende contribuir com o avanço das pesquisas
relacionadas à qualidade e eficácia dos treinamentos de melhoria dos processos de software,
apresentando uma nova ferramenta didática desenvolvida para este fim específico – um jogo que
aborda os níveis 2 e 3 de maturidade do CMMI-DEV v1.3:2010. Outra contribuição desse trabalho,
e que vem sendo objeto de pesquisa por estudiosos, é a avaliação sobre o uso de jogos como forma
lúdica e complementar ao aprendizado.
O mapeamento sistemático de estudos apresentado na Seção 2.7 não encontrou trabalhos
similares sobre o uso de jogo para o ensino de níveis 2 e 3 de maturidade do CMMI-DEV
v1.3:2010. Desta forma, demonstra-se o caráter de ineditismo do trabalho tanto em relação ao
cenário nacional quanto ao cenário internacional.
25
A agregação do jogo desenvolvido neste trabalho como parte dos treinamentos dados aos
profissionais envolvidos na melhoria de processos de software possibilita às organizações, no
âmbito econômico e social, aumentar a competência dos profissionais e, por conseguinte as chances
de sucesso das iniciativas de melhoria de processos, ganhando, desta forma, maior competitividade
nos mercados interno e externo.
1.2. Objetivos
O presente trabalho foi realizado com base nos objetivos definidos nas seções 1.2.1 e 1.2.2.
1.2.1. Objetivo Geral
Mapear jogos na área de ES com o objetivo de construir um jogo educativo para apoiar a
aplicação das áreas de processo dos níveis 2 e 3 de maturidade do modelo de referência CMMI-
DEV e avaliar se o jogo construído contribui ou não para o aprendizado dos alunos.
1.2.2. Objetivos Específicos
Para alcançar o objetivo geral, faz-se necessário:
1. Estabelecer um mapeamento sistemático de estudos sobre jogos educativos na área de
melhoria de processos de software. Esse mapeamento deve auxiliar na definição do jogo;
2. Construir um jogo que auxilie o entendimento das áreas de processo do modelo de
referência CMMI-DEV versão 1.3 nos níveis 2 e 3 de maturidade.
3. Avaliar se o jogo desenvolvido contribui para a aprendizagem dos alunos publicando os
resultados obtidos dessa avaliação.
1.3. Metodologia
Para proporcionar um melhor entendimento da metodologia utilizada neste projeto, esta
seção foi dividida em metodologia da pesquisa e procedimentos metodológicos.
1.3.1. Metodologia da Pesquisa
Baseado no proposto por GIL (2002), esta dissertação utiliza o método hipotético-dedutivo.
Inicialmente deve ser realizada uma pesquisa bibliográfica para identificação de um problema
26
relevante e de iniciativas de solução para ele. Após essa pesquisa, deve ser apresentada uma
proposta de solução para o problema fundamentada sobre uma nova pesquisa bibliográfica com a
definição dos objetivos e a identificação das hipóteses. Deve ser elaborado um plano de ensino para
suportar a proposta de solução apresentada e implementada essa solução proposta. Em seguida,
planejar e executar a avaliação e analisar e apresentar seus resultados.
Sob o ponto de vista de sua natureza, esta dissertação pode ser considerada como sendo uma
pesquisa aplicada, uma vez que a solução proposta que é o jogo deve ser usado na prática para a
solução dos problemas enfrentados com os treinamentos em melhoria de processos de software. A
pesquisa aplicada caracteriza-se por seu interesse prático, isto é, que os resultados sejam aplicados
ou utilizados na solução de problemas que ocorrem na realidade (MARCONI; LAKATOS, 1999).
Já sob o ponto de vista de abordagem do problema, a pesquisa pode ser enquadrada como
sendo quantitativa e qualitativa. Pela abordagem quantitativa visa a desenvolver e realizar uma
avaliação de efetividade da aprendizagem proporcionada pelo jogo. Pesquisas consideram a
abordagem quantitativa quando se pode traduzir em números, opiniões e informações para
classificar e analisar através do uso de recursos e técnicas estatísticas, ou seja, tudo é quantificável
(SILVA; MENEZES, 2001). Já a abordagem qualitativa, visa verificar se o jogo proposto é
considerado adequado sob o ponto de vista dos participantes, identificando se é atrativo e se
consegue motivar durante o seu uso. A interpretação dos fenômenos e a atribuição de significados
são básicas no processo de pesquisa qualitativa, que não requer o uso de métodos e técnicas
estatísticas (SILVA; MENEZES, 2001).
Sob o ponto de vista dos objetivos pode ser classificada como pesquisa exploratória, pois
para alcançar os objetivos específicos 1 e 2 deve ser utilizada a pesquisa exploratória através de
levantamento bibliográfico para ajudar a construir o conhecimento sobre o problema que são as
dificuldades no ensino de melhoria de processos de software, a conhecer as iniciativas existentes
nessa área e a desenhar a solução proposta que é o jogo. A pesquisa exploratória tem como objetivo
desenvolver, esclarecer e modificar conceitos, ajudando na formulação de problemas mais precisos,
ou na construção de hipóteses pesquisáveis, normalmente utilizando o levantamento bibliográfico
para alcançar seu objetivo (GIL, 1999).
Para alcançar o objetivo específico 3, deve-se utilizar a pesquisa descritiva para, através de
técnicas padronizadas de coleta de dados, ajudar na avaliação qualitativa e quantitativa do jogo
27
proposto. A pesquisa descritiva tem como objetivo a descrição das características de determinada
população ou fenômeno, ou o estabelecimento de relações entre variáveis, e utiliza técnicas
padronizadas de coletas de dados (GIL, 1999).
1.3.2. Procedimentos Metodológicos
Nesta seção, são detalhados os procedimentos técnicos utilizados e as etapas seguidas para
atingir os objetivos propostos nesta dissertação.
Para a fundamentação teórica são considerados os objetivos desta pesquisa, abordando: (i)
Estudo da teoria sobre processo de ensino-aprendizagem; (ii) Estudo de ensino na SPI e (iii) Estudo
da teoria sobre jogos educativos.
Também é realizado um mapeamento sistemático sobre jogos educativos na área de
melhoria de processos e engenharia de software em geral. Os critérios definidos para essa análise
são: planejamento, realização e interpretação seguindo a abordagem proposta por Kitchenham et al.
(2002). A partir da análise destes jogos e do estudo sobre o processo de ensino-aprendizagem, são
obtidas informações sobre os elementos necessários que devem compor um jogo e sobre os erros
cometidos no desenvolvimento desses jogos. Essas informações devem ser utilizadas na etapa de
concepção do jogo, principalmente na definição dos pontos de decisão e alternativas a serem
apresentadas e na formulação dos critérios de avaliação das decisões tomadas pelo aluno. As
atividades envolvidas: (i) Planejamento da análise dos jogos disponíveis para melhoria de
processos; (ii) Identificação dos jogos; (iii) Avaliação da qualidade entre pontos fortes e fracos,
definição do jogo, autoria, objetivo de aprendizagem e se houve estudo empírico; (iv) Extração dos
dados; (v) Síntese dos dados; (vi) Reporte dos dados.
Para apoiar a avaliação do jogo tem-se um plano de ensino a ser utilizado durante o curso de
introdução ao CMMI para aplicação do jogo. O plano de ensino compreende a definição dos
objetivos de aprendizagem, a seleção do conteúdo a ser ensinado para alcançar os objetivos, os
procedimentos de ensino utilizados durante o curso e a definição das formas de avaliação.
Com base no estudo bibliográfico e na análise do estado da arte, deve ser criado o jogo
educativo para reforçar o conteúdo didático ministrado em sala de aula referente aos níveis 2 e 3 de
maturidade do modelo de referência CMMI-DEV v1.3:2010.
28
As fases de construção do jogo são baseadas no modelo instrucional ADDIE (Analysis,
Design, Developement, Implementation and Evaluation) (MOLENDA et al., 1996) muito utilizado
para a elaboração de materiais instrucionais.
Na etapa de avaliação o jogo deve ser avaliado por meio de um estudo empírico com
profissionais atuantes em empresas de desenvolvimento de software e que está num processo de
implementação das áreas de processo do CMMI-DEV, com alunos de graduação em Gestão de TI e
de especialização (MBA) em TI da disciplina Qualidade de Software com ênfase em melhoria de
processos de software. A avaliação deve ser composta de um treinamento sobre o modelo CMMI-
DEV, uma avaliação pré-teste, o uso do jogo como apoio ao entendimento das áreas de processo,
avaliação pós-teste e avaliação do jogo. Este item é composto por três atividades principais:
planejamento da avaliação do jogo, execução da avaliação e análise/divulgação dos resultados
obtidos.
O planejamento da avaliação contempla os questionários a serem aplicados e o cronograma
das principais atividades, como local onde o jogo deve ser aplicado, alocação de recursos e o
comprometimento de todos. Na execução do jogo, as atividades planejadas devem ser executadas e
os dados coletados. Durante a atividade de análise e divulgação, os resultados devem ser analisados
de acordo com o planejamento realizado e apresentar os resultados da avaliação.
1.4. Estrutura da Dissertação
O trabalho está organizado em 6 capítulos. O Capítulo 1, Introdução, apresenta por meio de
sua contextualização o tema proposto do presente trabalho. Neste capítulo, estão definidos os
resultados esperados por meio da definição de seus objetivos e apresentadas as limitações do
trabalho permitindo uma visão clara do escopo proposto.
O Capítulo 2 apresenta a fundamentação teórica conceituando o processo de ensino-
aprendizagem, mostrando que o ensino não deveria ser o centro do interesse, mas sim a
aprendizagem propriamente dita. Em seguida, apresenta a situação da formação para profissionais
na área de melhoria de processos para em seguida abordar os jogos educativos de maneira geral e os
jogos educativos para melhoria de processos. Ao final do capítulo são mostradas duas tabelas
comparativas sobre o estado da arte de parte de jogos encontrados na área de ES.
29
O Capítulo 3 detalha o jogo construído para apoiar o treinamento em CMMI-DEV
apresentando as características do jogo construído, o referencial para a construção do jogo, a que
público se destina, qual o objetivo de aprendizagem, de que forma se compõe o jogo e quais as
regras para o uso do jogo.
O Capítulo 4 apresenta avaliação do jogo com o planejamento, a definição e a operação de
quatro estudos empíricos realizados com profissionais de TI e alunos de graduação e especialização
de cursos com ênfase em Qualidade de Software, bem como os resultados das avaliações mostrando
uma análise quantitativa e qualitativa dos dados levantados.
E, por último, o Capítulo 5 que apresenta a conclusão do trabalho relacionando aos objetivos
identificados no início do projeto os resultados esperados e alcançados e as contribuições com o
presente trabalho.
30
2 FUNDAMENTAÇÃO TEÓRICA
Para um entendimento básico dos conceitos formadores do tema do presente
trabalho, faz-se necessário um adequado aprofundamento para possibilitar ao leitor
interessado pelo assunto, a percepção e o discernimento das questões-chave para
avaliação do objeto desta pesquisa. Visando alcançar este primeiro propósito, o capítulo
traz conceitos e definições sobre o processo de ensino-aprendizagem, a formação para
profissionais da área de melhoria de processos, jogos educativos e os jogos educativos
para a área de melhoria de processos.
2.1. Processo de Ensino-Aprendizagem
Durante muito tempo o ensino esteve ligado ao objetivismo, ou seja, na
memorização da informação. O interesse era relativamente pequeno em desenvolver
procedimentos educacionais em relações de compreensão. Com o avanço da teoria da
aprendizagem cognitiva essa ênfase nas relações de compreensão foi trocada para as
habilidades genéricas de aplicação como estratégia de aprendizagem e metacognição
(REIGELUTH, 1996).
Nos Estados Unidos e na Europa grupos de pesquisa trabalharam intensivamente
na reconceitualização de projeto instrucional (HANNAFIN, 1988). Conceitos básicos
são tirados da psicologia cognitiva a respeito do processamento da informação e da
aquisição de conhecimento como um processo ativo de integração de conhecimento,
bem como do construtivismo que diz que conhecimento não pode ser dado ao estudante,
mas integrado por ele mesmo reconstruindo ativamente seu mundo de ideias
(JONASSEN, 1991; REIGELUTH, 1996).
Não é o ensino o centro de interesse, mas a aprendizagem. E aprender não pode
ser entendido como recepção mais ou menos passiva de informação, mas como uma
aquisição ativa de conhecimento pelo estudante integrando a informação nova em sua
rede semântica, elaborando e reestruturando seus modelos mentais e suas estruturas
cognitivas (KOZMA, 1991).
Para diagnosticar situações, ensinar e aprender conhecimentos novos, as
habilidades cognitivas são fundamentais. Lista-se aqui o raciocínio analítico, o
31
raciocínio conceitual (abstrato), o raciocínio crítico e a percepção em várias dimensões
ou pontos de vista. Segundo Bloom (1956), as habilidades cognitivas são em seis níveis
conforme o grau de utilização destes tipos de raciocínio e percepção, conforme mostra a
Figura 1:
Figura 1. Habilidades Cognitivas segundo a Taxonomia de Bloom
Fonte: Adaptado de Bloom (1956)
Os processos caracterizados pela taxonomia de Bloom (1956) representam os
resultados de aprendizagem, ou seja, cada categoria taxonômica representa o que o
indivíduo aprende, não aquilo que ele já sabe, assimilado a partir do seu contexto
familiar ou cultural. Os processos são cumulativos, uma categoria cognitiva depende da
anterior e, por sua vez, dá suporte à seguinte. As referidas categorias são organizadas
num gradiente em termos de complexidade dos processos mentais (BLOOM, 1956).
A Tabela 1 ilustra a taxonomia revisada de Bloom (ANDERSON e
KRATHWOHL, 2001) mostrando os objetivos de aprendizagem relacionados pelo
autor e os resultantes da aprendizagem.
Tabela 1. Estrutura do processo cognitivo na taxonomia de Bloom – revisada
Níveis Verbos Exemplos Lembrar Reconhecer, recordar Identificar as formas geométricas
Entender Classificar, comparar, exemplificar, explicar, interferir, interpretar, resumir
Interpretar o enunciado de um problema e converte-lo em uma equação algébrica
Aplicar Executar, realizar Aplicar as soluções de problemas já discutidos em novas situações
Analisar Atribuir, diferenciar, organizar
Diferenciar as informações importantes das irrelevantes no enunciado de um problema
32
Avaliar Criticar, verificar Estabelecer critérios e criticar a redação produzida por outro aprendiz
Criar Gerar, planejar, produzir
Gerar hipóteses sobre um determinado tema e verificá-las
Fonte: ANDERSON e KRATHWOHL (2001)
O elemento crucial na aplicação das habilidades cognitivas de maior nível é o
raciocínio crítico. São justamente estas habilidades de maior nível que implementam o
recurso fundamental do aprendizado e o reaproveitamento adequado das lições
aprendidas. A reflexão sobre o que está sendo aprendido, como combina com
experiências anteriores, o que é único e não usual, como se encaixa em um cenário
maior e porque é importante. O desenvolvimento da habilidade de não apenas formular
questões sobre o que, mas também questões sobre como e porque e, porque isto é
relevante é o objetivo da reflexão crítica (ISSING, 1990).
Em sistemas educacionais o domínio cognitivo ganha maior atenção. O currículo
de escolas e universidades é centrado neste domínio (ISSING, 1990).
Gagné (1965) também destaca o desenvolvimento cognitivo como fator
importante no processo de ensino-aprendizagem e faz uma classificação hierárquica dos
tipos de aprendizagem, conforme mostra a Figura 2.
33
Figura 2. Tipos de Aprendizagem
Fonte: Adaptação de Gagné (1965)
Enquanto Gagné (1965) trabalha um conjunto hierárquico de oito tipos de
aprendizagem, a teoria educacional vigente acredita que há aproximadamente quatro
tipos principais de aprendizagem no domínio cognitivo que requerem modos diferentes
de instrução. Reigeluth (1996) denomina os quatro tipos de aprendizagem como segue:
• Memorizando informação (aprendizagem decorando);
• Relações de compreensão;
• Aplicando habilidades (aplicações de habilidades intelectuais); e
• Aplicando habilidades genéricas (resolução de problemas).
Os objetivos de aprendizagem são colocados mais freqüentemente no domínio
de conhecimento de procedimentos (o saber como) e de conhecimento contextual (o
saber por que, quando e onde) do que no enfatizado domínio de conhecimento
34
declarativo (o saber que). Isso significa que a ênfase mudou de conhecimento de fatos
para a aquisição de habilidades e estratégias cognitivas (TENNYSON, 1992).
A psicologia cognitiva vigente, com sua abordagem construtivista, recomenda
aprendizagem interativa individualizada. Assim, interatividade é um fator crítico no
desenvolvimento de bons programas. Há um largo espectro de possibilidades e modos
para o envolvimento do estudante no processo de aprendizagem. Hammond (1983)
distingue três dimensões: controle, envolvimento e síntese, conforme Figura 3.
Figura 3. Processos de Aprendizagem
Fonte: Adaptação de Hammond (1983)
A dimensão Controle se refere ao grau em que o estudante ou o sistema de
exposição aos materiais e atividades de aprendizagem. A liberdade de ação varia
bastante, desde um esquema de controle passo a passo via instrução programada rígida,
via procedimentos de programa ramificados, tours guiados com sequências fixas, mas
opcionais, até ferramentas de navegação (visão geral, mapas, índices) e completa
liberdade para vagar à vontade no hiperespaço (ISSING, 1990).
Já o Envolvimento, refere-se à extensão em que o estudante é envolvido no
processo de aprendizagem. Em outras palavras, envolvimento significa em que grau o
estudante deve processar o material ativamente em vez de fazê-lo passivamente. Talvez
35
o estudante tenha que resolver problemas, executar experimentos de simulação ou
participar em jogos de aprendizagem competitivos (ISSING, 1990).
E, a Síntese se refere à natureza da atividade de aprendizagem. O estudante pode
ter permissão apenas para ver apresentações preparadas, ou ele pode ser motivado a
fazer anotações, ou podem lhe pedir que crie a própria apresentação usando o material
de informação disponível de acordo com suas metas e idéias pessoais.
Dessa forma, o aprender é mais que recuperar informação. Depende de
interações sutis no contexto de aprendizagem, da informação ou material de
aprendizagem disponível, das ferramentas e das características individuais do estudante.
Teorias, conceitos, modelos e esquemas de forma diferenciada de didática só
podem servir como regras básicas das quais a ação concreta tem que ser deduzida.
Portanto, a avaliação é um passo muito importante para a realização de programas
educacionais efetivos. A avaliação formativa deverá ser preferida em lugar da avaliação
final porque a avaliação formativa conduz a processos de revisão constantes durante o
processo de projeto e implementação e, portanto, conduz ao final a um programa muito
mais efetivo, enquanto que na avaliação final só podem ser encontrados resultados
utilizáveis para revisões posteriores do programa completado (ISSING, 1990).
2.2. Formação para Profissionais da Área de Melhoria de Processos
Todo currículo insinua um conceito de pessoa e mundo (FREIRE, 1972). O
conhecimento é algo que as pessoas constroem juntas analisando três interesses
cognitivos, o técnico, o prático e o transformável (GIBBS, 1988):
• Sob a perspectiva do interesse técnico: o foco é da orientação técnica que está
projetando um currículo no qual os estudantes são vistos como recipientes da
transferência de conhecimento do professor. Os estudantes aprendem
conforme os objetivos de aprendizagem predefinidos em uma estrutura rígida;
• Sob a perspectiva do interesse prático: o foco é da orientação prática que está
projetando um currículo no qual os estudantes são vistos como participantes
ativos na construção reflexiva do conhecimento subjetivo entendendo o
significado do estudo. Consequentemente, o ensino é orientado a processo, o
36
resultado de uma ação não poderia ser conhecido anteriormente. O bom nesse
modelo é assegurar aos participantes interpretações formadas por reflexões
sistemáticas e julgamentos práticos das pessoas envolvidas; e,
• Sob a perspectiva do interesse transformativo: o currículo constitui um
processo ativo em que seu planejamento é avaliado de uma maneira
integrada, desenvolvendo reflexões e interações entre todos os envolvidos.
Desta maneira, essa perspectiva é semelhante a orientação prática, mas que
autoriza os participantes a tomar ações concretas para uma transformação
social.
As diretrizes para os currículos que oferecem uma visão geral dos diferentes
tipos de programas de graduação na área da Computação são fornecidos pela ACM
Association for Computing Machinery, a versão atual do currículo da Engenharia de
Software é de 2005, conforme Figura 4 (ACM, 2005) (SBC, 2011).
Figura 4. Publicação Currículo Engenharia de Software
Fonte: Adaptação de ACM (2005)
A Engenharia de Software emergiu como uma área dentro da Informática. Ela é
responsável por solucionar um numero maior de problemas e, ainda, mais complexos.
Com programas complexos, os profissionais ficaram impossibilitados de entender o
37
projeto inteiro. Dessa forma, criar softwares mais seguros e confiáveis não tem sido
uma tarefa fácil para estes profissionais (ACM, 2005).
Com o amadurecimento da construção de softwares em geral, surgiu também a
necessidade do envolvimento das pessoas em processos. A experiência com construção
de software mostrou que preparar estudantes para serem engenheiros de software não
era uma tarefa simples e peritos na área concluíram a importância de se acrescentar a
esses estudantes a experiência profissional através da vivência real em projetos (ACM,
2005).
Atualmente há uma escassez de vivência prática nos programas de graduação.
Os graduandos podem entender corretamente o desenvolvimento de um sistema e têm
as habilidades dos fundamentos de programação. Porém, acredita-se que os
profissionais não têm êxito confiante para trabalhar em sistemas efetivamente
complexos. É preciso muito mais que simplesmente conhecer os fundamentos da
informática e da programação (ACM, 2005).
A Sociedade Brasileira de Computação (SBC) definiu o currículo de referência
para os cursos de graduação na área de Computação e Informática (SBC, 2011). O
objetivo é servir de referência, em sintonia com as Diretrizes Curriculares para a Área
de Computação e Informática, para a criação de currículos para os cursos na área de
computação, tanto para cursos que tenham a computação como atividade-fim como para
cursos que tenham a computação como atividade-meio (SBC, 2011).
Segundo a SBC (2011), os cursos de Engenharia de Software devem escolher e
trabalhar conteúdos tecnológicos de forma aprofundada ou abrangente coerentemente
com o perfil, as competências e as habilidades especificadas pelas Instituições para os
egressos. Os cursos devem, também, escolher e trabalhar um conjunto de conteúdos
básicos que suportam a formação tecnológica, coerentemente com a abrangência e
profundidade com que cada conteúdo tecnológico deve ser trabalhado.
Ainda, segundo a SBC (2011) os conteúdos tecnológicos e básicos são:
Paradigmas e Ferramentas para Construção de Software; Requisitos, Arquitetura e
Desenho de Software; Gerência de Projetos e de Configuração; Evolução de Software;
Engenharia Econômica; Engenharia de Qualidade; Práticas de Comunicação; Relações
38
Humanas de Trabalho; Dinâmica e Psicologia de Grupo; Impactos sociais da tecnologia
de software; Empreendedorismo; Modelagem, Simulação e Otimização em Engenharia
de Software; Tratamento e Armazenamento de Informação. Planejamento e Controle do
Software; Estratégias de Observação e Experimentação; Normatização e Certificação de
Qualidade; Confiabilidade de Processos, Produtos e Serviços; Pesquisa operacional;
Gestão de Conhecimento, Estratégica e Organizacional;
Há uma necessidade urgente de profissionais de Engenharia de Software que
possam aplicar práticas profissionais que asseguram um software seguro, produzido
dentro do cronograma e do orçamento previsto (ACM, 2005).
Para levantar informações a respeito das perspectivas da indústria brasileira de
software e serviços de TI foi realizada uma pesquisa pelo Observatório da SOFTEX
(Associação para Promoção da Excelência do Software Brasileiro) que foi divulgada no
dia 27 de novembro de 2009 (SOFTEX, 2009).
O relatório mostra entre outras coisas a realidade sobre as dificuldades de
contratação de mão de obra especializada na área de Engenharia de Software em todo o
Brasil e sobre as perspectivas para os próximos anos (SOFTEX, 2009).
O Observatório ratificou o que já era comum no setor, ou seja, o nível de
educação formal dos profissionais de TI é elevado, entre as empresas entrevistadas,
cerca de 57.1% dos profissionais têm nível superior e 16.7% têm pós-graduação. No
entanto, o setor está tendo dificuldades para contratar, há vagas em aberto. Das
empresas entrevistadas, 48.2% definiram como “ruim” e outras 48.2% como “razoável”
a formação do profissional de TI disponível no mercado para contratação. Apenas 3.6%
consideraram essa capacitação “ótima”, afirmando não ter dificuldades para
recrutamento de pessoal com o perfil desejado (SOFTEX, 2009).
Através de simulações e considerando cenários diversos, mais ou menos
intensivos em mão de obra, o Observatório SOFTEX conclui que a falta de profissionais
de TI irá se acentuar no decorrer dos anos. Com apoio de experiências baseadas na
disciplina Dinâmica de Sistemas, e tendo como ponto de partida os dados levantados
sobre a quantidade, a produtividade e a receita gerada, projetou-se um déficit até 2013
considerando diferentes cenários. Mas, levando-se em conta o cenário esperado, ou seja,
39
aquele mais próximo ao que se acredita que ocorrerá, em 2013, haverá uma carência de
cerca de 140 mil profissionais nessa área (SOFTEX, 2009).
Outras iniciativas, por exemplo, da IEEE que criou o SWEBOK - Guide to the
Software Engineering Body of Knowledge têm o objetivo de promover o avanço da
teoria e da prática no campo da Engenharia de Software. O SWEBOK é um guia para o
conhecimento contendo critérios e normas para prática dos profissionais de Engenharia
de Software e serve como um compêndio para esses profissionais (SWEBOK, 2004).
O SWEBOK possui cinco objetivos: (i) promover uma visão consistente do
mundo da engenharia de software; (ii) mostrar a relação da engenharia de software com
outras disciplinas da ciência da computação, gerência de projetos, engenharia da
computação e matemática; (iii) caracterizar os conteúdos da engenharia de software;
(iv) prover um acesso ao conhecimento da Engenharia de Software; (v) prover o
desenvolvimento inicial do currículo e certificação individual do profissional
(SWEBOK, 2004).
As áreas de conhecimento abordadas pelo SWEBOK estão descritas na Tabela 2.
Cada área de conhecimento é dividida em subáreas conforme apresentam as Figuras 5 e
6 (SWEBOK, 2004).
Tabela 2. Áreas de Conhecimento do SWEBOK
Áreas de Conhecimento Objetivo Requisitos de Software Requisitos que definem como deve ser a solução para o
problema real identificado. Inclui 7 subáreas. Design de Software Processo de definir a arquitetura, componentes,
interfaces e outras características de um sistema ou componente. Essa área é dividida em 6 subáreas.
Construção do Software Refere-se à construção detalhada do software: codificação, verificação, testes, testes de integração. Essa área é dividida em 3 subáreas.
Teste de Software Consiste na verificação dinâmica de comportamento do programa de acordo com o definido nos casos de teste contra o comportamento esperado. Inclui 5 subáreas.
Manutenção de Software Uma vez o software em operação, problemas são descobertos e novas exigências sobre o software são feitas. O ciclo de vida da fase de manutenção começa a partir das entregas. É dividido em 4 subáreas.
Gerência de Configuração A gerência de configuração de software é a disciplina
40
de Software que visa identificar a configuração do software com a finalidade de controlar as mudanças mantendo a integridade e confiabilidade ao longo do ciclo de vida do sistema. Inclui 6 subáreas.
Gerência de Engenharia de Software
Refere-se ao gerenciamento e medição da engenharia de software. Medidas são aspectos importantes em toda área de conhecimento. Inclui 6 subáreas, as cinco primeiras referem-se à gerência de projeto e a sexta aos programas de medição.
Processo de Engenharia de Software
Esse processo está preocupado com a definição, implementação, avaliação, medição, gerenciamento, mudanças e melhoria do processo de software. É dividido em 4 subáreas.
Ferramentas e Métodos de Engenharia de Software
Inclui as ferramentas e métodos de Engenharia de Software abrangendo os processos do ciclo de vida completo e, portanto, relacionados a cada area de processo do Guia.
Qualidade de Software A qualidade do software transcende o processo de ciclo de vida. A qualidade é uma preocupação onipresente na criação do software, também é considerada em muitas outras áreas de conhecimento. Inclui 3 subáreas.
Fonte: SWEBOK (2004)
Figura 5. Áreas de Conhecimento do SWEBOK – Parte I
Fonte: SWEBOK (2004)
41
Figura 6. Áreas de Conhecimento do SWEBOK – Parte II
Fonte: SWEBOK (2004)
Além das áreas de conhecimento descritas na Tabela 2, o SWEBOK (2004)
ainda reconhece oito disciplinas relacionadas diretamente à Engenharia de Software e
que os engenheiros devem ter conhecimento: Engenharia da Computação; Ciência da
Computação; Gerenciamento; Matemática; Gerenciamento de Projeto; Gerenciamento
da Qualidade; Ergonomia de Software; Engenharia de sistemas.
Outra abordagem muito usada pelos profissionais de melhoria de processos é a
busca de certificações na área de Engenharia de Software. Uma certificação ainda pouca
buscada no Brasil é a própria do SWEBOK, a seguir são mostrados alguns exemplos de
certificações reconhecidas nacionalmente e internacionalmente:
• Certificação SWEBOK – a certificação é uma realidade plena para o
SWEBOK, a IEEE oferece duas modalidades de certificação, uma voltada
para engenheiros e desenvolvedores inexperientes e recentes e outro para
engenheiros e desenvolvedores experientes. As duas certificações possuem
características semelhantes e similarmente distintas: Certificação CSDA
(Certified Software Development Associate) (CSDA, 2009) - Oferece os
princípios fundamentais para o avanço da carreira de forma promissora,
42
considerando uma forte alavanca na condicionante da experiência estudantil e
as reais requisições do mercado de trabalho, aumenta a contribuição da
produtividade justificando a entidade patronal, vem inclusive a permitir a
partilha de fundamentos e a demonstrar o comprometimento e nível de
profissional. Certificação CSDP (Certified Software Development
Professional) (CSDP, 2009) – Confirma a experiência e competência
profissional, demonstra o comprometimento para expandir a sua capacidade
de assumir responsabilidades acrescidas, distinção das habilidades e
conhecimentos técnicos especializados pessoais, e por ventura vem a oferecer
acesso a grandes redes profissionais;
• Certificação ISPIC – Um grupo de especialistas (IISP Conselho Consultivo)
da área de SPI reconheceu a necessidade de uma educação integral baseada
num programa de certificação tendo como base o conhecimento. A
certificação ISPIC (International Software Process Improvement
Certificationn) fornece as principais credenciais de quem participa dos
esforços SPI com o conhecimento e as habilidades necessárias para executar
suas tarefas com o mais elevado nível de profissionalismo e competência
(SPIBOK, 2009);
• Certificação PMP – Project Management Professional. Certificação oferecida
pelo PMI como um padrão de qualidade dos gerentes de projetos. É um
reconhecimento oficial e público de habilidades individuais na área de
gerenciamento de projetos (PMI, 2008); e,
• Implementador MPS.BR – Como implementador MPS.BR o profissional tem
o conhecimento detalhado sobre os resultados dos processos de software do
Modelo de Referência para Melhoria de Processo de Software (MR-MPS.BR)
publicados no Guia Geral MPS.BR (MPS, 2009) que foi desenvolvido em
conformidade com as Normas Internacionais ISO/IEC 12207 e ISO/IEC
15504 e é compatível com o CMMI. Uma das atribuições do implementador
MPS.BR é a preparação da organização para uma avaliação MPS.BR. Como
pré-requisito para se tornar um implementador MPS.BR é a participação no
43
Curso de Introdução ao Modelo MPS.BR (C1) e a participação no Curso de
Implementador do Modelo MPS.BR (C2) (SOFTEX, 2009a).
Nesse sentido, os programas de Engenharia de Software devem ter um esforço
significativo para fazer do estudante universitário um profissional mais completo, de
forma a proporcionar um equilíbrio entre o conhecimento e as habilidades necessárias
para profissionais de ES (ACM, 2005).
Os recém-formados quando expostos na indústria encontram um cenário em que
técnicas e métodos aprendidos são pouco aplicados (NAUMAN e UZAIR, 2007).
Grande parte das vezes se vê obrigado a utilizar o processo ad hoc, a própria
experiência profissional ensinando, mas que pode gerar um impacto negativo no
estabelecimento de princípios e boas práticas de engenharia no processo de
desenvolvimento de software. Segundo Meyer (2001), a academia não deve assumir
toda essa responsabilidade, pois a universidade não é uma empresa, mas precisa
preparar os estudantes para os reais desafios. Há um consenso de que o ensino de
Engenharia de Software, tradicional e focado em metodologias, deve ser transformado
para refletir a demanda por software mais complexo (BAKER et al., 2005).
Nos últimos tempos, a academia despendeu muito esforço em atacar os desafios
de educação em Computação, encontrando novas maneiras de ensinar a Engenharia de
Software e utilizando diferentes abordagens (DANTAS, 2004; HUANG, 2006).
Entretanto, se tratado como um conjunto de estratégias isoladas, esse esforço tende a se
dissipar, contribuindo para um cenário de ensino e aprendizagem de Engenharia de
Software divergente e localizado, e não baseado em evidência e na utilização dos
melhores recursos educacionais (HIEBERT, 2002). Portanto, identificar mecanismos
que permitam a identificação e organização deste conhecimento, colocando-o à
disposição da comunidade envolvida em educação em Engenharia de Software, torna-se
relevante.
2.3. Jogos Educativos
O uso de jogos como forma de estimular o aprendizado e prover motivação é um
tema bem explorado na literatura (DELAET et al., 2005) (OH e HOEK, 2001)
(VIRVOU et al., 2005).
44
Os jogos, digitais ou não, podem ser projetados para serem utilizados como
ferramentas para diversos fins que não apenas o entretenimento, a este grupo é atribuído
o termo jogos sérios (serious game) (ZYDA, 2005). Para Zyda (2005), os jogos sérios
contemplam uma categoria de jogos que utilizam o entretenimento resultante da
atividade lúdica como meio motivador e facilitador no alcance de objetivos ligados à
educação, treinamento, política, saúde ou estratégias comerciais.
Já os jogos educacionais referem-se aos jogos ligados diretamente a educação e
treinamento (MICHAEL e CHEN, 2006). Para que um jogo seja considerado
educacional, este deve conter, ainda em seu projeto, objetivos educacionais
explicitamente definidos, sem o propósito de ser jogado por simples prazer (MICHAEL
e CHEN, 2006). Entretanto, existem outras interpretações, em que um jogo pode ser
educacional dependendo do seu uso. Por exemplo, Prensky (2007) afirma que um jogo
pode ser considerado uma ferramenta educacional desde que este apresente uma
contribuição efetiva para o projeto instrucional, mesmo que esta contribuição seja
resultante de uma atividade inicial e motivadora ao tema abordado na instrução. Isto
significa que um jogo comum, não inicialmente concebido com o intuito de ensinar,
pode ser utilizado durante a instrução (PRENSKY, 2007). Frente à definição de jogos
sérios e jogos educacionais, é possível observar que os jogos sérios representam um
grupo mais abrangente de jogos se comparados aos jogos educacionais, dado que jogos
com fins estratégicos ou mesmo comerciais também são classificados como jogos
sérios.
Durante muito tempo confundiu-se “ensinar” com “transmitir” e, nesse contexto,
o aluno era um agente passivo da aprendizagem e o professor um transmissor. A ideia
de um ensino despertado pelo interesse do aluno acabou transformando o sentido do que
se entende por material pedagógico. Seu interesse passou a ser a força que comanda o
processo da aprendizagem, suas experiências e descobertas, o motor de seu progresso e
o professor um gerador de situações estimuladoras e eficazes (FALCÃO, 2008).
É nesse contexto que o jogo ganha espaço como ferramenta ideal da
aprendizagem, na medida em que propõe estímulo ao interesse do aluno. O jogo o ajuda
a construir suas novas descobertas, desenvolve e enriquece sua personalidade e
45
simboliza um instrumento pedagógico que leva o professor à condição de condutor,
estimulador e avaliador da aprendizagem (FALCÃO, 2008).
Segundo Kishimoto (2007), os autores Caillois, Huizinga, Brougére, Henriot,
Fromberg, Christie e outros assinalam pontos comuns como elementos que caracterizam
os jogos: liberdade de ação do jogador ou o caráter voluntário e episódico da ação
lúdica; o prazer (ou desprazer), ou “não-sério” ou efeito positivo, as regras (implícitas
ou explícitas); a relevância do processo de brincar (o caráter improdutivo), a incerteza
de seus resultados; a não lateralidade ou representação de realidade, a imaginação e a
contextualização no tempo e no espaço.
O jogo é uma atividade poderosa para estimular a vida social e a atividade
construtiva. Através do jogo existe a ação, o pensamento, o aprendizado, o
desenvolvimento e ainda, confronta os pontos de vista servindo assim, também, como
estimulador do pensamento (PIAGET, 1978).
Huizinga (1999) diz que a primeira característica fundamental do jogo é o fato
de ser livre, de ser ele próprio liberdade. A segunda seria que o jogo trata-se de uma
evasão da vida “real” para uma esfera temporária de atividade, de orientação própria.
Outra característica é que o jogo cria ordem e é ordem. Introduz na confusão da vida e
na imperfeição do mundo uma perfeição temporária e limitada, exige uma ordem
suprema e absoluta: a menor desobediência a esta “estraga o jogo”, privando-o de seu
caráter próprio de todo e qualquer valor. É talvez devido a esta afinidade entre ordem e
jogo que este parece estar ligado ao domínio da estética. São palavras que empregados
para efeitos de beleza: tensão, equilíbrio, compensação, contraste, variação, solução,
união e desunião. O jogo está cheio de duas qualidades nobres que somos capazes de
ver nas coisas: o ritmo e a harmonia. O elemento de tensão (incerteza, acaso),
desempenha no jogo um papel importante. Há um esforço para levar o jogo até o
desenlace, o jogador quer que alguma coisa “vá” ou “saia”, pretende “ganhar” à custa
do seu próprio esforço.
O jogo educativo é um suporte a atividade didática, visando a aquisição de
conhecimentos, sendo um meio de instrução, um recurso de ensino para o professor. É
utilizado como recurso no ensino, para desenvolver e educar de forma prazerosa.
Utilizá-lo significa transportar para o campo do ensino-aprendizagem condições de
46
maximizar a construção do conhecimento, introduzindo as propriedades do lúdico, do
prazer, da capacidade, de ação ativa e motivadora (KISHIMOTO, 2007).
Segundo Vygotsky (2001), o lúdico influencia o desenvolvimento do aluno. É
através do jogo que se aprende a agir, a curiosidade é estimulada, sendo possível
adquirir iniciativa e autoconfiança e, ainda proporciona o desenvolvimento da
linguagem, do pensamento e da concentração.
Na concepção piagetiana, os jogos consistem numa simples assimilação
funcional, num exercício das ações individuais já aprendidas gerando, ainda, um
sentimento de prazer pela ação lúdica em si e pelo domínio sobre as ações. Portanto, os
jogos têm dupla função: consolidar os esquemas já formados e dar prazer ou equilíbrio
emocional ao aluno. (PIAGET apud FARIA, 1995).
Segundo Huizinga (1999), jogos de uma maneira geral têm características como:
• Ser uma atividade livre;
• Não ser vida “corrente” nem vida “real”, mas antes possibilitar uma evasão
para uma esfera temporária de atividade com orientação própria;
• Ser “jogado até o fim” dentro de certos limites de tempo e espaço, possuindo
um caminho e um sentido próprios;
• Criar ordem e ser a ordem, uma vez que quando há a menor desobediência a
esta, o jogo acaba. Todo jogador deve respeitar e observar as regras, caso
contrário ele é excluído do jogo (apreensão das noções de limites);
• Permitir repetir tantas vezes quantas forem necessárias, dando assim
oportunidade, em qualquer instante, de análise de resultados; e,
• Ser permanentemente dinâmico.
Em uma abordagem mais psico-cognitiva, Passerino (1998) complementa, ainda,
que os jogos proporcionam aos jogadores:
47
• Capacidade de absorver o participante de maneira intensa e total (clima de
entusiasmo, sentimento de exaltação e tensão seguido por um estado de
alegria e distensão). Envolvimento emocional;
• Atmosfera de espontaneidade e criatividade;
• Limitação de tempo: o jogo tem um estado inicial, um meio e um fim; isto é,
tem um caráter dinâmico;
• Possibilidade de repetição;
• Limitação do espaço: o espaço reservado, seja qual for a forma que assuma, é
como um mundo temporário e fantástico;
• Existência de regras: cada jogo se processa de acordo com certas regras que
determinam o que “vale” ou não dentro do mundo imaginário do jogo. O que
auxilia no processo de integração social;
• Estimulação da imaginação, auto-afirmação e autonomia; e,
• Ser uma atividade livre.
As duas abordagens se complementam, identificando os principais fatores
pertinentes ao estudo de jogos em um contexto geral.
Segundo Falcão (2008), o jogo atua de várias maneiras no crescimento do ser
humano, desenvolvendo entre outras coisas sua autopercepção, seu raciocínio, e
relacionamento interpessoal. Ao jogar, pratica-se simultaneamente movimento,
sentimento, pensamento e espiritualidade.
A forma lúdica do jogo permite que sejam simbolizadas as mais profundas
emoções e ainda revelar aspectos importantes da personalidade que, em outras
situações, dificilmente seriam mostradas publicamente. Ao jogar, as pessoas partem do
princípio de que tudo é possível, exercitando comportamentos e posturas que depois
podem ser levados para o dia-a-dia, para a vida (FALCÃO, 2008).
48
Quando um jogador joga, pode estar desenvolvendo dois tipos de movimentos:
um é associativo, onde a tendência é de se unir aos outros, ligar fatos e estar aberto ao
aprendizado. O outro é dissociativo, onde a tendência é ir contra os outros, procurar se
defender e atacar o máximo possível e, portanto, se fechar para o aprendizado, conforme
mostra a Tabela 3.
Tabela 3. Movimentos possíveis durante o jogo
Associativo Dissociativo Abertura para o novo Autodefesa, manutenção do comportamento Flexibilidade comportamental Resistência contra o novo Assimilação de novos conceitos e valores Conflito entre comportamento real e ideal Ênfase na ação coletiva Ênfase na ação individual Exercita proatividade Exercita reatividade Cooperativo Competitivo
Fonte: Falcão (2008)
Segundo Ausubel (2000), só se aprende quando aquilo que está sendo ensinado
possui algum significado para as pessoas. A aprendizagem significativa ocorre quando a
nova informação adquirida se “ancora” em coisas que o treinando já sabia. Ela encara o
aprender como um processo de armazenamento de informação, condensação em classes
mais genéricas de conhecimento, que são incorporados a uma estrutura do cérebro do
individuo de modo que essa possa ser manipulada e utilizada no futuro (AUSUBEL,
2000).
Para tanto é necessário que o material utilizado no aprendizado seja
potencialmente significativo, isto é, os conceitos apresentados não devem ser ao acaso
e, além disso, o treinando deve estar disposto a estabelecer relações com sua estrutura
cognitiva. Isto torna importantíssima uma arquitetura coerente do jogo, ou seja, visão,
objetivos, contexto e desafios devem significar alguma coisa para o treinando
(FALCÃO, 2008). E mesmo assim, para que o aprendizado ocorra precisa construir uma
“ponte cognitiva”, conforme a Figura 7.
49
Ponte C
ognitiva
Figura 7. Aprendizagem Significativa
Fonte: Falcão (2008)
Neste processo, a nova informação interage com uma estrutura de conhecimento
específica, que Ausubel (2000) chama de conceito subsunçor.
Um subsunçor é um conhecimento básico do qual se necessita para aprender
algo mais. Faz com que a pessoa “ancore” o conhecimento em seu cérebro, construindo
um caminho neuronal que o liga a outro assunto. Exatamente como quando alguém abre
uma emissora de TV, procura definir quem deve ser o profissional “âncora” para
apresentar o jornal à noite ou quando se abre um Shopping Center, qual deve ser o
supermercado âncora para atrair os clientes (AUSUBEL, 2000).
Os organizadores servem de âncora para a nova aprendizagem e são os
facilitadores da aprendizagem subseqüente. Neste ponto, novamente o jogo é de
primordial importância, pois é uma ferramenta para que os novos conhecimentos
possam se relacionar com o conhecimento prévio que o jogador possui.
50
A ligação comum entre jogos é o entretenimento ou a diversão, tornando os
jogos ferramentas que permitam alcançar objetivos não diretamente relacionados, como
objetivos educacionais ou publicitários (RIEBER, 1996). Dado o fator diversão, bons
jogos são intrinsecamente motivacionais e oferecem aos jogadores uma dose constante
de desafios e obstáculos para serem transpostos (HOGLE, 1996). Estes desafios devem
ser oferecidos em níveis ou estágios diferentes, permitindo, por exemplo, que num
momento inicial os problemas apresentados ao jogador tenham como foco formação de
certas generalizações em nível cognitivo, preparando-o para os desafios mais complexos
(GEE, 2004).
2.4. Jogos Educativos para Melhoria de Processos
As organizações que buscam treinamento em programas de graduação e cursos
para certificação, procuram identificar cursos que estejam de acordo com as suas
necessidades de desenvolvimento organizacional. Boa parte desses cursos e programas
de certificação está relacionada com a área de conhecimento em gerenciamento de
projetos de acordo com PMBOK (PMI, 2008), e referenciam as questões práticas do dia
a dia de um profissional de gerenciamento de projetos.
Para que os cursos de graduação e programas de certificação tenham mérito, eles
devem ser completos e alinhados com outros aspectos educacionais para ter um
programa de desenvolvimento completo. Poderiam ser ensinados certos aspectos da
profissão em uma sala de aula através de simulação e estudos de caso, mas há outros
aspectos do trabalho que requerem um tipo diferente de experiência. Particularmente, é
difícil treinar em uma sala de aula os aspectos de habilidades soft skills, tais como
liderança e comunicação dentro do trabalho. Da mesma maneira que não se pode
ensinar uma pessoa a nadar em uma sala de aula, o gerente também pode não absorver
parte das habilidades em uma sala de aula (MINTZBERG, 1990). Um treinamento com
mentoring também deve fazer parte do programa. Para desenvolver o entendimento em
melhoria de processo, o treinamento formal pode ser combinado com experiências de
aprendizado e deve ser alinhado com a estratégia da organização.
Jogos têm sido utilizados para ajudar no ensino de diversas áreas do
conhecimento despertando maior interesse por parte do aluno (GRAMIGMA, 1994).
51
Segundo Betz (1995), existe uma grande associação entre jogos e aprendizado. A
competição e definição de objetivos são componentes motivadores nestes jogos (NEAL,
1990). Pesquisas cognitivas também sugerem que a percepção humana e a ação estão
profundamente interconectadas (GEE, 2004). Desta forma, o uso de jogos para treinar,
aprender e executar atividades reais em ambiente realísticos pode melhorar o
desempenho dos alunos, pois possibilita a vivência de experiências de aprendizagem
produzidas individualmente de acordo com o estilo de cada aluno.
Considerando o uso de jogos na educação universitária, grande parte está voltada
para a área de Engenharia de Software (FERNANDES e WERNER, 2009). A maioria
destes jogos simula o gerenciamento de projetos no grupo de planejamento e
monitoramento e controle de um projeto, focando, tipicamente, em parte das áreas de
conhecimento (FERNANDES e WERNER, 2009). Desta forma, observa-se uma
oportunidade interessante na exploração do tema complementando os jogos em tópicos
variados em melhoria de processos de desenvolvimento de software.
Foi realizada uma análise sobre esses jogos que é demonstrada na seção sobre o
estado da arte.
2.5. Estado da Arte sobre Jogos para ES
Nesta seção são descritas as ferramentas similares identificadas, tendo como
base a proposta desta solução, um jogo educativo para apoiar o ensino dos níveis 2 e 3
de maturidade do CMMI.
Para análise de soluções similares ao jogo proposto, são definidas algumas
características tendo como base o estudo bibliográfico já apresentado. Estas
características são utilizadas como elementos chave para a comparação entre as
diferentes soluções analisadas e a proposta deste projeto. A lista de características está
detalhada na Tabela 4.
52
A análise de soluções similares, além da definição das características para
avaliação, depende ainda da busca e seleção de trabalhos publicados com referência ao
tema proposto neste projeto, um jogo educativo para apoiar o ensino dos níveis 2 e 3 de
maturidade do CMMI. Para busca e seleção de soluções similares foram utilizados
como fonte de pesquisa os sistemas: (i) Google Scholar; (ii) ACM Digital Library; (iii)
IEEExplorer; (iv) Teses, dissertações e monografias em Computação e afins.
A seleção dos trabalhos analisados foi realizada entre março de 2008 e dezembro
de 2009 e depois repetida em abril de 2011 e novembro de 2011 com ênfase maior em
trabalhos brasileiros e delimitada a documentos cujos objetivos estivessem relacionados
Tabela 4. Movimentos possíveis durante o jogo
Característica Descrição Objetivos Qual o objetivo principal do jogo Áreas abordadas Quais áreas de conhecimento abordadas no jogo Fundamentação Em que o jogo foi fundamentado Dinâmica do Jogo Como se joga o jogo Feedback ao aluno Apenas para jogos digitais. O jogo informa algum
resultado ao jogador durante o jogo Perfil dos jogadores Para que perfil de jogador o jogo é indicado Continuidade do Jogo Apenas para jogos digitais. O jogo pode ser
armazenado e ser jogado em outro momento Quantidade de jogadores Individual ou múltiplos jogadores Necessita da presença de instrutor
Pode ser jogado sem a presença de um instrutor
Tempo de jogo O tempo médio do jogo ou de uma seção Linguagem Apenas para jogos digitais. Em que linguagem foi
desenvolvido. Plataforma Se digital ou não digital, qual a plataforma do jogo Autores De quem a autoria do jogo Ano de desenvolvimento Ano em que foi construído Idioma Quais os idiomas está disponível Licença Se é disponibilizado livremente para uso ou se pago.
Se está disponível para download. Avaliação de efetividade Se o jogo possui alguma avaliação quantitativa,
formal e científica ou não formal, ou qualquer outra avaliação.
Pontos Fortes Quais os pontos fortes identificados pela autora na análise do jogo
Pontos Fracos Quais os pontos fracos identificados pela autora na análise do jogo
53
à Engenharia de Software ou à melhoria de processos envolvendo tanto jogos de
computador quanto jogos de tabuleiro, bem como às características de jogos como
entretenimento, competitividade, desafios, ações de jogadores, objetivos pedagógicos.
Inicialmente, para esta pesquisa foram utilizados os termos em inglês e
português:
• Jogo para ensino de Melhoria de Processos de Software – software
process improvement game learning;
• Ensino baseado em jogos para Melhoria de Processos de Software –
software process improvement game based learning;
• Abordagem para o ensino de Melhoria de Processos de Software –
software process improvement teaching approach;
• Usando jogos para o ensino de Melhoria de Processos de Software –
using game teach software process improvement;
• Jogo educacional de Melhoria de Processos de Software – educational
game software process improvement;
• Ensinando Melhoria de Processos de Software com jogos – game
teaching software process improvement.
O resultado dessa pesquisa retornou o seguinte jogo:
• PnP – Problems and Programmers (NAVARRO et al., 2004).
Como o resultado dessa pesquisa não retornou jogos suficientes foi acrescentado
mais alguns termos de pesquisa:
• Jogo para ensino de Engenharia de Software – software engineering
game learning:
• Ensino baseado em jogos para Engenharia de Software – software
engineering game based learning;
54
• Abordagem para o ensino de Engenharia de Software – software
engineering teaching approach;
• Usando jogos para o ensino de Engenharia de Software – using game
teach software engineering;
• Jogo educacional de Engenharia de Software – educational game
software engineering;
• Ensinando Engenharia de Software com jogos – game teaching software
engineering;
• Jogos Educativos para Gerência de Projetos de Software com jogos.
Para a pesquisa acima foram identificados os seguintes jogos:
• XMed (LINO, 2007)
• Planager (KIELING; ROSA, 2006)
• SimulES (FIGUEIREDO, 2006)
• Virtual Team (VIRTUAL TEAM, 2006)
• IT Manager Game 2.0 (INTEL, 2006)
• Simultrain 7 (STS, 2005)
• SIM (CALTRANS, 2008)
O jogo SIM na primeira pesquisa realizada retornou nos resultados. No entanto,
quando se repetiu a pesquisa em 2011, o mesmo não esteve mais presente. Por esse
motivo ele não está presente na análise da Tabela 5.
Além da pesquisa realizada de acordo com os termos informados anteriormente,
ainda foram acrescentados dois jogos sobre processos como resultado dos termos:
• Jogo para ensino de Processos – process game learning:
55
• Ensino baseado em jogos para Processos – process game based learning
O resultado retornou os jogos:
• BELTS Challenge (SETEC, 2009)
• Jogo da ISO 14001 (SETEC, 2009)
Os critérios para inclusão e exclusão dos jogos para análise do estado da arte foi
a relação dos jogos com a Engenharia de Software/MPS. Ainda houve um complemento
com jogos de estratégia e conhecimento em processos como um todo.
Como resumo da análise sobre todos os jogos tem-se uma tabela comparativa
entre os jogos digitais na Tabela 5 e os jogos não digitais na Tabela 6.
56
Características Virtual Team Planager X-Med IT Manager Game SIMULTRAIN 7 Objetivos Contribuir para o aprendizado do
aluno capacitando gerentes de projetos com ênfase em gestão de pessoas
Apoiar o ensino de gerência de projetos de software
Aplicação da medição de software no contexto de gerenciamento de projetos, bem como ajudar os participantes a adquirirem as habilidades necessárias para distinguir e descrever os elementos de um programa de medição.
Contribuir para o aprendizado em gerenciamento de um departamento de TI criando uma empresa mais eficiente e lucrativa possível por meio de liderança tecnológica e melhor ambiente de trabalho.
Complementar o treinamento tradicional através da simulação da gestão de projetos de acordo com o PMBOK.
Áreas abordadas Gerenciamento de Recursos Humanos especificamente: Desenvolvimento da Equipe de Projeto e Gerenciamento da Equipe de Projeto
Gerenciamento de Escopo (Declaração do Escopo, Criação da EAP, Definição das Atividades, Pacotes de Trabalho) e Gerenciamento de Tempo (Diagrama de Rede)
Conceitos de maturidade do nível 2 do CMMI-DEV; GQM Goal/Question/Metric e PSM Practical Software Measurement.
Gestão do orçamento; Aquisição de novos equipamentos e/ou tecnologias; Treinamento; Solução de conflitos; Admissão de RH; Motivação de equipe.
Definição de Atividades, Controle do Cronograma
Fundamentação PMBOK, RUP PMBOK CMMI-DEV; GQM e PSM Para suporte de TI, mas sem uma área específica de conhecimento
PMBOK
Dinâmica do Jogo É um jogo de estratégia baseada em turnos onde o jogador assume o papel de gerente de projetos tendo que montar sua própria equipe para desenvolver o plano do projeto que lhe é fornecido no início do jogo. O jogador monta a sua equipe de acordo com o plano de trabalho, existem alguns perfis disponíveis. No entanto existe apenas um cenário cadastrado.
O jogo permite fazer o planejamento de um projeto de acordo com o cenário cadastrado. O jogador joga em fases onde são abordados os processos de escopo e tempo. Ao final é mostrado o ranking de pontuações. Pelo descrito no tutorial podem ser incluídos diversos cenários simulando o ambiente de gerenciamento de projetos.
O jogo foi construído em 3 etapas e dentro de cada etapa o jogador passa por várias fases. Para todas as fases são armazenadas as respostas para o resultado final do jogo. Em cada etapa tem uma tarefa específica para o jogador.
É um jogo de simulação onde o jogador deve administrar todo o ambiente de TI de uma empresa, o departamento de produção, execução. O jogador deve administrar novas aquisições, novas contratações, demissões, conhecimentos, produtividade da equipe.
É um jogo de simulação onde os participante discutem e selecionam as melhores alternativas para o andamento do projeto, devendo controlar a execução do projeto do início ao fim. Os jogadores montam as equipe de acordo com o descrito no plano de trabalho, existem alguns perfis de equipe disponíveis para seleção e atribuição de tarefas.
Feedback ao aluno Durante a execução do jogo, o jogador recebe as informações a respeito do seu desempenho e do comportamento de cada personagem para acompanhar a evolução do jogo.
Ao final de cada fase é informado o gabarito do jogo e a quantidade de pontos alcançados.
Durante a execução do jogo, o jogador recebe retorno do desempenho e ao final do jogo um relatório final contendo score parcial e total.
Durante a execução do jogo, o jogador tem a oportunidade de receber informações a respeito do andamento do projeto sobre os lucros obtidos, a produtividade e ao final do jogo é mostrado um ranking geral em que sua empresa ocupa.
Durante a execução do jogo, o jogador recebe o retorno das ações tomadas, caso as ações não sejam as corretas o mesmo é avisado, dessa forma acelera o aprendizado do jogador.
Perfil dos jogadores É o profissional com pouca experiência (menos de 5 anos) com conhecimento em gerência de
Está voltado, principalmente, para alunos de graduação de Computação e/ou Administração
Estudantes de Ciência da Computação ou de cursos profissionais de engenharia de
Estudantes de tecnologia especificamente relacionado a infraestrutura.
Profissional da área de gerenciamento de projetos.
Tabela 5. Resumo comparativo de características dos jogos digitais analisados
57
projetos. com conhecimento em gerência de projetos.
software.
Continuidade do Jogo Não permite o armazenamento da situação atual do jogo.
Não permite o armazenamento da situação atual do jogo.
Não permite o armazenamento da situação atual do jogo.
Permite a continuidade do jogo salvando o ponto final da simulação através do login e senha.
A versão analisada é um demo, mas pela análise no site do produtor são armazenadas as informações para continuidade em diferentes momentos.
Quantidade de jogadores
Individual Individual Individual Individual 3 a 4 jogadores.
Necessita da presença de instrutor
Não Não Não Não Sim
Tempo de jogo 2 horas 1 hora pelo apresentado no tutorial 1 hora e 30 minutos 4 horas 4 horas Linguagem O jogo foi construído a partir de
um game engine SmarSim que é um framework de código aberto (licença LGBL) para o desenvolvimento de jogos sérios.
Java Não identificado pela autora Flash 6.0 e JavaScript com recursos de animação com áudio
Não identificado pela autora
Plataforma Windows Windows Windows Windows Windows Autores CIn/UFPE KIELING;ROSA (PUCRS) LINO INTEL STS Ano de desenvolvimento
2006 2006 2007 2006 2005
Idioma Português e Inglês Português Português Segundo publicações está disponível em 11 idiomas, mas os dois analisados foram o inglês e português.
Mais de 10 línguas, entre elas: Inglês, Alemão, Francês e Espanhol.
Licença LGPL LGPL Não identificado pela autora LGPL Deve ser adquirido no site do produtor com restrição de licença.
Avaliação de efetividade
Foram realizadas duas pesquisas com o objetivo de analisar e compreender as dificuldades mais comumente enfrentadas pelos gerentes de projetos de software na resolução de problemas relacionados com a equipe de desenvolvimento. Uma pesquisa tem como foco os profissionais de gerência de projetos e a outra é a para a equipe de desenvolvimento com foco em engenharia de software. A partir dessa pesquisa foram selecionados profissionais para uma análise sobre a usabilidade do jogo. Não foram divulgados os resultados
O jogo foi apresentado a alunos de graduação e a profissionais da área de gerência de projetos, mas não foi realizada uma avaliação formal a respeito do jogo.
Não identificado pela autora Não foi identificada nenhuma avaliação a respeito do jogo. Mas, existem alguns blogs a respeito de comentários de usuários que testaram o jogo.
Não identificado pela autora
58
do estudo. Pontos Fortes Uso de agentes inteligentes que
simulam comportamento humano; Possibilidade de trabalhar com estado emocional dos personagens; Resolução de conflitos; Possibilidade de intervenção do cliente no andamento do projeto; uso de recursos áudio-visuais, textuais e animação.
Possibilidade de inclusão, alteração e exclusão de cenários; Trabalhado fortemente os conceitos de Diagrama de Rede principalmente no tocante ao sequenciamento das atividades.
Uso de conceitos sobre medições de software, único jogo identificado usando essa área de conhecimento da ES.
Noções de como funciona um departamento de TI; Questões de tomada de decisão por parte do jogador; Apresentação on-line e real time a respeito do andamento do jogo, as ações tomadas pelo jogador refletem instantaneamente no jogo; Diariamente é enviado um gráfico “Análise Diária” mostrando o desempenho do jogo, sendo que o jogador escolhe encerrar a sessão e iniciar o dia seguinte.
Parceria com PMI (Project Management Institute); Uso de aspectos da gestão de projetos como fatores humanos, custo e prazo; feedback imediato às ações executadas; Usado por grandes empresas com destaque mundial; Disponível em mais de 10 idiomas.
Pontos Fracos Regras do jogo não tão claras; Indicadores de custo e prazo indefinidos
As screenshots (telas do jogo) apresentadas no tutorial são simples e sem nenhum atrativo e motivação para o jogador. A análise foi feita em cima do tutorial o jogo completo não foi disponibilizado.
As screenshots apresentadas no tutorial são simples e sem nenhum atrativo e motivação para o jogador.
A dinâmica do jogo é um pouco confusa, foi preciso algumas horas para entender o funcionamento do jogo.
O jogo conseguiu mostras as várias fases do planejamento na definição de atividades e controle do cronograma. Dentro desse aspecto não foram identificados pontos fracos no jogo.
59
Características PnP SimulES BELTS Challenge ISO 14001 123SPI Objetivos Contribuir para o aprendizado do
aluno em engenharia de software Contribuir para o aprendizado do aluno em engenharia de software
Contribuir para o aprendizado do aluno em Seis Sigma
Contribuir para o aprendizado do aluno sobre a NBR ISO 14001
Contribuir para o aprendizado das áreas de processo dos níveis 2 e 3 de maturidade do CMMI
Áreas abordadas Gerenciamento. Requisitos. Gerenciamento. Recursos Humanos. Requisitos. Desenho. Código e Comunicação.
Ferramenta Seis Sigma. Norma ISO 14001. Gestão de Requisitos. Planejamento de Projetos. Monitoramento e Controle de Projetos. Gestão de Acordo com Fornecedores. Medição e Análise. Garantia da Qualidade de Processo e Produto. Gestão de Configuração. Desenvolvimento de Requisitos. Solução Técnica. Integração de Produto. Verificação. Validação. Foco no Processo Organizacional. Definição do Processo Organizacional. Treinamento Organizacional.Gestão Integrada de Projeto. Gestão de Risco. Análise de Decisão.
Fundamentação Engenharia de Software Engenharia de Software Six Sigma NBR ISO 14001 CMMI Dinâmica do Jogo É um jogo de cartas destinado a
simular o processo de desenvolvimento de software desde a concepção até sua conclusão. Os jogadores competem entre si e o objetivo é terminar os seus projetos, evitando os potenciais perigos da engenharia de software.
É um jogo educacional que utiliza cartas e simula o processo de desenvolvimento de software. Permite que um estudante assuma o papel de gerente de projeto e depare com problemas que não são bem cobertos em aulas tradicionais.
É um jogo de estratégia e conhecimento. O jogador que quiser sagrar-se vencedor deverá aliar suas habilidades estratégicas a uma boa dose de conhecimento sobre Seis Sigma.
É um jogo em que os participantes têm a oportunidade de conhecer mais sobre os requisitos e as características da norma e poderão vivenciar um processo fictício de certificação através de uma corrida. Vence o jogo o participante que chegar primeiro ao final do processo de certificação da ISO 14001.
É um jogo em que os participantes têm a oportunidade de conhecer mais sobre as áreas de processo dos níveis 2 e 3 de maturidade do CMMI. Através da missão recebida no início do jogo, o jogador deve escolher a estratégia que adotará para percorrer o tabuleiro e alcançar os objetivos definidos na missão. Ganha o jogo o jogador que primeiro completar a sua missão que é composta de três objetivos.
Perfil dos jogadores Aluno de graduação e pós-graduação na área de Engenharia de Software com conhecimento básico das disciplinas da Engenharia de Software
Aluno de graduação e pós-graduação na área de Engenharia de Software com conhecimento básico das disciplinas da Engenharia de Software
Profissionais com algum conhecimento na ferramenta Seis Sigma
Profissionais com algum conhecimento na NBR ISO 14001
Profissionais com algum conhecimento em CMMI
Quantidade de jogadores
Entre 2 e 4 jogadores Entre 4 e 8 jogadores. De 2 a 4 jogadores ou em grupos. De 2 a 4 jogadores. De 2 a 4 jogadores ou a possibilidade de jogar em equipes.
Necessita da presença de instrutor
Não Não Não Não Sim
Tempo de jogo 1 hora 1 hora 40 minutos 30 minutos 30 minutos uma seção
Tabela 6. Resumo comparativo de características dos jogos não digitais analisados
60
Plataforma Tabuleiro Tabuleiro Tabuleiro Tabuleiro Tabuleiro Autores Baker et. al. Figueiredo et. al. SETEC SETEC Adorno Ano de desenvolvimento
2005 2006 2009 2009 2011
Idioma Inglês Português Português Português Português Licença Download gratuito pela Internet Download gratuito pela Internet Pago Pago Download gratuito pela Internet Avaliação de efetividade
O jogo foi apresentado a alunos de graduação como complemento ao ensino tradicional de disciplinas de Engenharia de Software e a conclusão do estudo é que a ferramenta complementou o ensino da área de requisitos.
Não identificado pela autora Não identificado pela autora Não identificado pela autora O jogo foi apresentado a alunos de graduação e especialização e com profissionais de TI como complemento ao ensino tradicional de do modelo CMMI. As estatísticas realizadas sobre as avaliações não validam o jogo como ferramenta contributiva ao processo de ensino aprendizagem.
Pontos Fortes - Jogo para dois ou mais jogadores. - O fato de ser um exercício de simulação para auxiliar os estudantes a compreender lições de boas práticas de Engenharia de Software.
- Controle de versão e de gerência de configuração. - Cartas de conceitos que permitem ao professor fazer o mapeamento direto dos artefatos do jogo aos conceitos de Engenharia de Software envolvidos.
- A dinâmica do jogo proporciona um trabalho colaborativo entre os jogadores.
- A dinâmica do jogo proporciona desafios entre os jogadores.
- Jogo para dois ou mais jogadores. - O fato de ser um exercício de simulação para auxiliar os estudantes a compreender o conteúdo das áreas de processo do modelo. - Cartas de conceitos teóricos e cartas de situações práticas do dia a dia da implementação do modelo.
Pontos Fracos - As cartas do jogo não são claras em relação a sua mensagem. - O jogo não é motivacional para os jogadores e as primeiras rodadas do jogo se limitam à compra de cartas. - Ausência de um tabuleiro para a organização da área de projeto.
- Falta de um estudo empírico sobre o mesmo relatando se o jogo tem relevância para a área de Engenharia de Software. - O jogo não é fácil de jogar, com isso para montar e entender todo o ambiente não foi tarefa fácil para a autora. Não existe uma descrição da dinâmica do jogo. - O jogo tenta simular todo o ciclo de desenvolvimento de software, acredito que por isso não seja tão fácil entendê-lo logo de imediato.
Como a autora tem pouco conhecimento em Seis Sigma, as cartas apresentadas no jogo poderiam ser classificadas em nível básico, intermediário e avançado para facilitar jogar o jogo.
O jogo poderia ser usado em instituições que desejam aplicar a norma sobre sustentabilidade. O assunto abordado é de interesse das organizações, mas não foi encontrado material de divulgação que enfatizasse o seu uso no meio acadêmico tampouco no âmbito comercial.
- Jogo não desenvolvido para WEB
61
Os jogos de computador analisados possuem propósitos educacionais que não estão restritos
apenas ao gerenciamento de projetos de software, incluindo alguns aspectos da Engenharia de
Software. Os conceitos de gerenciamento de projetos estão alinhados a modelos/normas, sendo o
PMBOK (PMI, 2008) o mais usado.
Foi observado o uso de software livre no desenvolvimento dos jogos para computador e
poucos jogos para o ambiente Web. Os autores dos jogos recomendam usá-los como complemento
às abordagens tradicionais em vez de um método sozinho. A possibilidade de receber um feedback
ao final da partida envolvendo o processo de desenvolvimento do software, atrasos nos
cronogramas, falhas nas alocações de profissionais e insuficiência de recursos é um diferencial que
está presente em todos os jogos analisados para computador nesse projeto.
Quanto aos jogos de tabuleiro analisados, que foram quatro ao todo, dois deles puderam ser
baixados pela Internet gratuitamente e os outros dois foram adquiridos também pela Internet. Os
não são jogados individualmente e sim entre equipe. Dois estavam ligados à área de Engenharia de
software e dois à área de processos e são jogos que duram no máximo 1 hora cada partida.
Os jogos têm a intenção de apresentar características de desafio, recompensas,
entretenimento, porém em grande parte das vezes ganhar um ponto a mais ou uma vida pode
parecer fora do contexto. Por isso, uma preocupação comum entre os autores dos trabalhos está em
como representar o conhecimento de organizações e compor cenários interessantes para os jogos.
Quanto á área educacional abordada nos jogos, parte dos jogos apresenta os objetivos de
aprendizagem e o contexto de uso do jogo. Mas, na grande maioria dos jogos analisados não foram
identificados esses aspectos; ou não estavam claramente definidos, dificultando assim o
entendimento do contexto em que os jogos deveriam ser aplicados.
Em relação ao estudo empírico dos jogos analisados, o Virtual Team teve um estudo
aplicado e uma pesquisa realizada com o objetivo de identificar quais as maiores dificuldades
encontradas pelos gerentes de projetos e o Planager foi apresentado a alunos de graduação, mas
nenhum dos dois possui um estudo empírico a respeito. Já em relação aos jogos de tabuleiro
analisados, apenas o PNP tem uma avaliação aplicada com alunos de graduação complementando o
ensino tradicional de disciplinas de Engenharia de Software, concluindo que a ferramenta atende ao
objetivo proposto.
62
Como resultado, a grande maioria dos trabalhos analisados não apresenta preocupação com
avaliações, procurando demonstrar a verificação e avaliação do impacto de seu uso na
aprendizagem. Parte dos jogos ou não citam avaliações em suas publicações ou elas são muito
informais, superficiais.
Com base nos resultados apresentados pelos jogos analisados pouco se pode concluir sobre a
efetividade do uso desta abordagem no ensino, sendo identificado pelos autores como um ponto
ainda a ser explorado por outros trabalhos futuros (KOCHANSKI, WANGENHEIM e THIRY,
2009; NAVARRO, 2004).
63
3 DESENVOLVIMENTO DO JOGO 123SPI
Com base no exposto no Capítulo 1 deste trabalho, dentre os desafios no ensino da melhoria
de processos de software e mesmo a Engenharia de Software de maneira geral está a
experimentação por parte dos alunos através da prática dos conceitos abordados em aula (CEEINF-
MEC, 2002). Dessa forma, neste projeto propõe-se o desenvolvimento e avaliação do jogo 123SPI
que tem como objetivo principal apoiar a absorção do conhecimento do conteúdo abordado no
treinamento tradicional do modelo de maturidade CMMI-DEV (CMMI, 2010), em seus níveis de
maturidade 2 e 3.
O nome do jogo 123SPI está relacionado diretamente à proposta do jogo em abordar os
níveis 2 e 3 de maturidade do modelo de referência CMMI, por isso “123”, e SPI – Software
Process Improvement que fala da melhoria de processos de software em inglês. Com isso, resultou
no nome 123SPI.
O projeto contempla o desenvolvimento e avaliação da efetividade do jogo com alunos de
graduação e pós-graduação em TI que estejam cursando, preferencialmente, a disciplina de
Qualidade de Software ou similar, bem como analisar a efetividade com profissionais de empresas
de TI com atuação direta em uma das fases do ciclo de vida do desenvolvimento de um software.
Neste capítulo são apresentados o design instrucional, o design do jogo, as características do
jogo frente aos critérios utilizados para avaliação das soluções semelhantes e o desenvolvimento do
jogo.
3.1. Design Instrucional
Esta seção contém a análise do público alvo e o conhecimento prévio necessário que esse
público deve possuir; a definição dos objetivos instrucionais; a forma de avaliação do desempenho
do participante e a estratégia de apresentação.
O ISD - Instructional System Design apresenta-se como um modelo integrado para o
desenvolvimento de processos instrucionais capazes de satisfazer necessidades bem definidas, com
qualidade e com base em sólidos conceitos. Suas características fazem com que ele seja definido
como um enfoque sistêmico do treinamento que facilita sobremodo as decisões relativas a o que,
como, quando, quanto, quem e onde. O modelo original do ISD gerou diversas variantes; todas elas,
64
contudo, apresentam as mesmas 5 fases de trabalho cujas iniciais em inglês (Analyse, Design,
Develop, Implement,Evaluate) geraram a sigla ADDIE pela qual o ISD é, também, conhecido sendo
a base para a construção do design instrucional (MOLENDA et al., 1996). Através desse modelo o
jogo pode ser construído usando:
• Análise – é a fase que fornece subsídios para a concepção dos objetivos de
aprendizagem. Envolve a análise de conteúdo a ser utilizada no jogo, a identificação
de problemas e de soluções e, ainda, a análise do referencial teórico para a
elaboração do material.
• Design – o design envolve o planejamento para que os objetivos pedagógicos dos
objetivos de aprendizagem fossem alcançados. A metodologia pedagógica escolhida
foi um jogo educativo. É um processo ativo e integrador onde os alunos podem
aplicar na prática os conceitos apreendidos em sala de aula. O jogo fornece apoio ao
ensino presencial.
• Desenvolvimento – nesta fase são criados os objetivos de aprendizagem. Para a sua
concepção foram elaborados materiais de ensino com os conteúdos abordados. O
design gráfico foi tabuleiro que deve ser definido nessa fase.
• Implementação – os objetivos educacionais devem ser apresentados aos alunos e os
mesmos receberão o jogo para jogar.
• Avaliação – na fase de avaliação é verificada a eficiência e eficácia do ensino com o
uso do jogo. No entanto, essa avaliação deve ocorrer ao longo de todas as fases de
desenvolvimento do design instrucional.
O público alvo desse jogo são os alunos com algum conhecimento sobre os conceitos do
modelo CMMI-DEV. Esse conhecimento se faz necessário para aplicação das avaliações (pré-teste
e pós-teste). Além do que, esses conceitos ainda que básicos, permitem ao aluno compreender,
essencialmente, o processo de desenvolvimento de um software e a importância da melhoria de
processos de software durante o ciclo de vida de desenvolvimento de um software.
Os objetivos educacionais definidos a seguir possuem como base a taxonomia revisada de
Bloom (ANDERSON e KRATHWOHL, 2001), e compreendem os níveis de lembrança,
65
entendimento e aplicação já discutidos na seção 2.1. Assim, através do jogo os alunos podem
exercitar o conhecimento respondendo a questionamentos dos assuntos abordados na revisão do
conteúdo que estão classificadas da seguinte forma:
• Lembrar e entender os conceitos básicos de melhoria de processos de software;
• Lembrar e entender os conceitos básicos dos níveis 2 e 3 de maturidade do modelo
CMMI-DEV (CMMI, 2010); e,
• Aplicar os conceitos básicos dos níveis 2 e 3 de maturidade do modelo CMMI-DEV
(CMMI, 2010).
O jogo não tem o objetivo de construir o conhecimento do aluno, ele é apenas uma
ferramenta de apoio na revisão dos conceitos e aborda as áreas de processo do CMMI-DEV que
estão divididas em seis unidades de ensino: a primeira específica para os conceitos gerais sobre
melhoria de processos de software e os modelos de maturidade mais conhecidos no mercado. As
cinco unidades subseqüentes são dedicadas ao ensino dos conceitos sobre as áreas de processo dos
níveis 2 e 3 de maturidade do CMMI-DEV (CMMI, 2010). A premissa para a participação destas
unidades é que o aluno tenha algum conhecimento prévio sobre o assunto, pois as aulas devem ser
ministradas mais como revisão ou mesmo um reforço sobre o CMMI-DEV (CMMI, 2010).
Ainda que de maneira geral, nestas unidades são abordados os conceitos básicos sobre
melhoria de processos, os modelos de maturidade com mais destaque no mercado, o modelo IDEAL
como guia para a implantação do CMMI-DEV (CMMI, 2010), uma explanação sobre os níveis de
maturidade e sobre as constelações e componentes do CMMI-DEV (CMMI, 2010), as duas
representações (contínua e em estágios) e sobre as sete áreas de processo do nível 2 de maturidade
do CMMI-DEV (CMMI, 2010): Gestão de Requisitos, Planejamento de Projeto, Monitoramento e
Controle de Projeto, Gestão de Contrato com Fornecedor, Medição e Análise, Garantia da
Qualidade de Processo e Produto e Gestão de Configuração e, ainda, sobre as onze áreas de
processo do nível 3 de maturidade do CMMI-DEV (CMMI, 2010): Desenvolvimento de Requisitos,
Solução Técnica, Integração de Produto, Verificação, Validação, Foco no Processo Organizacional,
Definição do Processo Organizacional, Treinamento Organizacional, Gestão Integrada de Projeto,
Gestão de Risco e Análise de Decisão.
66
As unidades de 1 a 6 da instrução, de maneira conjunta, devem atingir os níveis de
lembrança e entendimento da taxonomia revisada de Bloom (ANDERSON e KRATHWOHL,
2001). Estabelecendo uma ligação com as teorias de aprendizagem, as abordagens utilizadas nestas
unidades se identificam em grande parte com o cognitismo, em que os conceitos são organizados e
se obtém a atenção dos alunos, também se estabelece uma relação direta com o conhecimento
adquirido anteriormente e assim, o novo conhecimento é estabelecido facilitando a sua posterior
recuperação.
Ao fim da instrução das unidades de 1 a 6 devem ser aplicados os questionários relacionados
a essa etapa, quais sejam: Apêndice A – Questionário de Perfil; Apêndice B – Termo de
Consentimento e Apêndice C – Avaliação Pré-Teste. Esses questionários têm o objetivo de
identificar o perfil do público participante da avaliação, obter a anuência de todos os participantes e
avaliar o grau de entendimento dos conceitos relacionados ao treinamento com apenas a realização
do treinamento formal. A Avaliação Pré-Teste é composta de 20 questões objetivas sobre os níveis
2 e 3 do CMMI-DEV (CMMI, 2010).
A sétima e última unidade de ensino prevista para a instrução objetiva atingir o nível de
aplicação da taxonomia revisada de Bloom (ANDERSON e KRATHWOHL, 2001), além de
reforçar, através da aplicação, o entendimento dos conceitos abordados nas unidades anteriores.
Para se atingir este objetivo de aprendizagem deve ser utilizado o jogo educativo 123SPI, proposto
neste trabalho, em que são oferecidas perguntas que abordam todo o conteúdo apresentado nas
unidades anteriores de modo que o jogador tenha de aplicar em boa parte dos questionamentos o
novo conhecimento alcançado com o treinamento. Estas atividades são descritas em mais detalhes
no design do jogo.
Os alunos podem estabelecer o novo conhecimento interagindo com o jogo e com seus
colegas participantes do grupo, desta forma esta atividade busca aproximar-se de práticas
educacionais como a aprendizagem baseada em problemas e a aprendizagem experimental,
abordadas na seção 2.1. Ao jogar o jogo espera-se que o aluno-jogador experimente os conceitos e
verifique a sua aplicação, utilidade e importância em um ambiente de desenvolvimento de software.
No decorrer do jogo cada ação do jogador tem o propósito de somar pontos de acordo com
os recursos apostados em cada processo para alcançar a missão apresentada contendo três objetivos
definidos. Nenhum objetivo definido na carta de missão é igual ao outro. A cada resposta correta o
67
jogador incorpora ao processo os recursos apostados na rodada e ganha mais recursos para
continuar apostando no jogo. Portanto, é de suma importância responder corretamente às perguntas
apresentadas, pois ao responder erroneamente, os recursos apostados não são incorporados ao
processo e o jogador não é beneficiado com mais recursos. Mais detalhes sobre o funcionamento e a
descrição do jogo são apresentados na seção 3.2.3, que descreve todos os componentes do jogo, e na
seção 3.2.4, que descreve a dinâmica do jogo.
Ao fim da instrução da unidade 7 devem ser aplicados os questionários relacionados a essa
etapa, quais sejam: Apêndice D – Avaliação Pós-Teste; Apêndice E – Avaliação da Aula e
Apêndice F – Avaliação do Jogo. Esses questionários visam avaliar a aula e o jogo, bem como
avaliar o quão útil o jogo foi para a efetividade de aprendizagem dos alunos. A Avaliação Pós-Teste
é composta de 20 questões objetivas sobre as áreas de processo dos níveis 2 e 3 do CMMI-DEV
(CMMI, 2010). As questões são diferentes da avaliação pré-teste, mas as classificações estão no
mesmo nível de complexidade e da taxonomia revisada de Bloom (ANDERSON e KRATHWOHL,
2001), nos níveis de lembrança, entendimento e aplicação.
O objetivo da avaliação pré-teste e avaliação pós-teste é avaliar o conhecimento dos alunos
obtidos durante a instrução com o treinamento formal e com o uso do jogo. Para a aplicação do
experimento de avaliação da efetividade do jogo educativo 123SPI foram aplicadas quatro
avaliações, duas com profissionais de melhoria de processos de software atuantes em uma empresa
de TI, desenvolvedora de software e que está em fase de implantação do modelo de referência nível
3 de maturidade do CMMI-DEV (CMMI, 2010), e duas com alunos de graduação e especialização
em TI com ênfase na área de qualidade de software. Mais detalhes no Capítulo 5 que dispõe sobre a
avaliação do estudo.
Para toda a instrução é prevista uma carga horária de 16 horas, divididas em quatro blocos.
A Tabela 7 apresenta resumidamente o design desta instrução para a aplicação do jogo 123SPI,
tendo como base as definições expostas nesta seção.
Tabela 7. Design instrucional para aplicação do jogo 123SPI.
C O N T E X T O
Público Alvo: Alunos dos cursos de graduação e pós-graduação na área de Computação/Informática que se encontram
68
cursando a disciplina de Qualidade de Software ou similar e profissionais atuantes na área de TI. Necessidades do público alvo: ter um embasamento em CMMI ou modelo similar.
P R E - C O N D I C O E S
Ter experiência em desenvolvimento de software ou estar cursando ou ter cursado a disciplina de Qualidade de Software envolvendo modelos de maturidade.
E M E N T A
Melhoria de Processos. CMMI-DEV Níveis 2 e 3 de Maturidade. Áreas de Processo.
O B J E T I V O S G E R A I S D E A P R E N D I Z A G E M
− Reconhecer e entender os conceitos básicos de melhoria de processos − Reconhecer e entender os conceitos básicos dos níveis 2 e 3 de maturidade do modelo CMMI-DEV − Entender e aplicar os conceitos sobre as áreas de processo dos níveis 2 e 3 de maturidade do modelo CMMI-DEV.
CONTEÚDOS (REFERÊNCIAS) OBJETIVOS DE APRENDIZAGEM
ESTRATÉGIA DE ENSINO
Unidade 1 – Melhoria de Processos, Modelos de Referência e Introdução ao CMMI − Conceitos básicos sobre melhoria de processos − Modelos de Referência (CMMI-DEV, MPS.BR) − IDEAL – Guia para implantação de um modelo de referência − Níveis de Maturidade − Áreas de Processo − Representação Contínua − Representação por Estágio Bibliografia [1], [2], [3] e [4]
Revisar os principais conceitos envolvidos na melhoria de processos de software.
Aula expositiva de 2h/a
− Unidade 2 – Áreas de Processo do Nível 2 do CMMI-DEV − Gestão de Requisitos − Planejamento de Projeto − Monitoramento e Controle do Projeto − Gestão de Contrato com Fornecedor Bibliografia: [1] e [2]
Identificar e compreender as áreas de processo do nível 2 de maturidade do CMMI
Aula expositiva de 2h/a
− Unidade 3 – Áreas de Processo do Nível 2 do CMMI-DEV − Medição e Análise − Garantia da Qualidade de Processo e Produto − Gestão de Configuração Bibliografia: [1] e [2]
Identificar e compreender as áreas de processo do nível 2 de maturidade do CMMI
Aula expositiva de 2h/a
− Unidade 4 – Áreas de Processo do Nível 3 do CMMI-DEV − Desenvolvimento de Requisitos − Solução Técnica − Integração do Produto Bibliografia: [1] e [2]
Identificar e compreender as áreas de processo do nível 3 de maturidade do CMMI
Aula expositiva de 2h/a
− Unidade 5 – Áreas de Processo do Nível 3 do CMMI-DEV − Verificação − Validação − Foco no Processo Organizacional − Definição no Processo Organizacional Bibliografia: [1] e [2]
Identificar e compreender as áreas de processo do nível 3 de maturidade do CMMI
Aula expositiva de 2h/a
69
− Unidade 6 – Áreas de Processo do Nível 3 do CMMI-DEV − Treinamento Organizacional − Gestão Integrada de Projeto − Gestão de Risco − Análise de Decisão Bibliografia: [1] e [2]
Identificar e compreender as áreas de processo do nível 3 de maturidade do CMMI
Aula expositiva de 2h/a
− Unidade 7 – Jogo 123SPI − Uso de um jogo educativo para apoiar a absorção dos conceitos
abordados nas unidades anteriores Bibliografia: [1] e [2]
Aplicar as áreas de processo dos níveis 2 e 3 de maturidade do CMMI
Exercício prático através da utilização do jogo 123SPI em 3h/a
E S T R A T E G I A D E E N S I N O
- Unidades 1 a 6 (Lembrança e Entendimento): aula expositiva que compreende de forma resumida os conceitos sobre melhoria de processos de software e sobre os principais modelos de maturidade de referencia bem como as áreas de processo dos níveis 2 e 3 de maturidade do CMMI. - Unidade 7 (Entendimento e Aplicação): exercício prático realizado em sala de aula através da utilização do jogo 123SPI para aplicação dos conceitos sobre as áreas de processo dos níveis 2 e 3 de maturidade do CMMI.
A V A L I A Ç Ã O
- Avaliação Pré-Teste e Pós-Teste – Unidade 1, 2, 3, 4, 5 e 6: - Nas avaliações devem ser abordados assuntos relacionados à melhoria de processos, ao modelo de referência CMMI e componentes estruturais do modelo, aos processos do nível 2 de maturidade, aos processos do nível 3 de maturidade de acordo com o CMMI-DEV v1.3:2010, o aluno deverá obter média acima de 70 % na segunda avaliação. - As avaliações se darão por meio de dois testes de 20 questões objetivas de múltipla escolha extraídas das 60 questões propostas pelo jogo, estas questões estão distribuídas nos níveis da taxonomia revisada de Bloom [5]: Lembrança, Entendimento e Aplicação. - Jogo – Unidade 7: - Uso de um jogo para aplicação dos conceitos abordados no treinamento, nesse jogo os alunos têm a oportunidade de aplicar todos os conhecimentos obtidos nas unidades 1, 2, 3, 4, 5 e 6.
B I B L I O G R A F I A
[1] CHRISSIS, Mary Beth. CMMI for development: guidelines for process integration and product improvement / Mary Beth Chrissis, Mike Konrad and Sandy Shrum. 3 ed. The SEI series in software engineering. Pearson Education, Inc. 2011.
[2] CMMI. CMMI Product Team. Capability Maturity Model Integration, version 1.3 – CMMI® for Development, Version 1.3, 2010. [Online]. Disponível em: <http://www.sei.cmu.edu/cmmi/tools/dev/download.cfm>. Acesso em 16 de abril de 2010.
[3] SOFTEX. [Online]. “Melhoria de Processo de Software Brasileiro - MPS.BR – Guia Geral”, 2011. Disponível em <http://www.softex.br/mpsbr>. [Acessado em 25 de abril de 2011].
[4] SOMMERVILLE, I. Software engineering. 7. ed. Reading: Addison-Wesley, 2004. 784p. ISBN: 0321210263
[5] ANDERSON, L.; KRATHWOHL, D. A taxonomy for learning,teaching and assessing: a revision of Bloom’s Taxonomy of Educational Objectives. New York: Longman, 2001.
O design instrucional definido nesta seção serve como base para o design do jogo
apresentado na seção seguinte, em que os objetivos educacionais são atendidos por meio das
atividades e desafios estabelecidos no jogo.
70
3.2. Design do Jogo
O design do jogo é apresentado, de acordo com a seção 2.2.1, inicialmente com a descrição
do jogo, sua classificação quanto ao gênero e uso seguindo com uma descrição da dinâmica do jogo
(jogabilidade), os desafios propostos no jogo, o tabuleiro, a narrativa, finalizando com a descrição
das características técnicas do jogo, como as regras do jogo.
3.2.1. Descrição do Jogo
O jogo aborda dois temas interessantes, estratégia e conhecimento. Por que usar estratégia
no jogo? Porque o jogo deve ser motivador e desafiador para o jogador. Conhecimento é necessário
porque todas as perguntas abordadas durante o jogo estão relacionadas ao assunto CMMI-DEV,
portanto não basta ter a estratégia sem ter o conhecimento do tema. Para sagrar-se vencedor o
jogador deve cumprir os objetivos relacionando às suas habilidades estratégicas uma boa dose de
conhecimento sobre o modelo CMMI-DEV (CMMI, 2010).
3.2.2. Referências
A dinâmica do jogo 123SPI foi baseada no jogo BELTS Challenge sobre Six Sigma.
Entretanto, todo o tabuleiro do jogo 123SPI foi remodelado para atender a necessidade desse
projeto, pois o assunto em questão é diferente, bem como a quantidade de áreas de processo
abordadas.
3.2.3. Composição
Nas seções seguintes são apresentados e descritos os componentes do jogo 123SPI.
3.2.3.1. Tabuleiro
O tabuleiro é composto das 18 áreas de processo conforme indicam os níveis 2 e 3 de
maturidade do CMMI-DEV. A Figura 8 contém a imagem do tabuleiro, a Figura 9 contém um
diagrama de processos mostrando com mais detalhes o funcionamento das áreas de processo
compostas no tabuleiro do jogo, e a Figura 10 contém um exemplo de uma imagem de áreas de
processo que compõem o tabuleiro.
71
Figura 8. Tabuleiro do Jogo 123SPI
Figura 9. Diagrama de Processos do Tabuleiro do Jogo 123SPI
72
Figura 10. Figura de Áreas de Processo do Jogo
3.2.3.2. Pinos
Os pinos representam os jogadores que estão jogando o jogo, nas cores verde, vermelho,
azul e amarelo. As cores não têm diferença entre si em valores perante o jogo.
3.2.3.3. Botões
• Verdes. Os botões verdes representam o treinamento para os Gerentes de Projetos.
Detalhes na Figura 11, item a;
• Amarelos. Os botões amarelos representam o treinamento para a equipe da unidade
de desenvolvimento que é composta por analistas e desenvolvedores. Detalhes na
Figura 11, item b;
• Vermelhos. Os botões vermelhos representam o treinamento para os integrantes do
SEPG – Software Engineering Process Group, equipe responsável pela
implementação dos processos dentro de uma organização. Detalhes na Figura 11,
item c.
73
a. Figura de Recursos para Treinamento do Gerente de Projeto
b. Figura de Recursos para Treinamento da Equipe
c. Figura de Recursos para Treinamento do SEPG
Figura 11. Figura de Recursos de Treinamento do Jogo
3.2.3.4. Cartas de Perguntas
Ao todo existem 60 cartas para representar todas as perguntas que compõem o jogo. Uma
pergunta realizada pela banca pode ter ou não ter relação com o processo em que o jogador se
encontra, as mesmas são feitas de forma aleatória. A Figura 12 apresenta um exemplo de uma
pergunta do jogo. As perguntas foram elaboradas e classificadas de acordo com a taxonomia
revisada de Bloom e cobrem as 18 áreas de processo do CMMI-DEV. Todas as perguntas do jogo
estão no Apêndice H - Perguntas do Jogo e o Apêndice I - Classificação das Perguntas.
Figura 12. Exemplo de uma Carta de Pergunta do Jogo
74
3.2.3.5. Cartas para Respostas
Cada jogador recebe 4 cartas que representam as alternativas que o jogador pode escolher
como alternativa correta, A, B, C e D.
3.2.3.6. Cartas para Missão
As cartas para a missão contêm os objetivos a serem cumpridos. Ao todo existem 18 cartas
de missão e em cada carta há 3 objetivos a serem alcançados. Cada objetivo é único no tabuleiro.
Cada objetivo pode ter no mínimo 4 e no máximo 8 pontos a serem alcançados no indicador de
treinamento. A soma total dos objetivos deve ser sempre igual a 16 para os três objetivos. As cartas
têm o mesmo grau de dificuldade de acordo com as áreas de processo destacadas no tabuleiro pois,
como são três objetivos, cada objetivo foi escolhido de acordo como a forma de disposição no
tabuleiro. A Figura 13 mostra o exemplo de 3 cartas de missão.
Figura 13. Exemplo de Cartas de Missão contendo os objetivos a serem atingidos no Jogo
3.2.3.7. Recursos
Os recursos são os botões nas cores verde, amarela e vermelha, distribuídos no início do
jogo para cada jogador, representando os indicadores de treinamentos para os objetivos. Cada
jogador recebe 5 recursos de cada cor para realizar as apostas. Ao longo da sessão do jogo o jogador
pode ou não receber mais recursos para apostas, assim como também pode perder os recursos
apostados, caso não responda corretamente a pergunta.
75
3.2.3.8. Banca
No início do jogo deve ser nomeado um responsável por acompanhar todo o processo do
jogo. Esse responsável é o patrocinador da implementação dos processos na organização e, entre
outras coisas, deve fornecer os recursos para as apostas e verificar se os jogadores respondem
corretamente às perguntas para saber se os recursos são incorporados ou não ao processo.
3.2.3.9. Livro de Respostas
O jogo também acompanha um livro de respostas para apoiar a banca na identificação das
respostas corretas.
3.2.3.10. Informações sobre o Jogo
O jogo também acompanha um documento que contempla um descritivo sobre o jogo e as
regras que devem ser aplicadas durante o jogo.
3.2.4. Dinâmica do Jogo (jogabilidade)
O jogo 123SPI acontece dentro de uma organização que deseja implantar os dezoito
processos dos níveis 2 e 3 de maturidade do modelo de referência CMMI-DEV (CMMI, 2010). O
jogo considera os sete processos previstos no nível 2 de maturidade, bem como os onze processos
previstos no nível 3. Considerando os dois níveis somam-se dezoito processos, sendo que todos
estão representados no tabuleiro. Para se caminhar pelos processos, é preciso seguir e respeitar a
trilha definida no caminho.
O jogo é realizado com no mínimo dois e no máximo quatro jogadores. Se houver mais
jogadores, eles podem se reunir em equipes, nesse caso cada equipe deve ser considerada um
jogador.
Cada processo possui um indicador para treinamento do Gerente de Projeto, treinamento da
equipe e treinamento do SEPG, representados, respectivamente, pelos círculos nas cores verde,
amarela e vermelha.
O objetivo do jogo 123SPI é o jogador cumprir os objetivos descritos na carta de missão
relacionados às áreas de processo dos níveis 2 e 3 de maturidade do CMMI-DEV e que devem ser
implantados na organização. O jogo começa quando cada um dos jogadores recebe uma carta de
76
missão contendo os três objetivos, sendo que esses objetivos só devem ser conhecidos pelos
próprios jogadores. O conhecimento da missão por parte dos outros jogadores torna mais difícil a
sua obtenção e a estratégia a ser definida. Cada um dos três objetivos que aparecem nas cartas de
missão é relativo a uma área de processo da organização e não são repetidos no tabuleiro. Não
existem objetivos idênticos, cada jogador tem uma missão totalmente diferente dos demais
jogadores.
No início do jogo são distribuídos os recursos para que os jogadores consigam atingir os
objetivos e implantar as melhorias. Cada jogador recebe cinco recursos de cada cor dos indicadores
de treinamento da banca que são ao longo da partida investidos nos processos. A cada resposta dada
corretamente às perguntas feitas em cada rodada, os recursos alocados aos processos são
incorporados a ele e a melhoria assim efetuada. Dessa forma, o jogador analisa a melhor estratégia
de investimento aos processos e das apostas que devem ser feitas.
A cada acerto o jogador ganha um recurso na cor que preferir, não necessariamente deve ser
na cor da aposta anterior, pois o jogo é de estratégia e o jogador deve analisar a cor mais importante
a escolher para apostar à medida que o jogo avança. Se, por um lado, responder de forma errada as
perguntas, os recursos são desperdiçados, ou seja, não são incorporados aos processos e o jogador
não tem direito a novos recursos, retornando os mesmos para a banca do jogo.
O jogador que completar sua missão em primeiro lugar, lembrando que a missão é composta
pelos três objetivos, é declarado vencedor. Quando isso acontecer, grande parte dos processos são
“implementados” na empresa, pois para cumprir a estratégia definida pelo jogador, todo o tabuleiro
é percorrido pelos quatro jogadores. Pois, a cada rodada o jogador deve mudar o processo em que se
encontra, não podendo apostar no mesmo processo em duas rodadas seguidas.
Por exemplo, o jogador que receber uma carta de missão onde um dos objetivos seja
implantar o processo de Verificação com quatro indicadores de treinamento para equipe, deve
procurar onde está esse processo no tabuleiro e fazer com que os quatro recursos no treinamento
indicado sejam preenchidos. Para navegar no tabuleiro até chegar ao processo de Verificação ele
passa por outros processos do tabuleiro. A cada movimentação realizada em um processo deve ser
sucedida de uma aposta, dessa forma o jogador não passa pelo processo sem ter feito pelo menos
uma aposta.
77
Portanto, sabendo quais são seus objetivos e conhecendo as áreas de processo a serem
implantadas é possível saber quantos pontos de melhoria são necessários para se completar a
missão.
É importante ressaltar que, na carta de missão, os objetivos devem ser cumpridos de acordo
com os pontos expressos na carta. Por exemplo, a Figura 13 mostra uma carta de missão cujo
primeiro objetivo é aumentar em seis pontos o indicador de treinamento do Gerente de Projeto no
processo Gestão de Requisitos, o segundo objetivo é aumentar em quatro pontos o indicador de
treinamento da Equipe e o terceiro objetivo é aumentar em seis pontos o indicador de treinamento
do SEPG. Nesse caso, o jogador somente ganha o jogo quando completar todos os indicadores de
treinamento de cada objetivo. Não existe ordem de completude para os objetivos da carta de missão,
isso depende da estratégia do jogador e de como o tabuleiro é percorrido.
Em cada rodada, os jogadores devem mover seus pinos para um processo próximo, que
esteja ligado pela trilha e, depois que todos se movimentam para um novo processo é retirada uma
carta de Pergunta. A banca lê a carta e faz a pergunta aos jogadores, que devem escolher a carta
com a alternativa que consideram corretas: cartas A, B, C ou D.
O jogador não deve mostrar a alternativa escolhida para os adversários do jogo. Toda
alternativa possui apenas uma resposta correta. Escolhida a resposta, os jogadores devem selecionar
quantos recursos eles apostam naquela pergunta e naquele processo cujos pinos foram
movimentados. A aposta deve ser de no mínimo um recurso e no máximo quatro recursos por
rodada. Os jogadores podem investir quais recursos quiserem, na combinação que preferirem. O
ideal é que a aposta esteja relacionada à estratégia do jogo e à convicção de acerto em responder a
pergunta.
As respostas às perguntas estão disponíveis no livro de respostas de acordo com o número
da pergunta. Os jogadores que acertarem a pergunta têm seus recursos apostados incorporados ao
processo selecionado. Uma pergunta não pode ser feita mais de uma vez numa mesma rodada, isso
quer dizer que, sempre que a banca fizer a pergunta, ela descartará em seguida essa pergunta, por
isso estão disponíveis no jogo 60 perguntas.
Como prêmio para o acerto, os jogadores têm direito a um recurso extra fornecido pela
banca, na opção de treinamento (cor) escolhida pelo jogador. O objetivo é fornecer mais recursos
78
para o jogador para que ele possa continuar investindo nas áreas de processo da empresa em cada
rodada do jogo.
Por outro lado, o jogador que errar a pergunta perde os recursos apostados, esses recursos
não são incorporados ao processo e voltam para a banca e esse jogador não tem direito a receber um
novo recurso para continuar investindo nos treinamentos.
Caso o jogador fique sem recursos para continuar apostando no jogo, ele permanece na área
de processo e vai respondendo às perguntas, se acertar ganha recursos para se movimentar e se errar
continua na área de processo e não se movimenta. A regra é clara, só pode se movimentar se tiver
recursos para apostar. Ele pode até ganhar alguns pontos caso os outros jogadores apostem nas suas
áreas de processo definidas na sua missão, mas como os objetivos não são idênticos entre si, os
demais jogadores só devem fazer apostas mais altas nas áreas de processo que fazem parte da sua
missão. Nas quem não fazem parte da sua missão, eles fazem apostas de apenas um recurso.
Para concluir o jogo, o jogador deve cumprir os três objetivos definidos na carta de missão,
para concluir esses objetivos eles podem passar por processos que não sejam os descritos na sua
carta de missão, mas como a aposta é obrigatória para continuar se movimentando no tabuleiro, eles
podem apostar em processos que não estejam definidos na missão ajudando dessa forma a
organização a implementar os processos como um todo e também ajudando outros jogadores que
têm aquele objetivo como meta a ser alcançada. Ao término do jogo um processo pode ter mais
indicadores de treinamento do que o definido no tabuleiro, isso não prejudica o jogador, muito pelo
contrário, mostra que todos os jogadores investiram em treinamentos e nas áreas de processo da
organização.
Ao término do jogo grande parte dos processos deve ser considerada implantada na
organização e espera-se que os jogadores que participaram da rodada tenham absorvido mais
conhecimento a respeito do assunto CMMI, pois para avançar em cada etapa do jogo as perguntas
devem ser respondidas corretamente. E, a cada jogada um novo processo deve ser selecionado para
receber as apostas fazendo com que se percorra todo o tabuleiro ao término do jogo.
3.2.5. Narrativa
Implantar melhoria de processos de software não é tarefa fácil para as empresas, ainda mais
contar com o apoio de profissionais com o conhecimento adequado para apoiar essa missão em uma
79
organização de TI. Pensando nisso, as empresas buscam profissionais que tenham o mínimo de
conhecimento e experiência em qualidade de software com o objetivo de prepará-los para que
possam se tornar integrantes do grupo de engenharia de processos de software das organizações.
Para integrar esse grupo, estes profissionais devem passar pelo teste de conhecimento através do
jogo 123SPI para que sejam medidos os seus conhecimentos em CMMI-DEV (CMMI, 2010) e para
analisar a sua conduta durante o jogo de forma a trabalhar em equipe e colaboração.
3.3. Características do Jogo
A seguir são relacionadas as características as quais foram utilizadas para avaliação das
soluções similares e que nesta seção são utilizadas como base para descrição do jogo proposto. Ao
citar cada característica, é descrito como, no jogo proposto, esta deve ser totalmente atendida.
Com o jogo educativo 123SPI objetiva-se atender todas as características estruturais de um
jogo, apresentadas por Prensky (2007) como: (i) metas e objetivos, (ii) regras, (iii) desfecho e
feedback, (iv) conflito, (v) competição e desafios, (vi) interação, (vii) representação, (viii) história
ou narrativa.
O objetivo do jogo é alcançar os treinamentos para as três áreas da equipe da unidade de
desenvolvimento: Gerentes de Projetos, Equipe e SEPG. O jogador consegue alcançar esse objetivo
caso tenha conhecimento e responda corretamente a todas as perguntas feitas sobre as áreas de
processo dos níveis 2 e 3 do CMMI.
A competição e o desafio do jogo é percorrer o tabuleiro estrategicamente para concluir os
três objetivos definidos na carta de missão. Se o jogador não analisar corretamente as trilhas ele
pode se perder no tabuleiro e percorrer caminhos mais difíceis de serem alcançados e com isso
perder o jogo para seus adversários.
A regra do jogo sobre sempre efetuar uma aposta em uma área de processo, independente se
faz parte da sua missão ou não, faz com que o jogador ajude indiretamente seus adversários
permitindo uma interação maior entre todos.
O feedback ao jogador é imediato, pois a cada pergunta feita imediatamente é fornecida a
resposta correta e o jogador recebe a informação se respondeu corretamente ou não, incorporando
os recursos apostados ou não na área de processo.
80
Com base na narrativa do jogo o jogador pode ser chamado para atuar no grupo de
engenharia de processos da empresa ou não, tudo depende da sua atuação no jogo e como ele se
comporta durante o jogo.
Quanto aos objetivos educacionais, estes são apresentados e discutidos em mais detalhes na
seção 3.1, nesta mesma seção são apresentadas as demais questões instrucionais referentes ao jogo
proposto.
O jogo proposto tem por objetivo o apoio ao ensino da melhoria de processos de software,
com foco no modelo de maturidade CMMI-DEV (CMMI, 2010) nas áreas de processo dos níveis 2
e 3 de maturidade. Com base neste objetivo o jogo fornece ao jogador conceitos e desafios para a
implantação de melhoria de processos em uma organização e para um melhor entendimento sobre
as áreas de processo envolvidas nos níveis 2 e 3. Através do jogo o jogador pode interagir com
outros jogadores como se fizessem parte da mesma equipe de implantação de processos.
Durante todo o decorrer do jogo o jogador recebe o feedback se as suas respostas foram
dadas corretamente ou não. Pois, somente com as respostas corretas os recursos podem ser
incorporados à área de processo que teve a aposta feita pelo jogador. Ganha o jogador que mais
respostas acertar e mais estrategicamente definir o caminho a ser percorrido durante o jogo.
O jogo 123SPI é um jogo de tabuleiro de perguntas e respostas, tendo como base o
conhecimento no modelo de maturidade CMMI-DEV (CMMI, 2010) em seus níveis 2 e 3 de
maturidade. O jogo proporciona ao jogador uma relação direta entre jogo e jogador e entre jogador
e adversários, pois os jogadores indiretamente estão apoiando os adversários ao apostarem em áreas
de processo que talvez não façam parte da sua carta de missão, mas que são obrigados a apostar em
decorrência das regras definidas para o jogo. A cada pergunta feita a banca deve informar a resposta
correta para continuar o jogo e recursos extras são fornecidos aos jogadores que acertam as
perguntas para que seja possível continuar investindo nos treinamentos.
A presença de um instrutor durante o jogo é dispensável. O jogo precisa apenas de um
mediador que pode ser um dos próprios jogadores do jogo que deve conhecer as regras definidas no
Apêndice G - Informações sobre o Jogo 123SPI.
O jogo 123SPI foi desenvolvido em formato de tabuleiro e está disponível livremente para
uso a partir de download de todos os componentes de jogo e de montagem dos mesmos conforme
81
orientação no endereço www.univali.br. Todas as informações sobre como construir o tabuleiro e
como usar todos os componentes do jogo e os componentes estão disponíveis para download,
restringindo apenas os direitos autorais de origem.
A aplicação do jogo deve ser formal quanto à efetividade do seu uso. São previstas quatro
avaliações contemplando análise sobre as características em termos de usabilidade. A avaliação
formal deve ser realizada com alunos de graduação e especialização (MBA) em Ciência da
Computação na área de qualidade de software, divididos aleatoriamente em dois grupos, grupo
experimental e de controle. A avaliação é composta de duas avaliações pré-teste e pós-teste
aplicadas aos dois grupos. A avaliação do jogo é discutida com mais detalhes no Capítulo 5.
3.4. Desenvolvimento do jogo
Esta seção apresenta os detalhes referentes ao funcionamento do jogo 123SPI através de um
diagrama de atividades, conforme Figura 14.
Figura 14. Diagrama de Atividades do funcionamento do Jogo
Nos itens a seguir são descritos todo o funcionamento de cada etapa do jogo.
3.4.1. Seleciona Jogadores
Esta atividade indica sobre a seleção de quais jogadores participam da rodada do jogo. São
necessários no mínimo dois e no máximo quatro jogadores para a realização de uma rodada, caso
82
haja mais participantes podem ser definidas as equipes que fazem parte do jogo e considerar cada
equipe como sendo um jogador. Esta seleção é feita pela banca em conjunto com os jogadores que
têm interesse em participar do jogo.
3.4.2. Jogadores Escolhem um Pino para Representação
Nesta atividade cada jogador escolhe um pino para representar a sua pessoa no tabuleiro.
São quatro opções: verde, vermelho, azul e amarelo. Não existe distinção entre as cores dos pinos.
Esta seleção é feita pelos próprios jogadores.
3.4.3. Informa Regras do Jogo
O mediador da banca lê todas as regras e narrativa definidas para o uso do jogo de acordo
com o Apêndice G - Informações Sobre o Jogo que é um componente do jogo. O mediador do jogo
pode ser escolhido entre os próprios jogadores do jogo.
3.4.4. Distribui Cartas de Missão e Recursos para Apostas
Nesta atividade é distribuída uma carta de missão para cada jogador e recursos para apostas
no jogo que representam os treinamentos da organização. Esta distribuição é feita pelo mediador da
banca.
3.4.5. Recebe Cartas de Missão
Nesta atividade cada jogador recebe sua carta de missão. Esta distribuição é feita pelo
instrutor/mediador da banca.
3.4.6. Analisa Estratégia a ser Adotada para Concluir Missão do Jogo
Nesta atividade cada jogador, depois de recebida a carta de missão e de acordo com as áreas
de processo estabelecidas no tabuleiro, define uma estratégia a ser adotada para percorrer o caminho
do tabuleiro com o objetivo de alcançar a missão estabelecida na carta.
3.4.7. Realiza Pergunta
Nesta atividade o mediador da banca realiza uma pergunta para cada rodada do jogo. Não
existe nenhum critério definido para a seleção de quais perguntas devem ser feitas. Existem 60
perguntas disponíveis que podem ser feitas aleatoriamente, a única regra do jogo é que uma
83
pergunta só pode ser realizada apenas uma vez. As perguntas são feitas pelo instrutor/mediador da
banca.
3.4.8. Movimenta para uma Área de Processo do Tabuleiro
Nesta atividade se o jogador não cumpriu a missão definida na carta recebida ele faz uma
movimentação para uma área de processo definida no tabuleiro. A restrição existente diz que o
jogador só pode movimentar de acordo com as trilhas definidas no tabuleiro. Se uma área não tem
ligação no tabuleiro então não é possível fazer esse tipo de movimentação. Uma movimentação
pode ser feita tanto para frente quanto para traz. Se o jogador cumpriu todos os objetivos definidos
na carta de missão é encerrado o jogo e esse jogador é declarado vencedor. A movimentação é feita
pelo próprio jogador.
3.4.9. Aposta de 1 a 4 Recursos no Processo e Escolha de uma Alternativa correta como Resposta
Nesta atividade o jogador deve apostar no processo escolhido de 1 a 4 recursos em um dos
treinamentos disponíveis. Não há regras para os treinamentos que devem receber apostas, apenas a
quantidade, 1 a 4. Em seguida deve ser escolhida a alternativa correta para a pergunta feita, a
alternativa não deve ser apresentada até que seja solicitado. A aposta e escolha da alternativa são
feitas pelo próprio jogador.
3.4.10. Informa Resposta Correta
Nesta atividade é apresentada a resposta correta para a pergunta realizada de acordo com o
gabarito fornecido no Apêndice H – Perguntas do Jogo. A informação é passada pelo
instrutor/mediador da banca.
3.4.11. Recurso incorporado ao processo
Nesta atividade para os jogadores que tiveram suas respostas dadas corretamente, os
recursos apostados são incorporados aos treinamentos e processos selecionados. A confirmação de
incorporação é feita pelo instrutor/mediador da banca e pelo próprio jogador que deve estar atento à
sua missão estabelecida.
84
3.4.12. Recebe Recurso Adicional para Aposta
Nesta atividade são fornecidos mais recursos para os jogadores que tiveram suas respostas
feitas corretamente. É dado um recurso adicional para o treinamento na cor escolhida pelo jogador.
O recurso extra é fornecido pelo instrutor/mediador da banca.
3.4.13. Recurso apostado Retorna para a Banca
Nesta atividade os recursos apostados dos jogadores que tiveram suas respostas erradas são
retornados para a banca do jogo e não são incorporados aos processos. Os jogadores também não
recebem recursos adicionais. E o ciclo continua realizando nova pergunta até um dos jogadores
completar a sua missão.
O jogo foi construído em tabuleiro por ser de certa forma mais interativo entre os jogadores,
aqui são listados alguns fatores que levaram a definição do jogo 123SPI para ser de tabuleiro:
• Após uma reunião de um projeto de implementação de melhoria de processos, pode-se
iniciar uma partida do jogo 123SPI.
• Com apenas um jogo várias pessoas podem jogar várias partidas, sem custo com
infraestrutura.
• Pelo formato do jogo 123SPI, conhecer novas pessoas e ultrapassar inibições iniciais
passa a ser um fato importante, pois como dito anteriormente, a interação entre os
jogadores é maior.
• O jogo 123SPI permite definir a estratégia do jogo, lidar com vitórias e derrotas, fazer
escolhas e mostrar perante a todos o conhecimento adquirido com o assunto e como esse
conhecimento pode ser usado no ambiente organizacional.
Mas, diante dos fatores acima, o mais importante é o fator Diversão proporcionada pelo jogo 123SPI.
85
4 AVALIAÇÃO DO JOGO 123SPI
Este capítulo apresenta a descrição dos experimentos realizados, bem como os resultados
obtidos através deles tendo como base o framework de Kochanski (2009). O Apêndice J apresenta a
instância do framework com o planejamento dos experimentos que foram realizados para a
avaliação dos efeitos de aprendizagem pelo uso do Jogo 123SPI. A instância contém apenas os itens
descritos no framework de Kochanski (2009).
O experimento aborda as estratégias de pesquisa quantitativa e qualitativa. A estratégia
quantitativa é utilizada para avaliar a efetividade do ensino proporcionado pelo jogo, respondendo
ou rejeitando as hipóteses definidas na seção 1.1.1 desta dissertação.
A estratégia qualitativa é utilizada para avaliar, sob a ótica dos participantes, se o jogo ajuda
a absorver o conteúdo ministrado no treinamento e, também, se o jogo torna o processo de
aprendizagem mais atrativo, respondendo assim, as questões da pesquisa definidas na seção 1.1.1
desta dissertação.
Este experimento deve ser conduzido de forma in-vitro, pela impossibilidade de realização,
neste momento, de um estudo in-vivo. Pois, nesse caso deve haver um curso na área de melhoria de
processos de software envolvendo os níveis de maturidade 2 e 3 do CMMI-DEV (CMMI, 2010).
No entanto, o experimento deve ser com profissionais atuantes na área de desenvolvimento
de software, bem como alunos de graduação e especialização de cursos em TI com ênfase em
Qualidade de Software e com relação direta com modelos de maturidade. Ao todo devem participar
desse experimento cerca de 75 pessoas, entre profissionais e alunos de faculdades.
O experimento em relação à abordagem da pesquisa utiliza a descritiva pelo fato do objetivo
do estudo estar focado na descrição dos efeitos de aprendizagem do conteúdo apresentado no
treinamento formal e com o uso do jogo 123SPI.
O experimento em relação à seleção dos grupos (experimental e de controle) aborda a forma
aleatória com base em sorteio realizado entre os participantes que devem ser divididos em grupo
experimental e de controle, metade dos participantes do treinamento formal compõe o grupo
experimental e a outra metade compõe o grupo de controle, cada participante pega um papel em que
86
está escrito “Grupo Experimental” ou “Grupo de Controle”. As regras devem ser explicadas no
início do treinamento.
Os experimentos utilizam os questionários descritos nos apêndices:
• Apêndice A – Questionário de Perfil do Participante. O objetivo desse questionário é
levantar a formação acadêmica e profissional dos participantes da avaliação e o nível de
conhecimento em melhoria de processos de software;
• Apêndice B – Termo de Consentimento. O objetivo desse questionário é obter
concordância formal na participação do experimento com todos os participantes da
avaliação;
• Apêndice C – Pré-Teste do Jogo. O objetivo desse questionário é fazer uma avaliação
com todos os participantes do treinamento, tanto do grupo experimental quanto de
controle. Através de análise posterior são identificadas as assertividades do questionário
para comparação com o pós-teste. As perguntas que fazem parte dessa avaliação são um
subconjunto de 20 questões extraídas das 60 oferecidas no jogo e não são as mesmas
perguntas usadas na avaliação pós-teste. As perguntas devem ser extraídas de forma
balanceada de acordo com a taxonomia revisada de Bloom (ANDERSON e
KRATHWOHL, 2001), 4 relacionadas ao nível de lembrança, 6 relacionadas ao nível de
entendimento e 10 relacionadas ao nível de aplicação e, de acordo com os níveis 2 e 3 de
maturidade do CMMI-DEV (CMMI, 2010), 11 relacionadas ao nível 2, 8 relacionadas ao
nível 3 e 1 genérica;
• Apêndice D – Pós-Teste do Jogo. O objetivo desse questionário é fazer uma avaliação
com todos os participantes do treinamento, tanto do grupo experimental quanto de
controle. Através de análise posterior são identificadas as assertividades do questionário
para comparação com o pré-teste. As perguntas que fazem parte dessa avaliação são um
subconjunto de 20 questões extraídas das 60 oferecidas no jogo e não são as mesmas
perguntas usadas na avaliação pré-teste. As perguntas devem ser extraídas de forma
balanceada de acordo com a taxonomia revisada de Bloom (ANDERSON e
KRATHWOHL, 2001), 4 relacionadas ao nível lembrança, 6 relacionadas ao nível de
entendimento e 10 relacionadas ao nível de aplicação e, de acordo com os níveis 2 e 3 de
87
maturidade do CMMI-DEV (CMMI, 2010), 9 relacionadas ao nível 2, 10 relacionadas ao
nível 3 e 1 genérica;
• Apêndice E – Avaliação da Aula. O objetivo desse questionário é criar uma interação
direta com todos os participantes para que os mesmos possam sugerir, questionar e
propor melhorias na aula ministrada durante o treinamento. No questionário são
abordadas questões sobre motivação, relevância do assunto ministrado, efeitos de
aprendizagem e método de ensino;
• Apêndice F – Avaliação do Jogo. O objetivo desse questionário é criar uma interação
direta com os participantes do grupo experimental para que os mesmos possam sugerir,
questionar e propor melhorias no jogo desenvolvido e apresentado durante o treinamento.
No questionário são abordadas questões sobre motivação, relevância das questões feitas
no jogo e relevância do jogo como facilitador do aprendizado;
• Apêndice K – Avaliação do Grupo de Controle. O objetivo desse questionário é fazer
uma avaliação com os integrantes do grupo de controle no momento em que os
integrantes do grupo do experimento estiverem jogando o jogo 123SPI. Através de
análise posterior são identificadas as assertividades do questionário para comparação com
o pré-teste. As perguntas que fazem parte dessa avaliação são um subconjunto de 20
questões extraídas das 60 oferecidas no jogo e não são as mesmas perguntas usadas na
avaliação pré-teste e avaliação pós-teste. As perguntas devem ser extraídas de forma
balanceada de acordo com a taxonomia revisada de Bloom (ANDERSON e
KRATHWOHL, 2001), 14 relacionadas ao nível de lembrança, 5 relacionadas ao nível de
entendimento e 1 relacionada ao nível de aplicação.
O questionário de avaliação do jogo é utilizado para coletar os dados qualitativos para
responder as questões na seção 1.1.1.
As pré-condições para a realização do experimento são os participantes terem conhecimento
em melhoria de processos de software ou ter participado do treinamento conceitual no modelo de
maturidade CMMI-DEV (CMMI, 2010).
O objetivo do design instrucional é permitir o nivelamento entre os participantes e
possibilitar a explanação de novos conceitos, conforme já apresentado na seção 3.1. No design
88
instrucional são definidos: (i) o público alvo; (ii) pré-condições dos participantes; (iii) ementa; (iv)
objetivos: geral e específicos de aprendizagem; (v) estratégias de ensino usadas durante o curso; (vi)
forma de avaliação; e, (vii) bibliografia utilizada.
Os questionários de avaliação pré-teste (Apêndice C) e pós-teste (Apêndice D) devem ser
utilizados para a avaliação do conhecimento adquirido. Os dois questionários possuem o mesmo
formato, ou seja, mesmo número de questões com equivalência em termos de objetivos
instrucionais.
O estudo empírico deve ser realizado em uma sala de treinamento com capacidade para 30
participantes e sala de estudo para uso do grupo de controle para discussão do assunto do projeto. O
treinamento deve ser ministrado em 12 horas aula sobre melhoria de processos de software e o
modelo de maturidade CMMI-DEV (CMMI, 2010). Antes do início do treinamento deve ser
aplicado o questionário referente à identificação de perfil e o compromisso na participação do
experimento, em seguida à realização do treinamento deve ser aplicada avaliação pré-teste e, após o
uso do jogo deve ser aplicada a avaliação pós-teste. O grupo do jogo do experimento joga o jogo na
própria sala de treinamento. Os participantes são convidados a participar dos experimentos de
acordo com o interesse no evento e do perfil apresentado.
4.1. AVALIAÇÃO QUANTITATIVA
A avaliação quantitativa tem como base o pré-teste que é realizado com todos os
participantes. Em seguida, é feita uma intervenção controlada (integrantes do grupo de controle são
apartados do grupo do experimento). E, logo após, realiza-se uma medição final para os dois
grupos, pós-teste. Essas medições são realizadas com o objetivo de identificar o efeito de
aprendizagem do grupo experimental em relação ao grupo de controle.
Para a verificação das hipóteses devem ser usadas as variáveis de controle dependentes
como instrumentos de medição, quais sejam: (i) pontuação dos participantes na avaliação pré-teste e
avaliação pós-teste; (ii) quantidade de participantes que consideraram que o jogo facilita a
aprendizagem em relação aos conceitos sobre os níveis 2 e 3 do modelo de maturidade CMMI-DEV
(CMMI, 2010); e, (iii) quantidade de participantes que consideraram o processo de aprendizagem
mais atrativo com o jogo 123SPI.
89
Quanto ao tratamento a ser realizado, após a realização da avaliação pré-teste o grupo
experimental joga o jogo 123SPI na própria sala de treinamento, enquanto o grupo de controle fica
em outra sala de aula participando de uma avaliação específica para o grupo sobre o CMMI-DEV
(CMMI, 2010). Esta avaliação é um questionário sobre o CMMI-DEV, as perguntas estão descritas
no Apêndice K – Avaliação do Grupo de Controle.
O grupo de controle realiza uma atividade direcionada ao mesmo assunto abordado no jogo
para que, dessa forma, todos os alunos participem de atividades relacionadas ao CMMI-DEV
(CMMI, 2010). Assim, espera-se diminuir as ameaças provocadas pelo fato do grupo experimental
ter mais tempo dedicado ao estudo do que o grupo de controle.
A avaliação da atratividade do jogo e se o mesmo facilita a aprendizagem em relação aos
conceitos sobre os níveis 2 e 3 do modelo de maturidade CMMI também é feita através de
questionários.
A avaliação da validade serve para identificar as ameaças e se há a necessidade de algum
tratamento para o assunto. No experimento, as ameaças identificadas e tratadas são:
• Ameaça de Conclusão. Instrumentação. Para reduzir os efeitos dessa ameaça, uma mesma
pessoa é responsável por coletar e analisar os dados seguindo o padrão e procedimento
previamente definido;
• Ameaça de Conclusão. Uso da Definição do Experimento em todas as Avaliações.
Ameaça identificada, mas não tratada.
• Ameaça Interna. Interesse dos Participantes. Para reduzir os efeitos dessa ameaça,
elaborado o questionário de perfil a fim de identificar as possíveis situações de falta de
interesse no assunto e o termo de consentimento na participação do experimento, pelo
qual o participante concorda ou não na participação. Somente participam do experimento
alunos que responderem ao questionário respondendo afirmativamente a pergunta 08 do
Apêndice A;
• Ameaça Interna. Teste do Grupo de Controle. Para reduzir os efeitos dessa ameaça que
está relacionada ao fato dos alunos do grupo de controle não ficarem ociosos e
participarem de uma atividade relacionada ao assunto CMMI-DEV. Deve ser realizada
90
uma avaliação com o grupo de controle. Essa avaliação é composta de um questionário
contendo 20 perguntas objetivas extraídas do conjunto de 60 perguntas oferecidas pelo
jogo, sendo que essas perguntas não constam nos questionários de avaliações pré-teste e
pós-teste.
• Ameaça Interna. Atividades Longas do Experimento. Essa atividade está relacionada ao
tempo de duração do treinamento e das respostas aos questionários. No entanto, apesar de
ter sido identificada ela não foi tratada.
• Ameaça de Construção. Seleção dos Participantes. Para reduzir os efeitos dessa ameaça, a
seleção dos participantes deve ser realizada de forma aleatória através de sorteio entre os
participantes do experimento;
• Ameaça Externa. Divulgação e Participação dos Selecionados. Para reduzir os efeitos
dessa ameaça, deve ser realizada uma ampla divulgação do experimento e um acordo
entre a empresa privada, universidade e a autora sobre a emissão de certificado de
participação no treinamento para que os alunos participem do experimento de forma
contributiva e não simplesmente participar por participar.
• Ameaça Externa. Conhecimento dos Alunos. Para reduzir os efeitos dessa ameaça, deve
ser elaborado um treinamento prévio a ser aplicado antes do uso do jogo com o objetivo
de fornecer um nivelamento mínimo entre todos os participantes.
• Ameaça Externa. População do Experimento. Essa ameaça está relacionada com a
população participante do experimento, todos os participantes são de Goiânia. Ameaça
não tratada.
Os participantes devem ser informados sobre a dinâmica do trabalho, informando a
existência do questionário de identificação do perfil dos participantes, a aplicação das duas
avaliações pré-teste e pós-teste, o treinamento conceitual tendo como base o modelo de maturidade
CMMI em seus níveis 2 e 3 e as avaliações da aula, do jogo e do grupo de controle. E, que todas as
atividades compõem o estudo empírico sobre a avaliação do jogo.
Todos os participantes devem assinar o Termo de Consentimento (Apêndice B) para
autorização na participação do experimento. Além disso, deve ser enfatizada a importância da área
91
de melhoria de processos de software para as empresas desenvolvedoras de software e como essa
área tem crescido ao longo dos últimos anos no Brasil e no mundo.
Após o término da realização do experimento, os dados do estudo devem ser coletados
através das respostas dos participantes na avaliação pré-teste, avaliação pós-teste e questionário de
avaliação do Jogo 123SPI. Esses dados devem ser transferidos para uma planilha eletrônica para
análise e conclusão do estudo.
A autora da dissertação deve acompanhar todas as atividades do grupo experimental de
forma a garantir que o estudo seja realizado em conformidade com o planejado.
Em seguida, deve ser realizada a análise e interpretação dos dados coletados no experimento
que compreendem os parâmetros populacionais, o tipo de teste utilizado, a estatística utilizada, a
forma como o conjunto de dados é reduzido e como são realizados os testes de cada uma das
hipóteses da pesquisa.
O parâmetro populacional utilizado é o não paramétrico, pois o objetivo do estudo é
comparar a diferença entre os resultados do grupo experimental e os do grupo de controle. As regras
para uso dos testes não-paramétricos (BARBETTA, REIS e BORNIA, 2008) são: (i) não é
necessário conhecer a distribuição de variável de pesquisa na população; (ii) o tamanho da
amostragem da população é pequena, até 20 participantes em cada grupo utilizando o método
Mann-Whitney (BARBETTA, REIS e BORNIA, 2008); e, (iii) escala da variável de pesquisa
ordinal ou nominal.
O teste utilizado deve ser o método Mann-Whitney, pois em um teste não-paramétrico as
amostras são independentes, ou seja, intergrupos, e as amostras devem ser obtidas a partir de uma
mesma população (BARBETTA, REIS e BORNIA, 2008).
Como a amostragem para a realização de cada avaliação do jogo 123SPI deve ser no
máximo de 30 participantes, somando os participantes do grupo experimental e de controle, e
atende aos demais critérios a opção é pela utilização do teste não-paramétrico, já que independe da
forma de distribuição da amostra.
Como complemento, caso a amostra tenha 30 participantes, deve ser também utilizado teste
“ t de Student” que possui a característica de se aproximar da normal à medida que o tamanho da
92
amostra cresce (> 30) e para a comparação de médias de amostras independentes ao nível de
significância de 5% (valor descritivo de p <0,05).
Nestes experimentos devem ser utilizados um teste não-paramétrico. Como o objetivo é
comparar dois diferentes grupos com amostras independentes, o teste mais adequado é Mann-
Whitney (KOCHANSKI, 2009; BARBETTA, REIS E BORNIA, 2008). O teste Mann-Whitney
segundo o framework de Kochanski (2009) deve atender as regras:
Regra 1: o tipo de teste estatístico seja não-paramétrico;
Regra 2: as amostras são independentes (inter-grupos);
Regra 3: as amostras são obtidas a partir da mesma população;
Regra 4: a observação das amostras é independente; e,
Regra 5: as observações são comparáveis.
Desta forma, é possível observar que a escolha pelo método Mann-Whitney se confirma
adequada uma vez que todas as regras estabelecidas no framework de Kochanski (2009) são
cumpridas.
Assim como no teste, na estatística os dados são calculados seguindo o método de Mann-
Whitney e o teste t de Sudent. Pois, estabelecem um método para condução da verificação
estatística, conforme descrito no framework de Kochanski (2009).
Uma grande quantidade de métodos estatísticos supõe que dados provêm de uma
distribuição Normal, permitindo que seja utilizada a maioria das técnicas de inferência estatística,
por exemplo, a estimação e os testes de hipóteses. Existem disponíveis alguns testes para avaliar se
a distribuição de um conjunto de dados adere à distribuição Normal: Anderson-Darling, Cramer-
Von Mises, D’Agostino-Pearson, Jarque-Bera, Kolmogorov-Smirnov, e Shapiro-Wilk, além de
recursos gráficos, como histograma e normal plot (LEOTTI et al., 2005; OZTUNA et al., 2006;
LUCAMBIO, 2008). Diversos trabalhos já foram publicados comparando a eficiência destes testes.
Leotti et al. (2005) compararam os testes Kolmogorov-Smirnov, Cramer-Von Mises, Anderson-
Darling e Shapiro-Wilk, concluindo que há equivalência entre os quatro testes para dados Normais,
mas que o teste de Kolmogorov-Smirnov é menos sensível à verificação da Normalidade, sendo
93
considerado menos eficiente que os demais. Estes autores consideram que o teste de Shapiro-Wilk é,
aparentemente, o melhor teste de aderência à Normalidade. Este fato também é confirmado pelos
autores Oztuna et al. (2006) e Cirillo e Ferreira (2003). Shapiro e Wilk (1965) desenvolveram o
teste de Shapiro-Wilk, mostrando que esse teste é eficiente em situações de diferentes distribuições
e tamanhos de amostras quando comparado com os resultados de testes como o de Kolmogorov-
Smirnov, por exemplo.
Para a verificação da Normalidade por meio dos métodos de Shapiro-Wilk e de Kolmogorov-
Smirnov, existem diversas ferramentas e programas estatísticos, dentre os quais se pode utilizar o
Statistical Package for Social Sciences (SPSS) versão 19.0 (SPSS, 2011). O SPSS é usado para a
análise de dados e permite manipular, transformar, criar tabelas e gráficos que resumam as
informações obtidas. As suas potencialidades vão além da análise descritiva de um conjunto de
dados. É possível realizar com este software procedimentos mais avançados como inferência
estatística, teste de hipóteses e estatísticas multivariadas para dados qualitativos e quantitativos. No
quarto experimento deve ser usado além do Mann-Whitney, o Shapiro-Wilk com o uso da
ferramenta SPSS versão 19.
Para a redução do conjunto de dados são elaborados gráficos de pontos com os dados
coletados. A partir deles, são analisados eventuais pontos de dispersão que são eliminados. Caso
ocorra eliminação de algum ponto de dispersão, tal informação é inserida nos registros do estudo.
Para os testes das hipóteses H0, H1, H2, H3, e H4 são comparados o desempenho dos
participantes do grupo experimental com o desempenho dos participantes do grupo de controle no
pré-teste e pós-teste. A pergunta 01 é testada através de comparação das quantidades de respostas
dos participantes que consideram que o jogo ajuda a absorção do conteúdo dos níveis 2 e 3 do
modelo de maturidade CMMI-DEV (CMMI, 2010). Para a pergunta 02, são analisadas as
quantidades de respostas dos participantes que consideraram mais atrativa a aprendizagem através
do jogo.
Para identificar o perfil dos participantes nos quatro experimentos foi realizada uma análise
dos dados extraídos do Questionário de Perfil. A Figura 15 mostra a distribuição de acordo com a
área de atuação nas organizações ou se são apenas estudantes de acordo com o perfil respondido.
94
Figura 15. Distribuição por Perfil – 1º, 2º, 3º e 4º Experimentos
As seções 4.1.1, 4.1.2, 4.1.3 e 4.1.4 descrevem com mais detalhes o planejamento, a
execução e os resultados dos quatro experimentos realizados.
4.1.1. 1º Quase-Experimento Realizado
4.1.1.1. Planejamento
A avaliação do primeiro experimento está planejada para ser realizada com 30 profissionais
de uma empresa desenvolvedora de software, Politec Tecnologia da Informação situada em
Goiânia.
Nessa primeira avaliação, o planejamento não contempla a realização da atividade de
avaliação pré-teste. Como se trata de uma primeira aplicação do jogo, o foco do experimento está na
calibração do jogo com os alunos verificando se o jogo contribui para o conhecimento e se o jogo se
trata de uma ferramenta motivacional entre os participantes. Assim, a única avaliação prevista com
os alunos é o pós-teste. Por esse motivo, esse primeiro experimento é definido como quase-
experimento (THOMAS e NELSON, 2002).
Outro ponto relevante está relacionado ao quantitativo de questões da avaliação pós-teste,
nessa primeira avaliação são previstas 52 questões para a avaliação.
95
Os questionários planejados para essa aplicação são: (i) Apêndice A – Questionário de Perfil
do Participante; (ii) Apêndice B – Termo de Consentimento; (iii) Apêndice D – Pós-Teste do Jogo,
composto de 52 questões e não classificados de acordo com a taxonomia revisada de Bloom; (iv)
Apêndice E – Avaliação da Aula; e, (v) Apêndice F – Avaliação do Jogo.
O planejamento inicial prevê a divisão do grupo em duas turmas de 15 alunos cada para o
Grupo A e Grupo B.
Após a realização do experimento, os dados devem ser coletados e armazenados em forma
de planilha para permitir a realização das análises e testes das hipóteses da pesquisa para assim,
verificar a hipótese Ho e apresentar os resultados.
4.1.1.2. Execução
A aplicação do quase-experimento foi realizada nos dias 05/03/2010 e 06/03/2010 com 22
profissionais, diferente do planejado, pois nem todos os participantes convidados compareceram ao
local da aplicação. Tendo início às 08 horas do dia 05, inicialmente com a apresentação do instrutor
e esclarecimentos sobre os objetivos do experimento e sobre a livre participação. Logo após, todos
os participantes assinaram o termo de consentimento e foram orientados quanto ao preenchimento
do questionário de perfil do participante. Em seguida, foi iniciado o treinamento que ocorreu
durante oito horas do primeiro dia, encerrando-se às 18 horas.
No segundo dia, 06/03/2010, o treinamento teve início novamente às 08 horas da manhã
para encerramento do nivelamento dos conceitos sobre CMMI-DEV (CMMI, 2010), encerrando-se
às 11 horas da manhã, para em seguida dar início aos procedimentos previstos. Neste momento os
participantes foram instruídos sobre como seria o processo.
Assim que todos os participantes entenderam com mais detalhes a necessidade do
experimento e a forma como seria conduzido, também foram informados sobre quais as atividades
existentes e que, inicialmente, a turma seria dividida em dois grupos (experimento e de controle) e
que os participantes do grupo de controle deveriam se deslocar para a sala de laboratório para a
realização de uma atividade no computador utilizando de um jogo eletrônico para simular o
gerenciamento de um projeto. A divisão foi feita de forma aleatória dividindo em grupo A (Grupo
Experimental) e grupo B (Grupo de Controle).
96
O Grupo A (Grupo Experimental) foi conduzido pela autora desta dissertação e instruído
sobre o uso do jogo educacional 123SPI. No mesmo momento o Grupo B (Grupo de Controle) foi
conduzido por um líder da empresa para o laboratório onde foi instruído sobre o uso do jogo de
gerenciamento de projetos.
Por volta das 13 horas e 15 minutos, os participantes concluíram a execução de ambos os
jogos. Neste momento foi dado um intervalo de 45 minutos para almoço, retornando às 14 horas.
Conforme informado no planejamento, a divisão deveria ser em duas turmas de 11 alunos,
mas infelizmente nem todos os participantes quiseram jogar o jogo e foram colocados no Grupo B,
ficando o Grupo A com 8 e o Grupo B com 14 participantes.
Após o retorno do almoço às 14 horas, foi iniciada a avaliação pós-teste tendo a duração de
1 hora, encerrando-se às 15 horas. Em seguida, foi encerrado o experimento e agradecido a
participação de todos.
Ao término da aplicação, os dados foram coletados e armazenados permitindo a análise e
testes de Ho. Os dados com a quantidade de acertos de cada participante do experimento são
apresentados na seção 4.1.3.
4.1.1.3. Ameaças
As ameaças específicas no primeiro experimento identificadas entre o planejamento e a
execução são:
• Ameaça de Conclusão. Planejamento Incompleto. O planejamento previsto para a
realização do experimento não contemplou a comparação entre dois grupos e duas
avaliações com o objetivo de analisar estatisticamente os dados coletados. Ameaça
identificada e não tratada.
• Ameaça de Conclusão. Planejamento Não Realizado. O planejamento já foi realizado
incompleto e mesmo o que foi planejado, não foi cumprido. Ameaça identificada e não
tratada.
97
• Ameaça Interna. Quantidade de Questões. Essa atividade está relacionada ao número de
questões para a avaliação pós-teste. Ameaça identificada e tratada mas em outro
experimento.
Os dados com a quantidade de acertos de cada participante do quase-experimento foram
analisados e são apresentados na seção 4.1.4.
4.1.1.4. Discussão
Os participantes que jogaram o jogo acertaram mais perguntas do questionário do que os
participantes que não jogaram o jogo. A atividade realizada pelos participantes do grupo de controle
não interferia no assunto CMMI-DEV (CMMI, 2010), portanto eles não sofreram influência para
acertar ou errar mais perguntas.
Em relação aos que jogaram o jogo a média de acerto no questionário pós-teste foi de 39
questões. Já em relação aos que não jogaram o jogo a média de acerto no questionário pós-teste foi
31 questões, conforme apresenta a Tabela 8.
Tabela 8. 1° Experimento - Comparativo entre os que jogaram e não jogaram o Jogo 123SPI.
A = Grupo Experimental B = Grupo de Controle Aluno Pós-Teste Aluno Pós-Teste 1 38 1 19 2 38 2 28 3 39 3 44 4 43 4 26 5 35 5 26 6 41 6 42 7 37 7 45 8 42 8 32 9 17 10 29 11 34 12 19 13 41 14 35 Média 39 Média 31
Não foi possível apresentar os testes estatísticos das hipóteses definidas na pesquisa para
este primeiro quase-experimento, pois o mesmo não passou por todas as etapas definidas no
planejamento. Portanto, a hipótese H1 não pode ser comprovada ou refutada em razão da falta de
informações do experimento, bem como as demais hipóteses H2, H3 e H4 que também não foram
98
analisadas em decorrência das perguntas das avaliações do pós-teste não terem sido classificadas
conforme a taxonomia revisada de Bloom nos níveis de lembrança, entendimento e aplicação.
No segundo experimento houve um replanejamento na definição do experimento, conforme
apresenta a seção 4.1.2.
4.1.2. 2º Quase-Experimento Realizado
4.1.2.1. Planejamento
O planejamento no segundo experimento passa a contemplar as duas avaliações pré-teste e
pós-teste. No entanto, como se trata de uma turma pequena (10 alunos) de alunos da faculdade, no
planejamento não está prevista a divisão em dois grupos (experimental e de controle). Já por essa
razão, o experimento é definido como sendo, também, um quase-experimento (THOMAS e
NELSON, 2002).
A segunda aplicação do experimento deve ser realizada nos dias 15, 17, 23 e 25 de março de
2011 com 10 alunos de uma turma de MBA em Tecnologia da Informação das Faculdades ALFA
em Goiânia-GO.
Outro ponto relevante está relacionado ao quantitativo de questões da avaliação pré-teste e
pós-teste, pois são previstas 52 questões para cada avaliação.
Os questionários planejados nesse experimento são: (i) Apêndice A – Questionário de Perfil
do Participante; (ii) Apêndice B – Termo de Consentimento; (iii) Apêndice C – Pré-Teste do Jogo,
composto de 52 questões e não classificados de acordo com a taxonomia revisada de Bloom; (iv)
Apêndice D – Pós-Teste do Jogo, composto de 52 questões e não classificados de acordo com a
taxonomia revisada de Bloom; (v) Apêndice E – Avaliação da Aula; e, (vi) Apêndice F – Avaliação
do Jogo.
Após a realização do experimento, os dados devem ser coletados e armazenados em forma
de planilha para permitir a realização das análises e testes das hipóteses da pesquisa para assim,
verificar a hipótese Ho. No entanto, já no planejamento já se sabe que Hₒ não pode ser refutada em
razão da falta de informações do experimento, pois não haverá comparação entre grupo. Assim, as
demais hipóteses também não podem ser confirmadas.
99
4.1.2.2. Execução
No primeiro dia de treinamento, 15 de março de 2011, foram aplicados os questionários
sobre o perfil de cada participante (Apêndice A) e o termo de consentimento na participação do
experimento (Apêndice B). Em seguida foi dado início ao treinamento sobre os conceitos em
relação aos níveis 2 e 3 de maturidade do CMMI num total de 4 horas que se estendeu até o
segundo dia, 17 de março de 2011 também com duração de 4 horas. No terceiro dia, 23 de março de
2011, foi encerrado o conteúdo sobre o assunto e aplicados dois questionários: um para avaliar as
aulas ministradas e o outro a avaliação pré-teste.
No dia 25 de março, ocorreu o último dia do experimento, tendo início às dezenove horas
com a aplicação do jogo com todos os alunos se estendendo até as vinte horas e trinta minutos.
Nesse mesmo horário, foi iniciada a avaliação pós-teste se encerrando às vinte horas e trinta
minutos para, em seguida, responder aos questionários sobre a percepção do jogo e da aula,
encerrando-se às vinte e duas horas. Como informado na seção 5.1, a turma não foi dividida em dois
grupos em decorrência do número pequeno de alunos matriculado na disciplina. Assim, os
resultados analisados não devem contemplar a comparação entre os grupos do experimento e de
controle, mas a avaliação pré-teste e a avaliação pós-teste devem ser realizadas.
Após a realização do experimento, os dados foram coletados e armazenados. Mas, Hₒ não
pode ser refutada em razão da falta de informações do experimento, conforme previsto no próprio
planejamento do experimento.
4.1.2.3. Ameaças
As ameaças específicas do segundo experimento identificadas entre o planejamento e a
execução são:
• Ameaça de Conclusão. Planejamento Incompleto. O planejamento previsto para a
realização do experimento não contemplou a comparação entre dois grupos e duas
avaliações com o objetivo de analisar estatisticamente os dados coletados. Ameaça
identificada e não tratada.
• Ameaça Interna. Quantidade de Questões. Essa atividade está relacionada ao número de
questões para a avaliação pós-teste. Ameaça identificada e tratada mas em outro
experimento.
100
Os dados com a quantidade de acertos de cada participante do experimento foram analisados
e são apresentados na seção 4.2.4.
4.1.2.4. Discussão
No segundo experimento há uma diferença com o primeiro, pois no primeiro não houve a
aplicação de duas avaliações e já no segundo isso foi realizado.
A média de acerto das 52 questões apresentadas no questionário pré-teste foi de 32 questões.
E em relação ao questionário pós-teste, a média de acertos foi de 34 questões, conforme apresenta a
Tabela 9.
Tabela 9. 2° Experimento - Comparativo entre os questionários Pré e Pós-Teste do Jogo 123SPI.
A = Grupo Experimental Aluno Pré-Teste Pós-Teste Diferença 1 35 45 10 2 31 32 1 3 26 21 -5 4 28 34 6 5 27 25 -2 6 43 40 -3 7 37 45 8 8 32 33 1 9 29 30 1 10 30 34 4 Média 32 34
A Tabela 10 apresenta um comparativo das avaliações pré-teste e pós-teste entre as respostas
dos questionários conforme a taxonomia revisada de Bloom (ANDERSON e KRATHWOHL,
2001) entre os níveis de lembrança, entendimento e aplicação:
Tabela 10. 2° Experimento - Comparativo entre as perguntas dos questionários Pré e Pós-Teste dos
níveis de lembrança, entendimento e aplicação.
A = Grupo Experimental
Aluno Lembrança (24 questões) Entendimento (20 questões) Aplicação (8 questões) Pré-Teste Pós -Teste Diferença Pré-Teste Pós-Teste Diferença Pré-Teste Pós-Teste Diferença
1 11 18 7 17 19 2 7 8 -1
2 8 14 6 18 13 -5 5 5 0
3 10 10 0 9 9 0 7 2 -5
4 8 12 4 14 15 1 6 7 -1
101
5 11 9 -2 14 12 -2 2 4 2
6 17 15 -2 19 17 -2 7 8 1
7 12 19 7 20 20 0 5 6 1
8 12 12 0 15 13 -2 5 8 3
9 8 9 1 14 13 -1 7 8 1
10 9 16 7 14 12 -2 7 6 -1
Média 10.78 13.4 15.56 14.3 5.67 6.2
A média de acerto no nível de lembrança foi a que mais evoluiu entre os jogadores, de 10.8
para 13.4. Já no nível de entendimento teve uma pequena redução na média de acerto de 15.6 para
14.3 e no nível de aplicação uma pequena evolução de 5.7 para 6.2.
Com a aplicação do segundo experimento, foi constatada a necessidade de uma nova
alteração na definição do planejamento, conforme apresenta a seção 4.1.3.
4.1.3. 3º Experimento Realizado
4.1.3.1. Planejamento
O planejamento é reformulado no terceiro experimento para permitir a análise estatística dos
dados coletados. São previstas, então, duas avaliações pré-teste e pós-teste e a divisão dos alunos
em dois grupos, experimental e de controle.
A aplicação do experimento deve ser realizada nos dias 29 e 30 de abril 2011 com 20
participantes de uma empresa de desenvolvimento de software intitulada Centro de Excelência em
Desenvolvimento de Sistemas Remotos da Politec Global IT Services, situada em Goiânia, Goiás.
O quantitativo de questões da avaliação pré-teste e pós-teste é revisto para 47 questões em
cada avaliação. Há aqui uma redução do quantitativo de questões, pois no primeiro e no segundo
experimentos são planejados 52 questões.
Outro fato relevante de evolução é a inserção da classificação das perguntas nos níveis de
lembrança, entendimento e aplicação conforme a taxonomia revisada de Bloom (ANDERSON e
KRATHWOHL, 2001), conforme apresenta o Apêndice I – Classificação das Perguntas.
Os questionários planejados nesse experimento são: (i) Apêndice A – Questionário de Perfil
do Participante; (ii) Apêndice B – Termo de Consentimento; (iii) Apêndice C – Pré-Teste do Jogo,
composto de 47 questões e classificados de acordo com a taxonomia revisada de Bloom; (iv)
102
Apêndice D – Pós-Teste do Jogo, composto de 47 questões e classificados de acordo com a
taxonomia revisada de Bloom; (v) Apêndice E – Avaliação da Aula; (vi) Apêndice F – Avaliação
do Jogo; e, (vii) Apêndice K – Avaliação do Grupo de Controle.
Após a realização do experimento, os dados devem ser coletados e armazenados em forma
de planilha para permitir a realização das análises e testes das hipóteses da pesquisa para assim,
verificar a hipótese Ho.
4.1.3.2. Execução
No terceiro experimento foi possível aplicar todo o planejamento previsto para o
experimento. No entanto, a quantidade inicial prevista de participantes era de 20 e somente 14
compareceram para a realização das atividades previstas. Mesmo assim, o experimento foi realizado
contemplando a aplicação de todas as atividades previstas, inclusive a divisão dos participantes em
grupo do experimento e grupo de controle.
No primeiro dia e no segundo dia pela manhã totalizando 12 horas foram dedicados para
nivelar o conhecimento dos alunos em melhoria de processos e aplicação dos dois questionários: um
para identificar o perfil dos participantes e outro para avaliação pré-teste. Foram enfatizados pela
instrutora os objetivos do experimento e sobre a livre participação no mesmo. Todos os
participantes assinaram o termo de consentimento e foram orientados quanto ao preenchimento do
questionário de perfil do participante.
No segundo dia a turma foi dividida por ordem de sorteio em Grupo A (Grupo
Experimental) e Grupo B (Grupo de Controle). A turma foi dividida pela metade 7 para um grupo e
7 para o outro. No entanto, um dos participantes sorteados pediu para fazer parte do grupo
experimental que teve o seu pedido atendido, ficando então 8 participantes no Grupo A e 6 no
Grupo B. Como eram 8 jogadores, foram realizadas duas sessões com 4 jogadores na primeira
sessão e 4 jogadores na segunda. Os alunos do grupo de controle foram deslocados para outra sala
para a realização de um debate sobre melhoria de processos sob a liderança de um dos
coordenadores da empresa. A turma do grupo experimental permaneceu na sala e a aplicação do
jogo teve início às onze horas do dia 30 de abril se encerrando às treze horas.
Terminada as atividades do jogo, os alunos foram novamente reunidos na sala principal de
treinamento da empresa e foi dado início à avaliação pós-teste que se encerrou às quatorze horas
103
para, em seguida, responder aos questionários sobre a percepção do jogo e da aula, encerrando-se às
quatorze horas e trinta minutos.
Após a realização do experimento, os dados devem ser coletados e armazenados em forma
de planilha para permitir a realização das análises e testes das hipóteses da pesquisa para assim,
verificar a hipótese H1.
4.1.3.3. Ameaças
A ameaça específica do terceiro experimento identificada entre o planejamento e a execução
é:
• Ameaça de Conclusão. Quantidade de Participantes. Essa atividade está relacionada ao
número de participantes no experimento. Ameaça identificada e não tratada.
4.1.3.4. Discussão
Com a alteração na definição do planejamento do terceiro experimento, já foi possível
comparar estatisticamente os resultados dos dois grupos, experimental e de controle bem as duas
avaliações previstas.
Os que jogaram o jogo das 47 questões apresentadas na avaliação pré-teste a média de acerto
foi de 34.6 questões e dos que não jogaram foi de 34, já na avaliação pós-teste a média dos que
jogaram foi de 35.4 e dos que não jogaram foi de 36, conforme apresenta a Tabela 11 com a
quantidade de acertos de cada participante do experimento.
Tabela 11. 3° Experimento - Comparativo entre os que jogaram e não jogaram o Jogo 123SPI.
A = Grupo Experimental B = Grupo de Controle Aluno Pré-Teste Pós-Teste Diferença Aluno Pré-Teste Pós-Teste Diferença 1 41 43 2 1 31 33 2 2 39 36 -3 2 34 38 4 3 14 21 7 3 31 30 -1 4 39 36 -3 4 28 32 4 5 34 35 1 5 42 39 -3 6 34 39 5 6 37 42 5 7 32 33 -1 8 44 40 -4 Média 34.6 35.4 Média 34 36
104
No terceiro experimento as perguntas dos questionários foram distribuídas conforme a
taxonomia revisada de Bloom (ANDERSON e KRATHWOHL, 2001) entre os níveis de lembrança,
entendimento e aplicação, disposto na seção 5.1, tanto para o grupo experimental quanto para o
grupo de controle, conforme mostra a Tabela 12.
Tabela 12. 3° Experimento – Resultado do Experimento.
A = GRUPO EXPERIMENTAL B = GRUPO DE CONTROLE Aluno Pré-Teste Pós-Teste Diff Aluno Pré-Teste Pós-Teste Diff
LEMBRANÇA (24 QUESTÕES)
1 17 16 -1 1 13 15 2 2 17 14 -3 2 15 15 0 3 5 10 5 3 13 11 -2 4 16 12 -4 4 9 14 5 5 13 14 1 5 17 13 -4 6 13 15 2 6 13 15 2 7 13 13 0 8 19 15 -4
Média 14.1 13.6 13.3 13.8 ENTENDIMENTO (20 QUESTÕES)
1 18 18 0 15 12 -3 2 17 16 -1 15 18 3 3 7 9 2 12 12 0 4 16 16 0 15 13 -2 5 15 14 -1 19 19 0 6 17 16 -1 17 20 3 7 14 13 -1 8 19 20 1
Média 15.4 15.2 15.5 15.7 APLICAÇÃO
(8 QUESTÕES) 1 6 7 1 3 6 3 2 5 6 1 4 5 1 3 2 2 0 6 7 1 4 7 8 1 4 5 1 5 6 7 1 6 7 1 6 4 8 4 7 7 0 7 5 7 2 8 6 7 1
Média 5.1 6.5 5 6.2
A média de acerto do Grupo A (Grupo Experimental) nos níveis de lembrança e
entendimento sofreu uma pequena redução de 14.1 para 13.6 e 15.4 para 15.2, respectivamente. Já
no nível de aplicação teve uma pequena evolução na media de acerto de 5.1 para 6.5.
Já no Grupo B (Grupo de Controle), a média de acerto nos níveis de lembrança e
entendimento também foi equivalente ao grupo experimental, sofrendo apenas uma pequena
evolução de 13.3 para 13.8 e 15.5 para 15.7, respectivamente. Já no nível de aplicação teve uma
pequena evolução na media de acerto de 5 para 6.2, na mesma proporção do grupo experimental.
105
A Tabela 13 apresenta um comparativo entre os resultados da média de acerto dos
questionários pré e pós-teste entre os grupos do experimento e de controle.
Tabela 13. 3° Experimento – Comparativo da média de acerto dos grupos experimental e de controle.
Grupo Experimental e de Controle – Média de Acerto Nível Grupo Média Pré-Teste Média Pós-Teste Diferença Lembrança (24 questões)
Controle 13.3 (55%) 13.8 (57.5%) 0.5 (2.5%) Experimental 14.1 (59%) 13.6 (57%) -0.5 (-2%)
Entendimento (20 questões)
Controle 15.5 (77.5%) 15.7 (78.5) 0.2 (1%) Experimental 15.4 (77%) 15.2 (76%) -0.2 (-1%)
Aplicação (8 questões)
Controle 5 (62.5%) 6.2 (77.5) 1.2 (15%) Experimental 5.1 (63.7%) 6.5 (81%) 1.4 (17.3%)
A Tabela 14 apresenta os resultados obtidos a partir do experimento, classificados segundo a
diferença das pontuações no pré-teste e pós-teste. Este procedimento é o primeiro passo na
aplicação do teste estatístico Mann-Whitney (BARBETTA, REIS e BORNIA, 2008).
Tabela 14. 3° Experimento – Classificação das Diferenças.
Sequência Grupo Pré-Teste Pós-Teste Diferença Classificação
1 A 44 40 -4 1
2 A 39 36 -3 3
3 A 39 36 -3 3
4 B 42 39 -3 3
5 A 32 33 -1 5,5
6 B 31 30 -1 5,5
7 A 34 35 1 7
8 A 41 43 2 8,5
9 B 31 33 2 8,5
10 B 34 38 4 10,5
11 B 28 32 4 10,5
12 A 34 39 5 12,5
13 B 37 42 5 12,5
14 A 14 21 7 14
Para realizar a classificação apresentada na Tabela 14, todos os resultados das diferenças
foram colocados em ordem ascendente e a classificação iniciando em 1 foi atribuída a partir do
menor resultado. No caso de haverem duas ou mais diferenças iguais, a classificação foi obtida
através do cálculo da média das posições da seqüência da Tabela 14.
106
A Tabela 15 apresenta o detalhamento do cálculo do terceiro experimento, as regras sobre os
testes estatísticos estão descritas no Apêndice L – Testes Estatísticos.
Tabela 15. 3° Experimento – Cálculo de T1 e T2
T1 = 1 + 3+ 3 + 5,5 + 7 + 8,5 + 12,5 + 14 = 54,5
T2 = 3 + 5,5 + 8,5 + 10,5 + 10,5 + 12, 5 = 52
Calculados os valores de T1 e T2, deve ser selecionado o maior resultado. Nesse caso, o
resultado da maior classificação é T1 com valor 54,5. Em seguida usar a fórmula de cálculo
(Apêndice L).
No caso do experimento realizado, o valor de n1 é igual a 8, n2 é igual a 6 e nx é igual 8,
pois havia 8 participantes no grupo do experimento (n1), 6 participantes no grupo de controle (n2)
e o grupo com maior somatório de classificação (nx) foi o grupo do experimento com 8
participantes. De posse dos valores dessas variáveis, foi realizado o cálculo de U:
U = 8 * 6 + 8 * (8 + 1) / 2 – 54.5
O valor calculado para U foi 23,5. De acordo com a tabela de valores críticos (Apêndice L),
o valor da interseção entre n1 (8) e n2 (6) é 8.
Para que o resultado seja significativo, o valor de U obtido deve ser igual ou menor que o
valor crítico. Como o valor de U é superior ao valor crítico, não é possível afirmar que os
participantes do grupo experimental, aqueles que jogaram o jogo 123SPI, tiveram um efeito de
aprendizagem superior aos dos participantes do grupo de controle.
Como comprovação estatística das hipóteses definidas na pesquisa para este terceiro
experimento, a hipótese H0 (o efeito de aprendizagem nos níveis de compreensão, aplicação e
análise dos alunos que utilizaram o jogo é o mesmo tanto para os alunos que jogaram o jogo quanto
para o que não utilizaram o jogo) não foi refutada, ou seja, o desempenho dos alunos que jogaram o
jogo não foi superior dos que não jogaram o jogo, ele foi menor. Com isso, as hipótese H1, H2 , H3 e
H4 não podem ser confirmadas no experimento.
Analisando isoladamente e apenas validando os dados em relação ao desempenho dos
alunos em relação à média de acertos e sem a utilização de nenhum teste estatístico, para as
perguntas classificadas nos níveis de lembrança, entendimento e aplicação definidas nas hipóteses
107
H2, H3 e H4, tem-se a seguinte conclusão. Em H2 (o efeito de aprendizagem no nível de lembrança da
taxonomia revisada de Bloom dos alunos que utilizaram o jogo é superior ao dos alunos que não
utilizaram o jogo) e H3 (o efeito de aprendizagem no nível de entendimento da taxonomia revisada
de Bloom dos alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram o jogo), as
duas hipóteses foram rejeitadas, pois a média de acertos dos alunos comparando as avaliações pré-
teste e pós-teste nos grupos experimental e de controle, os resultados são muito similares entre si,
ou seja, o grupo do experimento não teve um resultado superior ao grupo de controle. Já a hipótese
H4 (o efeito de aprendizagem no nível de aplicação da taxonomia revisada de Bloom dos alunos que
utilizaram o jogo é superior ao dos alunos que não utilizaram o jogo), os alunos do grupo do
experimento tiveram um resultado melhor na avaliação pós-teste do que o grupo de controle,
conforme apresenta a Tabela 16. No entanto, apenas com essa análise não se pode afirmar que o
jogo apóia o entendimento nas questões que se referem ao nível de aplicação, pois H0 não foi
refutada.
Tabela 16. 3° Experimento – Hipóteses H2, H3 e H4.
A = Grupo Experimental
Aluno
H2 H3 H4
Lembrança Entendimento Aplicação Pré-Teste Pós-Teste Pré-Teste Pós-Teste Pré-Teste Pós-Teste
1 17 16 18 20 6 7
2 17 14 17 16 5 6
3 5 10 7 9 2 2
4 16 12 16 16 7 8
5 13 14 15 14 6 7
6 13 15 17 16 4 8
7 13 13 14 13 5 7
8 19 15 19 18 6 7
Média 14.12 13.62 15.37 15.62 5.12 6.5
B = Grupo de Controle
Aluno
H2 H3 H4
Lembrança Entendimento Aplicação Pré-Teste Pós-Teste Pré-Teste Pós-Teste Pré-Teste Pós-Teste
1 13 15 15 12 3 6
2 15 15 15 18 4 5
3 13 11 12 12 6 7
4 9 14 15 13 4 5
5 17 13 19 19 6 7
6 13 15 17 20 7 7
108
Média 13.33 13.83 15.5 15.67 5 6.17
Com a aplicação do terceiro experimento, foi possível verificar que a quantidade de questões
aplicadas nas avaliações pré-teste e pós-teste era um fato que merecia atenção da autora e foi
novamente redefinido o planejamento do experimento, conforme apresenta a seção 4.1.4.
4.1.4. 4º Experimento Realizado
4.1.4.1. Planejamento
O planejamento se mantém conforme planejamento para o terceiro experimento onde já é
possível a realização de análise estatística dos dados coletados. Pois, são previstas as duas
avaliações pré-teste e pós-teste e a divisão dos alunos em dois grupos, experimental e de controle.
A aplicação do experimento deve ser realizada nos dias 27 de agosto e 03 de setembro de
2011 com 30 participantes do curso graduação de Gestão em TI em uma instituição acadêmica
privada (SENAC) situada em Goiânia-GO.
Os participantes devem ser divididos pela metade por ordem de sorteio em dois grupos A
(Experimental) e B (Controle).
O quantitativo de questões da avaliação pré-teste e pós-teste é revisto para 20 questões em
cada avaliação. Há aqui uma nova redução do quantitativo de questões, pois no primeiro e no
segundo experimentos são planejados 52 questões e no terceiro 47 questões.
É mantida a classificação das perguntas nos níveis de lembrança, entendimento e aplicação
conforme a taxonomia revisada de Bloom (ANDERSON e KRATHWOHL, 2001), conforme
apresenta o Apêndice I – Classificação das Perguntas.
Os questionários planejados nesse experimento são: (i) Apêndice A – Questionário de Perfil
do Participante; (ii) Apêndice B – Termo de Consentimento; (iii) Apêndice C – Pré-Teste do Jogo,
composto de 47 questões e classificados de acordo com a taxonomia revisada de Bloom; (iv)
Apêndice D – Pós-Teste do Jogo, composto de 47 questões e classificados de acordo com a
taxonomia revisada de Bloom; (v) Apêndice E – Avaliação da Aula; (vi) Apêndice F – Avaliação
do Jogo; e, (vii) Apêndice K – Avaliação do Grupo de Controle.
109
Após a realização do experimento, os dados devem ser coletados e armazenados em forma
de planilha para permitir a realização das análises e testes das hipóteses da pesquisa para assim,
verificar a hipótese Ho.
No quarto experimento por se tratar de uma amostra maior, deve ser usado o teste t de
Student. Além do método Mann-Whitney, caso possível, deve ser aplicado um teste de normalidade
entre os resultados obtidos nos dois grupos, do experimento e de controle. Se o resultado seguir uma
normal, deve ser aplicado o teste t de Student.
4.1.4.2. Execução
No quarto experimento foi possível aplicar todo o planejamento previsto para o
experimento. O experimento foi realizado contemplando a aplicação de todas as atividades
previstas, inclusive a divisão dos participantes em grupo do experimento e grupo de controle.
O primeiro dia do treinamento, 27 de agosto, e parte do dia 03 de setembro foi dedicado para
nivelar o conhecimento dos alunos em melhoria de processos. Às 10 horas do dia 03 de setembro,
foi enfatizado pela instrutora os objetivos do experimento e sobre a livre participação no mesmo.
Logo após, todos os participantes assinaram o termo de consentimento e foram orientados quanto ao
preenchimento do questionário de perfil do participante. Em seguida, foi iniciada a avaliação pré-
teste que durou 40 minutos.
Em seguida, ao término da avaliação pré-teste a turma foi dividida por ordem de sorteio em
Grupo A (Grupo Experimental) e Grupo B (Grupo de Controle). Os alunos do grupo de controle
foram deslocados para outra sala para a realização da avaliação direcionada ao grupo de controle
composta de um questionário com 20 perguntas, todas diferentes da avaliação pré-teste e pós-teste,
liderados por um dos professores da instituição. A turma do grupo experimental permaneceu na sala
e a aplicação do jogo teve início às 11 horas se encerrando às 13 horas. Foi dado um intervalo de 20
minutos para um lanche e em seguida, os alunos foram novamente reunidos na sala principal de
treinamento da empresa e foi dado início à avaliação pós-teste que se encerrou às 14 horas para, em
seguida, responder aos questionários sobre a percepção do jogo e da aula, encerrando-se às 14 horas
e trinta minutos.
Dos alunos participantes do Grupo A, apenas 11 jogaram o jogo. 4 alunos não quiseram
jogar o jogo, por esse motivo em algumas análises eles foram somados no grupo de controle.
110
Após a realização do experimento, os dados foram coletados e armazenados em forma de
planilha para permitir a realização das análises e testes das hipóteses da pesquisa e verificar a
rejeição ou confirmação de H1.
4.1.4.3. Ameaças
Não foram identificadas ameaças específicas no quarto experimento.
4.1.4.4. Discussão
Os dados com a quantidade de acertos de cada participante do experimento são apresentados
na Tabela 17 de forma a identificar apenas o número do participante de cada grupo.
Tabela 17. 4° Experimento - Comparativo entre o Grupo A e Grupo B.
A = Grupo Experimental B = Grupo de Controle
Item Pré-Teste Pós-Teste Diff Item Pré-Teste Pós-Teste Diff Exercício
1 5 13 8 1 8 7 -1 8
2 6 6 0 2 11 5 -6 6
3 9 11 2 3 8 13 5 8
4 10 8 -2 4 11 8 -3 10
5 10 9 -1 5 11 6 -5 5
6 10 11 1 6 9 7 -2 8
7 10 11 1 7 11 10 -1 11
8 11 7 -4 8 4 12 8 6
9 12 12 0 9 7 12 5 6
10 12 12 0 10 12 15 3 10
11 13 9 -4 11 10 10 0 9
12 12 12 0 9
13 7 6 -1 9
14 9 8 -1 7
15 8 5 -3 5
16 14 17 3 9
17 6 7 1 11
18 12 15 3 14
19 5 8 3 7
Média 9,82 9,91 Média 9,21 9,63 8,32
Em relação aos que jogaram o jogo, 11 jogaram o jogo e a média de acerto das 20 questões
apresentadas no questionário pré-teste foi de 9.82 questões e no questionário pós-teste foi de 9.91
111
questões, enquanto que para o grupo de controle, 19 participantes não jogaram o jogo e a média de
acerto das 20 questões apresentadas no questionário pré-teste foi de 9.21 questões e na avaliação
pós-teste foi de 9.63 questões e a média de acerto no exercício realizado com apenas o grupo de
controle ficou em 8.32, conforme apresenta a Tabela 17.
Mesmo o grupo de controle tendo participado de uma atividade sobre o CMMI, a média de
acertos nas avaliações ficou bastante equivalente entre um grupo e outro. Dessa forma, a ameaça
interna sobre qual atividade o grupo de controle estaria fazendo no momento que o grupo
experimental estivesse jogando o jogo não influenciou os resultados.
Entretanto, dos 19 alunos que não jogaram o jogo, 4 eram do Grupo A (Experimental). Esses
alunos estavam na sala no momento do jogo, mas não quiseram participar das sessões do jogo.
Portanto, nos dados da Tabela 17 eles foram colocados no grupo de controle (grupo que não jogou o
jogo). Fazendo uma nova análise agora sem colocar esses 4 alunos no grupo temos o resultado
demonstrado na Tabela 18.
Tabela 18. 4° Experimento - Comparativo entre os que jogaram e não jogaram o Jogo 123SPI.
A = Grupo Experimental B = Grupo de Controle
Item Pré-Teste Pós-Teste Diff Item Pré-Teste Pós-Teste Diff Exercício
1 5 13 8 1 11 5 -6 6
2 6 6 0 2 8 13 5 8
3 9 11 2 3 11 8 -3 10
4 10 8 -2 4 11 6 -5 5
5 10 9 -1 5 9 7 -2 8
6 10 11 1 6 11 10 -1 11
7 10 11 1 7 7 12 5 6
8 11 7 -4 8 12 15 3 10
9 12 12 0 9 10 10 0 9
10 12 12 0 10 12 12 0 9
11 13 9 -4 11 9 8 -1 7
12 8 5 -3 5
13 14 17 3 9
14 12 15 3 14
15 5 8 3 7
Média 9.82 9.91 Média 10 10.07 8.27
Em relação aos 11 que jogaram o jogo, a média de acerto das 20 questões apresentadas no
questionário pré-teste foi de 9.82 questões e no questionário pós-teste foi de 9.91 questões,
112
enquanto que para o grupo de controle, agora sem a participação dos alunos que eram do Grupo A,
mas não jogaram o jogo, contando apenas os 15 efetivamente que fazem parte do Grupo B, 15
participantes não jogaram o jogo e a média de acerto das 20 questões apresentadas no questionário
pré-teste foi de 10 questões e na avaliação pós-teste foi de 10.07 questões e a média de acerto no
exercício realizado com apenas o grupo de controle ficou em 8.27, conforme apresenta a Tabela 18.
Assim como no terceiro, no quarto experimento as perguntas dos questionários também
foram distribuídas conforme a taxonomia revisada de Bloom (ANDERSON e KRATHWOHL,
2001) entre os níveis de lembrança, entendimento e aplicação tanto para o grupo experimental
quanto para o grupo de controle, conforme mostra a Tabela 19.
Tabela 19. 4° Experimento – Comparativo entre os Resultados do Pré e Pós-teste e entre o Grupo A e
Grupo B nos níveis de lembrança, entendimento e aplicação
A = GRUPO EXPERIMENTAL B = GRUPO DE CONTROLE Nível Aluno Pré-Teste Pós-Teste Diff Aluno Pré-Teste Pós-
Teste Diff
LEMBRANÇA (4 QUESTÕES)
1 1 0 -1 1 1 2 1 2 3 1 -2 2 1 2 1 3 3 2 -1 3 1 3 2 4 1 3 2 4 3 1 -2 5 2 3 1 5 2 1 -1 6 2 2 0 6 3 2 -1 7 1 0 -1 7 2 2 0 8 2 2 0 8 1 3 2 9 2 2 0 9 2 4 2 10 3 2 -1 10 3 4 1 11 2 2 0 11 2 4 2 12 3 4 1 13 2 0 -2 14 2 2 0 15 1 0 -1 16 2 4 2 17 0 2 2 18 1 4 3 19 1 2 1
MÉDIA 2 1.73 1.74 2.42 ENTENDIMENTO
(6 QUESTÕES)
1 4 2 -2 1 5 3 -2 2 3 1 -2 2 3 0 -3 3 4 2 -2 3 4 4 0 4 1 4 3 4 4 3 -1 5 3 3 0 5 3 1 -2 6 6 1 -5 6 2 1 -1 7 2 2 0 7 4 2 -2 8 4 4 0 8 1 3 2 9 4 2 -2 9 2 4 2 10 3 1 -2 10 6 4 -2 11 5 3 -2 11 2 3 1
113
12 4 2 -2 13 3 0 -3 14 3 1 -2 15 4 1 -3 16 4 5 1 17 3 2 -1 18 5 4 -1 19 2 3 1
MÉDIA 3.55 2.27 3.37 2.42 APLICAÇÃO (10
QUESTÕES)
1 5 6 1 1 2 2 0 2 3 9 6 2 7 3 -4 3 3 5 2 3 3 6 3 4 3 6 3 4 4 4 0 5 5 5 0 5 6 4 -2 6 5 6 1 6 4 4 0 7 3 4 1 7 5 6 1 8 6 6 0 8 2 6 4 9 6 8 2 9 3 4 1 10 5 4 -1 10 3 7 4 11 3 6 3 11 6 3 -3 12 5 6 1 13 2 6 4 14 4 5 1 15 3 4 1 16 8 8 0 17 3 3 0 18 6 7 1 19 2 3 1
MÉDIA 4.27 5.91 3.89 4.63
As perguntas no quarto experimento foram reduzidas para 20 questões, sendo classificadas
da seguinte forma: 4 para o nível de lembrança, 6 para entendimento e 10 para aplicação. As
perguntas dos níveis de aplicação envolvem questões práticas do dia a dia de uma empresa, por esse
motivo foram colocadas mais questões nesse nível. A média de acerto do Grupo A (Grupo
Experimental) foi reduzida nos dois primeiros níveis e no nível de aplicação a média da avaliação
pós-teste foi maior.
Em relação ao Grupo B (Grupo de Controle), a média de acerto ficou abaixo apenas no nível
de entendimento. Já nos níveis de lembrança e aplicação, a média da avaliação pós-teste foi maior.
Também foi realizado um comparativo entre os que efetivamente jogaram o jogo e entre
apenas aqueles que fazem parte do grupo de controle, conforme mostra a Tabela 20.
Tabela 20. 4° Experimento – Comparativo entre os Resultados do Pré e Pós-teste do Grupo A e
Grupo B – Apenas os que jogaram e não jogaram o jogo
114
A = GRUPO EXPERIMENTAL B = GRUPO DE CONTROLE
Nível Aluno Pré-Teste
Pós-Teste
Diff Aluno Pré-Teste
Pós-Teste
Diff
LEMBRANÇA (4 QUESTÕES)
1 1 0 -1 1 1 2 1
2 3 1 -2 2 3 1 -2
3 3 2 -1 3 2 1 -1
4 1 3 2 4 3 2 -1
5 2 3 1 5 2 2 0
6 2 2 0 6 1 3 2
7 1 0 -1 7 2 4 2
8 2 2 0 8 3 4 1
9 2 2 0 9 2 4 2
10 3 2 -1 10 3 4 1
11 2 2 0 11 2 2 0
12 1 0 -1
13 2 4 2
14 1 4 3
15 1 2 1
MÉDIA 2 1.73 1.87 2,6
ENTENDIMENTO (6 QUESTÕES)
1 4 2 -2 1 3 0 -3
2 3 1 -2 2 4 4 0
3 4 2 -2 3 4 3 -1
4 1 4 3 4 3 1 -2
5 3 3 0 5 2 1 -1
6 6 1 -5 6 4 2 -2
7 2 2 0 7 2 4 2
8 4 4 0 8 6 4 -2
9 4 2 -2 9 2 3 1
10 3 1 -2 10 4 2 -2
11 5 3 -2 11 3 1 -2
12 4 1 -3
13 4 5 1
14 5 4 -1
15 2 3 1
MÉDIA 3.55 2.27 3.47 2.53
APLICAÇÃO (10 QUESTÕES)
1 5 6 1 1 7 3 -4
2 3 9 6 2 3 6 3
3 3 5 2 3 4 4 0
4 3 6 3 4 6 4 -2
5 5 5 0 5 4 4 0
6 5 6 1 6 5 6 1
7 3 4 1 7 3 4 1
8 6 6 0 8 3 7 4
115
9 6 8 2 9 6 3 -3
10 5 4 -1 10 5 6 1
11 3 6 3 11 4 5 1
12 3 4 1
13 8 8 0
14 6 7 1
15 2 3 1
MÉDIA 4.27 5.91 4.6 4.93
A média de acerto do Grupo B (Grupo de Controle) agora sem os alunos que assistiram ao
jogo e não jogaram ficou abaixo apenas no nível de entendimento. Já nos níveis de lembrança e
aplicação, a média da avaliação pós-teste foi maior, conforme apresenta a Tabela 20.
A Tabela 21 apresenta os resultados obtidos a partir do experimento, classificados segundo a
diferença das pontuações no pré-teste e pós-teste. Este procedimento é primeiro passo na aplicação
do teste estatístico Mann-Whitney (BARBETTA, REIS e BORNIA, 2008).
Tabela 21. 4° Experimento – Classificação das Diferenças.
Sequência Grupo Pré-Teste Pós-Teste Diferença Classificação
1 B 11 5 -6 1
2 B 11 6 -5 2
3 A 11 7 -4 3,5
4 A 13 9 -4 3,5
5 B 8 5 -3 5,5
6 B 11 8 -3 5,5
7 A 10 8 -2 7,5
8 B 9 7 -2 7,5
9 A 10 9 -1 11
10 B 7 6 -1 11
11 B 8 7 -1 11
12 B 9 8 -1 11
13 B 11 10 -1 11
14 A 6 6 0 16
15 A 12 12 0 16
16 A 12 12 0 16
17 B 10 10 0 16
18 B 12 12 0 16
19 A 10 11 1 20
20 A 10 11 1 20
21 B 6 7 1 20
116
22 A 9 11 2 22
23 B 5 8 3 24,5
24 B 12 15 3 24,5
25 B 12 15 3 24,5
26 B 14 17 3 24,5
27 B 7 12 5 27,5
28 B 8 13 5 27,5
29 A 5 13 8 29,5
30 B 4 12 8 29,5
Para realizar a classificação apresentada na Tabela 21, todos os resultados das diferenças
foram colocados em ordem ascendente e a classificação iniciando em 1 foi atribuída a partir do
menor resultado. No caso de haverem duas ou mais diferenças iguais, a classificação foi obtida
através do cálculo da média das posições sequenciais das mesmas.
A Tabela 22 apresenta o detalhamento do cálculo, conforme Apêndice L – Testes
Estatísticos.
Tabela 22. 4° Experimento – Cálculo de T1 e T2
T1 = 3,5 +3,5+ 7,5 + 11 + 16 + 16 + 16 + 20 + 20 + 22 = 165
T2 = 1 + 2 + 5,5 + 5,5 + 7,5 + 11 + 11 + 11 + 11 + 16 + 16 + 20 + 24,5 + 24,5 + 24,5 + 24,5 + 27,5 + 27,5 + 29,5 = 300
Em seguida, são calculados os valores de T1 e T2, para a seleção do maior resultado. No
caso do experimento realizado, o valor de n1 é igual a 11, n2 é igual a 19 e nx é igual 19, pois havia
11 participantes no grupo do experimento (n1), 19 participantes no grupo de controle (n2) e o grupo
com maior somatório de classificação (nx) foi o grupo de controle com 19 participantes. De posse
dos valores dessas variáveis, foi realizado o cálculo de U:
U = 11 * 19 + 19 * (19 + 1) / 2 – 300
O valor calculado para U foi 99 conforme tabela de valores críticos no Apêndice L e o valor
da interseção entre n1 (11) e n2 (19) é 58.
Como o valor de U é superior ao valor crítico, não é possível afirmar que os participantes do
grupo do experimento, aqueles que jogaram o jogo 123SPI, tiveram um efeito de aprendizagem
superior aos dos participantes do grupo de controle.
117
Como complemento a validade estatística também foi aplicado, além de Mann-Whitney, o
teste de normalidade Shapiro-Wilk usando a ferramenta SPSS 19 (SPSS, 2011), conforme descrito
na seção 4.4.3. Esse teste tem o objetivo de verificar se as amostras seguem uma distribuição
normal. O resultado pode ser verificado na Tabela 23.
Tabela 23. 4° Experimento – Teste de Normalidade
Tests of Normality
Grupo
Kolmogorov-Smirnova Shapiro-Wilk
Statistic df Sig. Statistic df Sig.
Diff Control ,131 19 ,200* ,972 19 ,815
Experim ,209 11 ,197 ,875 11 ,091
a. Lilliefors Significance Correction
*. This is a lower bound of the true significance.
Fonte: SPSS 19 (2011)
A Tabela 23 apresenta os resultados do teste de normalidade de Shapiro-WIlk usando a
ferramenta SPSS 19. Na coluna “Sig’ mostra que tanto para o grupo do experimento quanto o grupo
de controle foi superior ao nível de significância de 0,05. O grupo do experimento foi de 0,091 e o
grupo de controle 0,815. Para que o resultado siga uma distribuição normal ele deve ser maior que
0,05. Ou seja, o resultado apresentado foi superior ao nível de significância.
Tabela 24. 4° Experimento – Grupo Estatístico
Group Statistics
Grupo N Mean Std. Deviation Std. Error Mean
Diff Experim 11 ,09 3,270 ,986
Control 19 ,42 3,610 ,828
Fonte: SPSS 19 (2011)
A Tabela 24 apresenta as medidas descritivas dos dados (dimensão n de cada amostra,
média, desvio-padrão e erro-padrão amostrais). Essas medidas servem de base para calcular o teste
de Levene.
118
O teste de Levene serve para mostrar a homogeneidade (igualdade) das variâncias e ao teste
t de Student para a comparação de duas médias no caso de duas amostras independentes. A Tabela
25 apresenta esses dados.
Tabela 25. 4° Experimento – Teste Independente
Independent Samples Test
Levene's Test for
Equality of Variances t-test for Equality of Means
F Sig. T df
Sig. (2-
tailed)
Mean
Difference
Std. Error
Difference
95% Confidence Interval
of the Difference
Lower Upper
Diff Equal variances
assumed
,932 ,343 -,250 28 ,805 -,330 1,323 -3,041 2,380
Equal variances not
assumed -,256 22,791 ,800 -,330 1,288 -2,995 2,335
Fonte: SPSS 19 (2011)
A Tabela 25 mostra o resultado do teste de Levene p=0.343. Por esse resultado, não se
rejeita a hipótese nula, pois as variâncias são equivalentes. Assim, considera-se que as variâncias
populacionais, embora desconhecidas, são iguais.
Neste experimento, dado tratar-se de um teste bilateral, compara-se diretamente o valor de
p-value = 0,800 com α = 0,05 (nível de significância). Como p-value = 0,800 > 0,05 não se rejeita
H0. Para rejeitar H0 o nível de significância deveria ser menor que p-value. Assim, não há evidência
estatística para rejeitar a hipótese relacionada aos efeitos de aprendizagem dos alunos que jogaram o
jogo.
Assim, como comprovação estatística das hipóteses definidas na pesquisa para este quarto
experimento, a hipótese nula (H0 - o efeito de aprendizagem nos níveis de compreensão, aplicação e
análise dos alunos que utilizaram o jogo é o mesmo tanto para os alunos que jogaram o jogo quanto
para os que não utilizaram o jogo) não foi refutada, ou seja, o desempenho dos alunos que jogaram
o jogo não foi superior dos que não jogaram o jogo, ele foi menor. Com isso, a hipótese H1 (o efeito
de aprendizagem nos níveis de compreensão, aplicação e análise dos alunos que utilizaram o jogo é
superior ao dos alunos que não utilizaram o jogo) não foi confirmada no experimento. Não
119
confirmando H1 também não há que se falar em confirmação das hipóteses H2, H3 e H4, pois para
que essas hipóteses pudessem ser confirmadas era necessário rejeitar H0.
Entretanto, fazendo uma validação e uma análise em relação à média de acertos, mas sem a
utilização de nenhum teste estatístico das perguntas classificadas nos níveis de lembrança,
entendimento e aplicação definidas nas hipóteses H2, H3 e H4, tem-se a seguinte conclusão. Em H2 (o
efeito de aprendizagem no nível de lembrança da taxonomia revisada de Bloom dos alunos que
utilizaram o jogo é superior ao dos alunos que não utilizaram o jogo) e H3 (o efeito de aprendizagem
no nível de entendimento da taxonomia revisada de Bloom dos alunos que utilizaram o jogo é
superior ao dos alunos que não utilizaram o jogo), pode-se verificar que a média de acertos dos
alunos comparando as avaliações pré-teste e pós-teste nos grupos experimental e de controle, os
resultados são muito similares entre si, não tendo o grupo do experimento um resultado superior ao
grupo de controle. No entanto, na hipótese H4 (o efeito de aprendizagem no nível de aplicação da
taxonomia revisada de Bloom dos alunos que utilizaram o jogo é superior ao dos alunos que não
utilizaram o jogo), os alunos do grupo do experimento tiveram um resultado melhor na avaliação
pós-teste do que o grupo de controle. Nesse caso, até poderia dizer que o jogo apóia os alunos nas
questões do nível de aplicação, mas sem uma confirmação estatística, conforme apresenta a Tabela
26.
Tabela 26. 4° Experimento – Hipóteses H2, H3 e H4
A = Grupo Experimental
Aluno
H2 H3 H4
Lembrança Entendimento Aplicação Pré-Teste Pós-Teste Pré-Teste Pós-Teste Pré-Teste Pós-Teste
1 1 0 4 2 5 6
2 3 1 3 1 3 9
3 3 2 4 2 3 5
4 1 3 1 4 3 6
5 2 3 3 3 5 5
6 2 2 6 1 5 6
7 1 0 2 2 3 4
8 2 2 4 4 6 6
9 2 2 4 2 6 8
10 3 2 3 1 5 4
11 2 2 5 3 3 6
Média 2 1.73 3.45 2.27 4.27 5.91
120
B = Grupo de Controle
Aluno
H2 H3 H4
Lembrança Entendimento Aplicação Pré-Teste Pós-Teste Pré-Teste Pós-Teste Pré-Teste Pós-Teste
1 1 2 5 3 2 2
2 1 2 3 0 7 3
3 1 3 4 4 3 6
4 3 1 4 3 4 4
5 2 1 3 1 6 4
6 3 2 2 1 4 4
7 2 2 4 2 5 6
8 1 3 1 3 2 6
9 2 4 2 4 3 4
10 3 4 6 4 3 7
11 2 4 2 3 6 3
12 3 4 4 2 5 6
13 2 0 3 0 2 6
14 2 2 3 1 4 5
15 1 0 4 1 3 4
16 2 4 4 5 8 8
17 0 2 3 2 3 3
18 1 4 5 4 6 7
19 1 2 2 3 2 3
Média 1.74 2.42 3.37 2.42 4.15 4.79
Os resultados da aplicação dos quatro experimentos foram diferentes entre si em virtude da
evolução dos planejamentos. A seção 4.1.5 apresenta uma síntese da avaliação quantitativa.
4.1.5. Análise dos Resultados da Avaliação Quantitativa
Esta seção concentra as discussões em relação às ameaças à validade dos experimentos e
mesmo a possível correlação entre os resultados da avaliação quantitativa.
Os quatro experimentos possuem entre si diferenças significativas, pois a cada realização
uma nova evolução era incorporada ao experimento. No primeiro experimento não houve a
realização da avaliação pré e pós-teste, apenas uma comparação entre os grupos do experimento e
de controle, já no segundo foi aplicada a avaliação pré e depois a pós-teste, mas os grupos não
foram dimensionados em grupo do experimento e grupo de controle. No terceiro experimento foi
realizada também a avaliação pré e pós-teste e os grupos foram divididos em dois, do experimento e
121
de controle, mas as perguntas das duas avaliações eram as mesmas. A partir do segundo
experimento as perguntas foram classificadas nos níveis de lembrança, entendimento e aplicação
conforme a taxonomia revisada de Bloom (ANDERSON e KRATHWOHL, 2001). E, no quarto
experimento tanto na avaliação pré-teste quanto na avaliação pós-teste o número de perguntas era o
mesmo, mas diferentes.
Ainda assim, em todos os experimentos foram utilizados instrumentos de avaliação muito
similares, os alunos possuíam o mesmo fundamento teórico, receberam as mesmas instruções
quanto às atividades e utilizaram o mesmo jogo com o mesmo tempo previsto. Com base nestes
fatores, as ameaças são discutidas e seu grau de impacto avaliado.
Para a ameaça de construção do experimento foi identificada a questão de divisão dos
participantes nos grupos experimental e de controle. Nesse caso, a seleção dos participantes foi
realizada de forma aleatória através de sorteio entre os participantes do experimento. No entanto,
nem todos os alunos quiseram participar dos grupos em que foram sorteados, deixando os grupos
com quantitativos diferentes.
Como ameaça externa ao processo, foi identificada a questão de interesse na participação e
realização de todas as atividades pelos selecionados no experimento, não simplesmente participar
por participar. Pois, mesmo a instituição acadêmica e a autora mostrando a importância do assunto
para os participantes era importante que todos realmente percebessem essa importância. Assim, para
reduzir os efeitos dessa ameaça, foi realizada uma ampla divulgação do experimento e um acordo
entre a empresa privada, a universidade e a autora sobre a emissão de certificado de participação no
treinamento. Dessa forma, os alunos que participassem do experimento só receberiam o certificado
se todas as atividades previstas fossem realizadas por cada um, esse foi o incentivo para garantir a
participação de todos.
Outra ameaça externa foi o conhecimento dos alunos em melhoria de processos de software,
especificamente sobre o modelo CMMI-DEV, níveis 2 e 3 de maturidade. Nesse caso, o
treinamento prévio para todos os participantes forneceu as informações discutidas no jogo e em
todas as atividades previstas no experimento.
Como ameaça interna a validade dos resultados foi levantada a questão da atividade
realizada pelo grupo de controle enquanto o grupo do experimento jogava o jogo. Nesse caso, foi
122
criada uma avaliação específica para o grupo de controle para garantir que os mesmos realizariam
uma atividade específica no momento do jogo diferente do grupo do experimento. Os resultados
foram demonstrados na seção 5.4, onde a Tabela 18 mostra que a atividade não influenciou os
resultados da avaliação pós-teste no quarto experimento.
Outra ameaça também interna foi o interesse dos participantes no experimento, para reduzir
essa ameaça foi elaborado o questionário sobre o perfil dos participantes e termo de consentimento
para garantir que os mesmos somente participariam do experimento por livre e espontânea vontade,
mesmo porque o experimento em nenhum momento garantiu notas a mais em seu currículo ou
gratificação financeira de qualquer natureza.
A ameaça de conclusão, identificada no planejamento dos experimentos, refere-se à análise
dos resultados dos experimentos. As aplicações foram realizadas pela autora dessa dissertação com
exceção da atividade do grupo de controle que contou com o apoio de voluntários da instituição
onde os experimentos foram realizados.
As ameaças identificadas e minimizadas pelos tratamentos apresentados aplicam-se a todos
os experimentos realizados, que tem por objetivo reforçar a validade dos resultados obtidos em
especial aos experimentos 3 e 4, aos quais foram aplicados tratamentos estatísticos para a
verificação das hipóteses levantadas neste trabalho.
O experimento um apresentou um comparativo entre os grupos do experimento e de
controle, este experimento enquanto quantitativo permitiu a validação das hipóteses de pesquisa,
indicando que os alunos que jogaram o jogo 123SPI apresentaram um efeito de aprendizagem
superior aos alunos que jogaram um outro jogo. Mas, não pode-se afirmar que a hipótese um é
confirmada, pois o experimento foi incompleto por isso denominado quase-experimento.
O segundo experimento teve como objetivo comparar a efetividade do jogo 123SPI com
relação ao conhecimento obtido apenas com o treinamento tradicional e a avaliação pré-teste e com
o treinamento através do jogo e a avaliação pós-teste. Nesse caso, não foi possível refutar a hipótese
nula, ou seja, estatisticamente o jogo 123SPI não apresentou um efeito de aprendizagem superior.
Este resultado ainda não invalida a utilização do jogo, já que a pesquisa qualitativa aponta que os
alunos gostaram do jogo, desta forma o mesmo pode ser utilizado como forma alternativa no ensino
da disciplina.
123
Os resultados obtidos nos experimentos um e dois reforçaram a possibilidade de uso do jogo
123SPI como atividade de ensino, levando então a uma evolução do jogo e do experimento. Esses
experimentos foram muito válidos para a melhoria do jogo, melhoria do experimento, pois foram
incorporadas as avaliações pré e pós-teste. Também foi introduzida a classificação das questões nos
três níveis da taxonomia revisada de Bloom, lembrança, entendimento e aplicação no segundo
experimento.
No terceiro experimento, já com mais incrementos realizados, a avaliação pré-teste e pós-
teste foi usada nos dois grupos. Esta nova versão do experimento permitiu uma análise comparativa
entre os dois grupos e as duas avaliações. Analisando sob os níveis da taxonomia revisada de
Bloom, no nível de aplicação houve uma melhora sutil no efeito de aprendizagem, para os demais
níveis a diferença foi inferior, mas equivalente.
Já no quarto e último experimento, uma nova mudança foi colocada tanto em relação à
avaliação pré-teste e pós-teste quanto no jogo. Na avaliação pré-teste as perguntas foram reduzidas
para apenas 20 questões e também classificadas nos níveis de lembrança, entendimento e aplicação
conforme a taxonomia revisada de Bloom. Na avaliação pós-teste também houve a redução para 20
questões e também classificadas nos níveis de lembrança, entendimento e aplicação, conforme a
taxonomia revisada de Bloom. Outra mudança importante foi a diferença entre os dois questionários
da avaliação pré-teste e da avaliação pós-teste, mas com o mesmo grau de dificuldade e
classificação entre si, conforme apresenta o Apêndice K. Também as questões do jogo foram
alteradas para fornecer um leque maior de perguntas a serem feitas durante as sessões do jogo.
Para enfatizar as diferenças entre os experimentos foi elaborada uma tabela evidenciando as
características de cada um dos experimentos, conforme apresenta a Tabela 27.
Tabela 27. Características entre os Experimentos
Características dos Experimentos Exp. Número de Pessoas Tipo de
Estatística Avaliação Pré-Teste
Avaliação Pós-Teste
Número de Questões
Taxonomia Revisada de Bloom
Planejamento Execução Grupo Experimental
Grupo de Controle
1 30 22 8 14 Analise dos Dados
Não Sim 52 Não
2 10 10 10 0 Analise dos Dados
Sim Sim 52 Não
3 20 14 8 6 Mann-Whitney
Sim Sim 47 Sim
124
4 30 30 11 19 Mann-Whitney t de Student
Sim Sim 20 Sim
A Tabela 27 mostra as principais diferenças entre os experimentos. No quarto experimento o
planejamento pode ser executado com a quantidade de pessoas definidas no planejamento, o que
facilitou no momento da coleta e análise dos dados, pois para aplicar os testes estatísticos era muito
importante a quantidade mínima de participantes.
4.2. AVALIAÇÃO QUALITATIVA
Com o objetivo de responder às perguntas de pesquisa, foi realizado um questionário como
forma dos alunos avaliarem o jogo. As perguntas de pesquisa são:
• 1 – O jogo educacional proposto facilita a aprendizagem em relação aos conceitos
sobre os níveis 2 e 3 do modelo de maturidade CMMI?
• 2 – O jogo educacional proposto torna o processo de aprendizagem mais atrativo?
No primeiro experimento não foram coletados os dados para a avaliação qualitativa, pois os
dados dessa avaliação serviram apenas para melhorar a qualidade e as características do jogo, as
informações não foram documentadas formalmente pelos alunos.
No segundo e no terceiro experimentos, o formulário de coleta tinha o mesmo formato. Por
esse motivo, a análise dos dados foi realizada em conjunto, mas ressaltando as diferenças entre um e
o outro experimento, as conclusões foram individuais entre os experimentos.
Nas seções seguintes são apresentados os resultados da avaliação qualitativa dos três últimos
experimentos realizados, o segundo, o terceiro e o quarto.
4.2.1. Avaliação Qualitativa do Segundo e Terceiro Experimentos
No segundo e terceiro experimentos foram realizadas 10 perguntas como forma de avaliar
qualitativamente o jogo, e responder às perguntas da pesquisa 01 e 02. Os experimentos contaram
com a participação de todos os alunos.
125
A primeira pergunta da pesquisa a ser respondida é se o conteúdo do jogo 123SPI foi
relevante para o aprendizado do aluno equivalente à pergunta 04 do questionário de percepção do
jogo. Para responder à segunda pergunta da pesquisa foi elaborada a pergunta: O jogo 123SPI é
atrativo e conseguiu motivar o aluno a executar suas tarefas (pergunta 02 do questionário de
percepção do jogo). Além das duas perguntas outras foram feitas para complementar a avaliação
dos alunos em relação ao jogo 123SPI. A Figura 16 mostra a consolidação dos resultados.
Figura 16. Perguntas sobre a percepção do jogo.
Respondendo à pergunta 01 da pesquisa se o jogo proposto facilita a aprendizagem em
relação aos conceitos sobre os níveis 2 e 3 de maturidade do CMMI em relação aos resultados do
segundo experimento. Nove afirmaram que sempre o jogo 123SPI foi relevante para o processo de
aprendizagem e apenas um concorda que na maioria das vezes o jogo é relevante para o processo.
Dos participantes do terceiro experimento, onze afirmaram que sempre o jogo 123SPI foi relevante
para o processo de aprendizagem, dois que algumas vezes e um que não concorda que o jogo é
relevante para o processo, conforme mostra a pergunta 04 da Figura 16.
Dessa forma, a quantidade de participantes que responderam positivamente foi bem maior
do que os que não concordam com a afirmação no segundo e no terceiro experimento.
126
Em relação à pergunta 02 no segundo experimento. Seis afirmaram que sempre o jogo
123SPI conseguiu motivar os alunos tornando o processo de aprendizagem mais atrativo, três
participantes informaram que na maioria das vezes é motivacional e apenas um que diz quem em
algumas vezes o jogo é motivacional. Dos participantes do terceiro experimento, doze afirmaram
que sempre o jogo 123SPI foi relevante para o processo de aprendizagem e dois que na maioria das
vezes, conforme mostra a pergunta 02 da Figura 16.
Dessa forma, a quantidade de participantes que responderam positivamente foi bem maior
do que os que não concordam com a afirmação tanto no segundo quanto no terceiro experimento.
Além das perguntas feitas para responder aos questionamentos da pesquisa, outras perguntas
foram feitas para os alunos em relação ao jogo 123SPI, para avaliar qualitativamente o jogo
conforme mostra as Figuras 17 e 18.
Figura 17. Pergunta sobre a dificuldade e duração do jogo
A sexta pergunta do questionário de percepção do jogo apresenta um resultado no segundo
experimento em que sete participantes informaram que o grau de dificuldade do jogo foi
considerado adequado, dois participantes acharam o jogo fácil e apenas um respondeu que achou o
jogo difícil. Já no terceiro experimento, treze participantes informaram que o grau de dificuldade do
127
jogo foi considerado adequado e apenas um respondeu que achou o jogo difícil, conforme apresenta
a Figura 17.
Em relação à duração, no segundo experimento cinco participantes informaram que a
duração do jogo foi considerada boa, um participante considerou longa, um considerou muito longa
e três consideraram curta. O terceiro experimento apresenta um resultado em que dez participantes
informaram que a duração do jogo foi considerada boa, dois participantes consideraram longa e dois
consideraram curta, conforme mostra a Figura 17.
Também foi questionado se o jogo é uma ferramenta interessante para apoiar o ensino. A
Figura 18 apresenta o resultado.
Figura 18. Pergunta sobre o que é mais e menos interessante e o que pode ser melhorado no jogo
A oitava pergunta do questionário no segundo experimento apresenta um resultado em que
seis participantes informaram que o que consideraram mais interessante no jogo foi o desafio
proposto no mesmo, três participantes consideraram as perguntas questionadas durante o jogo e um
achou a forma de apresentação do jogo mais interessante e nenhum participante citou como mais
interessante o tempo de duração de cada sessão do jogo. O terceiro experimento apresenta um
resultado em que dez participantes informaram ser o desafio proposto o mais interessante no jogo,
128
três participantes consideraram as perguntas questionadas durante o jogo e um achou a forma de
apresentação do jogo mais interessante, conforme mostra a Figura 18.
Em relação ao que é menos interessante. No segundo experimento oito participantes
informaram que o tempo de duração de cada sessão do jogo, um participante considerou a forma de
apresentação do jogo menos interessante, um participante citou o desafio proposto no jogo como
menos interessante e nenhum participante citou as perguntas questionadas durante o jogo como
menos interessante. Já no terceiro experimento apresenta um resultado em que nove participantes
informaram ser menos interessante no jogo o tempo de duração de cada sessão do jogo, um
participante não achou interessante as perguntas questionadas durante o jogo, quatro participantes
consideraram a forma de apresentação do jogo menos interessante e nenhum participante citou o
desafio proposto no jogo como menos interessante, conforme mostra a Figura 18.
E a última pergunta apresenta o resultado sobre o que os participantes achavam que poderia
ser melhorado no jogo. No segundo experimento três informaram que o desafio proposto no jogo
poderia ser melhorado, três participantes informaram que o tempo de duração de cada sessão do
jogo poderia ser melhorado, dois acham que as perguntas questionadas durante o jogo e dois
citaram a forma de apresentação do jogo como algo a ser melhorado no jogo. No terceiro
experimento cinco participantes informaram que a forma de apresentação do jogo poderia ser
melhorada, um acha que o desafio proposto no jogo poderia ser melhorado, quatro que as perguntas
questionadas durante o jogo poderiam ser melhoradas e quatro que o tempo de duração de cada
sessão do jogo poderia ser melhor, conforme mostra a Figura 18.
Dessa forma, com essa avaliação qualitativa, algumas melhorias sugeridas pelos
participantes foram incorporadas no jogo assim como a própria avaliação do jogo foi remodelada
para melhor colher os dados para análise dos resultados. As perguntas do jogo e das avaliações
foram modificadas no segundo e terceiro experimentos assim como as cartas de missão foram
colocadas no mesmo nível de dificuldade.
Na próxima seção poderá ser verificada uma evolução no questionário da avaliação do jogo
para o quarto experimento.
129
4.2.2. Avaliação Qualitativa do Quarto Experimento
No quarto experimento foi realizada uma mudanças no questionário como forma de avaliar
qualitativamente o jogo. O número de perguntas foi reduzido para nove e as alternativas de
respostas foram padronizadas. Essa avaliação contou com a participação de onze alunos da
faculdade.
Para responder à pergunta da pesquisa, foi questionado se jogo 123SPI foi relevante para o
aprendizado do aluno, equivalente à pergunta 01 do questionário de percepção do jogo. O resultado
em resposta a essa primeira pergunta está consolidado no gráfico da Figura 19.
Figura 19. Perguntas sobre percepção do jogo no quarto experimento
Em relação ao resultado, quatro concordam totalmente que o jogo 123SPI foi relevante para
o processo de aprendizagem e sete concordam parcialmente.
Para responder a pergunta 02 da pesquisa foi perguntado se o jogo 123SPI torna o processo
de aprendizagem mais atrativo equivalente a pergunta 02 do questionário. A Figura 19 apresenta o
resultado onde oito concordam totalmente que o jogo 123SPI torna o processo de aprendizagem
mais atrativo enquanto três participantes concordam parcialmente.
130
Além das perguntas para responder aos questionamentos propostos na pesquisa, outras
perguntas foram feitas para os alunos em relação ao jogo 123SPI, todas consolidadas e agrupadas
conforme apresenta a Figura 19.
A pergunta 03 do questionário de percepção do jogo apresenta um resultado em que dez
participantes informam que concordam totalmente sobre jogar novamente o jogo 123SPI enquanto
que apenas um concorda parcialmente, conforme mostra a Figura 19.
Já a pergunta 04 questiona se o jogo 123SPI forneceu informação suficiente para o jogador
saber o que estava fazendo. O resultado diz que sete participantes concordam totalmente com a
afirmação e quatro concordam parcialmente, conforme mostra a Figura 19.
A pergunta 05 refere-se à sequência dos desafios do jogo 123SPI se foi adequada. Dos
participantes, sete concordam totalmente, três concordam parcialmente e apenas um não concorda
parcialmente com os desafios propostos no jogo, conforme apresenta a Figura 19.
A avaliação também verifica se o jogo 123SPI forneceu informação suficiente sobre
melhoria de processos de software. Entre os participantes, oito concordam totalmente que sim, o
jogo fornecia as informações necessárias ao assunto melhoria de processos de software e apenas três
concordaram parcialmente, conforme apresenta a Figura 20.
Figura 20. Pergunta sobre dificuldade, duração e conteúdo do jogo no quarto experimento
131
A pergunta 07 questiona se o grau de dificuldade apresentado no jogo 123SPI foi adequado
para o aprendizado do aluno. Seis participantes concordaram totalmente com a afirmação e cinco
concordaram parcialmente, conforme apresenta a Figura 20.
A pergunta 08 verifica se a duração do jogo 123SPI foi adequada. Quatro participantes
concordaram totalmente com o tempo do jogo, dois concordaram parcialmente, três não
concordaram parcialmente e dois não concordaram totalmente com o tempo do jogo, conforme
apresenta a Figura 20.
E a última pergunta abordada no questionário de percepção do jogo, questiona se o conteúdo
abordado no jogo 123SPI foi adequado para o aprendizado do aluno. Nove participantes
concordaram totalmente com a afirmação e apenas dois concordaram parcialmente, conforme
apresenta a Figura 20.
Ainda que de maneira geral, os resultados da avaliação qualitativa apresentados nesta seção
são discutidos e comparados com os resultados da avaliação quantitativa na seção seguinte,
correlacionando-os às ameaças à validade destes.
4.2.3. Análise dos Resultados da Avaliação Qualitativa
A avaliação qualitativa tornou transparente a satisfação dos alunos com o jogo 123SPI.
Estes resultados, discutidos em detalhes na seção 4.2 em que são tratados os dados qualitativos,
frente aos resultados da efetividade de aprendizado do jogo indicam que outros experimentos
devem ser conduzidos com o objetivo de verificar o quanto as atuais modificações podem
influenciar o aprendizado e mesmo a motivação do aluno.
Também, através dos dados da avaliação qualitativa do segundo, terceiro e quarto
experimento, pode-se mostrar que o jogo influencia de maneira positiva como elemento facilitador
no processo de ensino aprendizagem. As perguntas 01 e 02 definidas na presente pesquisa são
respondidas através dessa avaliação, conforme evidenciado nesta seção.
Em relação à hipótese H1 que trata se o resultado da análise do grupo do experimento é
superior ao do grupo de controle. A hipótese não foi confirmada em nenhum experimento. Para
validar os dados foram usados os testes estatísticos de Mann-Whitney no primeiro, segundo e
132
terceiro experimentos. No quarto experimento também foi usado t de Student,. A conclusão é que
em nenhum experimento H0 foi refutada.
O jogo não demonstrou ser uma ferramenta substancial para apoiar os alunos na melhora de
seus desempenhos entre as avaliações, conforme demonstrado com detalhes em cada seção de
análise dos resultados, pois os resultados foram muito similares entre os grupos do experimento e de
controle. Apenas pela análise qualitativa é que o jogo pode apoiar a área educacional, conforme
pode se verificar com os resultados da avaliação qualitativa. As aulas tradicionais podem ser
apoiadas por ferramentas que estimulem os alunos a participarem mais, e o jogo pode ser essa
ferramenta, pois além de exercitarem o conhecimento através do conteúdo abordado nas seções do
jogo, ele pode desafiar os alunos através da competitividade e dos desafios propostos no jogo.
Assim como nas avaliações pré-teste e pós-teste que sofreram evoluções no decorrer da
aplicação dos experimentos, na avaliação qualitativa essa evolução também está presente, conforme
evidencia a Tabela 28.
Tabela 28. Características entre as avaliações qualitativas
Avaliação Qualitativa Experimento Número de Questões Diferenças 1 0 Não teve formulário 2 10 Igual ao do 3º
Experimento 3 10 Igual ao do 2º
Experimento 4 9 Tipos de Respostas
Diferentes
133
5 CONCLUSÕES
O presente trabalho teve o objetivo de desenvolver e avaliar um jogo educativo para o
ensino do modelo de maturidade CMMI em seus níveis 2 e 3 de maturidade e apresentar, de uma
maneira geral, que para uma utilização eficiente e completa de um jogo educativo, faz-se necessário
realizar previamente uma avaliação consciente do mesmo, analisando tanto aspectos de qualidade
do produto como aspectos pedagógicos e fundamentalmente a situação pré-jogo e pós-jogo que se
deseja atingir. A análise desses jogos serve para mostrar que os jogos sérios têm muito a contribuir
para o processo de ensino-aprendizagem.
Preliminarmente, foi realizado um mapeamento sistemático, que teve como objetivo o
estudo dos principais conceitos envolvidos na melhoria de processos de software, no CMMI, no
processo de ensino-aprendizagem, na definição e construção de jogos e na aplicação destes como
ferramenta de apoio ao processo de ensino-aprendizagem.
O mapeamento sistemático serviu de base para se estabelecer os critérios para a análise dos
jogos educacionais e para a melhoria de processos de software, onde ficou caracterizada a ausência
de soluções nesta área, sendo abordados jogos para o ensino da engenharia de software de mais
geral e mais especificamente na área de gerenciamentos de projetos. A partir desta análise das
soluções já disponíveis possibilitou uma melhor compreensão das oportunidades e desafios na
construção de um jogo educativo para o ensino da melhoria de processos de software. Dessa forma,
o objetivo 1 foi alcançado.
O segundo passo, baseando-se na pesquisa bibliográfica e no mapeamento sistemático
realizado anteriormente, deu-se a concepção do jogo 123SPI. Durante a sua concepção e a
construção, buscou-se utilizar das principais características das teorias de aprendizagem voltadas
aos jogos educativos, com o objetivo de contribuir para o problema da falta de motivação dos
alunos no processo de ensino-aprendizagem, pela avaliação qualitativa pode-se comprovar o apoio
motivacional que o jogo oferece aos alunos. Além disso, o jogo construído foi voltado para discutir
questões relacionadas ao modelo de maturidade CMMI como forma de apoiar o entendimento das
dezoito áreas de processo dos níveis 2 e 3 de maturidade. Dessa forma, o objetivo 2 definido no
presente trabalho foi alcançado.
134
Após a construção do jogo, foi iniciado o planejamento dos experimentos para avaliar
quantitativamente e qualitativamente o jogo. A base para o planejamento foi o framework
desenvolvido por Kochanski (2009), norteado por três questionamentos principais:
d) É possível aos estudantes aprenderem uma habilidade e adquirirem conhecimento
utilizando o jogo proposto?
e) O jogo proposto facilita a aprendizagem dessa habilidade/aquisição de conhecimento?
f) O jogo proposto é considerado apropriado em termos de correção, grau de dificuldade,
atratividade e duração?
As hipóteses relacionadas com os questionamentos acima foram:
• H0 – o efeito de aprendizagem nos níveis de compreensão, aplicação e análise é o
mesmo tanto para os alunos que utilizaram o jogo quanto para aqueles que não
jogaram;
• H1 – o efeito de aprendizagem nos níveis de compreensão, aplicação e análise dos
alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram o jogo;
• H2 – o efeito de aprendizagem no nível de lembrança da taxonomia revisada de
Bloom dos alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram
o jogo;
• H3 – o efeito de aprendizagem no nível de entendimento da taxonomia revisada de
Bloom dos alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram
o jogo;
• H4 – o efeito de aprendizagem no nível de aplicação da taxonomia revisada de Bloom
dos alunos que utilizaram o jogo é superior ao dos alunos que não utilizaram o jogo.
Além das hipóteses que foram avaliadas por meio de um teste estatístico, também foram
definidas mais duas perguntas como forma de avaliar qualitativamente o jogo:
• 1 – O jogo educacional proposto facilita a aprendizagem em relação aos conceitos
sobre os níveis 2 e 3 do modelo de maturidade CMMI?
135
• O jogo educacional proposto torna o processo de aprendizagem mais atrativo?
Com o objetivo de comprovar ou rejeitar essas hipóteses, foram planejados e aplicados
quatro experimentos.
No primeiro experimento definido como quase-experimento, com base na análise dos dados
realizada não foi possível rejeitar H0; desta forma, a hipótese H1 não pode ser comprovada através
de aplicação do teste estatístico de Mann-Whitney, pois o experimento não teve a avaliação pré-
teste. No entanto, a média de assertividade do grupo do experimento foi maior do que a média do
grupo de controle.
Já no segundo experimento também definido como quase-experimento, com base na análise
dos dados realizada também não foi possível rejeitar H0; desta forma, a hipótese H1 não pode ser
comprovada através de aplicação do teste estatístico de Mann-Whitney, pois o experimento não teve
a divisão dos participantes em grupo do experimento e grupo de controle, pois a quantidade de
alunos era insuficiente.
Em relação às perguntas acrescentadas como objeto de avaliação qualitativa. As duas
perguntas puderam ser avaliadas e indicaram que para os alunos o jogo ajudou a entender os
conceitos sobre as áreas de processo dos níveis 2 e 3 de maturidade do CMMI, além de ser
considerado como uma atividade de ensino motivadora, conforme seção 5.4.
Para o terceiro experimento, a versão do experimento já apresentava uma evolução em
relação aos experimentos anteriores, que foi a inclusão da avaliação pré-teste e pós-teste e a divisão
dos participantes em grupo do experimento e grupo de controle. Após a análise dos dados realizada
para esse experimento, foi possível a aplicação do teste estatístico de Mann-Whitney, mas não foi
possível rejeitar a hipótese H0. Não rejeitando H0, as demais hipóteses H1, H2, H3 e H4 não podem
ser confirmadas. As perguntas acrescentadas como forma de avaliar qualitativamente o jogo
puderam ser analisadas e os alunos demonstraram que o jogo é uma forma de contribuir para o
processo de aprendizagem através do interesse pelo assunto provocado pelo jogo, conforme mostra
a seção 5.4.
Para o quarto experimento, uma nova mudança incorporada dessa vez reduzindo o número
de perguntas da avaliação pré-teste e pós-teste para 20 questões cada, bem como diferenciar todas
as questões entre um e outro teste, fato que nas avaliações anteriores as questões eram idênticas nas
136
suas avaliações. O número de questões a serem usadas nas sessões do jogo também foi alterado,
subindo de 47 para 60 questões. Após a análise dos dados realizada para esse experimento, foi
possível aplicar o teste estatístico de Mann-Whitney, mas também não foi possível refutar a
hipótese H0, pois as diferenças dos resultados das avaliações são muito similares. Além do teste de
Mann-Whitney foi aplicado o teste t de Student e, também, foi confirmada a hipótese H0. Com isso,
a H1 não pode ser comprovada. No entanto, mais uma vez através da avaliação qualitativa, foi
possível mostrar a satisfação dos alunos com o jogo 123SPI, a efetividade de aprendizado do jogo
indica que outros experimentos devem ser conduzidos com o objetivo de verificar o quanto as atuais
modificações podem influenciar o aprendizado e mesmo a motivação do aluno. Nesse experimento,
os alunos mostraram interesse no jogo sugerindo, inclusive, que o jogo fosse adotado pela faculdade
que autorizou a aplicação do experimento.
Foram realizadas quatro avaliações da aplicação do jogo 123SPI, com documentação da
metodologia utilizada, o perfil dos entrevistados e os resultados quantitativos e qualitativos. As
avaliações foram feitas em momentos distintos e com várias evoluções incorporadas. E, mesmo o
jogo não sendo considerado uma ferramenta para apoiar o ensino da melhoria de processos, no caso
específico o CMMI, conforme dados estatísticos apresentados através dessas avaliações, o jogo
pode ser considerado como uma ferramenta lúdica que coloca formas diferentes de transmitir o
conhecimento aos alunos. Com o jogo, os participantes tiveram a oportunidade de exercitar o
conteúdo abordado nas aulas expositivas de uma maneira diferente. Pelos dados da análise
qualitativa, o jogo educacional é uma forma diferente de aprendizagem, ele possibilita ao aluno
aprender os conceitos mesmo que indiretamente e de uma forma interativa entre os próprios alunos-
jogadores. Dessa forma, o terceiro objetivo definido também foi alcançado.
O objetivo geral desse trabalho que era a concepção, desenvolvimento e avaliação de um
jogo educacional para o entendimento dos processos do CMMI-DEV v1.3:2010 referente aos níveis
2 e 3 de maturidade, possibilitando ao profissional um reforço dos conceitos apreendidos em sala de
aula a respeito das dezoito áreas de processo propostas pelo modelo foi alcançado, conforme
demonstrado no Capítulo 5 sobre a avaliação do jogo 123SPI.
Já em relação aos objetivos específicos, foi realizado um mapeamento sistemático a respeito
do estado da arte sobre jogos educativos para engenharia de software/melhoria de processos. Foram
identificados jogos para computador nessa área bem como jogos de tabuleiro. Essa pesquisa foi
primordial para que fosse definido como o jogo seria construído. Através dos aspectos mais
137
relevantes como dinâmica do jogo, quantidade de jogadores, interação entre os participantes e
outros fatores, essa análise foi importante na definição de como o jogo em questão deveria ser
construído. Dessa forma, os objetivos específicos foram alcançados, mas importante ressaltar que os
resultados não são definitivos, mas passíveis de discussão.
Pelo interesse dos alunos e profissionais que participaram das sessões do treinamento e do
jogo, o jogo 123SPI foi disponibilizado na web no site da Univali (2011) com todas as informações
sobre como construir o tabuleiro e como usar todos os componentes do jogo.
Pela apresentação dos resultados do jogo as hipóteses da pesquisa não foram alcançadas,
pois H0 não foi rejeitada. Dessa forma, o jogo enquanto ferramenta de apoio ao entendimento e
aplicação das áreas de processo dos níveis 2 e 3 de maturidade do CMMI não conseguiu alcançar os
resultados. Entretanto, pelos resultados da análise qualitativa do jogo, os alunos responderam que o
jogo pode ser usado como complemento ao treinamento tradicional como forma de motivá-los, pois
é uma forma lúdica de transmitir o conhecimento.
5.1 CONTRIBUIÇÕES DA DISSERTAÇÃO
O projeto desta dissertação foi um jogo para apoiar o entendimento das áreas de processo
dos níveis 2 e 3 de maturidade do CMMI. Esse jogo tem o objetivo de apoiar a implementação do
modelo CMMI nas organizações desenvolvedoras de software. No decorrer do desenvolvimento
deste projeto foram realizadas discussões e apresentadas as dificuldades sobre a implementação das
áreas de processo em razão da complexidade do assunto e da falta de treinamentos e cursos
acessíveis aos profissionais de SPI – Software Process Improvement.
Para justificar a construção do jogo, esse trabalho também contribui com um mapeamento
sistemático sobre jogos disponíveis para apoiar o ensino formal na área de Engenharia de Software.
Diferentes jogos foram jogados e avaliados, no tocante ao objetivo de cada jogo, área envolvida,
digitais e não digitais, pontos fortes e fracos e se os mesmos foram avaliados empiricamente. Ao
final da avaliação foi construída uma tabela comparando cada jogo e como cada um pode contribuir
com treinamentos em ES. Esse comparativo pode ser utilizado por outros pesquisadores que
queiram desenvolver e/ou avaliar jogos educativos na ES.
138
Outra contribuição é a própria avaliação do jogo 123SPI com alunos de graduação e pós-
graduação em TI e com profissionais atuantes em empresas desenvolvedoras de software. Foram
demonstrados os resultados com o uso do jogo como ferramenta de apoio ao entendimento das áreas
de processo do modelo de referência CMMI-DEV, em seus níveis 2 e 3 de maturidade. Para a
realização dos experimentos foram feitos planejamentos e aplicado avaliações qualitativa e
quantitativa do jogo. Os resultados estão disponíveis e podem ser usados em outras pesquisas sobre
jogos educativos, como instrumento de comparação com outros jogos na área de ES.
Por último, talvez a principal contribuição deste trabalho, foi a concepção e a construção do
jogo 123SPI, aplicado a turmas de ES de maneira geral e em organizações de desenvolvimento de
software. Os experimentos realizados indicaram que o jogo desenvolvido é uma atividade
motivadora na área educacional, fornecendo dessa forma apoio ao instrutor no ensino da melhoria
de processos de software.
5.2 TRABALHOS FUTUROS
Diante da experiência adquirida em face dos quatro experimentos realizados, alguns pontos
poderão ser melhorados ou evoluídos no jogo 123SPI:
1. A versão disponível do jogo é em formato de tabuleiro, conforme já justificado
preliminarmente no presente trabalho. No entanto, percebeu-se uma oportunidade
em adaptar o jogo 123SPI de formato de tabuleiro para formato digital;
2. Além do formato digital, incentivar o uso do jogo 123SPI em redes e disseminar nas
redes sociais, promovendo o ambiente colaborativo entre as equipes;
3. O jogo poderá ser evoluído para abordar todos os níveis do CMMI, ou seja, além dos
níveis 2 e 3, abordar também os níveis 4 e 5 de maturidade do CMMI;
4. Realizar novos experimentos junto a instituições acadêmicas em cursos estritamente
relacionados à Engenharia de Software para realizar um comparativo entre alunos
mais especializados no assunto;
5. Divulgar entre instituições e organismos relacionados ao assunto SPI para levantar o
interesse no uso do jogo como ferramenta auxiliar ao ensino;
139
6. Mudar o jogo para abordar além do CMMI o modelo de maturidade MPS.BR, pois, a
versão atual do jogo é restrita ao modelo CMMI. As áreas de processo e as
perguntas elaboradas devem ser adaptadas as nomenclaturas do MPS.BR; e,
7. Todas as perguntas do jogo poderiam ser de casos e situações práticas do dia a dia de
uma implementação de melhoria de processos em uma organização.
140
REFERÊNCIAS
ACM. IEEE/ACM Joint Task Force on Computing Curricula. Computer Engineering 2005. Curriculum Guidelines for Undergraduate Degree Programs in Computer Engineering. IEEE Computer Society Press and ACM Press, December 2005. Disponível em: <http://www.acm.org/education/education/curric_vols/CC2005-March06Final.pdf >. Acesso em: 12 de dezembro de 2011.
ANDERSON, L.; KRATHWOHL, D. A taxonomy for learning,teaching and assessing: a revision of Bloom’s Taxonomy of Educational Objectives. New York: Longman, 2001.
AUSUBEL, D. P. The Acquisition and Retention of Knowledge: A Cognitive View - Kluwer Academic Publishers - ISBN: 0792365054. 2000. Disponível em : <http://www.wkap.nl/>. Acesso em: 22 de maio de 2010.
BAKER, A., NAVARRO, E. AND HOEK A. An Experimental Card Game for Teaching Software Engineering Processes. In: Journal of Systems and Software, v. 75, 1-2, pp. 3-16. Elsevier. 2005.
BARBETTA, P. A., REIS, M. M., BORNIA, A. C. Estatística para Cursos de Engenharia e Informática. São Paulo: Atlas, 2008.
BATLLORI, J.; Jogos para treinar o cérebro: desenvolvimento de habilidades cognitivas e sociais. São Paulo; Madras, 2006.
BENITTI, F. B. V.; MOLLERI, J. S., Utilização de um RPG no Ensino de Gerenciamento e Processo de Desenvolvimento de Software – Anais do XXVIII do Congresso da SBC, 2008.
BETZ, J. A. Computer Games: Increases learning in an interactive multidisciplinary environment, Journal of Educational Technology Systems. SUNY Utica/Rome NY. 1995.
BLOOM, B. S. Taxonomy of Educational Objectives, Handbook I: Cognitive Domain. New York: McKay, 1956.
BOEHM, B. A View of 20th and 21st Century Software Engineering”. In: Proceedings of the 28th International Conference on Software Engineering (ICSE’06), Shangai, China, 12-29. 2006.
BRENELLI, R. P. O Jogo como espaço para pensar. São Paulo, Papirus, 1996.
CALTRANS. Jogo SIM. [Online]. 2008. Disponível em URL: <http://www2.dot.ca.gov/hq/cpsd/PM_sim/>. Acessado em 05 de Junho de 2008.
CEEInf-MEC. Diretrizes curriculares de cursos da área de computação e informática. [Online] 2002. Disponível em: <http://www/mec.gov.br>. Acesso em 16 de dezembro de 2011.
CHRISSIS, M. B. CMMI for development: guidelines for process integration and product improvement / Mary Beth Chrissis, Mike Konrad and Sandy Shrum. 3 ed. The SEI series in software engineering. Pearson Education, Inc. 2011.
141
CIRILLO, M. A., FERREIRA, D. F. Extensão do Teste para Normalidade Univariado. Baseado no Coeficiente de Correlação Quantil-Quantil para o Caso Multivariado. Rev. Mat. Estat., São Paulo, v. 21, n. 3, 67-84. 2003.
CMMI. CMMI Product Team. Capability Maturity Model Integration, version 1.3 – CMMI® for Development, Version 1.3, 2010. [Online]. Disponível em: <http://www.sei.cmu.edu/cmmi/tools/dev/download.cfm>. Acesso em 16 de abril de 2010.
COLEMAN, G.; O’CONNOR, R., “Investigating Software Process in Practice: A grounded Theory Perspective”, Journal of Systems and Software. 2008.
COUTO, A. B. CMMI – Integração dos Modelos de Capacitação e Maturidade de Sistemas. Rio de Janeiro: Editora Ciência Moderna Ltda. 2007.
CSDA. [Online]. 2009. Disponível em: < http://www.computer.org/portal/web/certification/csda>. Acesso em 01 de maio de 2009.
CSDP. [Online]. 2009. Disponível em: < http://www.computer.org/portal/web/certification/csdp>. Acesso em 01 de maio de 2009.
DANTAS, A.; BARROS, M; WERNER, C. Treinamento Experimental com Jogos de Simulação para Gerentes de Projeto de Software. In: XVIII SIMPÓSIO BRASILEIRO DE ENGENHARIA DE SOFTWARE – SBES '04, 2004, Brasília. SBC, 2004. p. 23-38.
DEBOU, C. e KUNTZMANN-Combelles, A. Linking software process improvement to business strategies: experiences from industry. Em, Software Process: Improvement and Practice Vol. 5, Issue 1. John Wiley & Sons, Ltd, 2000.
DELAET, M., KUFFNER, J., SLATTERY, M. e SWEEDYK, E. Computer Game and CS Education: Why and How. In: Symposium on Compuer Science Education, ACM Press, NY. 2005.p. 256-257.
DYBA, T., Enabling Software Process Improvement: An Investigation of the Importance of Organizational Issues. Empirical Software Engineering, vol. 7, 2003.p. 387-390.
ERDOGMUS, H., FAVARO, J., STRIGEL, W.; Return of Investment. IEEE Software, v. 21, n.3, p. 18-22. 2004.
FALCÃO, P. Criação e Adaptação de Jogos em T & D. Rio de Janeiro: Qualitymark. 2008.
FARIA, A. R. O desenvolvimento da criança e do adolescente segundo Piaget. Ed. Ática, 3º edição, 1995.
FERNANDES, L.; WERNER, C. M. L.; Sobre o Uso de Jogos para o Ensino de Engenharia de Software. Disponível em: <http://fees.inf.puc-rio.br/FEESArtigos/artigos/artigos_FEES09/FEES_3.pdf > Anais do II FEES, XXIII SBES, Fortaleza, 2009.
FIGUEIREDO, E., Lobato, C., Dias, K., Leite, J. e Lucena, C. SimulES: Um Jogo para o Ensino de Engenharia de Software. Relat. Técnico 34/06, Depto de Informática, PUC-Rio. 2006.
142
FREIRE, P. Cultural Action for Freedom, Harmondsworth, Penguin. 1972.
FUGGETTA, A., Maria Letizia Jaccheri: Dynamic partitioning of complex process models. Information & Software Technology, 2000.
GAGNÉ, R. M. The Conditions of Learning. New York: Holt, Rinehart and Winston. 1965.
GARG, K and VASUDEVA V.; Software Engineering Education in India: Issues and Challenges, IEEE 21st Conference on Software Engineering Education and Training, CSEET’08. 2008. p. 110-177.
GEE, J. P. Learning by design: Games as learning machines. In: Paper presented at the GAME DEVELOPERS CONFERENCE. San Jose, CA, p. 15-23, 2004.
GIBBS, G. Learning by Doing: a guide to teaching and learning methods. London: Further Education Unit, 1988.
GIL, A. C. Como elaborar projetos de pesquisa. 4. ed. São Paulo, Atlas, 2002.
GIL, A. C. Métodos e técnicas de pesquisa social. 5. ed. São Paulo: Atlas, 1999.
GNATZ, M., KOF. L., PRILMEIER, F., SEIFERT, T. A practical Approach of Teaching Software Engineering, Proc. 16th Conf. Software Eng. Education and Training, IEEE Computer Society. Alemanha. 2003. p. 120-128.
GRAMIGMA, M.R.M. Jogos de empresa. São Paulo: Makron Books, 1994.
GREENFIELD, J., Short K., Software Factories – Assembling Applications with Patterns, Models, Frameworks and Tools, OOPSLA’03, ACM, California, 2003.p. 16-27.
HAMMOND, N. Learning with Hypertext : Problems, Principles and Prospects. In C. McKnight, A. Dillon & J. Richardson (Eds.) Hypertext – a Psychological Perspective. London: Ellis Horwoord, 1983.
HANNAFIN, M. J. & PECK, K. L. The Design, Development and Evaluation of Instructional Software. New York/London: MacMillan Publ. Co. 1988.
HIEBERT, J.; GALLIMORE, R.; STIGLER, J.W. A Knowledge Base for the Teaching Profession: What Would It Look Like and How Can We Get One?. Educational Research, v. 31, n. 5, p. 3-15, Jun./Jul. 2002.
HILGERT, F. P., MOREIRA, L. S. R., PRIKLADNICKI, R., BOSSLE, R., MORA, M. C., BACK, R., Gestão de Mudança em Melhoria de Processo de Software: Um Relato de Integração entre RH e SEPG na Tlantic SI, In: IV WOSES – Workshop Um Olhar Sociotécnico sobre a Engenharia de Software, Florianópolis, Brasil, 2008.
HOGLE, J. G. Considering Games as Cognitive Tools: In Search of Effective "Edutainment" . University of Georgia. 1996. Disponível em <http://www.twinpinefarm.com/pdfs/games.pdf>. Acesso em 11 de dezembro de 2011.
143
HUANG, S.; DISTANTE, D. On Practice-Oriented Software Engineering Education. In: PROCEEDINGS OF THE 19th CONFERENCE ON SOFTWARE ENGINEERING EDUCATION AND TRAINING WORKSHOPS (CSEETW '2006) , Turtle Bay. Washington: IEEE Computer Society, 2006. p. 15.
HUIZINGA, J. Homo Ludens : o jogo como elemento da cultura / trad. de João Paulo Monteiro (Homo Ludens-vom Urspung der Kultur im Spiel.) São Paulo.Perspectiva, 1999.
IEEE Software: “Return on Investment in the Software Industry – Call for Articles ”; IEEE Computer Society, 2003.
INTEL. IT MANAGER III [Online Versão Português]. 2006. Disponível em: <http://itmg2.intel.com/por/launch/default.aspx>. Acesso em: 26 de junho 2008.
ISSING, L. J. Mediendidaktische Aspekte der Entwicklung und Implementierung von Lernsoftware. In G. Zimmer (Ed.), Interaktive Medien fur die Aus- und Weiterbildung. Nurnberg: BW Bildung und Wissen, 1990.
JONASSEN, D. H. Evaluating Constructivistic Learning. Educational Technology, 1991.
JONES, K. Simulations: a handbook for teachers and traines. London: Third Edition Routledge 1995.
KIELING, E.; ROSA, R. Planager – Um Jogo para Apoio ao Ensino de Conceitos de Gerência de Projetos de Software. Monografia de Trabalho de Conclusão de Curso de Graduação, Ciência da Computação, FACIN, PUCRS, Porto Alegre, 2006.
KISHIMOTO, T. M. (org.) Jogo, Brinquedo, Brincadeira e a Educação. São Paulo: Cortez, 2007.
KITCHENHAM , B. A. et al. Preliminary Guidelines for Empirical Research in Software Engineering, IEEE Transactions on Software Engineering, vol. 28, no. 8, 2002.
KOCHANSKI, D. Um Framework para apoiar a construção de experimentos na avaliação empírica de jogos educacionais. São José, 2009. Dissertação (Mestrado em Engenharia de Software) Curso de Mestrado Acadêmico em Computação Aplicada, Universidade do Vale do Itajaí, São José, 2009.
KOCHANSKI, D., WANGENHEIM, C. and THIRY, M. “Empirical evaluation of an educational game on software measurement”. Empirical Software Engineering. 2009a.
KOZMA, R. B. Learning with Media. Rev. of Educational Research, 1991.
LEOTTI, V. B., BIRCK, A. R., RIBOLDI J. Comparação dos Testes de Aderência à Normalidade de Kolmogorov-Smirnov, Anderson-Darling, Cramer-Von Mises e Shapiro-Wilk por Simulação. 11 Simpósio de Estatística Aplicada à Experimentação Agronômica e a 50 Reunião Anual da Região Brasileira da Sociedade Internacional de Biometria (RBRAS). Londrina, Paraná. Julho. 2005.
LETHBRIDGE, T. C.; DIAZ-HERRERA, J.; LEBLANC, R. J.; THOMPSON, J. B. “Improving Software Practice through Education: Challenges and Future Trends. In: Proceedings of the
144
Conference on The Future of Software Engineering, 29th ICSE, IEEE Computer Society, Minneapolis, USA, p.12-28. 2007.
LETHBRIDGE, T.; SINGER, J. FORWARD, A. How software engineers use documentation: the state of the practice. IEEE Software, v.20, n.6, 2003.
LINO, J. I. Proposta de um Jogo Educacional para Medição e Análise de Software. Trabalho de Conclusão de Curso, Sistemas de Informação, Universidade Federal de Santa Catarina, Florianópolis, 2007.
LUCAMBIO, F. Diferentes Testes para Verificar Normalidade de uma Amostra Aleatória. [Online]. 2008. Departamento de Estatística. Universidade Federal do Paraná. Curitiba/PR, 81531-990, Brasil. Disponível em: <http://people.ufpr.br/~lucambio/CE225/2S2009/Normal_test.pdf >. Acessado em 20 de dezembro de 2011.
MACEDO, L. de; PETTY Ana L. S.; PASSOS, Norimar C. Aprender com jogos e situações-problema. Porto Alegre: Artmed, 2000.
MARCONI, M. de A.; LAKATOS, E. M. Técnicas de pesquisa: planejamento e execução de pesquisas, Amostragens e técnicas de pesquisa, Elaboração, análise e interpretação de dados. 4 ed. São Paulo: Atlas, 1999.
MCCONNELL, Steve. Professional software development: shorter schedules, higher quality products, more successful projects, enhanced careers. Addison Wesley. ISBN 0-321-19367-9. 2003.
MCFEELEY, B., IDEAL - A User's Guide for Software process Improvement, Handbook CMU/SEI-96-HB-001, 236 pages, 1996.
MEYER, B. Software Engineering in the Academy. Computer, Los Alamitos, v. 34, n. 5, pp. 28-35, May 2001.
MICHAEL, D.; CHEN, S., Serious Games: Games That Educate, Train and Inform. Course Technology PTR. 2006.
MINTZBERG, H., Strategy Formation: schools of thought, in Fredrickson, Pesrpectives on Strategic Management. New York: Harper & Row, p. 105- 235, 1990.
MOLENDA, M., Pershing, J. A. e REIGELUTH, C. M. Designing Instructional Systems. In R. L. Craig (Ed.), The ASTD training and development handbook 4th ed. McGraw-Hill, New York, pp. 266-293, 1996.
MPS. Associação para Promoção da Excelência do Software Brasileiro – SOFTEX. MPS.Br – Guia Geral, Versão 1.3, Outubro/2009. Disponível em: http://www.softex.br. Acesso em 04 de novembro de 2009.
NAUMAN, M.; UZAIR, M. SE and CS Collaboration: Training Students for Engineering Large, Complex Systems. In: Proceedings of the 20th Conference on Software Engineering Education and Training (CSEET '2007), Dublin. Washington: IEEE Computer Society, 2007. p. 167-174.
145
NAVARRO, E., Baker, A. and Hoek, A. Teaching Software Engineering Using Simulation Games. In: Proceedings of the 2004 International Conference on Simulation in Education (ICSIE), California, USA. Disponível em: <http://dl.acm.org/citation.cfm?doid=337180.3372032004> Acesso em 04 de novembro de 2009.
NBR ISO/IEC 12207, ABNT – ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. ISO/IEC 12207 – Tecnologia da Informação – Processos de ciclo de vida de software. Rio de Janeiro: ABNT, 2009.
NBR ISO/IEC 15504, ABNT – ASSOCIAÇÃO BRASILEIRA DE NORMAS TÉCNICAS. ISO/IEC 15504 – Tecnologia da Informação – Avaliação de processos. Rio de Janeiro: ABNT, 2008.
NEAL, L., Implications of computer games for system design. In: INTERACT ’90, Proceedings of the IFIP TC13 Third International Conference on Human-Computer Interaction, Cambridge, North-Holland, p. 93-99, 1990.
NIAZI, M.; WILSON, D; ZOWGHI, D. A maturity model for the implementation of software process improvement: an empirical study. Journal of Systems and Software. Volume 74, Issue 2, p. 155-172, Elsevier. 2005.
OH, E.; HOEK, A. Adapting Game Technology to Support Individual and Organizational Learnin” : In: Int’1 Conf. on SE & Knowledge Eng. (SEKE), p. 347-354, AR. 2001.
OZTUNA, D., ELHAN, A.H., TUCCAR, E. Investigation of Four Different Normality Tests in Terms of Type 1 Error Rate and Power under Different Distributions. Journal of Medicine Cincinnati. Volume: 36, Issue: 3, Pages: 171-176. 2006.
PASSERINO, L. M., Avaliação de Jogos Educativos Computadorizados. Taller Internacional de Software Educativo 98 (TISE_98). Santiago, Chile. Disponível em: <http://www.ufmt.br/ufmvirtual/textos/se_avaliacao_jogos.htm.> Acesso em 05 de julho de 2009.
PIAGET, J. O nascimento da inteligência na criança. 3.ed. Rio de Janeiro: Zahar, 1978.
PITTERMAN, B., Telcordia Technologies: The Journey to High Maturity. IEEE Software, v. 17, n. 4, p. 89-96. 2000.
PMI. Project Management Institute - PMI: A guide to the project management body of knowledge 2008 Edition, Syba: PMI Publishing Division, 2008.
PRENSKY, M. Digital Game-Based Learning. Minnesota: Paragon House, 2007.
PRESSMAN, R. S. Software Engineering: a practitioner’s approach. EUA: Sixty Edition, McGraw Hill, 2005.
RAINER, A., HALL, T. Key Success Factors for Implementing Software Process Improvement: a maturity-based analysis, Journal of Systems & Software, v. 62, n. 2, p. 71-84, Elsevier, 2002.
REIGELUTH, C. M., ENGLISH, R. E. Formative Research on Sequencing Instruction with Elaboration Theory. Educational Technology Research & Development, 1996.
146
RIBEIRO, A.L. Gestão de Pessoas, São Paulo, Saraiva, 2006.
RIEBER, L. P., Seriously considering play: Designing interactive learning environments based on the blending of microworlds, simulations, and games. Educational Technology Research and Development, v. 44, n. 2, p. 43-58. 1996.
ROCHA, A. R.; MALDONADO, J. C.; WEBER, K. C.; Qualidade de Software: Teoria e Prática, Prentice Hall, 2001.
SANTO, R. E.; SANTOS R.; WERNER, C.; TRAVASSOS, G. Portal EduES Brasil: Um Ambiente para Apoiar a Pesquisa em Educação em Engenharia de Software no Brasil. Anais do II FEES, XXIII SBES, Fortaleza, 2009.
SBC. Diretrizes Curriculares da SBC para Cursos de Graduação em Bacharelado em Ciência da Computação, Engenharia de Computação, Engenharia de Software e Sistemas de Informação. 2011. Disponível em: <http://www.sbc.org.br/index.php?option=com_jdownloads&Itemid=195&task=finish&cid=186&catid=36 >. Acesso em 12 de dezembro de 2011.
SEI. Avaliações CMMI. [Online]. 2011. Disponível em: <http://www.sei.cmu.edu/cmmi/solutions/appraisals/pars.cfm >. Acesso em 05 de setembro de 2011.
SEI. Software Engineering Institute. [Online]. 2010. Disponível em: <http://www.sei.cmu.edu/library/reportspapers.cfm>. Acesso em 16 de abril de 2010.
SEI. SEI Training . [Online]. 2010a. Disponível em: < http://www.sei.cmu.edu/training/ >. Acesso em 20 de abril de 2010.
SETEC. Jogos e Dinâmicas Empresarias: [Online]. 2009. Disponível em: <http://www.setecnet.com.br/index.php >. Acesso em 02 de setembro de 2009.
SHAPIRO, S. S., WILK, M.B. An Analysis of Variance Test for Normality (Complete Samples). Biometrika, London, v.52, p.591-609. 1965.
SILVA, E. L.; MENEZES, E. M. Metodologia da pesquisa e elaboração de dissertação. 3 ed. Florianópolis: Laboratório de Ensino à Distância da UFSC, 2001.
SOFTEX. Estudos e Pesquisas – Informações Estratégicas para o Desenvolvimento do Setor. [Online]. 2009. Disponível em: < http://www.softex.br/observatoriosoftex/_home/default.asp>. Acesso em 25 de agosto de 2009.
SOFTEX. Cursos Disponíveis do MPS.BR. [Online]. 2009a.Disponível em: <http://www.softex.br/mpsbr/_cursos/default.asp> . Acesso em 25 de agosto de 2009.
SPIBOK. Software Process Improvement Body of Knowledge – SPIBOK [Online]. 2009. Disponível em: <http://www.software-process-institute.com>. Acesso em 05 de novembro de 2009.
SPSS 19. Statistical Package for the Social Science. [Online]. 2011. Disponível em: <http://www-01.ibm.com/software/analytics/spss/>. Acesso em 07 de outubro de 2011.
147
STANDISH GROUP. Chaos Report.[Online]. 2009. Disponível em: <http://www.standishgroup.com/chaos>. Acesso em 01 de março 2010.
STAPLES, M.; NIAZI, M., JEFFERY, R., et al., “An Exploratory Study of why Organizations do not Adopt CMMI” , Journal of Systems and Software. 2007.
STS. Simultrain 7. [Online]. 2005. Disponível em: <http://www.sts.ch/smt7/demo/demo_e.htm>. Acesso em 26 de junho 2008.
SWEBOK, Software Engineering Body of Knowledge – SWEBOK Guide 2004 Edition. [Online]. 2004. Disponível em: <http://www.computer.org/portal/web/swebok>. Acesso em 10 de novembro de 2009.
TENNYSON, R. D. An Educational Learning Theory for Instructional Design. Educational Technology, 1992.
THIRY, M., WANGENHEIM, C. G. v., ZOUCAS, A., PICKLER, K. Rumo ao CMMI nível 2 para Micro, Pequenas e Médias Organizações. In: Instituto Euvaldo Lodi IEL/SC). (Org.). PLATIC . 1 ed. v. 1, p. 49-79, 2007.
THOMAS, J. R.; NELSON, J. K. Métodos de pesquisa em atividade física. Trad. Ricardo Petersen. 3. ed. Porto Alegre: Artmed, 2002.
UNIVALI. Universidade do Vale do Itajaí. [Online]. 2011. Disponível em: <http://www.univali.br>. Acesso em 21 de dezembro de 2011.
VARKOI, T., MAKINEN, T. Software Process Improvement Network in the Satakunta Region – SataSPIN. EuroSPI – European Conference on Software, Process Improvement, Finland, 1999.
VIEIRA, C.G.G. Uma metodologia para melhoria de processos, Florianópolis, SC. Dissertação (Mestrado em Engenharia de Produção), Universidade Federal de Santa Catarina, 156 p. 1995.
VIRTUAL TEAM. [Online Versão Português]. 2006. Disponível em: <http://www.cin.ufpe.br/~smartsim/portugues.html>. Acesso em: 25 de julho de 2008.
VIRVOU, M., KATSIONIS, G., MANOS, K.; Combining Software Games with Education: Evaluation of its Educational Effectiveness”. Educational Technology and Society, p. 54-65. 2005.
VYGOTSKY, L. S. A Construção do Pensamento e da Linguagem. São Paulo: Martins Fontes, 2001.
WANG, Y. and KING, G., Software Engineering Processes: Principles and Applications, CRC Press. (EuroSPIKonferenzbande) 2002.
WANGENHEIM, C. G. V., SHULL, F. To Game or Not to Game?, IEEE Software, 2009.
WEBER, S., HAUCK, J. C. R.; WANGENHEIM, C. G. V., Estabelecendo Processos de Software em Micro e Pequenas Empresas, In: IV Simpósio Brasileiro de Qualidade de Software, Porto Alegre, Brasil, PUCRS, 2004.
148
WOHLIN, C.; HOST, M.; RUNESON, P.; OHLSSON, M. C., REGNELL, B. e WESSLÉN, A. Experimentation in Software Engineering: an introduction”. Springer, 2000.
YAMAMURA, G., Software Process Satisfied Employees, IEEE Software, v. 16, n.5, p. 83-85. 1999.
ZYDA, M. From Visual Simulation to Virtual Reality to Games. [Online]. Disponível em <http://gamepipe.usc.edu/~zyda/pubs/Zyda-IEEE-Computer-Sept2005.pdf>, p. 25-32, IEEE Computer Society. 2005.
149
APÊNDICE A – QUESTIONÁRIO SOBRE O PERFIL
Questionário sobre Perfil do Participante Nome: _________________________________________________________________________ Disciplina: ______________________________________________________________________ Instituição de Ensino: _____________________________________________________________ Prezado acadêmico, em relação ao seu perfil, responda as seguintes perguntas: 01) Você é aluno do curso de: [ ] B.Sc. em Ciência da Computação. [ ] B.Sc. em Engenharia da Computação. [ ] B.Sc. em Sistemas de Informação. [ ] B.Sc. em outro curso na área de Computação. Qual?:_________________________. [ ] B.Sc. em outro curso. Qual?:____________________________________________. [ ] Tecnólogo em Tecnologia da Informação. [ ] Tecnólogo em outro curso. Qual?:________________________________________. [ ] Técnico em outro curso. Qual?:__________________________________________. 02) Você já é graduado em outro curso? [ ] Não. [ ] Sim. Qual curso?:___________________________________________. 03) Você possui alguma certificação? [ ] Não. [ ] Sim. Qual? [ ] PMP. [ ] ITIL. [ ] MPS.BR (implementador).
150
[ ] MPS.BR (avaliador). [ ] MCP. Qual?:________________________________________________. [ ] CBTS. [ ] CFPS. [ ] Outra certificação. Qual?:_______________________________________. 04) De quais treinamentos você já participou? [ ] CMMI [ ] Gerência de projetos (PMBOK) [ ] Teste de Software [ ] MPS.BR [ ] Qualidade de software [ ] Outro relacionado à qualidade de software:_________________________________. 05) Você trabalha na área de Computação/Informática? [ ] Não. [ ] Sim. Em que e quanto tempo? [ ] como Técnico de suporte ao usuário. Por ____ anos e ____ meses. [ ] como Técnico de manutenção de hardware. Por ____ anos. [ ] como Técnico de manutenção de software. Por ____ anos. [ ] como Programador. Por ____ anos. [ ] como Projetista. Por ____ anos. [ ] como Analista. Por ____ anos. [ ] como Arquiteto. Por ____ anos. [ ] como Testador. Por ____ anos.
151
[ ] como Gerente de projetos. Por ____ anos. [ ] como Consultor. Por ____ anos. [ ] como Instrutor de treinamentos. Por ____ anos. [ ] como Analista da Qualidade. Por ____ anos. [ ] Outro. Qual?:__________________________. Por ____ anos. 06) Qual o seu conhecimento atual em melhoria de processos de software? [ ] Nenhum [ ] Tenho pouco conhecimento do assunto [ ] Conheço o básico [ ] Aplico na prática com dependência de outros [ ] Aplico na prática sem dependência de outros [ ] Tenho bastante conhecimento do assunto [ ] Sei tudo sobre o assunto 07) Como você considera a área de melhoria de processos de software? [ ] Nada importante [ ] Pouco importante [ ] Importante [ ] Muito importante 08) Você tem interesse em aprender sobre melhoria de processos de software? [ ] Nada interessado [ ] Pouco interessado [ ] Interessado [ ] Muito interessado
152
APÊNDICE B – TERMO DE CONSENTIMENTO
Termo de Consentimento Livre e Esclarecido
Você foi convidado para participar da pesquisa Avaliação do Jogo Educacional 123SPI. Você foi selecionado por ter de alguma forma relação com a disciplina de Engenharia de
Software e sua participação não é obrigatória. A qualquer momento você pode desistir de participar e retirar seu consentimento. Sua recusa não trará nenhum prejuízo em sua relação com o pesquisador ou com a instituição.
O objetivo deste estudo é avaliar o efeito da aprendizagem no uso do jogo educacional 123SPI.
Sua participação nesta pesquisa consistirá em assistir uma aula sobre melhoria de processos de software, responder aos questionários e avaliações e utilizar o jogo educacional 123SPI.
Não foram identificados quaisquer riscos na participação deste experimento. Os benefícios relacionados com a sua participação são aprendizagem de conceitos sobre
áreas de processo dos níveis 2 e 3 de maturidade do CMMI. As informações obtidas através dessa pesquisa devem ser confidenciais e asseguramos o sigilo sobre sua participação. Os dados não devem ser divulgados de forma a possibilitar sua identificação.
_____________________________________________________
Kristiane Silva Vasconcelos de Pina Adorno Pesquisadora
Declaro que entendi os objetivos, riscos e benefícios de minha participação na pesquisa e concordo em participar.
____________________________________________________
Nome e assinatura do Sujeito da pesquisa
153
APÊNDICE C – AVALIAÇÃO PRÉ-TESTE
Avaliação Pré-Teste Nome: _________________________________________________________________________ Disciplina: ______________________________________________________________________ Instituição de Ensino:_____________________________________________________________
01. O nível 2 de maturidade também é conhecido como: a. Gerenciado b. Controlado c. Estimado d. Definido
02. Quais são as áreas de processo abordadas no nível 2 de maturidade? a. Gestão de Requisitos, Planejamento de Projeto, Gestão de Riscos, Medição e Análise, Monitoramento e Controle de Projeto b. Verificação e Validação, Gestão de Projetos, Gestão de Requisitos, Monitoramento e Controle de Projetos c. Gestão de Requisitos, Planejamento de Projeto, Monitoramento e Controle de Projeto, Gestão de Contrato com Fornecedor,
Medição e Análise, Garantia da Qualidade de Processo e Produto, Gestão de Configuração d. Gestão de Projetos, Gestão de Requisitos, Medição e Análise, Monitoramento e Controle de Projeto, Gestão de Riscos, Gestão
de Configuração
03. Selecione qual o propósito do processo Gestão de Requisitos previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar consistências entre esses requisitos e os
planos e produtos de trabalho do projeto b. Produzir e analisar os requisitos de cliente, de produto e de componente de produto c. Estabelecer e manter a integridade dos produtos de trabalho, utilizando identificação de configuração, controle de configuração,
balanço de configuração e auditorias de configuração. d. Estabelecer e manter planos que definam as atividades de projeto.
04. O processo Planejamento de Projeto prevê 3 objetivos específicos, quais são? a. Estabelecer Estimativas; Elaborar um Plano de Projeto; Obter Comprometimento com o Plano. b. Obter um Entendimento do Plano de Projeto; Gerenciar Mudanças de Plano de Projeto; Gestão de Riscos. c. Definir um Cronograma de Projeto; Realizar o Planejamento de Projeto; Gestão de Riscos. d. Elaborar um Plano de Projeto; Aprovar o Plano de Projeto; Executar o Plano de Projeto.
05. Selecione qual o propósito do processo Medição e Análise previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar consistências entre esses requisitos e os
planos e produtos de trabalho do projeto b. Proporcionar um entendimento do progresso do projeto, de forma que ações corretivas apropriadas possam se r tomadas quando
o desempenho do projeto desviar significativamente do plano. c. Desenvolver e sustentar a capacidade de medições utilizada para dar suporte às necessidades de gerenciamento de informações. d. Estabelecer e manter planos que definam as atividades de projeto.
06. O processo Medição e Análise prevê 2 objetivos específicos, quais são? a. Alinhar as atividades de medição e análise; Fornecer Resultados de Medições. b. Estabelecer objetivos de controle e medição; Analisar Dados de Medições. c. Estabelecer Procedimentos de Análise; Comunicar Resultados. d. Especificar Medidas; Armazenar Dados e Resultados.
07. Selecione qual o propósito do processo Solução Técnica previsto no nível 3 de maturidade? a. Projetar, desenvolver e implementar soluções para requisitos, soluções, designs e implementações englobam produtos,
componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriado.
b. Produzir e analisar os requisitos de cliente, de produto e de componente de produto. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma apropriada
e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
08. Selecione qual o propósito do processo Verificação previsto no nível 3 de maturidade?
154
a. Projetar, desenvolver e implementar soluções para requisitos. Soluções, design e implementações englobam produtos, componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriados.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma apropriada
e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
09. Selecione qual o propósito do processo Foco no Processo Organizacional previsto no nível 3 de maturidade?
a. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos e dos ativos de processo da organização.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso. d. Desenvolver habilidades e o conhecimento das pessoas para que elas possam as desempenhar seus papéis de forma eficiente e
eficaz.
10. Selecione qual o propósito do processo Gestão de Risco previsto no nível 3 de maturidade? a. Estabelecer e gerenciar o projeto e o ambiente dos stackeholders relevantes de acordo com um processo integrado e definido
que é adaptado a partir do conjunto de processos padrão da organização. b. Planejar, implementar e implantar gerenciamento de risco organizacional com base na compreensão dos pontos fortes e pontos
fracos atuais dos processos. c. Identificar potenciais problemas antes que ocorram. Para isso, as atividades de tratamento de risco podem ser planejadas e
colocadas em prática quando necessário, durante a vida do produto ou do projeto, para mitigar impactos indesejáveis na obtenção dos objetivos.
d. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso relacionados aos riscos do projeto.
11. Considerando as áreas de processo no CMMI, assinale a opção correta.
a. As áreas de processo podem ser organizadas em categorias como gerência de processos e de projetos. Na gerência de processos, uma área visa possibilitar que as organizações entendam quantitativamente os seus processos.
b. No nível de maturidade 1, uma área de processo relaciona-se à gerência de requisitos, uma outra área de processo relaciona-se ao acompanhamento do projeto e identificação de ações corretivas.
c. No nível de maturidade 2, uma área de processo visa o desenvolvimento dos talentos e dos conhecimentos das pessoas na organização, uma outra área de processo visa à gerência de riscos.
d. No nível de maturidade 3, uma área de processo relaciona-se à gerência quantitativa dos processos visando possibilitar que sejam atingidos objetivos de qualidade e desempenho estabelecidos.
12. O nível de maturidade 2 do CMMI é usado para indicar uma maturidade do tipo gerenciado. Para atingir esse nível, é necessária a
implementação em conformidade com áreas de processo básicas, como: a. Gerência de Requisitos e Verificação b. Gerência de Configuração e Gerência de Requisitos c. Gerência de Riscos e Gerência de Projetos d. Gerência de Requisitos e Validação
13. Hoje é sexta-feira e você acaba de ganhar um presente de sua chefia. Você deve determinar quais são os ativos de software que serão controlados pelo repositório de Gerência de Configuração, a equipe tem como objetivo estruturar um repositório até a próxima semana, e a primeira decisão a tomar é definir quais serão os ativos de software, que conforme o modelo CMMI v. 1.3 poderiam ser controlados. Escolha a melhor opção:
a. Normas e procedimentos da organização e dos órgãos legisladores que impactam as regras de negócios dos projetos b. Emails e planilhas Excel para demonstrar o resultado financeiro do projeto c. Requisitos e códigos fontes gerados e a serem gerados d. Fotos do happy-hour de hoje e de toda a equipe
14. Seu primeiro quebra-cabeças está relacionado com a melhor escolha de um método para determinar atributos de artefatos (work products)
e tarefas que devem ser utilizadas para estimular requisitos. Lembre-se que métodos para determinar tamanho e complexidade de projetos devem ser baseados em modelos já validados ou em base histórica. Escola o método a partir das variáveis que o fundamenta:
a. Método A: abrangência de competências/disponibilidade de recursos humanos e técnicos b. Método B: número de riscos/abrangência de competências c. Método C: número de portas lógicas para integração/linhas de código ou pontos de função de software d. Método D: qualidade dos requisitos não-funcionais de software e hardware
15. Qual área se aplica a afirmação “Sempre que conduzimos uma revisão técnica detalhada de um produto de trabalho, registramos o item
revisado, o tempo que cada participante levou para a preparação, a duração da revisão, os tipos e números de defeitos encontrados e resolvidos, e uma lista de todos os itens de ação designados”?
a. Revisões Técnicas b. Gerenciamento de Configuração c. Planejamento de Projetos d. Medições e Análises
16. Qual área de processo se aplica a afirmação “Versões preliminares do manual do usuário e do manual de manutenção são produzidas no
início do ciclo de vida do projeto de modo que as equipes de manutenção e operações possam nos dar um feedback inicial quanto à usabilidade destes documentos de apoio” ?
a. Verificação
155
b. Validação c. Gerência de Configuração d. Solução Técnica
17. Qual área de processo se aplica a afirmação “Nosso projeto identifica potenciais problemas que podem ser encontrados, calcula a
probabilidade e impacto esperado de cada problema em potencial, e determina quais possuem prioridade mais alta para planejamento de mitigação”?
a. Análise de Decisão e Resolução b. Gerência de Riscos c. Monitoramento e Controle de Projeto d. Gerenciamento Integrado do Projeto
18. Qual área de processo se aplica a afirmação “Estabelecemos um conjunto de orientações para determinar quais decisões exigem tomadas
de decisão formais e estruturadas em grande parte baseadas nos custos do processo de decisão contra o impacto da decisão”? a. Garantia da Qualidade do Processo e Produto b. Gestão de Riscos c. Validação d. Análise de Decisão e Resolução
19. Qual área de processo se aplica a afirmação “Sempre colocamos nossos documentos de requisitos do projeto documentados sob controle de
configuração e então nos certificamos de que nossos planos e produtos de trabalho podem ser relacionados a este documento”? a. Monitoramento e Controle de Projeto e Gestão de Requisitos b. Garantia da Qualidade do Processo e Produto e Verificação c. Gestão de Requisitos e Gestão de Configuração d. Desenvolvimento de Requisitos e Gestão de Configuração
20. Qual área de processo se aplica a afirmação “Usamos regularmente um servidor particular como o repositório para todos os arquivos de
produtos de baseline controlados, tanto versões atuais como cópias de versões anteriores arquivadas”? a. Verificação b. Validação c. Gestão de Configuração d. Monitoramento e Controle de Projeto
156
APÊNDICE D – AVALIAÇÃO PÓS-TESTE
Avaliação Pós-Teste Nome: ______________________________________________________________________ Disciplina: ______________________________________________________________________ Instituição de Ensino:_____________________________________________________________
01. O nível 3 de maturidade também é conhecido como: a. Gerenciado b. Em Otimização c. Estimado d. Definido
02. Quais são as áreas de processo abordadas no nível 3 de maturidade? a. Desenvolvimento de Requisitos, Solução Técnica, Integração de Produto, Verificação, Validação, Foco no Processo
Organizacional, Definição do Processo Organizacional, Treinamento Organizacional, Gestão Integrada de Projeto, Gestão de Risco, Análise de Decisão e Resolução
b. Gestão de Requisitos, Planejamento de Projeto, Monitoramento e Controle de Projeto, Gestão de Contrato com Fornecedor, Medição e Análise, Garantia da Qualidade de Processo e Produto, Gestão de Configuração.
c. Gestão de Requisitos, Desenvolvimento de Requisitos, Planejamento de Projetos, Verificação, Validação, Gestão de Risco d. Desenvolvimento de Requisitos, Solução Técnica, Integração de Produto, Medição e Análise, Foco no Processo
Organizacional, Definição do Processo Organizacional, Treinamento Organizacional, Gestão Integrada de Projeto, Análise de Decisão e Resolução
03. O processo Gestão de Requisitos prevê 5 práticas específicas para o objetivo Gerenciar Requisitos, quais são? a. Gerenciar Todas as Mudanças dos Requisitos; Manter os Relacionamentos entre os Requisitos, Planos de Projetos e Produtos
de Trabalho; Identificar Inconsistências entre os Requisitos, Planos de Projeto e Produtos de Trabalho; Executar Ações Corretivas; Gestão de Risco.
b. Obter um Entendimento dos Requisitos; Obter Comprometimento com os Requisitos; Gerenciar Mudanças de Requisitos; Manter Rastreabilidade Bidirecional dos Requisitos; Identificar Inconsistências entre Trabalho de Projeto e Requisitos.
c. Obter um Entendimento dos Requisitos; Realizar o Planejamento de Projeto; Verificação; Validação; Gestão de Risco d. Realizar o Desenvolvimento de Requisitos; Fornecer uma Solução Técnica; Realizar a Integração de Produto; Realizar a
Medição e Análise; Gerenciar Mudanças de Requisitos.
04. Selecione qual o propósito do processo Planejamento de Projeto previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar consistências entre esses requisitos e os
planos e produtos de trabalho do projeto b. Proporcionar um entendimento do progresso do projeto, de forma que ações corretivas apropriadas possam se r tomadas quando
o desempenho do projeto desviar significativamente do plano. c. Desenvolver e sustentar a capacidade de medições utilizada para dar suporte às necessidades de gerenciamento de informações. d. Estabelecer e manter planos que definam as atividades de projeto.
05. O processo Monitoramento e Controle do Projeto prevê 2 objetivos específicas, quais são? a. Obter Comprometimento com o Plano; Monitorar o Projeto em Relação ao Plano. b. Gerenciar Mudanças de Plano de Projeto; Gerenciar Ações Corretivas. c. Realizar Gestão de Riscos; Monitorar o Projeto em Relação ao Plano. d. Monitorar o Projeto em Relação ao Plano; Gerenciar Ações Corretivas até o Encerramento.
06. Selecione qual o propósito do processo Garantia da Qualidade de Processo e Produto previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar inconsistências entre esses requisitos e
os planos e produtos de trabalho do projeto. b. Munir a equipe e a gerência com uma visão clara sobre os processos e seus produtos de trabalho associados. c. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
07. Selecione qual o propósito do processo Desenvolvimento de Requisitos previsto no nível 3 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar inconsistências entre esses requisitos e
os planos e produtos de trabalho do projeto. b. Produzir e analisar os requisitos do cliente, de produto e de componente de produto. c. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
08. Selecione qual o propósito do processo Validação previsto no nível 3 de maturidade?
157
a. Projetar, desenvolver e implementar soluções para requisitos. Soluções, design e implementações englobam produtos, componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriados.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma apropriada
e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
09. Selecione qual o propósito do processo Definição do Processo Organizacional previsto no nível 3 de maturidade? a. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos
fracos atuais dos processos e dos ativos de processo da organização. b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso. d. Desenvolver habilidades e o conhecimento das pessoas para que elas possam as desempenhar seus papéis de forma eficiente e
eficaz.
10. Selecione qual o propósito do processo Análise de Decisão e Resolução previsto no nível 3 de maturidade? a. Estabelecer e gerenciar o projeto e o ambiente dos stackeholders relevantes de acordo com um processo integrado e definido
que é adaptado a partir do conjunto de processos padrão da organização. b. Planejar, implementar e implantar análise de decisão organizacional com base na compreensão dos pontos fortes e pontos fracos
atuais dos processos. c. Identificar potenciais problemas antes que ocorram, durante a vida do produto ou do projeto, para tomar decisões. d. Analisar decisões possíveis usando um processo de avaliação formal que avalia alternativas identificadas com relação a critérios
estabelecidos.
11. Quanto ao modelo CMMI, assinale a opção correta. a. No nível de capacidade 1, padrões e processos podem ser diferentes entre projetos. No nível 2, os processos para um projeto são
resultantes da configuração de processos já existentes e padronizados pela organização. b. No nível de capacidade 3, objetivos quantitativos para as qualidades e performances dos processos são estabelecidos e usados
para gerenciá-los. As qualidade e performances dos processos são entendidas em termos estatísticos. c. A validação visa garantir que o produto atenda aos requisitos especificados e não pode ser feita via testes, demonstrações e
simulações. A verificação visa demonstrar que o produto fornecido atenderá ao uso que se pretende dar ao mesmo e não pode ser feita via revisão por pares.
d. Uma organização no nível de maturidade 5 procura modificar e adaptar os seus processos a partir do entendimento quantitativo dos mesmos. Há uma preocupação com a melhora contínua dos processos.
12. Seja bem-vindo, você assume hoje a função de Gerente de Projetos e o seu primeiro desafio é: Se você fosse chefe qual seria a sua primeira
ordem para a sua função? Assinale qual a sua escolha: a. Configurar a sua máquina para instalar os programas básicos do office b. Definir qual o plano de medições, os quais serão monitorados por você como gestor de projetos c. Escrever um plano de projetos e definir as atividades subseqüentes de projetos d. Elaborar o planejamento de férias de toda a sua equipe
13. Seu desafio é estruturar uma sistemática para comprovar que você como gestor toma decisões difíceis, entretanto, todas foram embasadas
em fatos. Pensando assim, qual seria a melhor área chave para fundamentar a sua sistemática processual? a. Planejamento de Projetos b. Processo de Garantia Qualidade c. Gestão de Configuração d. Medições e Análises
14. Complete a frase da melhor maneira: “Baselines são adicionais ao repositório de gestão de configuração na medida em que são
desenvolvidas. Alterações às linhas de base e a liberação de produtos de trabalho construído a partir do sistema de gerenciamento são sistematicamente controlados e monitorados através de processos de...”
a. Controle de configuração, gerenciamento de mudanças e configuração de auditoria e funções de gerenciamento de configuração b. Controle por gerenciamento eletrônico de documentos e respectivas funções de controle c. Arquivista contratado pela Direção para compor a sistemática de gestão de projetos d. Liberação e aprovação do Comitê de Projetos e Desenvolvimento
15. Qual área de processo se aplica a afirmação “Concordamos com o cliente quanto aos procedimentos detalhados dos testes de aceitação a
serem executados, buscando incluir não apenas cenários de uso operacionais pretendidos, como também cenários de treinamento e manutenção esperados”?
a. Verificação b. Validação c. Medições e Análises d. Garantia da Qualidade do Processo e Produto
16. Qual área de processo se aplica a afirmação “Temos um plano detalhado para a ordem em que os componentes de produto serão montados
em subsistemas e quais subsistemas serão integrados no produto final, e mensuramos e informamos o número de montagens completadas e integrações executadas em relação ao que foi planejado”?
a. Verificação b. Integração de Produto c. Gestão de Configuração d. Desenvolvimento de Requisitos
158
17. Qual área de processo se aplica a afirmação “Nossos executivos sempre revisam os relatórios de quais funcionários completaram com êxito
quais cursos relevantes ao considerar a nomeação de um novo líder de tarefa ou gestor de projeto”? a. Medições e Análises b. Treinamento Organizacional c. Planejamento de Projetos d. Desenvolvimento de Requisitos
18. Qual área de processo se aplica a afirmação “Antes de iniciar a coleta dos dados do projeto, documentados os procedimentos de análise
que pretendemos seguir para que todos saibam como os dados coletados serão usados para gerar relatórios”? a. Garantia da Qualidade do Processo e Produto b. Medições e Análises c. Gestão de Configuração d. Validação
19. Qual área de processo se aplica a afirmação “Conforme o progresso do projeto, certificamo-nos de que as interações esperadas (por
exemplo, reuniões de revisão técnica) com partes afetadas identificadas ocorrem conforme a necessidade”? a. Monitoramento e Controle de Projeto b. Medições e Análises c. Garantia da Qualidade do Processo e Produto d. Gestão de Requisitos
20. Qual área de processo se aplica a afirmação “Nos estágios iniciais do ciclo de vida do projeto, construímos protótipos e rodamos
simulações computadorizadas a fim de verificar se os itens esperados resultantes dos requisitos de produto irão de fato satisfazer as necessidades e expectativas do cliente”?
a. Monitoramento e Controle de Projeto b. Medições e Análises c. Verificação d. Gestão de Requisitos
159
APÊNDICE E – AVALIAÇÃO DA AULA
Avaliação da Aula sobre CMMI – Níveis 2 e 3 Nome: ______________________________________________________________________ Disciplina: ______________________________________________________________________ Instituição de Ensino: _____________________________________________________________ Prezado aluno, gostaríamos de saber a sua opinião em relação à aula ministrada sobre CMMI nos níveis 2 e 3 de maturidade. Por favor, assinale a alternativa que melhor se aplica para cada aspecto da aula ministrada. 01) De forma geral, como você avalia a aula ministrada? ( ) Ruim ( ) Razoável ( ) Boa ( ) Muito Boa ( ) Ótima 02) Qual a sua opinião sobre os assuntos e temas abordados na aula? ( ) Inadequados aos objetivos propostos ( ) Adequado aos objetivos propostos ( ) Muito Bom ( ) Ótimo 03) A sequência de apresentação dos tópicos da aula foi adequada? ( ) Nunca ( ) Algumas vezes ( ) Na maioria das vezes ( ) Sempre 04) Os assuntos foram abordados de uma maneira clara? ( ) Nunca ( ) Algumas vezes ( ) Na maioria das vezes ( ) Sempre 05) A carga horária da aula é suficiente para transmitir as informações que são necessárias? ( ) A carga horária é muito pequena ( ) A carga horária deveria ser um pouco maior ( ) A carga horária está adequada aos objetivos propostos ( ) A carga horária poderia ser um pouco menor ( ) A carga horária é excessiva 06) O grau de dificuldade da aula foi adequado?
160
( ) Nunca ( ) Algumas vezes ( ) Na maioria das vezes ( ) Sempre 07) O método de ensino utilizado na aula foi adequado? ( ) Nunca ( ) Algumas vezes ( ) Na maioria das vezes ( ) Sempre 08) O trabalho realizado em sala de aula foi adequado? ( ) Nunca ( ) Algumas vezes ( ) Na maioria das vezes ( ) Sempre 09) Como você avalia seu aprendizado em relação aos conceitos apresentados na disciplina? ( ) Ruim ( ) Razoável ( ) Bom ( ) Muito Bom ( ) Ótimo 10) Como você avalia seu aprendizado em relação aos conceitos apresentados sobre os níveis 2 e 3 de maturidade do CMMI? ( ) Ruim ( ) Razoável ( ) Bom ( ) Muito Bom ( ) Ótimo
161
APÊNDICE F – AVALIAÇÃO DE PERCEPÇÃO DO JOGO 123SPI
Avaliação de Percepção do Jogo 123SPI Nome: ______________________________________________________________________ Disciplina: ______________________________________________________________________ Instituição de Ensino:_____________________________________________________________ Prezado acadêmico, em relação ao jogo educacional de melhoria de processos de software 123SPI, avalie as seguintes afirmações: 01) O jogo 123SPI é interessante: você jogaria novamente. [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 02) Você prefere jogar o jogo 123SPI a realizar exercícios tradicionais sobre melhoria de processos de software. [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 03) O jogo 123SPI forneceu informação suficiente para você saber o que estava fazendo. [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 04) O jogo 123SPI foi relevante para o aprendizado (jogá-lo ajudou a responder as questões do pós-teste). [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 05) A sequência dos desafios do jogo 123SPI foi adequada. [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 06) O jogo 123SPI forneceu informação suficiente sobre melhoria de processos de software. [ ] Não concordo totalmente
162
[ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 07) O grau de dificuldade do jogo 123SPI foi adequado para o aprendizado. [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 08) A duração do jogo 123SPI foi adequada. [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente 09) O conteúdo do jogo 123SPI foi adequado para o aprendizado. [ ] Não concordo totalmente [ ] Não concordo parcialmente [ ] Concordo parcialmente [ ] Concordo totalmente Responda livremente que você achou do jogo? ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________ ______________________________________________________________________
163
APÊNDICE G – INFORMAÇÕES SOBRE O JOGO 123SPI
O jogo 123SPI é um jogo educacional de tabuleiro que proporciona ao jogador a
possibilidade de navegar por todas as áreas de processo dos níveis 2 e 3 de maturidade do CMMI.
O jogo aborda dois temas interessantes, estratégia e conhecimento. Por que usar estratégia
no jogo? Porque o jogo deve ser motivador e desafiador para o jogador e a estratégia na área militar
pode ser definida hoje como a ciência dos movimentos e planejamento da guerra e do domínio
econômico. Através da estratégia militar foram criados os conhecidos serviços de inteligência e
aprimorada a arte de guerrear. E, conhecimento, porque todas as perguntas abordadas durante o
jogo estão relacionadas ao assunto CMMI, portanto não basta ter a estratégia sem ter o
conhecimento do tema. Para sagrar-se vencedor o jogador define como os recursos devem ser
alocados durante o jogo para atingir os objetivos relacionando às suas habilidades estratégicas uma
boa dose de conhecimento sobre o modelo CMMI.
Os componentes do jogo 123SPI são:
• Tabuleiro – esse componente é a base do jogo, sendo que as dezoito áreas de
processo dos níveis 2 e 3 devem estar representadas no tabuleiro;
• Pinos – esse componente representará os jogadores no tabuleiro;
• Recursos – esse componente deve ser usado para realizar as apostas no jogo, os
mesmos devem ser representados por botões que significam os treinamentos para
Gerentes de Projetos na cor verde, botões que representam treinamentos para equipe
que é composta por analistas e desenvolvedores na cor amarela e botões que
representam treinamentos para o SEPG na cor vermelha;
• Cartas de Perguntas – esse componente deve ser usado para que o mediador do jogo
selecione as perguntas para fazer aos jogadores. As perguntas são feitas de forma
aleatória;
• Cartas de Respostas – esse componente deve ser usado para cada jogador. Cada
pergunta feita por ter apenas uma alternativas correta: A, B, C ou D. Cada jogador
164
deve receber um grupo das 4 opções para usar como resposta durante a sessão do
jogo;
• Cartas de Missão – esse componente contém os objetivos a serem cumpridos durante
cada sessão do jogo; e,
• Livro de respostas – esse componente contém todas as respostas de cada pergunta
feita na sessão do jogo, as mesmas estão relacionadas pelo número.
No jogo 123SPI, cada jogador começa a disputa recebendo uma carta contendo três
objetivos. Esses objetivos são ligados à melhoria de processos alinhado aos níveis 2 e 3 de
maturidade do CMMI e que deverão ser implantados na organização. Por exemplo, o jogador tem
de implantar o processo de Verificação com quatro pontos, nesse caso o jogador deverá procurar
onde está esse processo no tabuleiro e fazer com que os quatro recursos no treinamento indicado
sejam preenchidos.
Para atingir os objetivos e conseguir implantar as melhorias, cada jogador começa o jogo
com cinco recursos previamente definidos pela banca que devem ser ao longo da partida investidos
nos processos que estão dispostos no tabuleiro, conforme apresenta Figura 01.
Figura 21. Figura do Tabuleiro
Fonte: Jogo 123SPI (2011).
165
Se os jogadores responderem corretamente as perguntas feitas em cada rodada, os recursos
alocados nos processos devem ser incorporados a ele e a melhoria deve ser assim efetuada. Dessa
forma, o jogador irá analisando a melhor estratégia de investimentos nos processos e de apostas que
devem ser feitas.
A cada acerto o jogador ganha uma carta de recursos contendo mais botões para apostar à
medida que o jogo avança. A cada pergunta respondida corretamente mais recursos o jogador
ganhará com aquela resposta correta, que poderão novamente ser aplicados. Se, por um lado,
responderem de forma errada as perguntas, os recursos são desperdiçados, ou seja, não ficam nos
processos e os jogadores não têm direito a nova carta de recursos. Esses recursos retornam para a
banca do jogo.
O jogador que completar sua missão em primeiro lugar, lembrando que a missão é composta
por três objetivos, deve ser declarado vencedor. Quando isso acontecer, vários processos devem ter
sido “implementados” na empresa, pois para cumprir a estratégia definida pelo jogador, todo o
tabuleiro deverá ser percorrido pelos quatro jogadores. Pois, a cada rodada o jogador deve mudar o
processo em que se encontra, não podendo apostar no mesmo processo em duas rodadas seguidas.
O jogo é realizado com no mínimo dois e no máximo quatro jogadores. Se houver mais
pessoas, elas podem se reunir em equipes, nesse caso cada equipe deve ser considerada um jogador.
O jogo acontece dentro de uma organização que deseja implantar as dezoito áreas de
processo dos níveis 2 e 3 de maturidade do modelo de referência CMMI.
O jogo considera os sete processos previstos no nível 2 de maturidade bem como os onze
processos previstos no nível 3. Considerando os dois níveis somam-se dezoito processos, sendo que
todos estão representados no tabuleiro. Para se caminhar pelos processos, é preciso seguir e
respeitar a trilha definida no caminho.
Cada processo possui um indicador para treinamento do Gerente de Projeto, treinamento da
equipe e treinamento do SEPG, representados pelos círculos nas cores verde, amarela e vermelha,
respectivamente, conforme Figura 02.
166
Figura 22. Figura de Cartas de Processos do Jogo
Fonte: Jogo 123SPI (2011).
O jogo começa quando cada um dos participantes recebe uma carta de missão e os objetivos
dos jogadores só devem ser conhecidos por eles mesmos. O conhecimento da missão por parte dos
outros jogadores tornará mais difícil a sua obtenção e a estratégia a ser definida. Cada um dos três
objetivos que aparecem nas cartas de missão é relativo a um processo da organização e a uma
variável do processo (treinamento dos Gerentes de Projetos, treinamento da Equipe e treinamento
do SEPG, conforme Figura 03.
Figura 23. Figura de Cartas de Missão contendo os objetivos a serem atingidos no Jogo
Fonte: Jogo 123SPI (2011).
Portanto, sabendo quais são seus objetivos e conhecendo os processos a serem implantados é
possível saber quantos pontos de melhoria são necessários para se completar a missão.
É importante ressaltar que na carta de missão, os objetivos devem ser cumpridos de acordo
com os pontos expressos na carta. Ou seja, no primeiro exemplo de carta de missão descrita na
167
Figura 03, o primeiro objetivo é aumentar em seis pontos o treinamento do GP no processo Gestão
de Requisitos, o segundo objetivo é aumentar em quatro pontos o treinamento da equipe e o terceiro
objetivo é aumentar em quatro pontos o treinamento do SEPG. Importante ressaltar que não existem
objetivos “repetidos” nas missões, cada jogador possui objetivos diferentes uns dos outros. Sendo
que todos os treinamentos (Gerente do Projeto, equipe e SEPG) estão evidenciados no tabuleiro e
nos processos.
O jogador melhora os indicadores de cada processo investindo nos processos. Eles recebem
os recursos do patrocinador da implantação de melhoria de processos na organização. Detalhes na
Figura 04 (itens a, b e c).
a. Figura de Recursos para Treinamento do Gerente de Projeto
b. Figura de Recursos para Treinamento da Equipe
c. Figura de Recursos para Treinamento do SEPG
Figura 24. Figura de Recursos para Investir em Treinamento no Jogo
Fonte: Jogo 123SPI (2011).
Em cada rodada, os jogadores devem mover seus pinos para um processo próximo, que
esteja ligado pela trilha e, depois que todos se movimentaram a um novo processo é retirada uma
carta de Pergunta. Através dessa carta, um dos participantes ou um moderador lê a carta. Feita a
pergunta ao grupo de jogadores, eles devem escolher a carta com a alternativa que consideram
corretas: cartas A, B, C ou D.
O jogador não deve mostrar a alternativa escolhida para os adversários do jogo. Toda
alternativa possui apenas uma resposta correta. Escolhida a resposta, os jogadores devem selecionar
os recursos para apostar na pergunta e na processo cujos pinos foram movimentados. A aposta deve
ser de no mínimo um recurso e no máximo quatro recursos por rodada. Os jogadores podem investir
quais recursos quiserem, na combinação que preferirem, o ideal é que a aposta esteja relacionada à
estratégia do jogo e à convicção de acerto em responder a pergunta.
168
As respostas às perguntas estão disponíveis no livro de respostas na página indicada na carta
da pergunta. Os jogadores que acertarem a pergunta podem colocar os recursos apostados no
processo selecionado colocando os recursos em cima dos círculos do tabuleiro relacionados àquele
indicador.
Como prêmio para o acerto, os jogadores têm direito a um recurso para cada treinamento
oferecido pelo patrocinador da organização para poder reinvestir em novas rodadas na cor que
preferirem do recurso, o jogador deve estar atento à estratégia adotado no jogo.
Por outro lado, o jogador que errar a pergunta, perde os recursos apostados, esses recursos
não são incorporados ao processo e voltam para a banca ou para os recursos do patrocinador e esse
jogador não tem direito aos recursos extras.
Ao término do jogo vários processos são considerados implantados na organização e os
jogadores que participaram da rodada absorvem mais conhecimento a respeito do assunto CMMI,
pois para avançar em cada etapa do jogo as perguntas devem ser respondidas corretamente. E, a
cada jogada um novo processo deve ser selecionado para receber as apostas. Dessa forma, o
tabuleiro deve ser praticamente todo percorrido ao término do jogo.
169
APÊNDICE H – PERGUNTAS DO JOGO 123SPI
01. Quantos níveis de maturidade são previstos na implantação do CMMI? a. 2 b. 3 c. 4 d. 5
02. O nível 2 de maturidade também é conhecido como: a. Gerenciado b. Controlado c. Estimado d. Definido
03. O nível 3 de maturidade também é conhecido como: a. Gerenciado b. Em Otimização c. Estimado d. Definido
04. Quais são as áreas de processo abordadas no nível 2 de maturidade? a. Gestão de Requisitos, Planejamento de Projeto, Gestão de Riscos, Medição e Análise, Monitoramento e Controle de Projeto b. Verificação e Validação, Gestão de Projetos, Gestão de Requisitos, Monitoramento e Controle de Projetos c. Gestão de Requisitos, Planejamento de Projeto, Monitoramento e Controle de Projeto, Gestão de Contrato com
Fornecedor, Medição e Análise, Garantia da Qualidade de Processo e Produto, Gestão de Configuração d. Gestão de Projetos, Gestão de Requisitos, Medição e Análise, Monitoramento e Controle de Projeto, Gestão de Riscos, Gestão
de Configuração
05. Quais são as áreas de processo abordadas no nível 3 de maturidade? a. Desenvolvimento de Requisitos, Solução Técnica, Integração de Produto, Verificação, Validação, Foco no Processo
Organizacional, Definição do Processo Organizacional, Treinamento Organizacional, Gestão Integrada de Projeto, Gestão de Risco, Análise de Decisão e Resolução
b. Gestão de Requisitos, Planejamento de Projeto, Monitoramento e Controle de Projeto, Gestão de Contrato com Fornecedor, Medição e Análise, Garantia da Qualidade de Processo e Produto, Gestão de Configuração.
c. Gestão de Requisitos, Desenvolvimento de Requisitos, Planejamento de Projetos, Verificação, Validação, Gestão de Risco d. Desenvolvimento de Requisitos, Solução Técnica, Integração de Produto, Medição e Análise, Foco no Processo
Organizacional, Definição do Processo Organizacional, Treinamento Organizacional, Gestão Integrada de Projeto, Análise de Decisão e Resolução
06. Selecione qual o propósito do processo Gestão de Requisitos previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar consistências entre esses
requisitos e os planos e produtos de trabalho do projeto b. Produzir e analisar os requisitos de cliente, de produto e de componente de produto c. Estabelecer e manter a integridade dos produtos de trabalho, utilizando identificação de configuração, controle de configuração,
balanço de configuração e auditorias de configuração. d. Estabelecer e manter planos que definam as atividades de projeto.
07. O processo Gestão de Requisitos prevê 5 práticas específicas para o objetivo Gerenciar Requisitos, quais são? a. Gerenciar Todas as Mudanças dos Requisitos; Manter os Relacionamentos entre os Requisitos, Planos de Projetos e Produtos
de Trabalho; Identificar Inconsistências entre os Requisitos, Planos de Projeto e Produtos de Trabalho; Executar Ações Corretivas; Gestão de Risco.
b. Obter um Entendimento dos Requisitos; Obter Comprometimento com os Requisitos; Gerenciar Mudanças de Requisitos; Manter Rastreabilidade Bidirecional dos Requisitos; Identificar Inconsistências entre Trabalho de Projeto e Requisitos.
c. Obter um Entendimento dos Requisitos; Realizar o Planejamento de Projeto; Verificação; Validação; Gestão de Risco d. Realizar o Desenvolvimento de Requisitos; Fornecer uma Solução Técnica; Realizar a Integração de Produto; Realizar a
Medição e Análise; Gerenciar Mudanças de Requisitos.
08. Selecione qual o propósito do processo Planejamento de Projeto previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar consistências entre esses requisitos e os
planos e produtos de trabalho do projeto b. Proporcionar um entendimento do progresso do projeto, de forma que ações corretivas apropriadas possam se r tomadas quando
o desempenho do projeto desviar significativamente do plano. c. Desenvolver e sustentar a capacidade de medições utilizada para dar suporte às necessidades de gerenciamento de informações. d. Estabelecer e manter planos que definam as atividades de projeto.
09. O processo Planejamento de Projeto prevê 3 objetivos específicos, quais são? a. Estabelecer Estimativas; Elaborar um Plano de Projeto; Obter Comprometimento com o Plano. b. Obter um Entendimento do Plano de Projeto; Gerenciar Mudanças de Plano de Projeto; Gestão de Riscos.
170
c. Definir um Cronograma de Projeto; Realizar o Planejamento de Projeto; Gestão de Riscos. d. Elaborar um Plano de Projeto; Aprovar o Plano de Projeto; Executar o Plano de Projeto.
10. Selecione qual o propósito do processo Monitoramento e Controle do Projeto previsto no nível 2 de maturidade? a. Estabelecer e manter a integridade dos produtos de trabalho, utilizando identificação de configuração, controle de configuração,
balanço de configuração e auditorias de configuração. b. Proporcionar um entendimento do progresso do projeto, de forma que ações corretivas apropriadas possam ser
tomadas quando o desempenho do projeto desviar significativamente do plano. c. Desenvolver e sustentar a capacidade de medições utilizada para dar suporte às necessidades de gerenciamento de informações. d. Produzir e analisar os requisitos de cliente, de produto e de componente de produto.
11. O processo Monitoramento e Controle do Projeto prevê 2 objetivos específicas, quais são? a. Obter Comprometimento com o Plano; Monitorar o Projeto em Relação ao Plano. b. Gerenciar Mudanças de Plano de Projeto; Gerenciar Ações Corretivas. c. Realizar Gestão de Riscos; Monitorar o Projeto em Relação ao Plano. d. Monitorar o Projeto em Relação ao Plano; Gerenciar Ações Corretivas até o Encerramento.
12. Selecione qual o propósito do processo Gestão de Acordo com Fornecedores previsto no nível 2 de maturidade? a. Estabelecer e manter a integridade dos produtos de trabalho, utilizando identificação de configuração, controle de configuração,
balanço de configuração e auditorias de configuração. b. Gerenciar a aquisição de produtos de fornecedores. c. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e fracos
atuais dos processos e dos ativos de processo da organização. d. Produzir e analisar os requisitos de cliente, de produto e de componente de produto.
13. O processo Gestão de Acordo com Fornecedores prevê 2 objetivos específicos, quais são? a. Acompanhar as Mudanças Solicitadas pelos Fornecedores; Estabelecer Acordos com Fornecedor. b. Gerenciar Mudanças de Plano de Projeto em Relação a Fornecedor; Satisfazer Acordos com Fornecedor. c. Estabelecer Acordos com Fornecedor; Satisfazer Acordos com Fornecedor. d. Monitorar o Fornecedor Relação ao Plano; Gerenciar Ações Corretivas do Fornecedor.
14. Selecione qual o propósito do processo Medição e Análise previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar consistências entre esses requisitos e os
planos e produtos de trabalho do projeto b. Proporcionar um entendimento do progresso do projeto, de forma que ações corretivas apropriadas possam se r tomadas quando
o desempenho do projeto desviar significativamente do plano. c. Desenvolver e sustentar a capacidade de medições utilizada para dar suporte às necessidades de gerenciamento de
informações. d. Estabelecer e manter planos que definam as atividades de projeto.
15. O processo Medição e Análise prevê 2 objetivos específicos, quais são? a. Alinhar as atividades de medição e análise; Fornecer Resultados de Medições. b. Estabelecer objetivos de controle e medição; Analisar Dados de Medições. c. Estabelecer Procedimentos de Análise; Comunicar Resultados. d. Especificar Medidas; Armazenar Dados e Resultados.
16. Selecione qual o propósito do processo Garantia da Qualidade de Processo e Produto previsto no nível 2 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar inconsistências entre esses requisitos e
os planos e produtos de trabalho do projeto. b. Munir a equipe e a gerência com uma visão clara sobre os processos e seus produtos de trabalho associados. c. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
17. O processo Garantia da Qualidade prevê 2 objetivos específicos, quais são? a. Avaliar objetivamente os processos; Estabelecer Registros. b. Avaliar objetivamente processos e produtos de trabalho; Fornecer um entendimento objetivo. c. Comunicar os registros; Avaliar os objetivos. d. Avaliar os serviços; Comunicar as não-conformidades.
18. Selecione qual o propósito do processo Desenvolvimento de Requisitos previsto no nível 3 de maturidade? a. Gerenciar os requisitos dos produtos e componentes de produto do projeto e identificar inconsistências entre esses requisitos e
os planos e produtos de trabalho do projeto. b. Produzir e analisar os requisitos do cliente, de produto e de componente de produto. c. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
19. A área de processo Desenvolvimento de Requisitos do nível 3 de maturidade inclui três objetivos específicos, quais são? a. Desenvolver os Requisitos de Produto e Cliente, Gerenciar os Requisitos de Produto e Cliente e Analisar e Validar os
Requisitos de Cliente e Produto b. Desenvolver os Requisitos de Cliente, Gerenciar os Requisitos de Cliente e Medir os Requisitos de Cliente c. Desenvolver os Requisitos de Produto, Gerenciar os Requisitos de Produto e Analisar e Validar os Requisitos d. Desenvolver os Requisitos de Cliente, Desenvolver os Requisitos de Produto e Analisar e Validar os Requisitos
171
20. Selecione qual o propósito do processo Solução Técnica previsto no nível 3 de maturidade? a. Projetar, desenvolver e implementar soluções para requisitos, soluções, designs e implementações englobam produtos,
componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriado.
b. Produzir e analisar os requisitos de cliente, de produto e de componente de produto. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma apropriada
e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
21. Os objetivos específicos da área de processos Solução Técnica são:
a. Elaborar as Soluções Alternativas e os Critérios de Seleção; Elaborar o Design do Produto ou dos Componentes do Produto; Reusar Análises.
b. Selecionar as Soluções de Componentes de Produto; Elaborar o Design; Implementar o Design do Produto. c. Selecionar as Soluções; Implementar o Design; Elaborar a Documentação de Suporte ao Produto. d. Desenvolver a Solução Técnica; Comprar Análises; Implementar o Design.
22. Selecione qual o propósito do processo Integração de Produto previsto no nível 3 de maturidade?
a. Projetar, desenvolver e implementar soluções para requisitos. Soluções, design e implementações englobam produtos, componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriados.
b. Produzir e analisar os requisitos de cliente, de produto e de componente de produto. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma
apropriada e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
23. Os objetivos específicos da área de processos Integração do Produto são:
a. Preparar para a Integração de Produto; Revisar as descrições de todas as interfaces; Avaliar os componentes do Produto. b. Estabelecer o ambiente de integração do produto; Garantir a Compatibilidade das Interfaces. c. Determinar a Sequência da Integração; Gerenciar Interfaces; Montar os Componentes do Produto. d. Preparar para a Integração do Produto; Garantir a Compatibilidade das Interfaces; Montar os componentes do
Produto e Entregar o Produto.
24. Selecione qual o propósito do processo Verificação previsto no nível 3 de maturidade? a. Projetar, desenvolver e implementar soluções para requisitos. Soluções, design e implementações englobam produtos,
componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriados.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma apropriada
e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
25. Os objetivos específicos da área de processos Verificação são:
a. Estabelecer procedimentos e critérios de verificação; Analisar dados de revisão por pares; Analisar dados da verificação. b. Estabelecer o ambiente de verificação; Preparar para a revisão em pares; Realizar a verificação. c. Preparar para a Verificação; Realizar a Revisão por pares; Verificar os produtos de trabalho selecionados. d. Preparar para a Verificação do Produto; Garantir a Verificação do produto; Analisar os Resultados.
26. Selecione qual o propósito do processo Validação previsto no nível 3 de maturidade?
a. Projetar, desenvolver e implementar soluções para requisitos. Soluções, design e implementações englobam produtos, componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriados.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma apropriada
e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu
ambiente alvo.
27. Os objetivos específicos da área de processos Validação são: a. Estabelecer procedimentos e critérios de validação; Analisar dados de revisão por pares; Analisar dados da validação. b. Estabelecer o ambiente de validação; Preparar para a revisão em pares; Realizar a validação. c. Preparar para a Validação; Validar o Produto ou os Componentes de Produto. d. Preparar para a Validação do Produto; Garantir a Verificação do produto; Analisar os Resultados.
28. Selecione qual o propósito do processo Foco no Processo Organizacional previsto no nível 3 de maturidade?
a. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos e dos ativos de processo da organização.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso. d. Desenvolver habilidades e o conhecimento das pessoas para que elas possam as desempenhar seus papéis de forma eficiente e
eficaz.
29. Qual o objetivo da área de processo Foco no Processo Organizacional são: a. Estabelecer procedimentos e critérios de verificação.
172
b. Estabelecer Modelos e Baselines de Desempenho. c. Estabelecer Ativos de Processo da Organização. d. Implementar Lições Aprendidas.
30. Selecione qual o propósito do processo Definição do Processo Organizacional previsto no nível 3 de maturidade?
a. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos e dos ativos de processo da organização.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis
para uso. d. Desenvolver habilidades e o conhecimento das pessoas para que elas possam as desempenhar seus papéis de forma eficiente e
eficaz.
31. O objetivo específico da área de processo Definição do Processo Organizacional é: a. Estabelecer procedimentos e critérios de verificação. b. Determinar as Oportunidades de Melhoria de Processo. c. Estabelecer Modelos e Baselines de Desempenho. d. Verificar os produtos de trabalho selecionados.
32. Selecione qual o propósito do processo Treinamento Organizacional previsto no nível 3 de maturidade?
a. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos e dos ativos de processo da organização.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso. d. Desenvolver habilidades e o conhecimento das pessoas para que elas possam as desempenhar seus papéis de forma
eficiente e eficaz. 33. Os objetivos específicos da área de processo Treinamento Organizacional são:
a. Estabelecer procedimentos e critérios de treinamento. b. Determinar as Oportunidades de Melhoria de Processo; Implementar as Atividades de Treinamento. c. Estabelecer uma Capacidade de Treinamento Organizacional; Fornecer Treinamento Necessário. d. Fornecer Treinamento Necessário; Implementar Lições Aprendidas.
34. Selecione qual o propósito do processo Gestão Integrada de Projeto previsto no nível 3 de maturidade?
a. Estabelecer e gerenciar o projeto e o ambiente dos stackeholders relevantes de acordo com um processo integrado e definido que é adaptado a partir do conjunto de processos padrão da organização.
b. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos e dos ativos de processo da organização.
c. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. d. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso.
35. Os objetivos específicos da área de processo Gestão Integrada de Projeto são:
a. Estabelecer procedimentos e critérios de treinamento. b. Usar o Processo Definido do Projeto; Coordenar e Colaborar com os Stackeholders Relevantes. c. Estabelecer uma Capacidade de Treinamento Organizacional; Fornecer Treinamento Necessário. d. Fornecer Treinamento Necessário; Implementar Lições Aprendidas.
36. Selecione qual o propósito do processo Gestão de Risco previsto no nível 3 de maturidade? a. Estabelecer e gerenciar o projeto e o ambiente dos stackeholders relevantes de acordo com um processo integrado e definido
que é adaptado a partir do conjunto de processos padrão da organização. b. Planejar, implementar e implantar gerenciamento de risco organizacional com base na compreensão dos pontos fortes e pontos
fracos atuais dos processos. c. Identificar potenciais problemas antes que ocorram. Para isso, as atividades de tratamento de risco podem ser
planejadas e colocadas em prática quando necessário, durante a vida do produto ou do projeto, para mitigar impactos indesejáveis na obtenção dos objetivos.
d. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso relacionados aos riscos do projeto.
37. Os objetivos específicos da área de processo Gestão de Risco são:
a. Preparar para a Gestão de Risco; Identificar e Analisar Riscos e Mitigar Riscos. b. Coordenar e Colaborar com os Stackeholders Relevantes sobre os riscos importantes; Identificar os Riscos e Priorizar os Riscos. c. Determinar Fontes dos Riscos e Identificar os Riscos. d. Elaborar Planos de Mitigação; Mitigar os Riscos e Priorizar os Riscos.
38. Selecione qual o propósito do processo Análise de Decisão e Resolução previsto no nível 3 de maturidade?
a. Estabelecer e gerenciar o projeto e o ambiente dos stackeholders relevantes de acordo com um processo integrado e definido que é adaptado a partir do conjunto de processos padrão da organização.
b. Planejar, implementar e implantar análise de decisão organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos.
c. Identificar potenciais problemas antes que ocorram, durante a vida do produto ou do projeto, para tomar decisões. d. Analisar decisões possíveis usando um processo de avaliação formal que avalia alternativas identificadas com relação a
critérios estabelecidos.
173
39. O objetivo específico da área de processo Análise de Decisão e Resolução: a. Preparar para as Decisões. b. Avaliar Alternativas. c. Determinar Fontes dos Riscos e Alternativas. d. Elaborar Planos de Decisões.
40. Considerando as áreas de processo no CMMI, assinale a opção correta. a. As áreas de processo podem ser organizadas em categorias como gerência de processos e de projetos. Na gerência de
processos, uma área visa possibilitar que as organizações entendam quantitativamente os seus processos. b. No nível de maturidade 1, uma área de processo relaciona-se à gerência de requisitos, uma outra área de processo relaciona-se
ao acompanhamento do projeto e identificação de ações corretivas. c. No nível de maturidade 2, uma área de processo visa o desenvolvimento dos talentos e dos conhecimentos das pessoas na
organização, uma outra área de processo visa à gerência de riscos. d. No nível de maturidade 3, uma área de processo relaciona-se à gerência quantitativa dos processos visando possibilitar que
sejam atingidos objetivos de qualidade e desempenho estabelecidos.
41. Quanto ao modelo CMMI, assinale a opção correta. a. No nível de capacidade 1, padrões e processos podem ser diferentes entre projetos. No nível 2, os processos para um projeto são
resultantes da configuração de processos já existentes e padronizados pela organização. b. No nível de capacidade 3, objetivos quantitativos para as qualidades e performances dos processos são estabelecidos e usados
para gerenciá-los. As qualidade e performances dos processos são entendidas em termos estatísticos. c. A validação visa garantir que o produto atenda aos requisitos especificados e não pode ser feita via testes, demonstrações e
simulações. A verificação visa demonstrar que o produto fornecido atenderá ao uso que se pretende dar ao mesmo e não pode ser feita via revisão por pares.
d. Uma organização no nível de maturidade 5 procura modificar e adaptar os seus processos a partir do entendimento quantitativo dos mesmos. Há uma preocupação com a melhora contínua dos processos.
42. O nível de maturidade 2 do CMMI é usado para indicar uma maturidade do tipo gerenciado. Para atingir esse nível, é necessária a
implementação em conformidade com áreas de processo básicas, como: a. Gerência de Requisitos e Verificação b. Gerência de Configuração e Gerência de Requisitos c. Gerência de Riscos e Gerência de Projetos d. Gerência de Requisitos e Validação
43. Seja bem-vindo, você assume hoje a função de Gerente de Projetos e o seu primeiro desafio é: Se você fosse chefe qual seria a sua primeira ordem para a sua função? Assinale qual a sua escolha:
a. Configurar a sua máquina para instalar os programas básicos do office b. Definir qual o plano de medições, os quais serão monitorados por você como gestor de projetos c. Escrever um plano de projetos e definir as atividades subseqüentes de projetos d. Elaborar o planejamento de férias de toda a sua equipe
44. Hoje é sexta-feira e você acaba de ganhar um presente de sua chefia. Você deve determinar quais são os ativos de software que serão
controlados pelo repositório de Gerência de Configuração, a equipe tem como objetivo estruturar um repositório até a próxima semana, e a primeira decisão a tomar é definir quais serão os ativos de software, que conforme o modelo CMMI v. 1.3 poderiam ser controlados. Escolha a melhor opção:
a. Normas e procedimentos da organização e dos órgãos legisladores que impactam as regras de negócios dos projetos b. Emails e planilhas Excel para demonstrar o resultado financeiro do projeto c. Requisitos e códigos fontes gerados e a serem gerados d. Fotos do happy-hour de hoje e de toda a equipe
45. Seu desafio é estruturar uma sistemática para comprovar que você como gestor toma decisões difíceis, entretanto, todas foram embasadas
em fatos. Pensando assim, qual seria a melhor área chave para fundamentar a sua sistemática processual? a. Planejamento de Projetos b. Processo de Garantia Qualidade c. Gestão de Configuração d. Medições e Análises
46. Seu primeiro quebra-cabeças está relacionado com a melhor escolha de um método para determinar atributos de artefatos (work products)
e tarefas que devem ser utilizadas para estimular requisitos. Lembre-se que métodos para determinar tamanho e complexidade de projetos devem ser baseados em modelos já validados ou em base histórica. Escola o método a partir das variáveis que o fundamenta:
a. Método A: abrangência de competências/disponibilidade de recursos humanos e técnicos b. Método B: número de riscos/abrangência de competências c. Método C: número de portas lógicas para integração/linhas de código ou pontos de função de software d. Método D: qualidade dos requisitos não-funcionais de software e hardware
47. Complete a frase da melhor maneira: “Baselines são adicionais ao repositório de gestão de configuração na medida em que são
desenvolvidas. Alterações às linhas de base e a liberação de produtos de trabalho construído a partir do sistema de gerenciamento são sistematicamente controlados e monitorados através de processos de...”
a. Controle de configuração, gerenciamento de mudanças e configuração de auditoria e funções de gerenciamento de configuração
b. Controle por gerenciamento eletrônico de documentos e respectivas funções de controle c. Arquivista contratado pela Direção para compor a sistemática de gestão de projetos d. Liberação e aprovação do Comitê de Projetos e Desenvolvimento
174
48. Qual área se aplica a afirmação “Sempre que conduzimos uma revisão técnica detalhada de um produto de trabalho, registramos o item
revisado, o tempo que cada participante levou para a preparação, a duração da revisão, os tipos e números de defeitos encontrados e resolvidos, e uma lista de todos os itens de ação designados”?
a. Revisões Técnicas b. Gerenciamento de Configuração c. Planejamento de Projetos d. Medições e Análises
49. Qual área de processo se aplica a afirmação “Temos nossa própria equipe de garantia da qualidade que regularmente verifica as atividades
de garantia de qualidade realizadas por nossos principais fornecedores chaves e sugerimos ações corretivas conforme necessário”? a. Medições e Análises b. Gestão de Acordo com Fornecedores c. Monitoramento e Controle do Projeto d. Verificação
50. Qual área de processo se aplica a afirmação “Versões preliminares do manual do usuário e do manual de manutenção são produzidas no
início do ciclo de vida do projeto de modo que as equipes de manutenção e operações possam nos dar um feedback inicial quanto à usabilidade destes documentos de apoio”?
a. Revisões Técnicas b. Validação c. Gerência de Configuração d. Solução Técnica
51. Qual área de processo se aplica a afirmação “Concordamos com o cliente quanto aos procedimentos detalhados dos testes de aceitação a
serem executados, buscando incluir não apenas cenários de uso operacionais pretendidos, como também cenários de treinamento e manutenção esperados”?
a. Verificação b. Validação c. Medições e Análises d. Garantia da Qualidade do Processo e Produto
52. Qual área de processo se aplica a afirmação “Nosso projeto identifica potenciais problemas que podem ser encontrados, calcula a
probabilidade e impacto esperado de cada problema em potencial, e determina quais possuem prioridade mais alta para planejamento de mitigação”?
a. Análise de Decisão e Resolução b. Gerência de Riscos c. Monitoramento e Controle de Projeto d. Gerenciamento Integrado do Projeto
53. Qual área de processo se aplica a afirmação “Temos um plano detalhado para a ordem em que os componentes de produto serão montados
em subsistemas e quais subsistemas serão integrados no produto final, e mensuramos e informamos o número de montagens completadas e integrações executadas em relação ao que foi planejado”?
a. Verificação b. Integração de Produto c. Gestão de Configuração d. Desenvolvimento de Requisitos
54. Qual área de processo se aplica a afirmação “Estabelecemos um conjunto de orientações para determinar quais decisões exigem tomadas
de decisão formais e estruturadas em grande parte baseadas nos custos do processo de decisão contra o impacto da decisão”? a. Garantia da Qualidade do Processo e Produto b. Gestão de Riscos c. Validação d. Análise de Decisão e Resolução
55. Qual área de processo se aplica a afirmação “Nossos executivos sempre revisam os relatórios de quais funcionários completaram com êxito
quais cursos relevantes ao considerar a nomeação de um novo líder de tarefa ou gestor de projeto”? a. Medições e Análises b. Treinamento Organizacional c. Planejamento de Projetos d. Desenvolvimento de Requisitos
56. Qual área de processo se aplica a afirmação “Sempre colocamos nossos documentos de requisitos do projeto documentados sob controle de
configuração e então nos certificamos de que nossos planos e produtos de trabalho podem ser relacionados a este documento”? a. Monitoramento e Controle de Projeto e Gestão de Requisitos b. Garantia da Qualidade do Processo e Produto e Verificação c. Gestão de Requisitos e Gestão de Configuração d. Desenvolvimento de Requisitos e Gestão de Configuração
57. Qual área de processo se aplica a afirmação “Antes de iniciar a coleta dos dados do projeto, documentados os procedimentos de análise
que pretendemos seguir para que todos saibam como os dados coletados serão usados para gerar relatórios”? a. Garantia da Qualidade do Processo e Produto b. Medições e Análises
175
c. Gestão de Configuração d. Validação
58. Qual área de processo se aplica a afirmação “Usamos regularmente um servidor particular como o repositório para todos os arquivos de
produtos de baseline controlados, tanto versões atuais como cópias de versões anteriores arquivadas”? a. Verificação b. Validação c. Gestão de Configuração d. Monitoramento e Controle de Projeto
59. Qual área de processo se aplica a afirmação “Conforme o progresso do projeto, certificamo-nos de que as interações esperadas (por
exemplo, reuniões de revisão técnica) com partes afetadas identificadas ocorrem conforme a necessidade”? a. Monitoramento e Controle de Projeto b. Medições e Análises c. Garantia da Qualidade do Processo e Produto d. Gestão de Requisitos
60. Qual área de processo se aplica a afirmação “Nos estágios iniciais do ciclo de vida do projeto, construímos protótipos e rodamos
simulações computadorizadas a fim de verificar se os itens esperados resultantes dos requisitos de produto irão de fato satisfazer as necessidades e expectativas do cliente”?
a. Monitoramento e Controle de Projeto b. Medições e Análises c. Verificação d. Gestão de Requisitos
176
APÊNDICE I – CLASSIFICAÇÃO DAS PERGUNTAS
Classificação das Perguntas do Jogo de Acordo com a Taxonomia Revisada de Bloom Questão Descrição Taxonomia Complexidade Nível
1 Quantos níveis de maturidade são previstos na implantação do CMMI? Lembrar Baixa 5
2 O nível 2 de maturidade também é conhecido como: Lembrar Baixa 2
3 O nível 3 de maturidade também é conhecido como: Lembrar Baixa 3
4 Quais são as áreas de processos abordadas no nível 2 de maturidade? Lembrar Baixa 2
5 Quais são as áreas de processos abordadas no nível 3 de maturidade? Lembrar Baixa 3
6 Selecione qual o propósito do processo Gestão de Requisitos previsto no nível 2 de maturidade? Entender Média 2
7 O processo Gestão de Requisitos prevê 5 práticas específicas para o objetivo Gerenciar Requisitos, quais são? Lembrar Média 2
8 Selecione qual o propósito do processo Planejamento de Projeto previsto no nível 2 de maturidade? Entender Média 2
9 O processo Planejamento de Projeto prevê 3 objetivos específicos, quais são? Lembrar Média 2
10 Selecione qual o propósito do processo Monitoramento e Controle do Projeto previsto no nível 2 de maturidade? Entender Média 2
11 O processo Monitoramento e Controle do Projeto prevê 2 objetivos específicas, quais são? Lembrar Média 2
12 Selecione qual o propósito do processo Gestão de Acordo com Fornecedores previsto no nível 2 de maturidade? Entender Média 2
13 O processo Gestão de Acordo com Fornecedores prevê 2 objetivos específicos, quais são? Lembrar Média 2
14 Selecione qual o propósito do processo Medição e Análise previsto no nível 2 de maturidade? Entender Média 2
15 O processo Medição e Análise prevê 2 objetivos específicos, quais são? Lembrar Média 2
16 Selecione qual o propósito do processo Garantia da Qualidade de Processo e Produto previsto no nível 2 de maturidade? Entender Média 2
17 O processo Garantia da Qualidade prevê 2 objetivos específicos, quais são? Lembrar Média 2
18 Selecione qual o propósito do processo Desenvolvimento de Requisitos previsto no nível 3 de maturidade? Entender Média 3
19 A área de processo Desenvolvimento de Requisitos do nível 3 de maturidade inclui três objetivos específicos, quais são? Lembrar Média 3
20 Selecione qual o propósito do processo Solução Técnica previsto no nível 3 de maturidade? Entender Média 3
21 Os objetivos específicos da área de processos Solução Técnica são: Lembrar Média 3
22 Selecione qual o propósito do processo Integração de Produto previsto no nível 3 de maturidade? Entender Média 3
23 Os objetivos específicos da área de processos Integração do Produto são: Lembrar Média 3
24 Selecione qual o propósito do processo Verificação previsto no nível 3 de maturidade? Entender Média 3
25 Os objetivos específicos da área de processos Verificação são: Lembrar Média 3
26 Selecione qual o propósito do processo Validação previsto no nível 3 de maturidade? Entender Média 3
27 Os objetivos específicos da área de processos Validação são: Lembrar Média 3
28 Selecione qual o propósito do processo Foco no Processo Organizacional previsto no nível 3 de maturidade? Entender Média 3
29 Qual o objetivo da área de processo Foco no Processo Organizacional são: Lembrar Média 3
30 Selecione qual o propósito do processo Definição do Processo Organizacional previsto no nível 3 de maturidade? Entender Média 3
31 O objetivo específico da área de processo Definição do Processo Organizacional é: Lembrar Média 3
32 Selecione qual o propósito do processo Treinamento Organizacional previsto no nível 3 de maturidade? Entender Média 3
33 Os objetivos específicos da área de processo Treinamento Organizacional são: Lembrar Média 3
34 Selecione qual o propósito do processo Gestão Integrada de Projeto previsto no nível 3 de maturidade? Entender Média 3
35 Os objetivos específicos da área de processo Gestão Integrada de Projeto são: Lembrar Média 3
36 Selecione qual o propósito do processo Gestão de Risco previsto no nível 3 de maturidade? Entender Média 3
37 Os objetivos específicos da área de processo Gestão de Risco são: Lembrar Média 3
38 Selecione qual o propósito do processo Análise de Decisão e Resolução previsto no nível 3 de maturidade? Entender Média 3
39 O objetivo específico da área de processo Análise de Decisão e Resolução: Lembrar Média 3
40 Considerando as áreas de processo no CMMI, assinale a opção correta. Aplicar Alta 5
41 Quanto ao modelo CMMI, assinale a opção correta. Aplicar Alta 5
177
42
O nível de maturidade 2 do CMMI é usado para indicar uma maturidade do tipo gerenciado. Para atingir esse nível, é necessária a implementação em conformidade com áreas de processos básicas, como: Aplicar Alta 2
43
Seja bem-vindo, você assume hoje a função de Gerente de Projetos e o seu primeiro desafio é: Se você fosse chefe qual seria a sua primeira ordem para a sua função? Assinale qual a sua escolha: Aplicar Alta 2
44
Hoje é sexta-feira e você acaba de ganhar um presente de sua chefia. Você deve determinar quais são os ativos de software que serão controlados pelo repositório de Gerência de Configuração, a equipe tem como objetivo estruturar um repositório até a próxima semana, e a primeira decisão a tomar é definir quais serão os ativos de software, que conforme o modelo CMMI v. 1.2 poderiam ser controlados. Escolha a melhor opção: Aplicar Alta 2
45
Seu desafio é estruturar uma sistemática para comprovar que você como gestor toma decisões difíceis, entretanto, todas foram embasadas em fatos. Pensando assim, qual seria a melhor área chave para fundamentar a sua sistemática processual? Aplicar Alta 2
46
Seu primeiro quebra-cabeças está relacionado com a melhor escolha de um método para determinar atributos de artefatos (work products) e tarefas que devem ser utilizadas para estimular requisitos. Lembre-se que métodos para determinar tamanho e complexidade de projetos devem ser baseados em modelos já validados ou em base histórica. Escola o método a partir das variáveis que o fundamenta: Aplicar Alta 5
47
Complete a frase da melhor maneira: “Baselines são adicionais ao repositório de gestão de configuração na medida em que são desenvolvidas. Alterações às linhas de base e a liberação de produtos de trabalho construído a partir do sistema de gerenciamento são sistematicamente controlados e monitorados através de processos de...” Aplicar Alta 2
48
Qual área de processo se aplica a afirmação “Sempre que conduzimos uma revisão técnica detalhada de um produto de trabalho, registramos o item revisado, o tempo que cada participante levou para a preparação, a duração da revisão, os tipos e números de defeitos encontrados e resolvidos, e uma lista de todos os itens de ação designados”? Aplicar Alta 3
49
Qual área de processo se aplica a afirmação “Temos nossa própria equipe de garantia da qualidade que regularmente verifica as atividades de garantia de qualidade realizadas por nossos principais fornecedores chaves e sugerimos ações corretivas conforme necessário”? Aplicar Alta 2
50
Qual área de processo se aplica a afirmação “Versões preliminares do manual do usuário e do manual de manutenção são produzidas no início do ciclo de vida do projeto de modo que as equipes de manutenção e operações possam nos dar um feedback inicial quanto à usabilidade destes documentos de apoio”? Aplicar Alta 3
51
Qual área de processo se aplica a afirmação “Concordamos com o cliente quanto aos procedimentos detalhados dos testes de aceitação a serem executados, buscando incluir não apenas cenários de uso operacionais pretendidos, como também cenários de treinamento e manutenção esperados”? Aplicar Alta 3
52
Qual área de processo se aplica a afirmação “Nosso projeto identifica potenciais problemas que podem ser encontrados, calcula a probabilidade e impacto esperado de cada problema em potencial, e determina quais possuem prioridade mais alta para planejamento de mitigação”? Aplicar Alta 3
53
Qual área de processo se aplica a afirmação “Temos um plano detalhado para a ordem em que os componentes de produto serão montados em subsistemas e quais subsistemas serão integrados no produto final, e mensuramos e informamos o número de montagens completadas e integrações executadas em relação ao que foi planejado”? Aplicar Alta 3
54
Qual área de processo se aplica a afirmação “Estabelecemos um conjunto de orientações para determinar quais decisões exigem tomadas de decisão formais e estruturadas em grande parte baseadas nos custos do processo de decisão contra o impacto da decisão”? Aplicar Alta 3
55
Qual área de processo se aplica a afirmação “Nossos executivos sempre revisam os relatórios de quais funcionários completaram com êxito quais cursos relevantes ao considerar a nomeação de um novo líder de tarefa ou gestor de projeto”? Aplicar Alta 3
56
Qual área de processo se aplica a afirmação “Sempre colocamos nossos documentos de requisitos do projeto documentados sob controle de configuração e então nos certificamos de que nossos planos e produtos de trabalho podem ser relacionados a este documento”? Aplicar Alta 2
57
Qual área de processo se aplica a afirmação “Antes de iniciar a coleta dos dados do projeto, documentados os procedimentos de análise que pretendemos seguir para que todos saibam como os dados coletados serão usados para gerar relatórios”? Aplicar Alta 2
58
Qual área de processo se aplica a afirmação “Usamos regularmente um servidor particular como o repositório para todos os arquivos de produtos de baseline controlados, tanto versões atuais como cópias de versões anteriores arquivadas”? Aplicar Alta 2
59
Qual área de processo se aplica a afirmação “Conforme o progresso do projeto, certificamo-nos de que as interações esperadas (por exemplo, reuniões de revisão técnica) com partes afetadas identificadas ocorrem conforme a necessidade”? Aplicar Alta 2
60
Qual área de processo se aplica a afirmação “Nos estágios iniciais do ciclo de vida do projeto, construímos protótipos e rodamos simulações computadorizadas a fim de verificar se os itens esperados resultantes dos requisitos de produto irão de fato satisfazer as necessidades e expectativas do cliente”? Aplicar Alta 3
178
APÊNDICE J – FRAMEWORK DE AVALIAÇÃO DO JOGO
Planejamento da Avaliação do Jogo 123SPI Tabela 1: Planejamento da Avaliação
I – Definição do Experimento Estratégia de Pesquisa: Justificativa [ X ] Quantitativa A estratégia de pesquisa quantitativa deve
ser usada para evidenciar objetivamente e responder às questões definidas para esta pesquisa. Esta avaliação tem o objetivo de avaliar a efetividade da aprendizagem proporcionada pela aplicação do jogo 123SPI.
[ X ] Qualitativa A estratégia de pesquisa qualitativa deve ser usada para evidenciar objetivamente e responder às questões 2 e 3 definidas para esta pesquisa. Os dados para esta avaliação devem ser extraídos através dos questionários aplicados com os participantes da avaliação.
Forma de Realização: Justificativa [ X ] in vitro O estudo empírico deve ser realizado in
vitro pela impossibilidade no momento de um estudo in vivo, pois não há nenhum curso sobre o modelo de maturidade CMMI em curso para que o mesmo pudesse ser realizado.
Abordagem de pesquisa: Justificativa [ X ] Descritiva A abordagem deve ser a descritiva em
razão do estudo ser focado nas conseqüências de um fenômeno dada a intervenção realizada.
Seleção do grupo experimental e grupo de controle:
A divisão dos participantes entre um grupo e outro, dar-se-á de forma aleatória de acordo com o sorteio realizado entre os alunos. Cada participante pegará um papel com o nome do grupo do qual fará parte: Grupo
179
Experimental ou Grupo de Controle. Em seguida o pesquisador anotará o nome dos integrantes de cada grupo de acordo com o sorteio. Essa divisão deve ser usada no momento da aplicação dos dois jogos, onde os participantes deverão participar de um ou outro e não dos dois.
Questionários/Termos Conteúdo [ X ] Questionário de Perfil do Participante
No Apêndice A consta todos os detalhes do conteúdo do Questionário de Perfil do Participante
[ X ] Termo de Consentimento No Apêndice B consta todos os detalhes do conteúdo do Termo de Consentimento na participação do experimento.
[ X ] Avaliação Pré-Teste No Apêndice C consta todos os detalhes do conteúdo da Avaliação Pré-Teste
[ X ] Avaliação Pós-Teste No Apêndice D consta todos os detalhes do conteúdo da Avaliação Pós-Teste
[ X ] Avaliação da Aula No Apêndice E consta todos os detalhes do conteúdo da Avaliação da Aula
[ X ] Avaliação do Jogo No Apêndice F consta todos os detalhes do conteúdo da Avaliação do Jogo
[ X ] Avaliação do Grupo de Controle No Apêndice K consta todos os detalhes do conteúdo da Avaliação do Grupo de Controle
Pré-Condições para Realização do Experimento
Os participantes do experimento devem ter conhecimento em melhoria de processos de software ou participado do treinamento conceitual no modelo de maturidade CMMI
Design Instrucional Contexto
O público alvo deste curso são os profissionais de Engenharia de Software e com conhecimento e/ou experiência em melhoria de processos de software.
Pré-Condições Ter participado de algum treinamento conceitual no modelo de maturidade CMMI
Ementa Melhoria de Processos de Software CMMI-DEV – Níveis 2 e 3
Objetivos Gerais de Aprendizagem Conhecer os conceitos básicos de melhoria de processos Conhecer os conceitos básicos dos níveis 2 e 3 de maturidade do modelo CMMI-DEV Conteúdos Objetivos de
Aprendizagem Estratégias de Ensino
180
Unidade 1 – Melhoria de Processos, Modelos de Referência e Introdução ao CMMI: Conceitos básicos sobre melhoria de processos Modelos de Referência (CMMI-DEV, MPS.BR) IDEAL – Guia para implantação de um modelo de referência Níveis de Maturidade Áreas de Processo Representação Contínua Representação por Estágio Bibliografia: CMMI-DEV v1.3:2010 MR-MPS.BR
O aluno deverá absorver o conteúdo apresentado no nível de compreensão e análise.
Aula expositiva de 3 h/a Discussão em grupo
Unidade 2 – Processos do Nível 2 de Maturidade do CMMI-DEV – Gerenciado: Gestão de Requisitos Planejamento de Projeto Monitoramento e Controle do Projeto Gestão de Contrato com Fornecedor Bibliografia: CMMI-DEV v1.3:2010
O aluno deverá absorver o conteúdo apresentado no nível de conhecimento, compreensão, análise e aplicação
Aula expositiva de 2,5 h/a Discussão em grupo
Unidade 3 – Processos do Nível 2 de Maturidade do CMMI-DEV – Gerenciado: Medição e Análise Garantia da Qualidade de Processo e Produto Gestão de Configuração Bibliografia: CMMI-DEV v1.3:2010
O aluno deverá absorver o conteúdo apresentado no nível de conhecimento, compreensão, aplicação, análise e aplicação
Aula expositiva de 2,5 h/a Discussão em grupo
Unidade 4 – Processos do Nível 3 de Maturidade do CMMI-DEV – Definido: Desenvolvimento de Requisitos Solução Técnica Integração do Produto Bibliografia: CMMI-DEV v1.3:2010
O aluno deverá absorver o conteúdo apresentado no nível de conhecimento, compreensão, aplicação, análise e aplicação
Aula expositiva de 2 h/a Discussão em grupo
Unidade 5 – Processos do O aluno deverá absorver o Aula expositiva de 2 h/a
181
Nível 3 de Maturidade do CMMI-DEV – Definido: Verificação Validação Foco no Processo Organizacional Definição no Processo Organizacional Bibliografia: CMMI-DEV v1.3:2010
conteúdo apresentado no nível de conhecimento, compreensão, aplicação, análise e aplicação
Discussão em grupo
Unidade 6 – Processos do Nível 3 de Maturidade do CMMI-DEV – Definido: Treinamento Organizacional Gestão Integrada de Projeto Gestão de Risco Análise de Decisão Bibliografia: CMMI-DEV v1.3:2010
O aluno deverá absorver o conteúdo apresentado no nível de conhecimento, compreensão, aplicação, análise e aplicação
Aula expositiva de 3 h/a Discussão em grupo
Unidade 7 – Jogos Educacionais: Uso de um jogo educativo para apoiar a absorção dos conceitos abordados nas unidades anteriores Bibliografia: CMMI-DEV v1.3:2010
O aluno deverá absorver o conteúdo apresentado no nível de conhecimento, compreensão, aplicação, análise, síntese e aplicação
Execução do jogo em 1 h/a
Estratégias de Ensino Aulas expositivas Exercício prático usando um jogo educacional abordando todos os processos dos níveis 2 e 3 de maturidade do CMMI-DEV. Discussões em sala de aula
Avaliação Questionários – Unidade 1, 2, 3, 4, 5 e 6: Nos questionários devem ser abordados assuntos relacionados à melhoria de processos, ao modelo de referência CMMI e componentes estruturais do modelo, aos processos do nível 2 de maturidade, aos processos do nível 3 de maturidade de acordo com o CMMI-DEV v1.3:2010. Pré-Teste – Deve ser aplicado com os dois grupos (experimental e de controle) após o treinamento em sala de aula Pós-Teste – Deve ser aplicado com os dois grupos (experimental e de controle) após o uso do jogo Os dois questionários têm o mesmo número de questões e são equivalentes em termos de objetivos instrucionais. Os participantes ainda têm que fazer a avaliação da aula (Apêndice E) e do jogo (Apêndice F). Jogo – Unidade 7:
182
Deve ser apresentado aos alunos um jogo para aplicação dos conceitos abordados no treinamento, nesse jogo os alunos têm a oportunidade de aplicar todos os conhecimentos obtidos nas unidades 1, 2, 3, 4, 5 e 6.
Bibliografia
A. M. de Borba, S. Petry da Luz (Coordenação). Formação continuada para docentes do Ensino Superior : apontamentos. Cadernos de ensino - Formação continuada Universidade do Vale do Itajaí. Pró-Reitoria de Ensino. 2002.
CHRISSIS, Mary Beth. CMMI for development: guidelines for process integration and product improvement / Mary Beth Chrissis, Mike Konrad and Sandy Shrum. 3 ed. The SEI series in software engineering. Pearson Education, Inc. 2011.
CMU/SEI. SW-CMM Maturity Profile March 2011. Carnegie Mellon University – Software Engineering Institute. [Online]. Disponível em URL: http://www.sei.cmu.edu/appraisal-program/profile/pdf/SW-CMM/2006. [Acessado em 02 de janeiro de 2011].
SOFTEX. [Online]. “Melhoria de Processo de Software Brasileiro - MPS.BR – Guia Geral”, 2009. Disponível em <http://www.softex.br/mpsbr>. [Acessado em 01 de agosto de 2009].
SOMMERVILLE, I. Software engineering. 7. ed. Reading: Addison-Wesley, 2004. 784p. ISBN: 0321210263 FENTON, Norman E.; PFLEEGER, Shari Lawrence. Software metrics: a rigorous and practical approach. 2. ed. Pacific Grove: Brooks/Cole, 1998. 656 p. ISBN: 0534954251
COUTO, Ana Brasil. CMMI – Integração dos Modelos de Capacitação e Maturidade de Sistemas. Rio de Janeiro: Editora Ciência Moderna Ltda. 2007.
Ford, G. and Gibbs, N. E., A Mature Profession of Software Engineering, CMU/SEI-96-TR-004, Software Engineering Institute, Carnegie Mellon University, 1996
IEEE Computer Society Professional Practices Committee. 2004 Version SWEBOK. IEEE, 2004
Joint Task Force on Computing Curricula. Software Engineering 2004 Curriculum Guidelines for Undergraduate Degree Programs in Software Engineering, ACM/IEEE, 2004
D.L Kirkpatrick, J.D Kirkpatrick. Evaluating Training Programs: The Four Levels. Berrett-Koehler Publishers; 3rd edition, 2006. Artigos especializados.
II – Planejamento Seleção do Contexto O estudo empírico deve ser realizado em uma sala de treinamento com capacidade para trinta participantes e laboratório para uso do grupo que participará do jogo definido como “placebo”. O treinamento deve ser ministrado em dezesseis horas aula sobre
183
melhoria de processos de software e o modelo de maturidade CMMI. Antes da aplicação do jogo deve ser aplicado o questionário referente ao pré-teste e depois do jogo o questionário referente ao pós-teste. O grupo do jogo do experimento jogará o jogo na própria sala de treinamento. Hipóteses Descrição H0 O efeito de aprendizagem nos níveis de
compreensão, aplicação e análise é o mesmo para os alunos que utilizaram o jogo ou não.
H1 O efeito de aprendizagem nos níveis de compreensão, aplicação e análise nos alunos que utilizaram o jogo são superiores aos dos alunos que não utilizaram o jogo.
Variáveis de Controle: Detalhamento Variável 1 Pontuação dos participantes no pré-teste e
pós-teste. Variável 2 Quantidade de participantes que
consideraram que o jogo facilita a aprendizagem em relação aos conceitos sobre os níveis 2 e 3 de maturidade do CMMI.
Variável 3 Quantidade de participantes que consideraram o processo de aprendizagem mais atrativo com o jogo 123SPI.
Seleção dos participantes Os participantes do processo de avaliação foram selecionados de forma aleatória e de acordo com o interesse na participação do treinamento. Os mesmos fazem parte de uma equipe de uma empresa de desenvolvimento de software, Centro de Excelência em Desenvolvimento de Sistemas Remotos da Politec Global IT Services, situada em Goiânia, Goiás. Outra turma faz parte de uma turma de pós-graduação em Gestão de Qualidade de Software. Somente participarão do experimento os alunos que assinarem o termo de concordância (Apêndice B) Design do Experimento Utilizado: Detalhamento [ X ] Pré-teste e pós-teste Este design de experimento foi
selecionado pelo fato de existirem dois grupos, com a seleção dos participantes sendo realizada de forma aleatória, ocorrendo uma medição no início (pré-teste), em seguida é feito uma intervenção controlada (aplicação do jogo para o grupo do experimento e aplicação de exercícios para o grupo de controle) e, logo após é realizada uma medição final (pós-teste). Estas medições estão sendo realizadas com o objetivo de identificar o grau de aprendizagem do grupo
184
experimental em relação ao grupo de controle.
Planejamento da Instrumentalização Tratamento a ser realizado: O tratamento é aplicado após a realização
do pré-teste. Nesse tratamento, o grupo experimental joga o jogo 123SPI na própria sala de treinamento, enquanto o grupo de controle realiza um exercício (Apêndice K) noutra sala. Foi selecionado um exercício de perguntas e respostas para o grupo de controle, sobre CMMI. Esse exercício foi definido como “placebo” e, foi necessário para que todos os participantes estivessem ocupados durante o tempo que o grupo experimental participava do jogo 123SPI.
Objetos/Equipamentos: Os materiais utilizados são: Questionário sobre o Perfil dos Participantes Termo de Consentimento Avaliação Pré-Teste Avaliação Pós-Teste Avaliação da Aula Avaliação do Jogo Avaliação do Grupo de Controle Jogo 123SPI
Diretrizes O primeiro experimento foi realizado com uma turma de profissionais atuantes na área de Engenharia de Software participantes de uma equipe de uma empresa de desenvolvimento de software intitulada Centro de Excelência em Desenvolvimento de Sistemas Remotos da Politec Global IT Services, situada em Goiânia, Goiás nos dias 05/03/2010 e 06/03/2010. No primeiro dia e no segundo dia pela manhã, foi aplicado o questionário para identificar o perfil dos participantes e, em seguida, ministrada a aula sobre melhoria de processos e o modelo de maturidade CMMI. No segundo dia, no período da tarde, foi aplicado o jogo 123SPI com o grupo experimental e o jogo “placebo” com o grupo de controle no mesmo horário. Ao término da aplicação dos dois jogos, foi aplicado o questionário pós-teste com os dois grupos (experimental e de controle).
185
O segundo experimento deve ser realizado com alunos na área de Engenharia de Software de uma Universidade privada, situada em Goiânia, Goiás nos dias ainda a definir. No primeiro dia e no segundo dia pela manhã, são aplicados dois questionários: um para identificar o perfil dos participantes e outro para assinarem o termo de consentimento. Em seguida, deve ser ministrada a aula sobre melhoria de processos e o modelo de maturidade CMMI. No segundo dia, no período da tarde, deve ser realizada a avaliação pré-teste e em seguida, aplicado o jogo 123SPI com o grupo experimental e o jogo “placebo” com o grupo de controle no mesmo horário. Ao término da aplicação dos dois jogos, deve ser aplicado o questionário pós-teste com os dois grupos (experimental e de controle). O terceiro experimento deve ser realizado com profissionais atuantes na área de ES participantes de outra equipe da mesma empresa de desenvolvimento de software intitulada Centro de Excelência em Desenvolvimento de Sistemas Remotos da Politec Global IT Services, situada em Goiânia, Goiás nos dias ainda a definir. No primeiro dia e no segundo dia pela manha, são aplicados dois questionários: um para identificar o perfil dos participantes e outro para avaliação pré-teste. Em seguida, deve ser ministrada a aula sobre melhoria de processos e o modelo de maturidade CMMI. No segundo dia, no período da tarde, deve ser aplicado o jogo 123SPI com o grupo experimental e o jogo “placebo” com o grupo de controle no mesmo horário. Ao termino da aplicação dos dois jogos, deve ser aplicado o questionário pós-teste com os dois grupos (experimental e de controle).
Instrumentos de Medição: Para se medir a efetividade de
186
aprendizagem com o uso do jogo são usados questionários envolvendo o pré-teste e o pós-teste. A avaliação da atratividade do jogo e se o mesmo facilita a aprendizagem em relação aos conceitos sobre os níveis 2 e 3 do modelo de maturidade CMMI é feita através de questionários.
Avaliação da Validade
Validades de Conclusão: Ameaça de Conclusão 1. Instrumentação
Para reduzir os efeitos dessa ameaça, uma mesma pessoa ficou responsável por coletar e analisar os dados, seguindo o padrão e procedimento previamente definido.
Validades Internas: Ameaça Interna 1. Interesse dos Participantes.
Para reduzir os efeitos dessa ameaça, foi elaborado o questionário de perfil a fim de identificar as possíveis situações de falta de interesse no assunto e o termo de concordância na participação do experimento, pelo qual o participante poderia concordar ou não nessa participação.
Ameaça Interna 2. Teste do Grupo de Controle.
Para reduzir os efeitos dessa ameaça, foi elaborada uma avaliação para o grupo de controle a fim de deixar os alunos/participantes ocupados durante a aplicação do jogo com o grupo do experimento.
Validades de Construção: Ameaça de Construção. Seleção dos Participantes.
Para reduzir os efeitos dessa ameaça, a seleção dos participantes foi realizada de forma aleatória através de sorteio entre os participantes do experimento.
Validades Externas: Ameaça Externa. Participação dos
Para reduzir os efeitos dessa ameaça, foi realizada
187
Selecionados. uma ampla divulgação do experimento e um acordo entre a empresa privada, universidade e a autora sobre a emissão de certificado de participação no treinamento.
III – Operação
Informações: Logo no início da aplicação do experimento, os participantes devem ser informados sobre como deve ser a dinâmica da realização do experimento e que todas as atividades comporão o estudo empírico sobre a avaliação do jogo. Deve ser aplicado o questionário de identificação do perfil dos participantes e assinado o termo de consentimento e em seguida ministrado o treinamento conceitual sobre o modelo de maturidade CMMI em seus níveis 2 e 3. Após o treinamento, deve ser aplicada a avaliação pré-teste. Ressaltando a importância de todos os participantes assinarem o Termo de Consentimento (Apêndice B) sobre a autorização na participação do experimento.
Materiais: Materiais: Materiais que são utilizados na operação do experimento: · Termo de Consentimento – Deve ser utilizado durante a contextualização do experimento aos alunos participantes. · Relação de participantes – Deve ser obtida após o preenchimento do termo de concordância dos alunos, sendo composta apenas por alunos que concordaram em participar do experimento. Deve ser utilizada para a seleção aleatória dos participantes. · Questionário de perfil do participante – Deve ser aplicado antes do início da aula, tem entre os seus objetivos identificar possíveis ameaças a validade do experimento. · Avaliação Pré-teste – Deve ser aplicado após o treinamento, sendo o objetivo avaliar o conhecimento do aluno no
188
conteúdo ministrado em sala de aula. · Avaliação Pós-teste – Deve ser aplicado após o uso do jogo, sendo o objetivo avaliar o conhecimento do aluno com o conteúdo abordado no jogo. O objetivo é comparar a nota obtida com a nota da avaliação pré-teste para avaliar a aprendizagem adquirida pelos alunos após a execução do jogo 123SPI. · Jogo 123SPI – Deve ser utilizado pelo grupo experimental após a realização da avaliação pré-teste. · Avaliação da aula – Deve ser aplicado após a avaliação pós-teste, o objetivo é avaliar a aula ministrada. · Avaliação do jogo – Deve ser aplicado após a execução do jogo aos alunos do grupo experimental. O objetivo é avaliar se os alunos consideraram o jogo proposto apropriado / atrativo.
Comprometimento: O comprometimento deve ser obtido entre os participantes e essa informação é obtida através do questionário do perfil. Além disso, deve ser enfatizada a importância da área de melhoria de processos de software para as empresas desenvolvedoras de software e como essa área tem crescido ao longo dos últimos anos no Brasil e no mundo.
Coleta dos Dados: Os dados do estudo são coletados através das respostas dos participantes na avaliação pré-teste, avaliação pós-teste e questionário de avaliação do Jogo 123SPI. Esses dados devem ser transferidos para uma planilha eletrônica para ser analisados para a conclusão do estudo.
Ambiente: Os ambientes para a realização do experimento são: sala de treinamento onde são aplicados os questionários de identificação de perfil, a avaliação pré-teste, o treinamento e avaliação pós-teste; para a aplicação do jogo com o grupo de controle é usado um laboratório com computadores conectados em rede para uso do jogo de gerenciamento de projetos considerado “placebo”.
Validade: O processo de validação do experimento é feito inicialmente com os participantes,
189
fornecendo uma explicação para todos os alunos e passando uma visão geral sobre qual a importância e o papel de cada um no experimento. O entendimento dos participantes é validado através de perguntas do questionário de avaliação da aula e do jogo 123SPI.
Conformidade: A autora da dissertação, pesquisadora, deve acompanhar todas as atividades de forma a garantir que o estudo é realizado em conformidade com o planejado.
IV – Análise e Interpretação
Parâmetros Populacionais: Justificativa [ X ] Não-Paramétrico O parâmetro populacional utilizado é o
não paramétrico, pois o objetivo do estudo é comparar a diferença entre os resultados do grupo experimental e os do grupo de controle.
Teste Utilizado: Justificativa: [ X ] Mann-Whiney O método utilizado é Mann-Whitney,
pelas seguintes razoes: o tipo de teste é estatístico; as amostras são independentes, ou seja, intergrupos; e, as amostras são obtidas a partir da mesma população.
Estatística Utilizada
Assim como no teste, na estatística os dados são calculados seguindo o método de Mann-Whitney.
Redução do Conjunto de Dados
Para a redução do conjunto de dados são elaborados gráficos de pontos com os dados coletados. A partir deles, são analisados eventuais pontos de dispersão que são eliminados. Caso ocorra eliminação de algum ponto de dispersão, tal informação é inserida nos registros do estudo. Teste de Hipóteses: Descrição H0 O efeito de aprendizagem nos níveis de
compreensão, aplicação e análise é o mesmo para os alunos que utilizaram o jogo ou não.
H1 O efeito de aprendizagem nos níveis de compreensão, aplicação e análise nos alunos que utilizaram o jogo são superiores aos dos alunos que não utilizaram o jogo.
190
191
APÊNDICE K – AVALIAÇÃO DO GRUPO DE CONTROLE
Nome: _______________________________________________________________ Disciplina: _____________________________________________________________ Instituição de Ensino: ___________________________________________________
01. Quantos níveis de maturidade são previstos na implantação do CMMI? a. 2 b. 3 c. 4 d. 5
02. Selecione qual o propósito do processo Monitoramento e Controle do Projeto previsto no nível 2 de maturidade? a. Estabelecer e manter a integridade dos produtos de trabalho, utilizando identificação de configuração, controle de configuração,
balanço de configuração e auditorias de configuração. b. Proporcionar um entendimento do progresso do projeto, de forma que ações corretivas apropriadas possam ser tomadas quando
o desempenho do projeto desviar significativamente do plano. c. Desenvolver e sustentar a capacidade de medições utilizada para dar suporte às necessidades de gerenciamento de informações. d. Produzir e analisar os requisitos de cliente, de produto e de componente de produto.
03. Selecione qual o propósito do processo Gestão de Acordo com Fornecedores previsto no nível 2 de maturidade? a. Estabelecer e manter a integridade dos produtos de trabalho, utilizando identificação de configuração, controle de configuração,
balanço de configuração e auditorias de configuração. b. Gerenciar a aquisição de produtos de fornecedores. c. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e fracos
atuais dos processos e dos ativos de processo da organização. d. Produzir e analisar os requisitos de cliente, de produto e de componente de produto.
04. O processo Gestão de Acordo com Fornecedores prevê 2 objetivos específicos, quais são? a. Acompanhar as Mudanças Solicitadas pelos Fornecedores; Estabelecer Acordos com Fornecedor. b. Gerenciar Mudanças de Plano de Projeto em Relação a Fornecedor; Satisfazer Acordos com Fornecedor. c. Estabelecer Acordos com Fornecedor; Satisfazer Acordos com Fornecedor. d. Monitorar o Fornecedor Relação ao Plano; Gerenciar Ações Corretivas do Fornecedor.
05. O processo Garantia da Qualidade prevê 2 objetivos específicos, quais são? a. Avaliar objetivamente os processos; Estabelecer Registros. b. Avaliar objetivamente processos e produtos de trabalho; Fornecer um entendimento objetivo. c. Comunicar os registros; Avaliar os objetivos. d. Avaliar os serviços; Comunicar as não-conformidades.
06. A área de processo Desenvolvimento de Requisitos do nível 3 de maturidade inclui três objetivos específicos, quais são? a. Desenvolver os Requisitos de Produto e Cliente, Gerenciar os Requisitos de Produto e Cliente e Analisar e Validar os
Requisitos de Cliente e Produto b. Desenvolver os Requisitos de Cliente, Gerenciar os Requisitos de Cliente e Medir os Requisitos de Cliente c. Desenvolver os Requisitos de Produto, Gerenciar os Requisitos de Produto e Analisar e Validar os Requisitos d. Desenvolver os Requisitos de Cliente, Desenvolver os Requisitos de Produto e Analisar e Validar os Requisitos
07. Os objetivos específicos da área de processos Solução Técnica são: a. Elaborar as Soluções Alternativas e os Critérios de Seleção; Elaborar o Design do Produto ou dos Componentes do Produto;
Reusar Análises. b. Selecionar as Soluções de Componentes de Produto; Elaborar o Design; Implementar o Design do Produto. c. Selecionar as Soluções; Implementar o Design; Elaborar a Documentação de Suporte ao Produto. d. Desenvolver a Solução Técnica; Comprar Análises; Implementar o Design.
08. Selecione qual o propósito do processo Integração de Produto previsto no nível 3 de maturidade?
a. Projetar, desenvolver e implementar soluções para requisitos. Soluções, design e implementações englobam produtos, componentes de produto e processos de ciclo de vida relacionados ao produto isoladamente ou a combinações de produtos quando apropriados.
b. Produzir e analisar os requisitos de cliente, de produto e de componente de produto. c. Montar o produto a partir de componentes do produto, garantir que o produto integrado execute as funções de forma apropriada
e entregar o produto. d. Demonstrar que um produto ou componente de produto atende ao seu uso pretendido quando colocado em seu ambiente alvo.
09. Os objetivos específicos da área de processos Integração do Produto são:
a. Preparar para a Integração de Produto; Revisar as descrições de todas as interfaces; Avaliar os componentes do Produto. b. Estabelecer o ambiente de integração do produto; Garantir a Compatibilidade das Interfaces. c. Determinar a Sequência da Integração; Gerenciar Interfaces; Montar os Componentes do Produto. d. Preparar para a Integração do Produto; Garantir a Compatibilidade das Interfaces; Montar os componentes do Produto e
Entregar o Produto.
192
10. Os objetivos específicos da área de processos Verificação são:
a. Estabelecer procedimentos e critérios de verificação; Analisar dados de revisão por pares; Analisar dados da verificação. b. Estabelecer o ambiente de verificação; Preparar para a revisão em pares; Realizar a verificação. c. Preparar para a Verificação; Realizar a Revisão por pares; Verificar os produtos de trabalho selecionados. d. Preparar para a Verificação do Produto; Garantir a Verificação do produto; Analisar os Resultados.
11. Os objetivos específicos da área de processos Validação são:
a. Estabelecer procedimentos e critérios de validação; Analisar dados de revisão por pares; Analisar dados da validação. b. Estabelecer o ambiente de validação; Preparar para a revisão em pares; Realizar a validação. c. Preparar para a Validação; Validar o Produto ou os Componentes de Produto. d. Preparar para a Validação do Produto; Garantir a Verificação do produto; Analisar os Resultados.
12. Qual o objetivo da área de processo Foco no Processo Organizacional são:
a. Estabelecer procedimentos e critérios de verificação. b. Estabelecer Modelos e Baselines de Desempenho. c. Estabelecer Ativos de Processo da Organização. d. Implementar Lições Aprendidas.
13. O objetivo específico da área de processo Definição do Processo Organizacional é:
a. Estabelecer procedimentos e critérios de verificação. b. Determinar as Oportunidades de Melhoria de Processo. c. Estabelecer Modelos e Baselines de Desempenho. d. Verificar os produtos de trabalho selecionados.
14. Selecione qual o propósito do processo Treinamento Organizacional previsto no nível 3 de maturidade?
a. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos e dos ativos de processo da organização.
b. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. c. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso. d. Desenvolver habilidades e o conhecimento das pessoas para que elas possam as desempenhar seus papéis de forma eficiente e
eficaz. 15. Os objetivos específicos da área de processo Treinamento Organizacional são:
a. Estabelecer procedimentos e critérios de treinamento. b. Determinar as Oportunidades de Melhoria de Processo; Implementar as Atividades de Treinamento. c. Estabelecer uma Capacidade de Treinamento Organizacional; Fornecer Treinamento Necessário. d. Fornecer Treinamento Necessário; Implementar Lições Aprendidas.
16. Selecione qual o propósito do processo Gestão Integrada de Projeto previsto no nível 3 de maturidade?
a. Estabelecer e gerenciar o projeto e o ambiente dos stackeholders relevantes de acordo com um processo integrado e definido que é adaptado a partir do conjunto de processos padrão da organização.
b. Planejar, implementar e implantar melhorias do processo organizacional com base na compreensão dos pontos fortes e pontos fracos atuais dos processos e dos ativos de processo da organização.
c. Assegurar que os produtos de trabalho selecionados atendem aos seus requisitos especificados. d. Estabelecer e manter um conjunto de ativos de processo da organização e padrões de ambiente de trabalho disponíveis para uso.
17. Os objetivos específicos da área de processo Gestão Integrada de Projeto são:
a. Estabelecer procedimentos e critérios de treinamento. b. Usar o Processo Definido do Projeto; Coordenar e Colaborar com os Stackeholders Relevantes. c. Estabelecer uma Capacidade de Treinamento Organizacional; Fornecer Treinamento Necessário. d. Fornecer Treinamento Necessário; Implementar Lições Aprendidas.
18. Os objetivos específicos da área de processo Gestão de Risco são: a. Preparar para a Gestão de Risco; Identificar e Analisar Riscos e Mitigar Riscos. b. Coordenar e Colaborar com os Stackeholders Relevantes sobre os riscos importantes; Identificar os Riscos e Priorizar os Riscos. c. Determinar Fontes dos Riscos e Identificar os Riscos. d. Elaborar Planos de Mitigação; Mitigar os Riscos e Priorizar os Riscos.
19. O objetivo específico da área de processo Análise de Decisão e Resolução:
a. Preparar para as Decisões. b. Avaliar Alternativas. c. Determinar Fontes dos Riscos e Alternativas. d. Elaborar Planos de Decisões.
20. Seu primeiro quebra-cabeças está relacionado com a melhor escolha de um método para determinar atributos de artefatos (work products) e tarefas que devem ser utilizadas para estimular requisitos. Lembre-se que métodos para determinar tamanho e complexidade de projetos devem ser baseados em modelos já validados ou em base histórica. Escola o método a partir das variáveis que o fundamenta:
a. Método A: abrangência de competências/disponibilidade de recursos humanos e técnicos b. Método B: número de riscos/abrangência de competências c. Método C: número de portas lógicas para integração/linhas de código ou pontos de função de software d. Método D: qualidade dos requisitos não-funcionais de software e hardware
193
APÊNDICE L – TESTES ESTATÍSTICOS
Os valores das classificações do grupo do experimento devem ser calculados sob a
identificação T1 e os respectivos valores do grupo de controle calculados sob a identificação T2. O
cálculo de T1 e T2 deve ser obtido através da soma das classificações do grupo do experimento
gerando o valor T1 e da soma das classificações do grupo de controle gerando o valor T2.
Calculados os valores de T1 e T2 deve ser selecionado o maior resultado. O valor da maior
classificação deve ser utilizado na variável Tx da fórmula do cálculo do valor de U. Os valores n1,
n2 e nx são obtidos da seguinte forma: (i) n1: número de participantes do grupo do experimento;
(ii) n2: número de participantes do grupo de controle; e, (iii) nx: número de participantes do grupo
com maior somatório de classificação. De posse dos valores dessas variáveis, deve ser realizado o
cálculo de U:
U = n1 * n2 + nx * (nx + 1) / 2 – Tx
O passo seguinte é utilizar a tabela de valores críticos de U para o teste de Mann-Whitney. A
Tabela 1 apresenta os valores críticos de U.
Tabela 29. Valores Críticos do Teste U
Fonte: Math.usask (2011, site).
194
Para que o resultado seja significativo, o valor de U obtido deve ser igual ou menor que o
valor crítico da Tabela 1.
Referências
MATH.USASK. Disponível em:<http://math.usask.ca/~laverty/S245/Tables/wmw.pdf> Acessado em: 22 de dezembro de 2011.