C.E.S.A.R – CENTRO DE ESTUDOS E SISTEMAS AVANÇADOS DO RECIFE
ÁLVARO FARIAS PINHEIRO
Uso do Balanced Scorecard na Avaliação de Fábricas de Software utilizadas como Instrumento de Ensino da Tecnologia da
Informação Baseado em Problemas Reais
RECIFE
2010
ii
ÁLVARO FARIAS PINHEIRO
Uso do Balanced Scorecard na Avaliação de Fábricas de Software utilizadas como Instrumento de Ensino de Tecnologia da Informação Baseado em
Problemas Reais
Dissertação apresentada ao programa de Mestrado em Engenharia de Software do Centro de Estudos e Sistemas Avançados do Recife – C.E.S.A.R, como requisito para a obtenção do título de Mestre em Engenharia de Software.
Orientação: Prof.(a). Ph.D. Simone Cristiane dos Santos
Co-orientação: Prof.(a). MSc. Ana Paula Carvalho Cavalcanti Furtado
RECIFE
2010
iii
C.E.S.A.R – CENTRO DE ESTUDOS E SISTEMAS AVANÇADOS DO RECIFE
Uso do Balanced Scorecard na Avaliação de Fábricas de Software utilizadas como Instrumento de Ensino de Tecnologia da Informação Baseado em
Problemas Reais
ÁLVARO FARIAS PINHEIRO
Dissertação apresentada ao programa de Mestrado em Engenharia de Software do Centro de Estudos e Sistemas Avançados do Recife - C.E.S.A.R., como requisito para a obtenção do título de Mestre em Engenharia de Software.
Data de aprovação:
_____ / _____ / 2010.
Banca examinadora:
________________________________________ Prof.(a). Ph.D. Patrícia Cabral de Azevedo Restelli Tedesco UFPE – Centro de Informática
________________________________________ Prof.(a). Ph.D. Simone Cristiane dos Santos C.E.S.A.R
________________________________________ Prof.(o). Ulisses Erico Medeiros Barbosa C.E.S.A.R
________________________________________ Prof.(a). MSc. Ana Paula Carvalho Cavalcanti Furtado C.E.S.A.R
v
Agradecimentos
Agradeço, em primeiro lugar, a Deus, que me possibilitou esta oportunidade
de aprimoramento espiritual, pessoal e profissional.
Aos meus pais, Alberto Nunes Pinheiro e Lucila de Oliveira Farias, por sua
constante presença, fornecendo ajuda e orientação para dignificar minha jornada.
Aos meus filhos, Gabriel Nepomuceno Pinheiro e Marília Nepomuceno
Pinheiro, que são para mim um eterno estímulo de vida – muito do que faço é
apenas para servir-lhes de exemplo.
À minha esposa, Aline Maria Pereira Antas, que permanece ao meu lado, me
apoiando e estimulando, para que eu nunca desista dos meus sonhos.
Agradeço aos professores, orientadores e coordenação que compõem o
Centro de Estudos e Sistemas Avançados do Recife. Em especial, a Simone
Cristiane dos Santos e a Ana Paula Carvalho Cavalcanti Furtado, que aceitaram me
orientar nesta dissertação. Sem elas, seria difícil obter mais esta conquista em
minha jornada.
Finalmente, agradeço ao amigo Isaque Ferreira de Oliveira, que ajudou na
concretização desta empreitada.
vii
SUMÁRIO
1 INTRODUÇÃO ............................................................................................. 1
1.1 MOTIVAÇÃO ................................................................................................ 2
1.2 PROBLEMA ................................................................................................. 7 1.2.1 OBJETIVO GERAL ...................................................................................... 8 1.2.2 OBJETIVOS ESPECÍFICOS ........................................................................ 8
1.3 JUSTIFICATIVA ........................................................................................... 9
1.4 CONTRIBUIÇÕES ....................................................................................... 9
1.5 ESTRUTURA DA DISSERTAÇÃO ............................................................... 9
2 ESTADO DA ARTE ................................................................................... 10
2.1 PROBLEM BASED LEARNING (PBL) ....................................................... 10
2.2 PROCESSOS AVALIATIVOS .................................................................... 14
2.3 BALANCED SCORECARD (BSC) ............................................................. 17
2.4 TRABALHOS RELACIONADOS ................................................................ 24 2.4.1 PBL NO CURSO COMPUTAÇÃO DA UNIVERSIDADE DE
DONGUA ................................................................................................... 24 2.4.2 PBL NO CURSO CIÊNCIAS APLICADAS DA UNIVERSIDADE DE
TURKU ....................................................................................................... 31 2.4.3 PBL NO MESTRADO PROFISSIONAL DO CESAR .................................. 35
2.4.4 COMPARAÇÃO ENTRE OS TRABALHOS DE PESQUISA CITADOS ................................................................................................... 40
2.4.5 AVALIAÇÕES DAS METODOLOGIAS PESQUISADAS ........................... 42 2.4.6 ANÁLISE SOBRE A EFETIVIDADE DO ENSINO ...................................... 48 2.4.7 CONCLUSÃO DOS TRABALHOS CORRELACIONADOS ........................ 50
2.5 CONCLUSÃO DO ESTADO DA ARTE ...................................................... 50
3 SOLUÇÃO PROPOSTA ............................................................................ 52
3.1 METODOLOGIA UTILIZADA ..................................................................... 52
3.2 INDICADORES PROPOSTOS ................................................................... 53 3.2.1 OBJETIVOS ............................................................................................... 53
3.2.2 METAS ....................................................................................................... 54 3.2.3 PLANO DE AÇÃO ...................................................................................... 55 3.2.4 MAPA ESTRATÉGICO .............................................................................. 56 3.2.5 DICIONÁRIO DE INDICADORES .............................................................. 59
4 ESTUDO DE CASO ................................................................................... 63
4.1 DESCRIÇÃO DO ESTUDO DE CASO ...................................................... 63
4.2 PROCESSO DE AVALIAÇÃO DAS FÁBRICAS DE SOFTWARE NO CESAR ................................................................................................ 64
viii
4.3 ANÁLISE DOS RESULTADOS .................................................................. 65
4.4 CONCLUSÃO DO ESTUDO DE CASO ..................................................... 69
5 CONSIDERAÇÕES FINAIS ....................................................................... 72
5.1 EVOLUÇÃO DO TRABALHO ..................................................................... 73
5.2 CONCLUSÃO ............................................................................................ 74
REFERÊNCIAS ......................................................................................................... 76
APÊNDICE A – ANÁLISE DAS ENTREGAS ........................................................... 81
APÊNDICE B - ANÁLISE DA SATISFAÇÃO ........................................................... 88
APÊNDICE C – PLANILHA DE VERIFICAÇÂO ....................................................... 92
APÊNDICE D – PLANILHA DE AVALIAÇÃO INDEPENDENTE ............................. 93
APÊNDICE E – STATUS REPORT .......................................................................... 94
ix
Resumo
Este trabalho está relacionado à identificação de indicadores baseando-se no
Balanced Scorecard de Kaplan e Norton (1996), uma metodologia de mercado que
foi adaptada para indicar se o processo de aprendizagem de um corpo discente está
atendendo as expectativas. Para essa dissertação, se mostra conveniente o uso de
uma metodologia real para criação de indicadores, já que se faz uso de uma
metodologia de aprendizagem que se propõe uso de problemas reais, o PBL.
Essas expectativas são a obtenção do conhecimento da Engenharia de
Software através de abordagens alternativas, como a Aprendizagem Baseada em
Problemas, conhecida em inglês como Problem Based Learning (PBL).
Para isso, foram usados como instrumentos fábricas de software e métodos
avaliativos modernos, que tornam mais efetivo o ensino das disciplinas relacionadas,
buscando fomentar nos estudantes a capacidade de resolver problemas reais,
dentro de um ambiente real, fazendo uso de indicadores reais.
O PBL foi usado para tentar se obter uma diminuição da curva de
aprendizagem e ao mesmo tempo torná-la mais duradoura. Para buscar a
comprovação disso, foram realizadas pesquisas sobre métodos de ensino
alternativos aplicados à Engenharia de Software, evidenciando os aspectos teóricos
e práticos desta. Também foi procurado um processo de avaliação que forneça
suporte às atividades educacionais, com o objetivo de promover uma melhor
aprendizagem, através das experiências vivenciadas na utilização do método
proposto.
x
Para fundamentar esse trabalho, foi realizada uma pesquisa ex-post facto
(investigação sistemática e empírica) diretamente no ensino da Engenharia de
Software do Mestrado Profissional do Centro de Estudos e Sistemas Avançados do
Recife.
Os resultados dessa pesquisa mostraram que o uso do instrumento de
fábricas associado à metodologia de ensino alternativa baseada em problemas reais
(PBL) é relevante para aprendizagem da Engenharia de Software.
Palavras-chave
Balanced Scorecard. Avaliação. Aprendizagem Baseada em Problemas.
Engenharia de Software.
xi
Abstract
This work is related to the identification of indicators based on the Balanced
Scorecard of Kaplan and Norton (1996), a market approach that has been adapted to
indicate whether the learning process of a faculty is meeting expectations. Since the
actual use of a methodology for creating indicators should be in a different learning
methodology that proposes to use for real problems in the PBL.
These expectations are the way to obtain knowledge of the Software
Engineering by alternative approaches such as Problem Based Learning (PBL).
For execution this, they were used as tools like, software factories, and
modern evaluation methods, which make more effective the teaching of related
disciplines, seeking to foster in students the ability to solve real problems within a real
environment, using real indicators.
The PBL was used to try to obtain a reduced learning curve and at the same
time makes it more durable. To seek evidence were held in research on alternative
teaching methods applied to Software Engineering, highlighting the theoretical and
practical aspects of this. Was also sought an evaluation process that provides
support to educational activities, aiming to promote better learning through
experiences in the use of the method.
In support of this work, a survey was conducted ex-post facto (systematic
research and empirical) directly in teaching Software Engineering Professional
Master of the Recife Center for Advanced Studies and Systems.
xii
These survey results showed that the use of the instrument of plants
associated with alternative teaching methodology based on real problems (PBL) is
relevant to learning Software Engineering.
Key-words
Balanced Scorecard. Assessment. Problem Based Learning. Software
Engineering.
xiii
Lista de ilustrações
Figura 1.1: Tema ......................................................................................................... 2
Figura 2.1: Perspectivas do BSC .............................................................................. 19
Figura 2.2: Mapa Estratégico .................................................................................... 21
Figura 3.1: Mapa Estratégico .................................................................................... 57
Figura 4.1: Análise da Eficiência ............................................................................... 66
Figura 4.2: Análise da Eficácia .................................................................................. 67
Figura 4.3: Análise da Motivação e Comprometimento ............................................. 68
xiv
Lista de quadros
Quadro 2.1: Percentual para Avaliações da Metodologia de Yin .............................. 29
Quadro 2.2: Comparativo entre os Trabalhos Pesquisados ...................................... 41
Quadro 3.1: Dicionário de Indicadores ...................................................................... 60
Quadro 4.1: Análise da Eficiência ............................................................................. 66
Quadro 4.2: Análise da Eficácia ................................................................................ 67
Quadro 4.3: Análise da Motivação e Comprometimento ........................................... 68
Quadro 4.4: Resultado da Eficiência ......................................................................... 69
Quadro 4.5: Resultado da Eficácia ............................................................................ 70
Quadro 4.6: Resultado da Motivação e Comprometimento ....................................... 70
Quadro A.1: Legendas .............................................................................................. 81
Quadro A.2: Entrega dos Artefatos da Fábrica de Software-1 .................................. 81
Quadro A.3: Entrega dos Artefatos da Fábrica de Software-2 .................................. 82
Quadro A.4: Entrega dos Artefatos da Fábrica de Software-3 .................................. 83
Quadro A.5: Entrega dos Artefatos da Fábrica de Software-4 .................................. 84
Quadro A.6: Entrega dos Artefatos da Fábrica de Software-5 .................................. 85
Quadro A.7: Entrega dos Artefatos da Fábrica de Software-6 .................................. 86
Quadro A.8: Entrega dos Artefatos da Fábrica de Software-7 .................................. 87
Quadro B.1: Satisfação do Cliente com Fábrica de Software-1 ................................ 88
Quadro B.2: Satisfação do Cliente com Fábrica de Software-2 ................................ 88
Quadro B.3: Satisfação do Cliente com Fábrica de Software-3 ................................ 89
Quadro B.4: Satisfação do Cliente com Fábrica de Software-4 ................................ 89
Quadro B.5: Satisfação do Cliente com Fábrica de Software-5 ................................ 90
Quadro B.6: Satisfação do Cliente com Fábrica de Software-6 ................................ 90
Quadro B.7: Satisfação do Cliente com Fábrica de Software-7 ................................ 91
xv
Abreviaturas
Sigla Significado
BSC Balanced Scorecard
CESAR Centro de Estudos e Sistemas Avançados do Recife
CMMI Capability Maturity Model Integration
EAD Ensino a Distância
ESW Engenharia de Software
FSW Fábrica de Software
IDC International Data Corporation
MPES Mestrado Profissional em Engenharia de Software
PBL Problem Based Learning
SEI Software Engineering Institute
SWEBOK Software Engineering Body of Knowledge
TIC Tecnologia da Informação e Comunicação
UEFS Universidade Estadual de Feira de Santana
1
1 INTRODUÇÃO
O trabalho dissertativo foca na obtenção de indicadores baseados no Balanced
Scorecard (BSC) de Kaplan e Norton (1996), uma metodologia aplicada no mercado
de trabalho para o acompanhamento das organizações no cumprimento de suas
metas. A proposta de uso dessa metodologia se faz porque, na constante evolução
da Tecnologia da Informação e Comunicação (TIC), um número cada vez maior de
metodologias, processos, técnicas e ferramentas vêm sendo criados. Além dessa
diversidade tecnológica, existe o fato de que, periodicamente, novos profissionais
são incorporados a esse mercado. Para confirmar esta afirmação, o IDC (2009)
coloca que o setor de serviços, em especial o de TIC, possui um grande potencial –
tanto na área de produção de software quanto na de consultoria. De fato, além das
800 mil vagas de trabalho existentes no ano de 2007, outras 200 mil vagas serão
criadas até o ano de 2010. Esses dados nos informam que o setor de TIC cresce a
cada ano, e que cada vez mais novos profissionais são incorporados a esse
segmento.
Assim sendo, esses profissionais necessitam obter o conhecimento dessas
novas tecnologias, em um intervalo de tempo cada vez menor, para que possam ser
absorvidos pelo mercado que busca produzir software com qualidade, para atender
a demanda que aumenta a cada ano.
Para que essa demanda crescente por profissionais qualificados, que tenham
que adquirir conhecimentos novos em intervalos de tempo cada vez menor, se faz
necessidade do uso de abordagens alternativas que possibilitem a obtenção do
conhecimento buscado.
Assim, a fundamentação deste trabalho busca alguns métodos atualmente
usados no ensino da Engenharia de Software, que fazem uso de novos formatos
avaliativos ou de novas metodologias de aprendizagem: a que faz uso de aplicação
de problemas reais no processo de aprendizagem é um bom exemplo. Desta forma,
o uso dos indicadores serviu para verificar se essas novas abordagens realmente
melhoraram a assimilação do conhecimento necessário que deveria ser adquirido,
2
para que o mercado de trabalho pudesse absorver estes profissionais em menor
tempo.
Figura 1.1: Tema Uso do BSC para
avaliar
FSW como
instrumento de ensino da
ESW na
abordagem alternativa
PBL
1.1 MOTIVAÇÃO
As organizações de tecnologia serão cada vez mais solicitadas por um mercado
cada vez mais competitivo. Para permanecer nele, elas terão que se atualizar com
as novas tendências, que visam fornecer mais qualidade aos produtos oferecidos.
A motivação desta dissertação consiste em analisar as características e
princípios reais de metodologias que buscam a efetividade do ensino da Engenharia
de Software (ESW), já que um dos prováveis problemas decorrentes da evolução da
área de Tecnologia da Informação e Comunicação (TIC) é tornar efetivo o ensino da
disciplina de Engenharia de Software aos que entram na área, e também àqueles
que já se encontram inseridos nela e que precisam de atualização.
Na evolução do processo de ensino, se vem buscando formas alternativas
que permitam que alunos possam assimilar o conhecimento passado pelos
professores e um deles é o uso da Aprendizagem Baseada em Problemas (no
inglês, Problem Based Learning - PBL), que está sendo utilizado na qualificação de
profissionais em Engenharia de Software, conforme os autores Santos et al (2008).
Devido às mudanças constantes na área de TIC, são constantes os desafios
para o aprendizado dessas transformações – e, devido a essas características, os
profissionais dessa área são exigidos ao máximo na sua constante atualização. Por
isso, existe a necessidade de uma metodologia pedagógica alternativa para
3
melhorar a aprendizagem. O PBL é uma metodologia que se apresentou como uma
alternativa para se trabalhar ativamente com essas particularidades, além de outras
inerentes à área, como a multidisciplinaridade.
Três formas de implementação da abordagem de ensino PBL pesquisado
nesse trabalho são, a utilização de fábricas de software, que de acordo com a
pesquisadora Santos et al, (2008), os estudantes podem trabalhar para resolver
problemas reais. A outra abordagem foi proposta pela Universidade de Turku e
implantada na área de Ciências Aplicadas, no curso de Tecnologia de Informação.
Nela, os estudantes são imersos nos estudos da Engenharia de Software através de
práticas relacionadas às suas várias disciplinas, como gerenciamento de projetos e
desenvolvimento de software – evidenciando que a Engenharia de Software não é
apenas o ato de programar, mas um conjunto de atividades que, interligadas,
servem para imprimir qualidade à tarefa de construção de um software. A última
forma pesquisada foi a abordagem utilizada pela Universidade de Dongua em
Shangai no curso de Ciência da Computação, onde os alunos são distribuídos em
times para desenvolver um projeto, que orientados e acompanhados pelos
professores são motivados a resolverem os problemas passados. Nesses casos
estudados, é verificado o uso de uma abordagem de ensino que integra teoria e
prática, avaliando constantemente os resultados gerados pelos alunos.
Assim, nessa busca para tornar o ensino mais rápido e duradouro, o PBL vem
se mostrando eficaz. Na pesquisa da efetividade do ensino onde se estuda o
processo cognitivo, Peterson (1997) nos mostra que conhecimentos sobre PBL vêm
sendo enriquecidos com estudos da aprendizagem de adultos e da fisiologia da
memória – ressaltando-se a importância da experiência prévia, bem como da
participação ativa do corpo discente, como pontos fundamentais para a motivação e
a aquisição de novos conhecimentos. O autor leva em consideração a experiência
no processo de aquisição do conhecimento, bem como outros fatores que são
inerentes ao individuo no seu processo de assimilação de informações.
Pesquisadores como Peterson (1997) ressaltam ainda outros critérios que
promovem a eficiência do uso do PBL como método, em prol da efetividade do
4
ensino que tem a característica de aprender a aprender – o que, segundo Piaget
(1985), é um fator relevante no processo de aquisição de conhecimentos.
Outras características são trabalhar em equipe, ouvir outras opiniões, e
induzir o alunato a assumir um papel ativo e responsável pelo seu aprendizado,
conscientizando o aprendiz do que ele sabe e do que ele precisa aprender, bem
como motivando-o a buscar informações relevantes para que possa efetivamente
fazer uso do conhecimento que está sendo adquirido.
O papel do aprendiz, segundo Ribeiro (2005), é o de participar ativamente da
discussão, contribuindo com seu conhecimento e experiências prévias, adquirindo
novos conhecimentos e justificando-os com as referências bibliográficas estudadas.
O aprendiz também deve ajudar o grupo a solucionar o problema,
identificando material de aprendizagem relevante, como artigos, livros e outros. Em
síntese, os alunos devem construir em conjunto, buscando uma solução do
problema, que deve ser entregue ao professor. Por isso, o autor enfatiza:
[...] este método também pretende apoiar os estudantes na aquisição
de uma base de conhecimento estruturada em torno de problemas
da vida real e no desenvolvimento de competências e atitudes,
incluindo trabalho em equipe e habilidades de auto-aprendizado,
cooperação, ética e respeito aos pontos de vista de outras pessoas.
Ribeiro (2005)
Conforme Santos et al (2008), a metodologia PBL tem sido cada vez mais
utilizada em diversas áreas, a exemplo da Engenharia de Software, e em diferentes
níveis educacionais. A autora ressalta que PBL é a forma de usar um problema para
ensinar. Nos princípios educacionais, essa abordagem segue a metodologia
construtivista. É uma forma de estimular a aprendizagem utilizando problemas reais
para o ensino da disciplina de Engenharia de Software. Dessa forma, para Santos et
al (2008), a inserção dos aprendizes em uma Fábrica de Software pode facilitar a
vivência prática e a absorção de novas tecnologias.
Também é percebido que o ensino da disciplina de Engenharia de Software,
devido à sua ampla gama de conceitos, necessita de uma de uma abordagem
5
alternativa para o seu aprendizado. O PBL é uma proposta que vem se mostrando
apropriada para tal, pois atende a necessidade de inserção de alunos em um
ambiente real.
Para que se possa verificar a influência do PBL, devem-se analisar os
instrumentos que podem ser utilizados para sua medição. É necessário saber se a
abordagem baseada em problemas reais é apropriada, através da utilização de
instrumentos de avaliação adequados – isto é, avaliações também reais, que
possam medir seus resultados. Também é necessário saber como validar os
processos – ou seja, as ações que devem ser tomadas para realizar a avaliação do
corpo discente – além dos papéis que devem existir nesses processos, para avaliar
a efetividade do ensino fazendo uso dessas novas metodologias. Uma forma que
vem sendo utilizada com esse objetivo compreende sistemas de avaliação que se
baseiam nos resultados das atividades executadas pelos estudantes, colhidos
através de relatórios, exames escritos e orais, e posteriormente realimentados pelos
professores. Tais sistemas já estão sendo utilizados nos dias atuais segundo Tuohi
(2007).
Conforme Yin (2006), outro método contemporâneo para acompanhar a
efetividade do ensino é baseado no envolvimento maior dos professores, que
contribuem para o processo através de avaliações formativas e somativas.
Essas formas de avaliação vêm se mostrando mais eficientes que as
tradicionais, pois são centradas no aprendiz e no conhecimento, segundo os
pesquisadores Stufflebeam e Shinkfield (2007). Os autores também colocam que as
avaliações devem proporcionar oportunidades para o feedback, que é um
instrumento precioso no processo avaliativo, no sentido de verificar o que foi e não
foi absorvido. Já para Fernandes (2006), é importante distinguir entre os dois
principais usos da avaliação: o primeiro envolve o emprego de avaliações que são
aplicadas, em geral, no contexto de uma sala de aula, como fontes de feedback para
a melhoria do ensino e da aprendizagem (avaliações formativas); o segundo é a
avaliação que mede o que os estudantes aprenderam no final de certo conjunto de
atividades de aprendizagem, (avaliações somativas).
6
São exemplos de avaliações formativas os comentários de professores sobre
os trabalhos executados pelos alunos, como também a preparação para
apresentações ou rascunhos de alunos. São exemplos de avaliações somativas os
testes elaborados pelos professores que são aplicados na conclusão de uma fase do
estudo.
Segundo Fernandes (2006), a ferramenta de feedback ainda não é
amplamente utilizada, pois em sua maior parte é constituída por notas de testes ou
exames escritos que representam avaliações somativas, cuja finalidade é mensurar
os resultados da aprendizagem. Os alunos, depois da recepção das notas,
normalmente passam para uma nova fase da aprendizagem, com o intuito de
receber outro conjunto de notas. Essa prática desvaloriza a ferramenta de feedback
na avaliação dos resultados obtidos, pois, segundo o autor, a ferramenta passa a ter
mais valor quando os alunos têm a oportunidade de usá-la para rever seu raciocínio,
enquanto trabalhavam em uma determinada fase do estudo.
A inclusão de novas oportunidades para a avaliação formativa promove a
aprendizagem, e os alunos passam a dar mais valor às oportunidades de revisão.
Com a oportunidade de trabalhos em grupo, a qualidade do feedback aumenta de
acordo com Loch (2000). As novas tecnologias surgem em prol dessa abordagem,
criando novas oportunidades para aumentar o feedback e permitindo que alunos,
professores e especialistas interajam de uma forma melhor, segundo Stufflebeam e
Shinkfield (2007).
Outro aspecto analisado por Morales (2008) é que a avaliação somativa, que
deve ocorrer no final de uma fase de avaliação, possibilita, tanto para o aluno quanto
para o professor, a geração de dados que tornam viável a verificação do valor do
que foi aprendido. O autor também coloca que os dois tipos de avaliação são
complementares, e sua articulação colabora para uma visão ampla do objeto
avaliado. O teórico, com essa proposição, visa superar os possíveis problemas, bem
como aumentar a objetividade do processo avaliativo. Dessa forma, pretende
resgatar a objetividade dos processos avaliativos – a ponto de defender avaliação
comparativa, para produzir um maior numero de dados que torne possível uma
7
melhor tomada de decisão em relação ao aprendizado – o bem de maior valor a ser
obtido.
Outro tipo de avaliação é a proposta por Stufflebeam e Shinkfield (2007), com
a avaliação orientada para o aperfeiçoamento, que é baseada na resposta a
problemas. Esse tipo de avaliação refere-se ao julgamento sobre as definições,
observando se são vagas e equivocadas em suas pressuposições, ou inadequadas
nas suas orientações metodológicas. Dessa forma, a tomada de decisão passa a
dizer a respeito à clareza das transformações que se pretende alcançar, bem como
às decisões que sejam pertinentes a tais mudanças esperadas; e os valores passam
a questionar sua própria adequação como referências para o processo de tomada
de decisão.
Outra forma de avaliar encontra-se no trabalho de Santos et al (2008), que faz
uso de instrumentos de mercado, baseados em CMMI, na tentativa de obter
resultados reais, através de avaliações de problemas verdadeiros.
Entendida a motivação deste trabalho, segue o problema que gera a sua
existência, descrito na seção seguinte.
1.2 PROBLEMA
É desejado pelo mercado que os produtos de software desenvolvidos tenham cada
vez mais qualidade. Para isso, se faz necessário a formação em um curto espaço de
tempo de mão de obra especializada, que conheça e faça uso de metodologias
aceitas para comunidade de TIC.
Mas, são muitas as disciplinas que envolvem o aprendizado da Engenharia de
Software (ESW), e pesquisadores como Yin (2006), Tuohi (2007) e Santos et al
(2008) em suas pesquisas verificaram que o ensino tradicional não oferece o suporte
desejado para a efetividade da aprendizagem.
Assim, o que se deseja com esse trabalho, é verificar se o uso de uma
abordagem alternativa para o ensino da ESW aumentaria a efetividade desejada no
aprendizado de novas metodologias na área de Tecnologia da Informação e
Comunicação com ênfase na Engenharia de Software.
8
Nesse trabalho a abordagem pesquisada é a aprendizagem baseado em
problemas, mais conhecida como Problem Based Learning (PBL), que tem o objetivo
de fazer com que os alunos sejam inseridos em um processo real de solução de
problemas, e assim obtenham o aprendizado desejado em um intervalo de tempo
menor.
Para verificar se a efetividade da aprendizagem foi alcançada, pretende-se
usar métodos de avaliação baseados nos processos atualmente utilizados pelo
mercado. Com o objetivo de promover indicadores reais, com o intuito de obter
feedback do que está se assimilando em um curto intervalo de tempo, verificando se
a efetividade foi alcançada.
1.2.1 OBJETIVO GERAL
Verificar, através de indicadores elaborados com o uso do Balanced Scorecard, a
evolução de um corpo discente que objetiva o aprendizado de novos conhecimentos
da Engenharia de Software, através da inserção dos mesmos, em uma nova
abordagem metodológica de aprendizagem, baseada em problemas reais, fazendo
uso de fábricas de software como instrumentos de ensino.
1.2.2 OBJETIVOS ESPECÍFICOS
• Entender e analisar as questões do processo de ensino e aprendizagem
baseada em problemas Problem Based Learning (PBL), no âmbito da
Educação;
• Verificar o uso de Fábrica de Software como um instrumento de ensino,
analisando se é um recurso eficaz para a metodologia PBL no aprendizado da
Engenharia de Software;
• Utilizar o Balanced Scorecard na criação de indicadores que possam ser
usados para verificar a evolução dos alunos no aprendizado da Engenharia
de Software, inseridos no contexto de aprendizagem baseada em problemas;
e
• Realizar uma pesquisa aplicada utilizando os indicadores propostos para
analisar se essa abordagem produz o resultado esperado.
9
1.3 JUSTIFICATIVA
Existe uma necessidade de verificar se o uso de uma abordagem alternativa
utilizada para transmitir os conhecimentos da Engenharia de Software (ESW) trás
resultados satisfatórios. Assim, se faz a necessidade de se acompanhar o
andamento desse processo de ensino, que integra teoria e prática. E uma forma
proposta para isso é validar esta aprendizagem através de indicadores elaborados
com a metodologia Balanced Scorecard.
1.4 CONTRIBUIÇÕES
• Propor indicadores utilizados para avaliar a evolução de um corpo discente
inserido nas fábricas de software, baseando-se no Balanced Scorecard;
• Aplicar os indicadores propostos na realização das atividades; e
• Justificar o uso de fábricas de software no processo de ensino da Engenharia
de Software, fazendo uso de problemas reais para melhor transmitir os
conhecimentos dessa disciplina.
1.5 ESTRUTURA DA DISSERTAÇÃO
Esta dissertação está organizada em cinco capítulos.
O primeiro descreve a introdução, discute o problema, as suas implicações e os
objetivos gerais e específicos.
O segundo apresenta o Estado da Arte, relatando trabalhos correlacionados ao
ensino da Engenharia de Software. Descreve, para isso, a fundamentação teórica
sobre aprendizagem baseada em problemas, processos e métodos de avaliação e
Balanced Scorecard.
A proposta de uma solução é relatada no terceiro capítulo.
No quarto, é apresentado um estudo de caso.
Finalmente, no quinto capítulo apresentam-se a contribuição esperada e a
conclusão.
10
2 ESTADO DA ARTE
Este capítulo apresenta a fundamentação teórica sobre PBL, processos avaliativos e
BSC. Finalizando com os trabalhos correlacionados ao tema.
Para o melhor entendimento da pesquisa, nesta seção será fundamentado
sobre o Problem Based Learning (PBL) como metodologia alternativa no ensino, em
acréscimo será fundamentado os processos avaliativos que são utilizados
atualmente. Também será fundamentada uma das metodologias adotadas
atualmente pelas organizações, para acompanhamento e monitoramento das ações,
que é o Balanced Scorecard (BSC), justificando o seu uso para obtenção dos
indicadores.
2.1 PROBLEM BASED LEARNING (PBL)
O Problem Based Laerning, segundo Ribeiro (2005), é uma metodologia que foi
inicialmente usada na área médica, com a proposta de ensinar aos alunos do curso
de medicina suas teorias e técnicas, fazendo uso de problemas reais. Essa
metodologia vem sendo cada vez mais empregada, em diversas áreas, pois vem se
mostrando eficiente na arte de transmitir conhecimentos fazendo uso da experiência
do aprendiz.
A aprendizagem baseada em problemas se caracteriza em aprender a
aprender, o que, segundo Piaget (1975), é fator relevante no processo de aquisição
de conhecimentos. Outras características do PBL são: trabalhar em equipe, ouvir
outras opiniões e induzir o aluno a assumir um papel ativo e responsável pelo seu
aprendizado. O aprendiz é conscientizado do que ele sabe e do que precisa
aprender, e sente-se motivado a buscar informações relevantes, para que possa,
efetivamente, fazer uso do conhecimento que está sendo adquirido.
Já o papel do aprendiz, para Ribeiro (2005), é o de participar ativamente da
discussão, contribuindo com seu conhecimento e experiências prévias, adquirindo
novos conhecimentos e justificando-os com as referências bibliográficas estudadas.
O aprendiz também deve ajudar o grupo a solucionar o problema, identificando
material de aprendizagem relevante, como livros, artigos e outros. Em síntese, os
11
alunos devem construir em conjunto, buscando uma solução do problema, que deve
ser entregue ao professor. Por isso, o autor enfatiza:
[...] este método também pretende apoiar os estudantes na
aquisição de uma base de conhecimento estruturada em torno de
problemas da vida real, e no desenvolvimento de competências e atitudes,
incluindo trabalho em equipe e habilidades de auto aprendizado,
cooperação, ética e respeito aos pontos de vista de outras pessoas.
Ribeiro (2005) pg.359.
Conforme Santos et al (2008), a metodologia Problem Basead Learning vem
sendo cada vez mais utilizada e percebe-se o seu uso nas áreas de medicina,
odontologia e nas engenharias, a exemplo da Engenharia de Software. Santos et al
(2008) ressalta que PBL é fazer uso de um problema para ensinar. Nos princípios
educacionais, essa abordagem segue a metodologia construtivista.
Uma forma de estimular a aprendizagem utilizando problemas reais para
ensino da disciplina de Engenharia de Software é, para Santos et al (2008), a
inserção dos aprendizes em uma Fábrica de Software, para, assim, facilitar a
vivência e também a absorção de novas tecnologias. O capital humano envolvido
nesse processo, segundo a autora, é organizado em quatro grupos: O time, que é
responsável pela definição do negócio da Fábrica de Software e desenvolvimento de
software; Os professores, que são responsáveis por ministrar as aulas, executando o
papel de consultores especialistas em áreas de sua disciplina, e de facilitadores no
processo de aprendizado; os monitores, que se responsabilizam pelo
acompanhamento quanto ao atendimento dos objetivos a que se comprometeram,
sob os pontos de vista de processos e produtos; e os clientes, responsáveis pela
demanda técnica, validação de requisitos e dos resultados acordados com as
fábricas de software.
Nesse contexto, a Fábrica de Software tem a finalidade de propiciar um
ambiente de educação, fazendo uso da metodologia de aprendizagem baseada em
problemas. Porém, como as organizações de ensino possuem a preocupação da
criação de um aparato educacional, como ementas, cronograma, proposta de ensino
e outros, uma Fábrica de Software real que se proponha a fazer uso do PBL deve
também se preocupar com os aspectos do processo de aprendizagem. Como
12
exemplo, podemos citar a elaboração de um projeto de aprendizagem de uma
tecnologia alternativa que se pretende implantar na fábrica de software. Nesse caso,
deverão ser criados elementos que possam se avaliados durante a execução do
processo.
Na elaboração desse projeto de aprendizagem baseada em problemas com o
uso de fábrica de software, o que se deseja transmitir deve ser apoiado por uma
elaboração de uma grade curricular que permita incorporar prática a teoria. Dessa
forma, as disciplinas passam a ser a base conceitual da metodologia PBL,
subsidiando o time (equipe), professores (facilitadores), monitores (coordenadores) e
clientes (colaboradores) nos conhecimentos necessários para a resolução dos
problemas.
O uso das disciplinas permitirá que, durante a vivência da fábrica de software,
possa-se dividir a carga horária em horas para aulas conceituais, horas para práticas
guiadas e horas para avaliação. As horas de prática devem ser utilizadas para
atividades que ajudem os aprendizes a aplicar a teoria repassada, baseando-se nos
projetos da fábrica de software. Essas tarefas serão apoiadas por profissionais
(facilitadores), que irão atuar como consultores especialistas nessas atividades.
Para Santos et al (2008), esses projetos precisam de um cliente real
envolvido, pois ele motiva os aprendizes a se envolverem no projeto. A necessidade
de um cliente real pode ser percebida na frase “é importante ressaltar que, se o
estudante se engaja em uma autêntica resolução de problemas, então segundo
Santos et al (2008) ele é o dono do problema”. Ainda de acordo com a autora, os
aprendizes percebem o problema como real quando existe relevância pessoal para
cada indivíduo envolvido.
É nesse contexto que se encaixa o PBL em uma fábrica de software: existe a
possibilidade de utilização de uma necessidade real de um cliente, fazendo uso de
uma metodologia alternativa. Para isso, aproveita-se a necessidade dos novos
profissionais em se atualizar, bem como a experiência dos profissionais veteranos,
que também precisam se reciclar. Para Colaborar com o que foi dito, temos as
palavras de Greeenfield (2004), consultor da Microsoft, que nos diz que:
13
[...] os métodos e práticas de desenvolvimento de software terão
que mudar radicalmente [...] A solução deve envolver a modificação dos
nossos métodos e práticas. Devemos encontrar formas de tornar os
desenvolvedores muito mais produtivos [...]
E para confirmar que uma Fábrica de Software é interessante para imersão
dos aprendizes no processo de aprendizagem, vemos que cada vez mais
organizações que fazem uso da Engenharia de Software estão se estruturando
como fábricas de software. Elas podem fazer uso de conceitos herdados da
indústria, como os de Linhas de Produção de Software. De acordo com Caprio
(2009), um componente pode ser montado, configurado e empacotado. Resultando
em um produto final completo. Assim, utiliza-se o processo de construção e aplicam-
se metodologias que, mesmo ainda pouco usadas, mostram-se uma tendência
nessa área.
É percebido, então, que o ensino da disciplina de Engenharia de Software,
devido à sua ampla gama de conceitos, necessita de uma nova abordagem. A
aprendizagem baseada em problemas é uma proposta que vem se mostrando
apropriada para tal, pois atende à necessidade de inserção dos alunos em um
ambiente real. Com o uso da metodologia, é possível que a curva de aprendizagem
seja menor. Afinal, as novas tecnologias evoluem muito rapidamente, gerando uma
enorme demanda de profissionais que precisam de reciclagem e adaptação. Para
isso, eles necessitam de treinamento e capacitação em intervalos de tempo cada
vez menor. Assim, as organizações que fazem uso de Tecnologia da Informação e
Comunicação, mais que quaisquer outras, devem estar atualizadas, para que
possam realizar suas atividades de forma mais eficiente, eficaz e efetiva.
Assim, os profissionais que desejam adquirir ou se reciclar se tornam
aprendizes que buscam essa atualização. O primeiro é o novo aprendiz, isto é,
aqueles profissionais recém-saídos das instituições de ensino, com pouca prática
nas novas tecnologias. O segundo é composto pelos profissionais que já atuam na
profissão, mas precisam se atualizar. São caracterizados pela necessidade de um
aprendizado de aplicação imediata – e é nesse ponto que surge o PBL como
metodologia de ensino que faz uso de processos avaliativos alternativos para
monitorar a evolução.
14
Para melhor entender tais processos avaliativos, segue a fundamentação
sobre eles.
2.2 PROCESSOS AVALIATIVOS
A avaliação é um processo que faz parte do cotidiano dos indivíduos, mesmo
quando não existem instrumentos formais que a evidenciem. Normalmente, o ser
humano atribui valores a tudo com que interage.
No ambiente educacional, para Abramowicz (1996), a palavra avaliação é
associada a um processo de classificação, ou de julgamento, ou ainda de
regulamentação. Para esse autor, ela é utilizada como um instrumento de poder, que
aprova ou reprova. Ele explica que “o estudo de avaliação da aprendizagem
constitui-se no ramo mais antigo da área de medida do rendimento, e teve início em
1901, com Robert Thorndike, nos Estados Unidos, enfatizando a medida das
mudanças comportamentais”. Nesse caso, o rendimento é entendido como avaliação
escolar.
Nessa abordagem, o autor nos diz que, durante um longo período, o foco da
medição estava na evolução da quantidade de informações que o aluno possuía.
Para isso, eram utilizados testes padronizados, elaborados de acordo com objetivos
pré-definidos. Mas, quando os alunos passaram a não mais ser vistos como simples
depositários de informações, segundo Freire (1996), essa forma de avaliação
começou a ser revista, passando a considerar questões como opiniões, atitudes e
expectativas.
Essa inovação – a inserção de novos elementos avaliativos – foi considerada
um pioneirismo na forma de fazer avaliação educacional, segundo Abramowicz
(1996), desde que passou a considerar questões como avaliação da aprendizagem,
com ênfase na elaboração do currículo apenas como um instrumento para
regularização do conhecimento.
Porém, anos antes, os pesquisadores Popham (2008) propuseram a idéia de
que “quando se avalia, faz-se sempre algum tipo de apreciação. Faz-se uma
estimativa ou um julgamento de valor de algum fenômeno, e, na avaliação
15
educacional, estamos interessados em fazer apreciações acerca do mérito dos
empreendimentos educacionais”. Assim, as avaliações passaram a medir também
os processos de ensino. Nesse contexto, o pesquisador Bloom (1996), entre os anos
de 69 e 70, propôs uma linha que definia a avaliação como critério de atribuição de
notas e classificação. Sob a supervisão desse autor, uma pesquisa foi realizada na
Universidade de Chicago, onde as atividades de aprendizagem foram ordenadas e
aplicadas para verificar o progresso de um grupo de alunos. Assim, era possível
acompanhar a aprendizagem e auxiliar sua motivação. Com esse trabalho o
pesquisador e seus colaboradores passaram a defender dois tipos de avaliações: a
formativa e a somativa. A primeira se realiza ao longo do processo, e a segunda é
realizada no término do mesmo, para verificação dos resultados.
Quanto à avaliação formativa, é notório que, na década de 80, Freire (1987)
nos traz a Educação Libertadora – isto é, a Educação que foca no processo
formativo. Nessa abordagem, a avaliação deve ser feita para questionar se os
ensinamentos passados foram transformadores do conhecimento e se ajustam à
realidade vivida. Assim pode ser feito o posicionamento do aprendizado em um
contexto sócio-político-histórico, com valores multiculturais. Dessa forma, o educador
colabora para a construção de novos caminhos, conduzindo assim à formação da
consciência crítica. Nessa linha, Perrenoud (1999) nos diz que é necessário mudar o
processo de avaliação, atribuindo-lhe um significado formativo, isto é, alterar os
métodos de ensino. Segundo ele, as principais alterações seriam: considerar os
conhecimentos como recursos passíveis de mobilização; negociar e conduzir
projetos com seus alunos; adotar um planejamento flexível; e implementar e
explicitar um novo contrato didático/pedagógico.
Nessa linha de pensamento, o aluno é visto como o próprio construtor do seu
conhecimento. Desse modo, a avaliação formativa, em um processo continuado de
aprendizagem, é um elemento construtor, que permite o entendimento do que e
porque se está fazendo. Outro aspecto salientado pelos autores é que as aulas
devem ser momentos de diálogos participativos, onde se busca comprometimento e
respeito às diferenças de opiniões dos participantes, valorizando a opinião dos
alunos.
16
Sobrinho (2005) aponta que a avaliação formativa serve para revelar as
dificuldades, sendo possível devido às respostas contínuas as questões propostas.
Isso é importante para que a atividade atenda às necessidades do aluno. Assim
como a autoavaliação passa a ser de grande importância no processo de
aprendizagem, a avaliação formativa é toda permeada pela ação-reflexão. Assim,
Abrecht e (1991) afirma que:
[...] a avaliação formativa não é uma verificação de conhecimentos.
É antes o interrogar-se sobre um processo; é o refazer do caminho
percorrido, para refletir sobre o processo de aprendizagem em si mesmo,
sendo útil, principalmente, para levar o aluno a considerar uma trajetória, e
não um estado (de conhecimentos), dando sentido à sua aprendizagem e
alertando-o, ao mesmo tempo, para eventuais lacunas ou falhas de
percurso, levando-o a buscar – ou, nos casos de menor autonomia, a
solicitar – os meios para vencer as dificuldades.
Dessa forma, temos então os instrumentos da avaliação tradicional, da
avaliação formativa e da avaliação somativa. O primeiro, que é o mais conhecido,
consiste na aplicação de uma prova que é utilizada como certificação ou verificação
de resultados. Ela avalia e classifica o que foi ensinado – e não o que foi aprendido.
A prova é um relato instantâneo de um determinado momento da aprendizagem. Já
o segundo, a avaliação formativa, busca o desenvolvimento dos conhecimentos,
habilidades e valores que se evidenciam durante o processo de aprendizagem,
através da observação constante e comunicação permanente com os alunos. Ela
permite incentivar e motivar a aprendizagem de forma contínua. Temos, ainda, a
avaliação somativa, que é instrumento de pós-avaliação do ensino, e objetiva
verificar o que foi assimilado e compreendido. Assim, torna-se útil para análise dos
resultados do aprendizado.
Para Freire (1996), os métodos avaliativos podem apontar as causas para
alguns índices, como o de reprovação – se uma turma tiver um desempenho
insatisfatório em determinada disciplina, as avaliações podem contribuir para a
explicação. Ainda para Freire (1996), o professor deve estar ciente que o ensino
nunca acaba. Dessa forma, o reconhecimento da sua não conclusão significa
entender que ser professor não é ser o dono do saber, e sim o facilitador no
processo de transmissão. Sendo assim, o professor sempre deve pensar no porquê
17
de serem formuladas certas perguntas, e o que se pretende de fato investigar –
melhorando, assim, os métodos avaliativos.
Hoffmann (2007) pondera que, se o educador valoriza a produção do aluno,
compartilhando suas ideias ou dificuldades para o planejamento de novas ações
educativas, estará, naturalmente, facilitando sua participação no processo. A autora
esclarece que os docentes que exigem, em suas avaliações, a reprodução de
respostas decoradas, não contribuem para a capacidade de reflexão, nem para a
construção do conhecimento por parte dos alunos. Além disso, ela explica que
professores que não possuem formação em Educação, e que são docentes pelo
domínio de sua área específica, apresentam dificuldades para preparar aulas e criar
métodos avaliativos de boa qualidade. Isso acontece porque esses profissionais,
apesar de serem competentes em suas especializações, desconhecem as teorias
educacionais. Assim, um professor não capacitado acaba, portanto, elaborando
avaliações que não visam à reflexão, mas sim à memorização do conteúdo, fator
que não avalia a aprendizagem e ainda colabora com a passividade do aluno.
Concluindo, o processo de avaliar corretamente se transforma em um dos
fatores que permitem a evolução do ensino, já que o mesmo permite o feedback do
que se busca – que é não só aquisição dos conceitos passados, mas também as
capacidades de criar, de multiplicar e de utilizar de forma eficaz os conhecimentos e
as habilidades, evidenciando o conceito de capital intelectual e fazendo com que a
avaliação seja um instrumento na busca de um ensino mais rápido e duradouro.
E em qualquer processo avaliativo faz se necessário um acompanhamento
dos resultados assim segue a fundamentação com o BSC.
2.3 BALANCED SCORECARD (BSC)
Na primeira era – a industrial – a alocação de recursos era baseada nos fatores
financeiros e físicos, com a utilização de índices financeiros e de produtividade para
mensurar o desempenho que, conforme Chiavenato (2003) estavam centrados nas
teorias de Henry Ford. Entretanto, esses fatores mostraram-se obsoletos nos anos
que compõem a era da informação, pois nela o ambiente é mais complexo. Para a
obtenção de vantagem competitiva, são necessários vários outros fatores – por
18
exemplo, o ambiente e o desempenho organizacional. É importante o conhecimento
tanto do ambiente interno quanto externo, bem como a análise de seus pontos fortes
e fracos, suas oportunidades e ameaças. Daychoum (2007).
Para o autor Pérez (2007), os agentes econômicos devem agregar valor pelo
que sabem, e também pelo que podem fornecer. E as organizações necessitam de
um monitoramento para acompanhar as atividades que foram planejadas, e assim
verificar se o que foi planejado está sendo executado e respondendo às expectativas
– de tal forma que possa ser feito um realinhamento caso essas não sejam
atendidas, permitindo os ajustes necessários para que o planejado seja cumprido.
Kaplan; Norton (1996) descreve o Balanced Scorecard (BSC) como um
processo focado em fornecer instrumentos para atingir os objetivos de uma
organização moderna, partindo das metas pré-estabelecidas e dos indicadores para
monitorá-las. Dessa forma, ele auxilia a obtenção de êxito no alcance da missão.
Através dele, pode-se medir o desempenho organizacional sob quatro perspectivas:
Financeira; Cliente; Processos Internos; Aprendizado e Crescimento.
Assim, o Balanced Scorecard sugere que as organizações sejam vistas a
partir dessas perspectivas. E para desenvolver “ações para obtenção de sucesso”,
devem-se coletar dados e analisá-los sob o foco de cada uma delas.
Podemos definir o Balanced Scorecard como uma abordagem para
administração estratégica, desenvolvida por Robert Kaplan e David Norton, na
Universidade de Harvard, na década de 90.
O Balanced Scorecard é um processo que possibilita determinar ações para
obtenção de sucesso em uma empreitada. Para isso, a organização precisa
estabelecer a sua missão. Como os próprios criadores desse processo esclareceram
em seu livro “BSC, A Estratégia em ação” de Kaplan e Norton (1996), o
estabelecimento da missão auxilia na criação de medidas para acompanhamento
das metas, possibilitando o monitoramento e o realinhamento, caso seja necessário.
O monitoramento de projetos de uma organização já é realizado por
administradores, e existem metodologias para o devido acompanhamento em uso há
tempos, como pode ser visto no trabalho de Daychoum (1995). Pode-se citar o Plan,
19
Do, Check & Act (PDCA) – ou Planejar, Executar, Verificar e Agir – ferramenta que
implica na melhoria dos processos de fabricação. Mas o foco que Kaplan e Norton
(1996) nos fornecem nesse processo são os quatro aspectos citados anteriormente,
e detalhados a seguir. Os trabalhos de pesquisa realizados pelos autores verificam
que vários aspectos são inerentes às organizações, e alguns deles variam de acordo
com a missão da mesma – mas os aspectos financeiros, clientes, processos
internos, e aprendizagem e crescimento, são comuns a todas elas.
Assim, baseando-se em Kaplan e Norton (1997), esses aspectos procuram
responder às seguintes perguntas, visualizadas na Figura 2.1.
Figura 2.1: Perspectivas do BSC
Fonte: “A estratégia em ação”, de Robert Kaplan e David Norton, 1997.
Dessa forma, o Balanced Scorecard se apresenta para as organizações da
era da informação como um processo que não avalia apenas os fatores financeiros.
Esses fatores se mostraram mais relevantes na era clássica, que compreendia o
período de 1900 a 1950. O principal objetivo do Balanced Scorecard é prover as
organizações de uma prescrição clara sobre o que elas devem medir para equilibrar
as finanças, mas não focando apenas nesse aspecto. Assim, o Balanced Scorecard,
de acordo com Kaplan e Norton (1996), “é um sistema de gestão, e não apenas um
sistema de medidas, que habilita as organizações a clarear sua visão e estratégia, e
traduzi-las em ações”.
20
É importante ressaltar que o Balanced Scorecard não abandona as medidas
financeiras tradicionais, mas sim as complementa, com vetores derivados da visão e
da estratégia da organização. Para Prado (2009), esse processo se ajusta tanto às
medidas de curto quanto às de longo prazo, revelando vetores de valor para
medidas de desempenho financeiro e competitivo.
O Balanced Scorecard complementa as medidas já usadas no mercado,
focadas no aspecto financeiro, com medidas que salientem a missão e visão da
organização. No entanto, para que essas medidas possam ser obtidas com melhoria
na forma, e para que realmente retratem a missão e visão da organização, é
necessário que os componentes da organização estejam comprometidos.
Para os criadores do BSC, Kaplan e Norton (1996), uma das suas
características marcantes é que os componentes da organização devem estar
comprometidos com as metas elaboradas para atingir os objetivos definidos. Porém,
tais metas devem ser elaboradas pelos altos executivos da referida organização,
apoiados pelos especialistas da mesma. Eles devem reconhecer a necessidade das
metas a partir de um processo top-down, norteados pela missão e visão estratégica,
através dos objetivos traçados.
As metas devem representar o equilíbrio entre os indicadores externos,
voltados para os acionistas e clientes, e os indicadores internos, voltados aos
processos críticos de negócio e inovação – como também do aprendizado e
crescimento. Além disso, os criadores Kaplan e Norton (1996) enfatizam que o
processo é baseado em um trabalho de equipe, que deve criar metas para atingir os
objetivos. As metas devem possuir indicadores para possibilitar a sua monitoração, e
assim verificar a evolução das ações que permitem que o objetivo seja atingido. E
para tal, os componentes devem focar nos aspectos financeiro, mercado, processos
e inovação, que são mostrados na figura 2.2.
21
Figura 2.2: Mapa Estratégico
Fonte: “O que é Balanced Scorecard”, de David Kallás, 2009.
Para Kaplan e Norton (2004), o trabalho de montagem do mapa estratégico
consiste em: traduzir a estratégia em objetivos estratégicos específicos; estabelecer
metas financeiras; deixar claro o segmento de cliente e de mercado a que está
competindo; e identificar objetivos e medidas para seus processos internos – o que é
a principal inovação e benefício do BSC.
O Balanced Scorecard destaca os processos mais críticos na busca da
excelência de estratégias que sejam bem sucedidas para obtenção de um
desempenho superior, tanto para clientes quanto para acionistas. Para isso, cria
metas de aprendizado e crescimento que possam expor os motivos para
investimentos na reciclagem de funcionários, na tecnologia disponível e nos
sistemas de informações gerenciais, que vão produzir inovações e melhorias
significativas nos processos internos.
Dessa forma, é possível que os componentes da organização enxerguem e
entendam quais os objetivos da mesma. Isso possibilita a visualização de quais
serão as metas para atingir cada um desses objetivos, quais os indicadores que
permitirão seu acompanhamento, quais as ações que devem ser executadas para
obtenção do êxito desejado e, finalmente, como essas metas se relacionam.
22
Assim, Kaplan e Norton (2004) dizem que “o processo de construção do
Balanced Scorecard esclarece os objetivos estratégicos, e identifica um pequeno
número de vetores críticos que determinam os objetivos estratégicos”. Podemos,
então, dizer que o Balanced Scorecard é um trabalho de equipe de altos executivos
– mas o resultado deve ser um modelo consensual da organização, permitindo que
os componentes da mesma possam contribuir. A implantação da cultura do
Balanced Scorecard na organização deve ser realizada fazendo uso do seu meio
interno de comunicação, para levar as ideias dessa metodologia para a força de
trabalho.
Para Kaplan e Norton (2004), o Balanced Scorecard incentiva o diálogo entre
os setores, gerentes e diretores em relação a objetivos financeiros, bem como em
relação à formulação e implementação de uma estratégia destinada a produzir um
desempenho excepcional no futuro. Para isso, é preciso que os componentes da
organização tenham adquirido uma clara compreensão dessas metas, bem como da
estratégia adequada para alcançá-las, e os esforços e iniciativas estarão alinhados
com os processos de mudança necessários.
Dessa forma, cumpre notar que, mesmo sendo um trabalho de
desenvolvimento de cima para baixo na organização, deve-se manter a preocupação
de envolvimento do maior número de seus componentes no conhecimento dos
objetivos críticos que devem ser alcançados, para que a estratégia da empresa seja
bem sucedida. Assim, Kaplan e Norton (2001) explicam que “o BSC estimula a
mudança, uma vez que seu maior impacto está na indução dessa mudança”. Para
isso, as melhores práticas do mercado devem ser incorporadas à organização pelo
processo de Benchmarking, que é a busca das melhores práticas na indústria que
conduzem ao desempenho superior. Ele é visto como um processo positivo e
proativo. Além disso, deve-se dar uma atenção especial às metas internas, para que
elas não permitam que um setor seja travado na execução de suas atribuições.
Ainda segundo os autores Kaplan e Norton (2001), após o estabelecimento de
metas para as quatro perspectivas, a direção estará em condições de alinhar suas
iniciativas estratégicas de qualidade, tempo de resposta e reengenharia para
alcançar os objetivos extraordinários. Assim o Balanced Scorecard possui o foco
23
para integração e melhoria contínua, para a reengenharia e os programas de
transformação, não se limitando ao redesenho de qualquer processo local. Afinal, os
esforços são dirigidos à melhoria dos processos críticos para o sucesso estratégico
da empresa. E esse processo de planejamento e estabelecimento de metas permite
que a organização consiga avanços nos seguintes aspectos: quantificação dos
resultados pretendidos; identificação dos mecanismos; fornecimento de recursos
para que os resultados sejam alcançados; e estabelecimento de referenciais de
curto prazo para as medidas financeiras e não financeiras. Com isso, melhora o
aprendizado estratégico.
Para os autores, o aspecto mais inovador e importante do Balanced
Scorecard é a incorporação do aprendizado estratégico, que cria instrumentos para
o aprendizado organizacional em nível executivo. Esta inovação monitora e ajusta a
implementação da estratégia, e, se necessário, efetua mudanças na própria
estratégia. Além disso, as revisões gerenciais permitem o exame minucioso das
metas, verificando se elas estão sendo alcançadas. Os autores ainda dizem que o
Balanced Scorecard induz para “o processo de planejamento, estabelecimento de
metas e iniciativas estratégicas que definem metas específicas e quantitativas de
desempenho desejadas”. Assim, a indução segue para o raciocínio dinâmico: as
pessoas veem onde as peças se encaixam, e como seus papéis influenciam outras
pessoas e a própria empresa.
Como a finalidade de utilizar o BSC neste estudo é a obtenção de indicadores
para acompanhamento do processo de ensino que faz uso do PBL, segue a um
estudo sobre três trabalhos relacionados à metodologia PBL.
24
2.4 TRABALHOS RELACIONADOS
Entendido o que é PBL e BSC e qual o contexto dessas metodologias nesse
trabalho, segue uma pesquisa sobre trabalhos publicados relacionados ao uso do
PBL no ensino da Engenharia de Software.
2.4.1 PBL NO CURSO COMPUTAÇÃO DA UNIVERSIDADE DE DONGUA
A primeira pesquisa analisada foi publicada no China Papers, e refere-se à utilização
de avaliações formativas e somativas no curso de Ciência da Computação da
Universidade de Dongua, em Shangai, trabalho de Yin (2006). Esse curso optou por
fazer o uso da aprendizagem baseada em problemas reais, na busca de novos
processos educacionais que auxiliassem na aprendizagem da disciplina de
Engenharia de Software (ESW), que possuía baixo aproveitamento devido ao seu
caráter multidisciplinar.
Esse trabalho de pesquisa aplicada apresentou tipos de avaliações que
contribuíram com o processo de aprendizagem. Foram realizados o estudo e o
desenvolvimento das habilidades necessárias para resolver problemas, através da
análise dessas habilidades e da inferência nesses problemas, com a experiência
prévia que, segundo Yin (2006), fornece sustentação ao aprendizado.
Nessa pesquisa, o PBL foi reconhecido como uma metodologia que deve ser
amplamente utilizada na área educacional que almeja resultados. Na elaboração dos
métodos avaliativos a serem adotados, foi dada uma atenção especial aos
resultados. Essa atenção é corroborada pelo autor Popham (2008), segundo o qual
a avaliação é uma poderosa ferramenta – não só para avaliar a eficiência do
aprendizado por parte dos alunos, como também para verificar se o método de
ensino adotado está produzindo os resultados esperados.
Uma das formas avaliativas adotadas nessa pesquisa foi a inclusão de
feedbacks, o que foi observado por Yin (2006) como uma prática importante no
processo de aprendizagem, pois os alunos podem absorver melhor os conceitos,
25
avaliando-os e também avaliando a si mesmos. Sobre o feedback, já existem
pesquisas que comprovam tal fato. Uma delas, citada por muitos pesquisadores, a
exemplo de Perrenoud (1999), conclui que não se pode ensinar diretamente a
outrem, mas apenas facilitar sua aprendizagem. Uma pessoa aprende,
significativamente, somente aquelas coisas que percebe estarem ligadas à
manutenção ou ampliação da estrutura do seu “eu”; o feedback lhe dá essa
oportunidade.
Yin (2006) observou que em um ensino multidisciplinar, que exige uma
atenção maior por parte do alunato, este tipo de avaliação passa a ser um fator
chave dentro da metodologia PBL, influenciando na forma de absorção de novos
conhecimentos pelos estudantes.
Outra ferramenta importante que, segundo Yin (2006), deve ser utilizado
pelos professores, é formada pelas avaliações formativas e somativas. Para Yin
(2006), em concordância com outros pesquisadores como Freire (1987) e Rogers
(1951), a metodologia tradicional coloca os professores como meros transmissores
de conhecimento, e os estudantes como meros e passivos receptores desses.
Cumpre notar que esses alunos, segundo os autores, estão inseridos em um
ambiente altamente competitivo, focado no sucesso individual. Por sua vez, os
professores, que geralmente possuem excelência na sua especialidade,
normalmente pecam na elaboração de suas aulas, deixando de explorar o raciocínio
dos alunos – isto sendo decorrente, segundo Perrenoud (1999), da sua falta de
conhecimentos na área de educação.
Para que os professores possam usar avaliações que estimulem o raciocínio,
é necessário, segundo Yin (2006), uma renovação da relação estudante-professor.
Isso já foi observado por Piaget (1985). Segundo os dois teóricos, como o objetivo é
tornar os alunos mais independentes e ativos, faz-se necessário também que as
estratégias educacionais utilizem novos métodos, e, por conseqüência, novas
atividades que sejam interessantes e motivadoras. Além disso, é preciso que
requeiram o envolvimento dos alunos nessas atividades de aprendizagem – o que,
no ensino tradicional, não se verifica: a devida preocupação na elaboração dessas
estratégias.
26
Assim, segundo Finkel e Torp (2009), o PBL é uma de várias metodologias
instrutivas que podem ser utilizadas na perspectiva construtivista, gerando um
ambiente onde os estudantes são motivados a exercer um papel ativo na elaboração
e na conclusão das suas atividades. Essas, por sua vez, possibilitam o aprendizado
do objetivo desejado – pois a prática da teoria faz parte do cotidiano do aprendiz que
faz uso dessa metodologia. De acordo com essa definição, a aquisição de
conhecimento é fator primordial para o desenvolvimento de habilidades através da
solução de problemas.
No trabalho de Yin (2006), realizado no curso de Ciência da Computação, foi
adotada a prática da programação supervisionada, substituindo as aulas teóricas de
programação. A intenção era que os conceitos fossem reforçados e assim melhor
assimilados, e as habilidades de construção de software fossem exploradas através
da solução de problemas reais.
Com o uso dessa metodologia foi possível observar, através das avaliações,
que os alunos se tornaram mais aptos ao desenvolvimento de programas com um
grau de complexidade maior – uma vantagem importante a ser salientada em
relação ao ensino tradicional, cujo objetivo é apenas conferir se os estudantes
dominam a sintaxe da linguagem de programação. Através desse conhecimento,
eles estarão capacitados a escrever pequenos programas que, de forma geral, não
exercitam a criatividade – e, por consequência, o domínio da habilidade na
linguagem ensinada. Essa abordagem é claramente desvantajosa, já que, no
mercado de trabalho, como competência para construção de software, será exigida a
solução de problemas normalmente não triviais.
Um fator relevante no trabalho de pesquisa de Yin (2006) é a aplicação das
avaliações que retrataram as competências adquiridas. Para tal estudo, foram
levados em consideração vários tipos de avaliações – como as formais, os
feedbacks e os trabalhos em equipe. O que foi verificado pelo teórico é que se faz
necessária uma avaliação que permita aos envolvidos no processo de aprendizagem
a verificação da sua efetividade – ou seja: que os alunos possam verificar o que
realmente aprenderam, e o que os professores realmente conseguiram transmitir.
27
Yin (2006) introduziu no curso de Computação da Universidade de Dongua,
em Shangai, um método que foi aplicado como avaliação das atividades executadas
pelos alunos no processo de aprendizagem. Tal método foi baseado nas avaliações
formativas e somativas, para que tanto os alunos quanto os professores verificassem
o que foi aprendido. Para isso, fez uso das práticas descritas abaixo:
• A prática introduzida consistiu em atribuir aos estudantes, durante o
transcorrer do processo, uma nota indicativa de atenção às atividades
passadas, com o intuito de verificar se estavam ou não atentos, buscando dos
mesmos uma maior dedicação aos assuntos ministrados;
• A outra prática adotada foi o uso de feedback, objetivando estimular o aluno a
verificar seus pontos fracos na aprendizagem, e, ao mesmo tempo, os dos
professores no repasse dos conhecimentos; e
• Todas as atividades concebidas deveriam envolver todos os alunos, porém
observando as características específicas de cada atividade – e também de
cada aluno – para permitir que o feedback fosse pertinente e significativo para
o objeto do estudo e para os envolvidos nele.
O trabalho de pesquisa de Yin (2006) também elaborou alguns conceitos
importantes que foram implementados na metodologia – conceitos estes mostrados
a seguir:
• Considerar a heterogeneidade do grupo e ressaltar aos professores que
devem fazer bom uso dela;
• Fazer uso de vários tipos de avaliação, para verificar: o aluno individualmente,
o grupo formado para fazer determinada atividade, e a turma como um todo; e
• Fazer uso de diversos tipos de avaliação: trabalhos escritos, projetos,
apresentações e feedbacks.
Ainda nesse estudo, verificou-se que não é importante o tipo de avaliação,
mas sim a sua propriedade para avaliar o que se pretendeu ensinar. O objetivo é
atribuir o valor mais significativo possível ao aluno, em relação ao desempenho do
mesmo na execução da tarefa atribuída. Para isso, segundo o autor, essa avaliação
deveria ser suficientemente flexível, contendo um maior número de formatos – e
28
sempre favorecendo o feedback, para que os estudantes possam fazer uso desse
na melhoria do seu desempenho.
Na pesquisa realizada pelo autor, na busca da efetividade do ensino, foram
utilizados recursos como conferências e grupos de trabalhos, além de outras formas
de transmissão de conhecimentos – fazendo com que a atividade de aprendizagem
fosse a mais variável possível, com o intuito de facilitá-la. Para tal, foram definidos
nessa metodologia os papéis que deveriam ser utilizados, que são descritos a
seguir:
• Alunos são os que têm a missão de empreender as tarefas definidas da
melhor forma possível; e
• Supervisores são os professores, que devem atuar como facilitadores – e não
como meros direcionadores das tarefas solicitadas – objetivando que os
alunos se tornem proativos no processo de aprendizagem, e busquem
aprender e aplicar o conhecimento almejado através de habilidades
adquiridas durante o processo de solução do problema.
Com esse trabalho, pode-se verificar que o custo de preparação das aulas por
parte do corpo docente e administrativo é mais alto que nas aulas tradicionais. Isso
ocorre devido à demanda por um cuidado maior na sua preparação, com o intuito de
gerar a participação do corpo discente.
Para verificar se a metodologia utilizada por Yin (2006) atingiu os objetivos
traçados, foram propostos indicadores individual e equipe e o professor é o
responsável por atribuir as notas e fornecer o feedback, tanto para o grupo quanto
para o indivíduo.
Para fornecer subsídios aos indicadores, a metodologia propõe a seguinte
pontuação, descrita no quadro 2.1, estabelecendo a aplicação de percentuais para
avaliação.
29
Quadro 2.1: Percentual para Avaliações da Metodologia de Yin
Avaliação Item a ser avaliado % Avaliação Grupo (60%)
Plano de projeto 20% Relatório de projeto e teste de sistema 30% Apresentação de grupo final e semanal 10%
Avaliação Individual (40%)
Avaliação do portfólio (logbook) 10% Relatório de progresso verbal 10% Autoavaliação e dos componentes do grupo 10% Exame oral 10%
A metodologia propõe os passos que devem ser executados para aplicá-la.
Para melhor entendimento, segue descrição a seguir:
• O grupo avalia um plano de ação;
• Verifica-se se foram elencadas todas as atividades que necessitam ser
realizadas pelo grupo para completar o projeto em tempo hábil;
• Durante três semanas, é necessário preparar um plano de projeto, construído
pelos próprios alunos;
• Todos os componentes do grupo devem receber uma responsabilidade;
• O professor que assume o papel de supervisor irá verificar se todas as
atividades que deveriam ser executadas o foram;
• Um cronograma para organizar todos os horários das tarefas também deve
ser elaborado;
• Um supervisor deve monitorar o progresso ao longo do projeto;
• Ao término de cada semana, cada componente do grupo deve fazer um
relatório com as atividades executadas, e esse relatório deve ser submetido
ao supervisor, que pode dar sugestões;
• O grupo deve produzir apresentações, que devem ser proferidas por um
representante de grupo ou por todos do grupo, dependendo do que for
acertado pelos componentes – e também o que for mais apropriado – em
intervalos mínimos de 15 a 20 dias. Essa prática leva os estudantes ao
desenvolvimento de habilidades de apresentação, ao mesmo tempo em que
as habilidades dos assuntos específicos são adquiridas;
• Ao término do semestre, o grupo produzirá um relatório final e um protótipo do
produto, com as fontes comentadas dos mesmos. Além disso, os documentos
30
de sistemas, como dados e modelagem, dicionários de dados e diagramas
que foram produzidos, serão apresentados ao supervisor para avaliação;
• Os componentes do grupo devem produzir, também, uma apresentação final
do produto, demonstrando suas funcionalidades em detalhes;
• Durante o projeto, os alunos devem manter um registro de todas as atividades
executadas (logbook);
• Em períodos pré-definidos, devem ser providenciados relatórios de progresso.
Os componentes do grupo deverão apresentar a evolução do mesmo através
de reuniões de classe, e o tema deverá enfatizar uma revisão do plano de
projeto atual e destacar discrepâncias existentes no grupo. O propósito
principal dessa atividade é conhecer a extensão do aprendizado do aluno –
além de prover feedbacks, fornecendo aos estudantes uma oportunidade para
melhorar as habilidades de apresentação individual, que, por falta de
experiência, mostram-se um ponto fraco comum entre os estudantes;
• Os supervisores atribuem uma pontuação para cada apresentação, além de
comentá-las, e fazem o direcionamento necessário para melhorar o que for
preciso;
• Realização de uma autoavaliação, que servirá para o estudante fazer
julgamentos no próprio trabalho, e também nos dos outros componentes da
equipe; e
• Realização de um exame oral individual, que possibilita ao supervisor
identificar particularidades do conhecimento e habilidades adquiridas pelos
estudantes, além das que não foram adquiridas e são necessárias para o
domínio da área pretendida. Aqui, o supervisor deverá ser capaz de identificar
os bons estudantes de outros que não contribuíram no desenvolvimento do
projeto – isto é, não participaram ativamente do grupo.
Verificou-se que, nessa metodologia, o ato de fazer apresentações e escrever
relatórios é considerado um instrumento essencial de avaliação. O relatório do
projeto é um dos meios pelos quais os estudantes registram os procedimentos
adotados, observações e resultados de atividades práticas – e, por sua vez, os
professores podem avaliar o conteúdo desses. Essa tese é reforçada pelos
pesquisadores Arter e Spandel (1992), que afirmam que uma avaliação pode ser
31
baseada na qualidade de uma apresentação, através da análise do seu conteúdo e
da verificação das atividades praticadas.
Os relatórios são úteis de duas maneiras. A primeira é que eles indicam que o
conhecimento adquirido pelo estudante, comprovando o entendimento e a absorção
das habilidades pretendidas, como também os valores e atitudes pertinentes à área
do estudo. A segunda é que os alunos aprendem a partir de experiências
construídas por eles mesmos, e assim, segundo Freire (1996), aprendem baseados
nas suas próprias experiências, garantindo um aprendizado mais duradouro.
Concluindo a análise dessa pesquisa, pode-se verificar que os estudantes
passaram a ter uma melhor ideia das características desejadas pelo mercado de
trabalho. Além disso, é mais fácil observar a evolução do desempenho do corpo
discente através dessa nova abordagem – ela permite que os conhecimentos pré-
existentes sejam a base para a obtenção dos novos, sedimentando os anteriores e
favorecendo os complementares na escalada da aprendizagem. Assim, ficou
evidenciada a utilidade dessa nova abordagem. Entretanto, cumpre notar um
problema levantado tanto pelo corpo discente quanto pelo docente, que foi a
dificuldade em realizar relatórios com maior qualidade – já que, para isso, apresenta-
se o requisito de familiaridade com a metodologia, e uma maior desenvoltura no
domínio de relatar o ocorrido (feedback). No entanto, de forma geral, a metodologia
aplicada trouxe benefício à aprendizagem, mostrando ser uma alternativa plausível
em processos de ensino que necessitem integrar teoria e prática.
2.4.2 PBL NO CURSO CIÊNCIAS APLICADAS DA UNIVERSIDADE DE TURKU
Outro trabalho relacionado à PBL é o de Tuohi (2007), da Universidade de Turku de
Ciências Aplicadas, que foi utilizado inicialmente no Degree Programme in
Information Technology, objetivando a criação de grupos para desenvolver projetos
de software. Para a execução desse trabalho, foi utilizada a aprendizagem baseada
em problemas (PBL), agrupando noventa e dois estudantes iniciantes e oito
professores em times. Foi criada, assim, uma metodologia com o intuito de aprender
fazendo. As práticas dessa metodologia são explicadas a seguir.
• Inicialmente os participantes foram organizados entre estudantes, tutores e
observadores;
32
• Ensinou-se aos participantes a fazer e receber feedbacks, sendo apresentada
para os mesmos a metodologia PBL; e
• Os estudantes produziram um relatório sobre o problema, à solução e as
conclusões, e esses foram entregues dez dias após o início da fase de
aprendizado. No final o tutor e o observador do grupo realizaram a avaliação
de desempenho do respectivo grupo e também de cada componente do
mesmo.
Essa metodologia foi aplicada durante três anos consecutivos, e foi
aprimorada a cada ano. A evolução da metodologia se deu a partir das avaliações
resultantes da execução das atividades, obtidas no final de cada ano.
No primeiro ano, os professores observaram que, nessa abordagem, os
alunos só conseguiam êxito se estivessem concentrados no trabalho – não se
preocupando com o processo de avaliação em si, mas sim com a execução das
atividades previstas. Caso o foco ficasse na avaliação tradicional, observava-se uma
crescente desmotivação pelas atividades.
Outro ponto observado nesse trabalho foi em relação aos feedbacks, que
motivaram uma série de questionamentos sobre quem deveria produzi-los – isto é,
de quem deveria ser a responsabilidade de fornecê-los: se dos tutores, se dos
observadores, se dos estudantes, ou se de todos. Além dessa discussão, houve
também o questionamento sobre se somente as avaliações formativas, somativas ou
ambas deveriam ser realizadas.
No segundo ano de aplicação da metodologia PBL, os professores
programaram as avaliações com base nos estudos de Rasinkangas (2009), nos
quais as avaliações eram divididas em dois tipos: uma planejada para os secretários,
observadores e presidente do grupo, e outra para os alunos, que são os
componentes básicos, gerando novos papéis: os de secretários e os de presidente
do grupo, que nessa metodologia é denominação de time.
No final do período letivo, com a aplicação das avaliações do uso do PBL no
processo de aprendizagem, outra vez a questão foi levantada: “O que o aluno achou
33
da forma de avaliação aplicada no PBL?”. Novamente, os alunos responderam que
estavam bastante satisfeitos.
No terceiro ano de aplicação do trabalho, a preocupação passou a ser a
qualidade da produção dos feedbacks realizados pelos estudantes, bem como as
suas autoavaliações. O objetivo dessa ênfase foi o de motivar os estudantes na
obtenção de melhores desempenhos.
Um ponto importante dessa metodologia foi a realização de autoavaliações
por parte dos alunos. Elas foram analisadas pelos tutores e observadores, porém
não tiveram influência direta nas notas obtidas pelas avaliações tradicionais
realizadas no curso. O objetivo não foi modificar as regras de aprovação acadêmica,
mas sim avaliar o processo de estudo, para verificar se, com essa nova abordagem,
o mesmo se torna mais efetivo ou não. Importante ressaltar que, pelo fato do alunato
não estar familiarizado com essas novas formas de aprendizagem, houve uma
esperada repercussão nas notas. Assim sendo, o foco não foi o tradicional – de
aprovação ou reprovação – e sim a verificação dos resultados obtidos. Por esta
razão, muitas preocupações foram observadas, como a quantidade de perguntas e
sua complexidade – buscando sempre a opção pela maior simplicidade.
Dessa forma, o objetivo maior do método foi obter um impacto positivo na
avaliação do curso por parte dos docentes e discentes. Isso foi atingido com a
melhoria constante das práticas aplicadas, que culminou na melhoria das notas
conseguidas pelos alunos. No final do trabalho, que serviu para analisar o uso do
PBL no processo de aprendizagem, foi elaborada a seguinte questão: “O que o
aluno achou da forma de avaliação aplicada no PBL?”, e a maioria dos estudantes
respondeu que a forma de avaliação foi produtiva.
Os conceitos e indicadores aplicados nessa metodologia são básicos, e
consistem em relatórios, e ambos podem ser vistos a seguir:
• Realizar avaliações no início e no término de cada fase;
• A forma de avaliação adotada foi o feedback das atividades realizadas;
• Nenhum dos componentes de time se autoavalia diretamente, mas todos
obtêm no mínimo duas avaliações; e
34
• Indicadores utilizados - individual e equipe.
Para a realização dessa metodologia, alguns papéis foram definidos. No
início, os papéis estavam resumidos a alunos, tutores e observadores. Ao longo do
processo, foi observada a necessidade de inclusão de novos papéis. A seguir
mostram-se todos os papéis identificados:
• Estudantes, que têm a missão de empreender as tarefas definidas da melhor
forma possível;
• Tutores são os professores que devem atuar como facilitadores – e não como
meros direcionadores das tarefas solicitadas – objetivando que os alunos se
tornem proativos no processo de aprendizagem, e busquem aprender e
aplicar o conhecimento almejado através de habilidades adquiridas durante o
processo de solução do problema;
• Observadores são os professores que devem atuar como facilitadores, e
observar o andamento das atividades, além de serem os responsáveis em
atribuir as notas e fornecer o feedback, tanto para o grupo como para o
indivíduo, realizando a avaliação dos componentes do time. Entretanto, não
realizam suas próprias avaliações;
• Secretários são alguns dos componentes do time escolhidos para produzir
feedbacks mais detalhados, avaliando os componentes do time. Também não
realizam suas autoavaliações; e
• Presidentes são componentes do grupo responsáveis por coordenar algumas
das atividades, e avaliar se os feedbacks estão ou não prontos para serem
entregues. Também realizam as avaliações dos secretários e dos
observadores, possibilitando assim, no mínimo, duas avaliações para cada
componente.
Em uma conferência ocorrida em Melbourne, na Austrália, os professores
expressaram suas opiniões sobre o processo de avaliação adotado no ensino com
base no PBL. A maioria sintetizou que os alunos agrupados em times passaram a
obter boas notas nas disciplinas ministradas no curso. Outro aspecto observado é
que a natureza da avaliação do professor que se baseava em avaliações formativas,
passou a ser incrementada com avaliações somativas, gerando um motivador a mais
35
em todo o processo, e tornando o feedback do professor mais importante. Por
conseqüência, os professores passaram a ser mais criteriosos na elaboração
desses.
O trabalho de Tuohi, portanto, verificou a necessidade de mudar o sistema
avaliativo através da utilização de grupos de trabalhos (times), que objetivavam a
produção de relatórios do problema a ser solucionado (feedbacks), fazendo uso de
apresentações para explicá-los. Para isso, foram adotados papéis com finalidades
específicas – como o de coordenador, para aplicar aferições de participação, por
exemplo. Assim, os professores passaram a produzir feedbacks com mais
qualidade, anexando as notas decorrentes da participação de cada um.
O problema observado nessa prática foi o mesmo encontrado na pesquisa
anterior, e se refere aos feedbacks. Provenientes dos relatos, eles são produzidos
em grande quantidade, e o fato de alguns não terem prática na sua produção
ocasionou a geração de muito texto repetitivo – o que acabou culminando na
necessidade de um trabalho de triagem.
Posteriormente, esse problema recebeu um tratamento. Foi introduzida a
produção dos relatórios em pares, fazendo com que fossem produzidos de forma
mais criteriosa.
2.4.3 PBL NO MESTRADO PROFISSIONAL DO CESAR
Esse trabalho foi desenvolvido no Centro de Estudos e Sistemas Avançados do
Recife, em 2007, com a finalidade de verificar a aplicabilidade do PBL no ensino da
Engenharia de Software. Santos et al (2008) verificaram a possibilidade do uso da
metodologia em Tecnologia da Informação e Comunicação. Essa área, que se
encontra em constante evolução, necessita de práticas que permitam a sua
assimilação com a menor curva de aprendizagem possível.
O objetivo do trabalho de Santos et al (2008) é melhorar a efetividade da
aprendizagem da Engenharia de Software, com a utilização de fábricas de software,
onde os estudantes podem vivenciar a resolução de problemas reais. O trabalho foi
36
realizado no Mestrado Profissional de Engenharia de Software do Centro de Estudos
e Sistemas Avançados do Recife.
O foco desse trabalho foi fazer com que os alunos, que são – ou serão em
breve – profissionais da área de TIC, tornem-se aptos às mudanças constantes
dessa área, já que os profissionais precisam frequentemente se adaptar a novos
conceitos, métodos e técnicas na solução de problemas específicos de mercado.
O MPES fez uso do trabalho de Santos et al (2008) com a proposta de
resolver essa necessidade de mercado, buscando colocar, dentro do processo de
ensino, habilidades como o bom relacionamento interpessoal. Segundo Chiavenato
(2003), tais habilidades são desejadas pelo novo modelo de organização. Além
disso, é desejável propor o ensino das novas tendências através de uma
metodologia alternativa, que busque relacionar a experiência prática do trabalho com
a aprendizagem. Devido a isso, foi utilizada a metodologia PBL, com o intuito de
melhorar a efetividade da aprendizagem, promovendo a habilidade dos estudantes
para trabalhar em grupos focados na resolução de problemas reais, bem como
estimulando o desenvolvimento das habilidades e atitudes de trabalho em equipe e
autoavaliação.
Segundo Peterson (1997), são três os critérios importantes para a promoção
de uma aprendizagem efetiva com o uso do PBL: uso da prática no processo de
aprendizagem; maior interação entre os estudantes; e aprendizagem baseada em
resolver problemas reais. Tendo esses três elementos como referência, a
metodologia adotada pelo CESAR para o MPES foi usar como ferramenta uma
Fábrica de Software (FSW), na qual os estudantes foram designados a desenvolver
um software através de um projeto real, cujas necessidades foram elicitadas com
clientes reais. Os alunos foram apoiados por processos, papéis e métricas com o
intuito de controlar e obter os resultados desejados.
Segundo Santos et al (2008), a adoção da metodologia PBL não é uma tarefa
fácil – e tal método é frequentemente uma surpresa para alunos e professores. Isso
ocorre devido ao seu paradigma totalmente diferente de ensino tradicional, baseado
em uma aprendizagem unilateral, do professor para o estudante.
37
Para confirmar as observações da autora, temos as experiências de Waters e
McCracken (1996), que descrevem a aplicação do PBL em um curso de Sistemas de
Informação, fazendo uso do instrumento de fábricas de software para o ensino das
disciplinas.
Nesse contexto, a metodologia proposta era fazer uso das experiências dos
alunos em desenvolvimento de software – que normalmente estava resumida a um
ou dois anos – com o apoio de um profissional maduro, que trabalhava como
colaborador. O estudo foi executado em duas turmas.
No experimento, alguns problemas puderam ser identificados – como a
superficialidade da descrição dos problemas encontrados, bem como a insuficiência
na descrição das soluções. Tal superficialidade nas descrições (feedbacks) pode
também ser verificada na Metodologia de Tuohi. Assim, é percebido que, no início,
os relatórios são pouco elaborados, até que atinjam detalhamento suficiente por
ocasião do domínio da técnica. Na metodologia de Santos, para minimizar esses
problemas, foram implementadas as práticas descritas a seguir:
• Fazer uso de Fábrica de Software como ambiente para implementar a prática
no ensino da Engenharia de Software;
• Melhoria no controle dos processos de desenvolvimento de software com o
uso da Fábrica de Software; e
• Organizar o trabalho com considerável especialização, formalização e
padronização de seus processos.
Essa metodologia é apoiada por quatro papéis básicos, que são descritos a
seguir:
• Grupo, que compõe a Fábrica de Software – sendo assim possível explorar
diferentes capacidades em desenvolvimento de software. O grupo é composto
por estudantes, que representam todos os papéis no desenvolvimento de
software – como gerente de projeto, analista de sistemas, arquiteto de
software, desenvolvedor, SQA e testador. É recomendável formar grupos de 5
a 7 componentes, nos quais cada estudante possui vários papéis;
• Monitor, que é responsável pelo desenvolvimento de software nas fábricas,
além de administrar o processo definido. Esse papel também é responsável
38
por gerar relatórios sobre os resultados das fábricas, avaliando o
desempenho e o compromisso de cada um de seus componentes;
• Cliente, que deve ser um demandante real do mercado de trabalho. É o
componente que solicita projetos para as fábricas de software, através de um
Pedido para Proposta (RFP). Esse documento apresenta uma breve
explicação das suas necessidades. O cliente também é responsável por
responder a um questionário de avaliação de satisfação, que faz parte do
método avaliativo aplicado nas fábricas; e
• Professor, que é responsável por ensinar o programa planejado para cada
disciplina. Também é responsável por coordenar as atividades acadêmicas,
servir de consultor no contexto da disciplina especificada e, além disso,
realizar as avaliações dos estudantes.
É importante enfatizar que todos os estudantes são envolvidos em cada um
dos passos do processo de desenvolvimento de software. Para que essa
metodologia possa funcionar adequadamente, são propostas as atividades descritas
a seguir:
• Criação dos grupos em fábricas de software considerando aspectos como
habilidades e afinidades – o que deve ser obtido através de entrevistas;
• Escolha do processo de desenvolvimento de software entre os aceitos pela
comunidade de TIC;
• Definição do processo de desenvolvimento de software detalhando o mesmo
com os papéis, artefatos e modelos;
• Definição da infraestrutura da Fábrica de Software;
• Definição do modelo empresarial – por exemplo, o tipo de licença de software
e as políticas de proteção da organização;
• Definição das políticas de avaliação internas; e
• Definição das políticas de avaliação de cliente.
Dentro desse contexto, o currículo é organizado em sete disciplinas baseadas
no SWEBOK, e cada uma é dividida em três módulos: básico, intermediário e
profissional. Tais disciplinas são estruturadas com um conteúdo próprio para apoiar
a resolução de fábricas de software. As disciplinas propostas pela metodologia são:
39
Fábricas de software; Aplicação e interface de usuário; Gerência de projeto;
Arquitetura; Engenharia de reuso; Interoperabilidade; e Verificação e validação de
sistemas. Todas são distribuídas em 15 horas de atividades de classes, 12 horas de
atividades práticas, e uma hora de avaliação, ao final de cada semana.
O projeto de software deve ser baseado em uma demanda real do cliente.
Assim, a metodologia definiu alguns conceitos para apoiar a sua definição,
mostrados a seguir.
• Os problemas têm que ter conceitos pertinentes e princípios para o domínio
corrente. Assim, o processo começa com a identificação de conceitos
primários – ou princípios – que o estudante deve aprender;
• Os problemas devem ser reais, com preocupações e assuntos. Cada projeto
é submetido pelos clientes, e eles devem ser complacentes a um jogo de
exigências, relacionadas aos tópicos de inovação, relevância para indústria,
modelo empresarial e desenvolvimento do processo. Os clientes precisam
motivar os estudantes e empenhá-los no problema;
• O processo é baseado no modelo de referência de maturidade, capacidade e
integração (CMMI). Isso reúne, dentre as práticas da indústria, o melhor que
pode ser implementado em projetos de software. O objetivo desse processo é
prover uma ferramenta de diagnóstico, para assegurar aos estudantes que
estão progredindo adequadamente em direção ao aprendizado desejado,
tendo em vista práticas reais de mercado; e
• As atividades planejadas são mantidas e atualizadas com o apoio da
ferramenta Moodle, que é um software opensource projetado para apoiar
educadores no ensino à distância.
Com esses conceitos, é possível aplicar avaliações para as fábricas de
software permitindo um acompanhamento contínuo, bem como verificando o
progresso das atividades desenvolvidas. Para aplicar as avaliações, os indicadores
utilizados são exibidos a seguir:
• Existem dois tipos de avaliação: a individual e a coletiva;
• A avaliação individual é focada nos conceitos e fundamentos das disciplinas,
e é aplicada pelo professor; e
40
• A avaliação da equipe é focada na obtenção do resultado global de cada
Fábrica de Software, e é aplicada pelo monitor.
Essa pesquisa é baseada no modelo de referência de maturidade,
capacidade e integração (CMMI), o que permite o uso de práticas de mercado
reconhecidas pelo Instituto de Engenharia de Software (SEI). Isso permite a
aplicação de regras consolidadas e reconhecidas, tanto na implementação de
projetos de software, quanto no objetivo de prover uma ferramenta para diagnosticar
a evolução dos estudantes. Tendo em vista práticas reais aplicadas no mercado, ela
possibilita a integração das experiências pessoais e profissionais no processo de
aprendizagem, bem como o uso de um ferramental (Moodle), voltado para o Ensino
a Distância (EAD).
Um problema verificado nessa metodologia foi a grande quantidade de
disciplinas envolvidas no processo de ensino da Engenharia de Software (ESW), em
contraposição à pequena quantidade de componentes por Fábrica de Software
(FSW). Em conjunto com a necessidade de realização de atividades reais, isso gera
conflitos entre produções acadêmicas e profissionais. Entretanto, devido à existência
da adversidade no mundo real – principalmente na disponibilidade do cliente, dentre
outras variáveis – tal problema acaba servindo para tornar mais real o processo de
aprendizagem.
2.4.4 COMPARAÇÃO ENTRE OS TRABALHOS DE PESQUISA CITADOS
Para melhor visualizar a comparação entre os trabalhos pesquisados, segue o
quadro 2.2, que pode complementar o entendimento das três metodologias
pesquisadas.
41
Quadro 2.2: Comparativo entre os Trabalhos Pesquisados Metodologias Yin Tuohi Santos
Práticas Nota de Atenção; Uso de feedbacks; Avaliação apropriada ao contexto.
Transmitir os conceitos do PBL; Produção de feedbacks; Realização de avaliações.
Uso de fábricas de software; Uso de metodologias que são aceitas pelo mercado.
Conceitos
Aproveitar a heterogeneidade; Avaliar o individuo; Avaliar a equipe; Avaliar a turma; Utilizar diversos recursos avaliativos.
Realizar avaliações no início e no término de cada fase; Nenhum dos componentes deve se autoavaliar; Obter no mínimo duas avaliações por componente do grupo.
Utilizar problemas reais; Utilizar processos de mercado para garantir a qualidade.
Papéis Alunos; Supervisores.
Alunos; Tutores; Observadores; Secretários; Presidentes.
Alunos; Professores; Monitores; Clientes.
Indicadores Individual; Equipe.
Individual; Equipe. Individual; Equipe.
Pontos Fortes Propicia o aprendizado do trabalho em equipe; Melhora no acompanhamento do rendimento educacional; Estimula áreas correlacionadas às disciplinas ministradas.
Entendimento da necessidade de mudanças no sistema avaliativo; Trabalho em equipe atendendo a uma necessidade do mercado de ter profissionais com facilidade de relacionamento; Maior dinamismo nas avaliações dos professores.
Integração das experiências pessoais e profissionais; Aplicação dos conceitos de mercado atuais; Utilização de processo avaliativo formativo e somativo.
Pontos Fracos Trabalho exaustivo na preparação das aulas; Metodologia fortemente atrelada a feedbacks.
Quantidade excessiva de relatórios, retardando o processo avaliativo; Falta de prática no dinamismo exigido pela metodologia.
Grande quantidade de disciplinas envolvidas que se confundem com processo profissional e acadêmico; Adversidades do mundo real que impedem que o processo acadêmico transcorra sem dificuldades.
42
2.4.5 AVALIAÇÕES DAS METODOLOGIAS PESQUISADAS
Com o estudo da Metodologia de Yin, podemos observar alguns pontos fortes
e fracos, descritos a seguir:
• Pontos Fortes
o Os estudantes passam a ter uma melhor ideia do que é trabalhar em
equipe – uma das características desejadas pelo mercado de trabalho;
o Fica mais fácil observar a evolução do desempenho do estudante;
o Permitir que os conhecimentos pré-existentes dos alunos possam ser
usados para construir novos conhecimentos desejados; e
o Estimular áreas de atuação que não são objetivos diretos do ensino,
mas que são muito desejadas como habilidades complementares. Por
exemplo, a de realizar apresentações com maior desenvoltura e a de
saber trabalhar em equipe.
• Pontos Fracos
o As preparações das aulas requerem um maior trabalho no seu
planejamento, exigindo um maior conhecimento das práticas
educacionais por parte do corpo docente; e
o A necessidade de relatórios é vital para essa metodologia, colocando
os conceitos avaliativos fortemente vinculados aos feedbacks das
narrativas desenvolvidas.
No trabalho da Metodologia de Tuohi, são observados os seguintes pontos
fortes e fracos, descritos a seguir:
• Pontos Fortes
o Utilização de grupos de trabalhos (times) que tinham a missão de
produzir relatórios do problema a ser solucionado, fazendo uso de
apresentações para explicá-lo;
o Outra inovação aplicada foi a adoção de um coordenador de grupo,
que deveria aplicar notas pela participação dos componentes na
confecção dos relatórios, justificando-as; e
o Com base na avaliação anterior, os professores passaram a incluir
seus feedbacks e notas como anexos, colocando também as notas
avaliadas pelos professores pela participação de cada aluno.
43
• Pontos Fracos
o Grande quantidade de relatórios, provenientes dos feedbacks, que
acarretaram em sobrecarga para os tutores, no processo de avaliação
dos mesmos; e
o Alunos sem prática na produção de relatórios, gerando muito texto
repetitivo, o que ocasionou um trabalho a mais (o de triagem) por parte
dos professores.
Para finalizar, são apresentados os pontos fortes e fracos Metodologia de
Santos, a seguir:
• Pontos Fortes
o Possibilidade de integrar as experiências pessoais e profissionais no
processo de aprendizagem, integrando todos os stakeholders;
o Aplicação de conceitos moderno da área de TIC no processo de
aprendizagem;
o Processos de avaliação formativa e somativa, tanto para o indivíduo
quanto para o grupo, fazendo uso de ferramenta voltada para EAD
(Moodle) no processo de aprendizagem; e
o Processo baseado no modelo CMMI, que junta o melhor das práticas
de mercado para implementação em projetos de software, tendo como
objetivo prover ferramental de diagnóstico para assegurar aos
estudantes o seu progresso, tendo em vista práticas reais de mercado.
• Pontos Fracos
o A grande quantidade de disciplinas envolvidas no processo de ensino
da ESW versus a pequena quantidade de componentes por FSW, em
conjunto com a necessidade de realização de atividades reais, geram
conflitos entre produções acadêmicas e profissionais; e
o As adversidades do mundo real – principalmente aquelas relacionadas
à disponibilidade do cliente – geram problemas no processo de
elicitação e homologação. Ao mesmo tempo, servem de preparação
para o mundo real, gerando desconforto na produção dos artefatos
exigidos academicamente.
44
Para melhor entender as formas de avaliar aplicados nas três metodologias, segue
uma descrição delas, a seguir:
• Yin - O processo de avaliação adotado por essa metodologia consiste na
elaboração de relatórios que servem como feedback, com o objetivo de
estimular o aluno a verificar seus pontos fracos na aprendizagem. No
transcorrer do processo, o supervisor irá atribuir uma nota indicativa de
atenção aos estudantes, objetivando a pró-atividade dos alunos. Além dessa
nota, o supervisor atribui outras, representando 60% do total para o grupo e
40% para o indivíduo. São analisados como artefatos do grupo o plano de
projeto, com 20%; o relatório de projeto e teste de sistema, com 30%; a
apresentação de grupo semanal e final, com 10%. Para a avaliação individual:
a produção do portfólio, com 10%; relatório de progresso verbal, com 10%;
autoavaliação e avaliação dos componentes do grupo, com 10%; e,
finalmente, o exame oral, com 10%;
• Tuohi - O processo de avaliação adotado por essa metodologia consiste na
elaboração de relatórios pelos alunos, no início e término de cada fase,
relatando os problemas e soluções. Assim, é fornecido o feedback do que os
mesmos entendiam e passaram a entender depois da fase transcorrida. Os
componentes também são avaliados pelos secretários (componentes do
time), que fornecem feedbacks mais detalhados. Já os secretários são
avaliados pelos presidentes (componentes do time). Todos esses relatórios
são analisados e pontuados – tanto individualmente quanto em grupo – pelos
tutores, identificando os alunos que foram proativos. Os observadores, por
fim, pontuam os conhecimentos obtidos pelos alunos através de habilidades
adquiridas durante o processo de solução do problema; e
• Santos - O processo de avaliação adotado por essa metodologia consiste em
aplicar questionário, com questões subjetivas, sobre os assuntos abordados
durante cada semana. Para isso, é utilizada a ferramenta Moodle, de ensino a
distância. Além disso, são enviados questionários de avaliação para os
clientes que designam os problemas a serem resolvidos, com o objetivo de
medir a sua satisfação. Tais questionários são agregados às avaliações que
45
serão pontuadas pelos monitores, relativas à produção dos artefatos
realizados pela equipe. Dessa forma, são realizadas tanto avaliações
individuais quanto coletivas – além das avaliações formativas, que verificam a
evolução individual e coletiva dos conceitos passados e de suas aplicações
na prática.
Comparando as metodologias, em busca de um melhor entendimento das
mesmas, percebe-se que a aprendizagem baseada em problemas é um instrumento
que pode ser usado como alternativa para ensinar a Engenharia de Software, pois o
uso de instrumentos como as fábricas de software ou os grupos de trabalho
possibilitam a integração entre os conceitos e as práticas, tornando mais fáceis o
entendimento e, principalmente, a compreensão de quando e onde esses conceitos
devem ser aplicados. Segundo Fleury (2001) e Vasconcelos (2008), a renovação do
modelo de ensino permite o uso de instrumentos que agreguem valor ao ensino,
permitindo atingir o objetivo – que não é outro senão a assimilação, por parte dos
alunos, dos conceitos transmitidos.
Outro fator que torna interessante o uso de fábricas de software no ensino da
Engenharia de Software é o de que, de acordo com Chiavenato (2003), as
organizações que fazem uso de TIC estão buscando realizar seus trabalhos de
forma mais estruturada – isso é, formando grupos de pessoas com habilidades
complementares, que se unem em prol de um objetivo. Tais equipes se diferenciam
de um simples grupo de trabalho, no qual as pessoas apenas compartilham
informações de interesse comum. O autor também ressalta que, em tais equipes de
trabalho, os membros são coletivamente responsáveis pelos resultados. Além disso,
são equipes formadas para fins organizacionais, sendo responsáveis pela atividade
informal ou formalmente direcionada a elas – assim, são autossuficientes e
dispensam a presença de líderes de caráter multifuncional. Nelas, os conhecimentos
individuais são integrados, e isso possibilita a sua formação para atender a projetos
imediatos da organização. Elas podem ser diluídas ao fim desses projetos, ou
podem passar a funcionar como um setor institucional, nos casos em que a equipe
torna-se suficientemente desenvolvida.
46
Cumpre notar que, fazendo uso das fábricas de software ou de grupos de
trabalho, todos os alunos poderão vivenciar as várias atividades inerentes à
profissão de engenheiro de software. Dessa forma, o uso de um instrumento que
coloque os aprendizes em contato com o mundo real se mostra bem adequado, pois
uma ferramenta que possibilite a relação teoria-prática vem se mostrando cada vez
mais apropriada para a aprendizagem.
Entretanto, existe a dúvida sobre se fábricas de software, ou grupos de
trabalho, como instrumento de aprendizagem teórico-prático, podem atingir a
efetividade que se busca no ensino da Engenharia de Software. Outra vertente
busca nos processos avaliativos uma forma de se chegar a essa efetividade. E,
talvez, a junção dos instrumentos – fábricas de software ou grupos de trabalho –
com processos avaliativos se torne um processo mais coerente no ensino que busca
resultados.
Quando se fala em avaliação, o foco é avaliar pessoas. Porém, em um
processo de ensino, elas normalmente estão inseridas em um grupo – seja esse
acadêmico ou profissional. Considerando a avaliação um processo que faz parte do
cotidiano dos indivíduos, mesmo quando não existam instrumentos formais que
denotem esse processo, presume-se a atribuição de valores a todas as interações
possíveis.
Uma forma de atribuir valores, condizente com um método que busca trazer
problemas reais para que o aluno os vivencie e os solucione seria, também, adotar
métodos avaliativos reais – isto é, métodos aplicados pelo mercado. Em especial,
pela indústria de software.
Apesar de avaliações formativas e somativas se mostrarem uma evolução no
processo avaliativo, há dúvidas sobre o seu impacto no processo de aprendizagem
baseado em problemas reais. Não se sabe se essas avaliações, por si só, podem
responder às questões de efetividade no aprendizado. A Engenharia de Software é
multidisciplinar – todas as suas disciplinas interagem entre si – para que, no final, se
atinja o objetivo maior – que é produzir um software. Esse é o problema maior de
quem se predispõe a ensinar e aprender essa engenharia.
47
Comprovadamente, o processo de aprendizagem apenas com teorias e
avaliações tradicionais já se mostrou ineficaz. No entanto, manter apenas aulas
teóricas, com a aplicação de novos métodos de avaliação – como as formativas e
somativas – também se mostra não muito eficiente para garantir a efetividade do
ensino. É por isso que se busca uma metodologia que saia da forma tradicional de
ensino – e o PBL, com a aplicação das novas avaliações, pode ser esse caminho.
Para os pesquisadores Santos et al (2008), esses projetos precisam de um
cliente real envolvido, pois isso motiva os aprendizes ao envolvimento no projeto. A
necessidade de um cliente real pode ser percebida nesta frase: “é importante
ressaltar que, se o estudante se engaja em uma autêntica resolução de problemas,
então ele é o dono do problema”, Santos et al (2008). Ainda de acordo com a autora,
os aprendizes percebem o problema como real quando existe relevância pessoal
para cada indivíduo envolvido.
Para problemas reais, métodos avaliativos alinhados com o mercado trazem
respaldo tanto ao processo de verificação quanto ao de aprendizagem. Por exemplo:
o uso de modelos de qualidade como o Capability Maturity Model Integration (CMMI)
– um modelo de referência, que contempla práticas tanto genéricas quanto
específicas, importantes para atribuir maturidade ao processo de construção de
software, e cujo objetivo é estabelecer um modelo único para o processo de
melhoria contínua – pode bem ser aplicado. Outro modelo de qualidade que também
pode ser bem aplicado, e está se difundindo, é o de Melhoria de Processos do
Software Brasileiro (MPS-BR), que é voltado para a realidade do mercado brasileiro
de pequenas e médias empresas de desenvolvimento de software de Koscianski e
Soares (2007).
Esses modelos podem ser um bom recurso para garantir uma melhor
assimilação na prática aplicada para a absorção da teoria dada. Mas para verificar
se o andamento está de acordo com o planejado, faz-se necessário o uso de
indicadores.
Dentre os indicadores que servem para verificar o andamento das atividades,
uma metodologia que merece estudo é o Balanced Scorecard (BSC), que, segundo
Kaplan e Norton (2001) vem sendo utilizado pelo mercado. Assim, na próxima
48
seção, é realizada uma análise sobre a necessidade dessa efetividade do ensino –
e, por conseqüência, sobre a necessidade da utilização de indicadores para validá-
la.
2.4.6 ANÁLISE SOBRE A EFETIVIDADE DO ENSINO
Nesta seção, além da análise sobre a necessidade da efetividade do ensino, serão
propostos indicadores que podem ser usados para avaliar essa efetividade. Tais
indicadores serão propostos a partir do BSC – metodologia que já vem sendo
utilizada por organizações de diversas áreas.
Considerando a avaliação um processo, Abramowics (1996) sustenta que “o
estudo de avaliação da aprendizagem constitui-se no ramo mais antigo da área de
medida do rendimento”. Nessa abordagem, o autor explica que, durante um longo
período, o foco da medição estava na evolução do aluno. Para isso, eram utilizados
testes padronizados, elaborados de acordo com objetivos pré-definidos. Entretanto,
quando os alunos passaram a não mais ser vistos como meros depositários de
informações, segundo Freire (1987), essa forma de avaliação começou a ser revista,
passando considerar questões como opiniões, atitudes e expectativas.
Nessa linha, Perrenoud (1999) esclarece que é necessário mudar o processo
de avaliação, atribuindo-lhe um significado formativo – isto é, alterar os métodos de
ensino. As alterações sugeridas são:
• Considerar os conhecimentos como recursos a serem mobilizados;
• Negociar e conduzir projetos com seus alunos;
• Adotar um planejamento flexível; e
• Implementar e explicitar um novo contrato didático.
Para garantir que o que está sendo ensinado está sendo absorvido, são
necessários instrumentos avaliativos, que podem ser tradicionais ou formativos.
Porém, mais que a simples aplicação de avaliações, é preciso o monitoramento das
mesmas, verificando assim se está existindo evolução ou não no aprendizado.
Dessa forma, caso o desejado não ocorra, será possível a aplicação de atitudes
corretivas no processo. Uma forma de monitorar é fazer uso de indicadores, que
podem informar através de valores, quantitativos ou qualitativos, o andamento das
49
ações que foram planejadas. Só assim as metas definidas poderão ser atingidas – e,
por conseqüência, os objetivos poderão ser conquistados. No caso em questão, o
objetivo é o de tornar o conhecimento adquirido aplicável na prática, além de garantir
a continuidade de sua aquisição.
Com o uso do BSC, pode-se, então, elaborar indicadores que permitam
acompanhar o desempenho dos alunos – tanto individualmente quanto em equipe.
Como o foco desse trabalho é o ensino da Engenharia de Software, fazendo uso de
uma metodologia que traz para a prática os conceitos passados pelos professores,
faz-se necessária uma situação real, para melhor entendimento de muitas das
atividades realizadas por um profissional. Como uma delas é a entrega de artefatos,
esse pode ser um indicador para verificar a qualidade do produto. Pode-se medir,
por exemplo, a periodicidade dessas entregas – e os resultados atestarão o
comprometimento por parte da equipe. Nesse caso, atende-se o aspecto dos
processos internos determinados pela metodologia.
Outro indicador que pode ser utilizado é o que atende o aspecto de motivação
e crescimento do BSC. Ele serve para avaliar como os ativos do processo foram
produzidos e entregues, verificando se atendem ao processo definido e se estão
dentro do prazo planejado.
Pode-se, ainda, fazer uso do aspecto cliente. Basta elaborar um indicador de
Avaliação da Equipe, com o intuito de acompanhar o feedback do cliente. Isso
permitirá a verificação dos requisitos e prazos planejados com o cliente, e se foram
alcançados.
Assim, os ativos tangíveis e intangíveis podem ser verificados. Cada vez mais
são requeridas as capacidades de criar, de multiplicar e de utilizar de forma eficaz os
conhecimentos e as habilidades. Isso evidencia o conceito de capital intelectual,
fazendo com que a avaliação torne-se necessário na busca da do aprendizado mais
rápido e duradouro.
Nesse contexto, estuda-se um método de ensino baseado em problemas que,
na sua própria definição, está relacionado a um processo de educação que se apoia
na avaliação, para a diminuição do tempo do processo de aprendizagem. Contudo,
50
para verificar se o objetivo foi atingido, é necessário que se criem indicadores para
acompanhar e corrigir processos quando necessário. Uma metodologia desenvolvida
para facilitar a busca e criação desses indicadores é o Balanced Scorecard.
2.4.7 CONCLUSÃO DOS TRABALHOS CORRELACIONADOS
Com base nas pesquisas realizadas, a necessidade de se obter a efetividade no
ensino é imperiosa – e várias teorias e metodologias vêm sendo estudadas para se
obtê-la. Resta saber qual seria a melhor abordagem, e como comprovar que a
escolhida é a mais apropriada para o ensino da ESW. A proposta deste estudo é
fazer uso de uma metodologia aceita pelo mercado para verificar se a escolhida é
adequada a esse fim.
2.5 CONCLUSÃO DO ESTADO DA ARTE
Nesse contexto, encontra-se um método de ensino baseado em problemas que, na
sua própria definição, está relacionado ao processo de educação – que, por sua vez,
é baseado na avaliação para a aferição se o processo de aprendizagem obteve
efetividade. Para se assegurar que o objetivo será atingido, é necessário que se
criem indicadores para acompanhar e corrigir os resultados, quando se fizer
necessário. Uma metodologia testada e aceita pelo mercado, que pode facilitar a
busca e criação desses indicadores, é o Balanced Scorecard (BSC).
Com o uso do BSC, podem-se determinar objetivos. É importante verificar o
desempenho de um corpo discente que pretende aprender a disciplina de
Engenharia de Software, utilizando instrumentos como uma Fábrica de Software
para vivenciar o desenvolvimento de real de um produto, seguindo a metodologia de
Aprendizagem Baseada em Problemas. Isso é fundamental para que se possa obter
um melhor aproveitamento dos conhecimentos, passados por especialistas, através
de metas que devem ser definidas pelo grupo. Além disso, devem-se investigar
quais as ações para alcançar essas metas, e quais os indicadores para o
monitoramento das mesmas. Se necessário, deve haver prazo para replanejá-las,
caso não venham cumprir o prometido. O objetivo final de todo esse processo de
aprendizagem é a assimilação do conhecimento.
51
No próximo capítulo, será proposto o uso da Aprendizagem Baseada em
Problemas como metodologia para o ensino efetivo da Engenharia de Software. O
instrumento para essa aprendizagem será composto pelas Fábricas de Software, e
para a verificação da aprendizagem serão usados indicadores elaborados pela
metodologia de mercado denominada Balanced Scorecard.
52
3 SOLUÇÃO PROPOSTA
A solução proposta é a busca de indicadores fazendo o uso do BSC que é a
metodologia adotada para criar indicadores com o objetivo de acompanhar os
processos avaliativos das FSW, para verificar se a aprendizagem produziu o efeito
esperado na produção de software, avaliando assim a evolução de alunos que
estejam inseridos em um processo de aprendizagem da Engenharia de Software,
usando a metodologia de Aprendizagem Baseada em Problemas.
3.1 METODOLOGIA UTILIZADA
Para gerar os conhecimentos necessários à pesquisa na obtenção de indicadores
que possam ser aplicados no estudo de caso, é necessário que a mesma seja
aplicada, pois ela estuda uma utilização focada na solução de problemas específicos
do mundo real.
Nessa abordagem – uma relação entre o mundo real e o mundo acadêmico –
foi realizada com uma pesquisa qualitativa, visando descrever as características de
determinados aspectos, como:
• Verificar se a interação com o cliente foi satisfatória e atendeu às
expectativas;
• Verificar se os alunos atingiram os objetivos de aprender a executar as
atividades de Engenharia de Software; e
• Verificar se os conhecimentos recebidos e o tempo destinado para
realização das atividades aprendidas foram satisfatórios.
Com base nesses aspectos, foi necessário o uso de determinadas técnicas de
levantamento de dados – como questionários e planilhas de acompanhamento – que
serviram para registrar a evolução das fábricas de software, tais como:
• Avaliação do nível de satisfação do cliente com relação à equipe e ao
produto entregue, que consta no apêndice B;
53
• Medição realizada a partir dos levantamentos, para efeito de
comparação e visualização do progresso através dos indicadores
propostos, conforme apêndice C;
• Verificação do andamento das fábricas com base na metodologia
definida, fazendo uso de uma planilha de avaliação independente,
disponível no apêndice D; e
• Aplicação, no final de cada etapa, de questionário baseado na planilha
de status report exibida no apêndice E, para averiguar os critérios e
verificar se tempo destinado para realização das atividades foi
atendido.
Com base nas técnicas de comparação da pontuação alcançada pelos alunos
e na verificação do progresso, serão apresentados, a seguir, os indicadores para
monitorar a efetividade do ensino.
3.2 INDICADORES PROPOSTOS
A metodologia utilizada para obtenção dos indicadores é o Balanced Scorecard.
Conforme descrito na seção 2.3, o BSC orienta que se definam os objetivos no início
da elaboração dos indicadores. Seguem, então, na próxima seção, tais objetivos.
3.2.1 OBJETIVOS
O objetivo trata do que deve ser alcançado. Isso é crucial para o sucesso do tema
deste estudo, que é a busca da efetividade do ensino da Engenharia de Software
baseado na Aprendizagem Baseada em Problemas.
Para tal, dois objetivos foram traçados.
O primeiro é a busca da eficiência que mede a capacidade em utilizar, com
rendimento máximo, todos os insumos necessários ao cumprimento dos objetivos e
metas, esse se preocupa com os meios, com os métodos e procedimentos
planejados e organizados a fim de assegurar otimização dos recursos disponíveis,
segundo a SEFAZ (2010); eficácia que verifica a capacidade em se cumprir as
54
metas e objetivos previamente fixados, de acordo com a SEFAZ (2010); e
efetividade que verifica o impacto de uma programação em termos de solução de
problemas, conforme a SEFAZ (2010).
Quanto à eficiência: verificar se o processo adotado atende ao que se propõe
construir. Quanto à busca da eficácia: com base no processo adotado, realizar
verificações nas atividades para assegurar que estão sendo realizadas a contento.
Para isso, são necessários indicadores. Alguns deles verificam a eficiência,
ao acompanhar as ações de produção dos artefatos, ao decidir quais artefatos
devem ser produzidos, ou quais os modelos corretos para produção dos mesmos,
quais os melhores recursos, quais atividades do processo devem elaborá-los e quais
atividades irão garantir sua qualidade. Outros investigam a eficácia, que deve medir
se os artefatos estão sendo entregues dentro do prazo planejado.
Para o segundo objetivo, que é a verificação da evolução das fábricas,
devem-se obter indicadores que meçam a motivação e comprometimento das
equipes durante todo o processo.
Com os objetivos definidos, a metodologia orienta que devem ser traçadas as
metas para alcançá-los. Assim, na próxima seção, elas são descritas.
3.2.2 METAS
Segundo o BSC, as metas tratam da taxa de melhoria necessária para atingir os
objetivos traçados. Assim, a meta para o primeiro objetivo é a obtenção do nível de
desempenho para eficiência e eficácia do trabalho, e deve ser medida em atendida
ou excepcional. E a meta para o segundo objetivo é o nível de motivação e
comprometimento no trabalho, e deve ser medida em bom ou ótimo.
Na próxima seção seguem os planos de ação definidos para que se atinjam
os objetivos desejados, conforme orienta o Balanced Scorecard.
55
3.2.3 PLANO DE AÇÃO
O plano de ação consiste em um conjunto de atividades-chave necessárias para
alcançar os objetivos. A seguir, a descrição das mesmas.
Para o primeiro objetivo:
• Indicador eficiência:
o Aprender como o artefato deve ser produzido;
o Determinar o artefato que precisa ser construído;
o Determinar o modelo correto para produção desse artefato;
o Determinar o melhor recurso para elaboração do artefato;
o Determinar que atividade deverá ser executada; e
o Determinar que atividade irá garantir a qualidade do mesmo.
• Indicador eficácia:
o Verificar se o artefato entregue atende ao processo; e
o Verificar se o artefato entregue está dentro do prazo.
Para o segundo objetivo:
• Indicador de Comprometimento:
o Realizar avaliações periódicas com o feedback dos professores;
o Fazer avaliações periódicas com o feedback das monitores; e
o Obter o feedback do cliente sobre as entregas periódicas.
• Indicador de Motivação:
o Obter o feedback da equipe.
Com o plano de ação diagramado, pode-se gerar o mapa estratégico, que é
uma visão de tudo que deve ser realizado. Na próxima seção, segue sua descrição.
56
3.2.4 MAPA ESTRATÉGICO
O Mapa Estratégico, segundo descrito na seção 2.3, representa a estratégia através
dos objetivos relacionados entre si e distribuídos nos aspectos relevantes ao tema.
O BSC é composto de quatro aspectos, que são as visões necessárias para
obtenção do sucesso dos seus objetivos: o financeiro, o cliente, os processos
internos e a motivação/inovação. Porém, a proposta aqui apresentada é uma
adaptação do BSC. Assim sendo, os quatro aspectos que se ajustam à obtenção do
sucesso para o tema não contempla o financeiro sendo substituído pela efetividade
do ensino.
O aspecto Efetividade do Ensino é uma inovação, e foi contemplado devido
ao tema, que busca verificar o impacto do uso de uma metodologia alternativa no
ensino da Engenharia de Software.
Para tal verificação, um aspecto importante a ser considerado é a melhoria
significa em produzir com menos esforço, permitindo o uso da energia de construção
da forma mais adequada para as atividades necessárias. Outro aspecto essencial é
a pontualidade da entrega dos artefatos: o cumprimento do prazo de entrega indica
a qualidade na produção.
Os demais aspectos são provenientes do próprio BSC, tendo o de
Aprendizado e Inovação – que visa o uso da técnica apropriada para o
desenvolvimento, o de Processos Internos – que busca o domínio das técnicas e
sua racionalização para produção dos artefatos de forma correta e o de Cliente –
que é o fomentador das demandas do que será produzido e que deseja a qualidade
dessa entregas.
A finalidade dos aspectos é focar em áreas que são necessárias para a
obtenção do sucesso. E é importante salientar que esses aspectos só existem para
obter o sucesso do tema – isto é, alcançar os objetivos traçados. O primeiro deles é
buscar a eficiência e eficácia na produção nas fábricas de software. Para isso se
deve verificar: quem, como os artefatos estão sendo produzidos para assim se
garantir a eficiência; e quando e onde estão sendo produzidos para obter a eficácia.
O segundo objetivo é verificar a assimilação dos novos conhecimentos para
57
produção de software com qualidade. Os aspectos considerados para esse objetivo
são o aprendizado e os processos internos estipulados.
Para visualizar o que foi explicado, e entender melhor como esses aspectos
se relacionam, a metodologia BSC orienta que os aspectos devem se relacionar aos
objetivos, mostrando o impacto de um sobre o outro, como mostrado na figura 3.1.
Figura 3.1: Mapa Estratégico
Tema: Efetividade do Ensino da ESW baseado em PBL
Efetividade do Ensino
Impacto do uso de uma metodologia alternativa para assimilação dos conceitos da ESW
Cliente
Objetiva o recebimento da produção com qualidade, no prazo e com os requisitos solicitados
Processos Internos
Domínio das técnicas escolhida para atendimento das demandas e sua racionalização
Aprendizado e Inovação
Análise das técnicas aceitas pelo mercado e seleção das mais adequadas
Para melhor compreender os objetivos, indicadores, metas e ações, segue
um detalhamento do Mapa Estratégico, pois ele possibilita uma visão mais clara dos
pontos citados, com base nos quatro aspectos acima elaborados.
• O que é crítico para o sucesso do tema:
o Objetivo 1 – Buscar a capacidade em utilizar, com rendimento máximo,
todos os meios necessários para a produção de software, a fim de
assegurar otimização dos recursos disponíveis e verificar a capacidade
em se cumprir os prazos:
� Indicador 1 – Eficiência:
• Ação 1 – Aprender como os artefatos devem ser
produzidos;
• Ação 2 – Determinar quais artefatos que devem ser
produzidos;
58
• Ação 3 – Qual o modelo correto para produção dos
artefatos;
• Ação 4 – Quais os melhores recursos para produção dos
artefatos;
• Ação 5 – Quais atividades do processo definido que
devem ser executadas; e
• Ação 6: Quais atividades irão garantir a qualidade dos
artefatos.
� Indicador 2 – Eficácia:
• Ação 1 – Verificar se os artefatos entregues atenderam
ao processo definido; e
• Ação 2 – Verificar se os artefatos entregues estão dentro
do prazo planejado para sua produção.
o Objetivo 2 – Verificar a motivação e comprometimento das equipes
durante todo o processo:
� Indicador 3 – Comprometimento:
• Ação 1 – Obter feedback dos professores;
• Ação 2 – Obter feedback dos monitores; e
• Ação 2 – Obter feedback dos clientes.
� Indicador 3 – Motivação:
• Ação 1 – Obter feedback da equipe.
Esse detalhamento do Mapa Estratégico pode ser mais delineado. Para isso,
o BSC fornece outro recurso, chamado de Dicionário de Indicadores. Seu
funcionamento é explicado na próxima seção.
59
3.2.5 DICIONÁRIO DE INDICADORES
É outra forma indicada pelo BSC de representar os indicadores elaborados. É
exibido na página seguinte no quadro 3.1.
60
Quadro 3.1: Dicionário de Indicadores Indicador Eficiência Eficácia Comprometimento Motivação Descrição Quantidade e qualidade dos artefatos em
relação à otimização definida Tempo gasto para a produção dos artefatos com qualidade
Analisar os feedbacks dos professores, monitores e clientes
Analisar os feedbacks dos componentes das equipes
Freqüência Final de cada etapa Final de cada etapa Final de cada etapa Final de cada etapa Unidade Índices:
-1=Não Coletado;
0=Não Avaliado, com nota 0;
1=Inacabado, com nota entre 0,1 - 1,9;
2=Inapropriado, com nota entre 2,0 - 3,9;
3=Insuficiente, com nota entre 4,0 - 5,9;
4=Atendido, com nota entre 6,0 - 8,9;
5=Excepcional, com nota entre 9,0 - 10,0.
Índices:
-1=Não Coletado;
0=Inapropriado;
1=Insuficiente;
2=Atendido.
Índices:
-1=Não Coletado;
0=Não Avaliado;
1=Péssimo;
2=Insatisfatório;
3=Regular;
4=Bom;
5=Ótimo.
Índices:
-1=Não Coletado;
0=Não Avaliado;
1=Péssimo;
2=Insatisfatório;
3=Regular;
4=Bom;
5=Ótimo.
Linha Base -1=Não Coletado -1=Não Coletado -1=Não Coletado -1=Não Coletado
Meta 4=Atendido; ou 5=Excepcional 2=Atendido 4=Bom; ou 5=Ótimo 4=Bom; ou 5=Ótimo
Ações Aprender como os artefatos devem ser
produzidos;
Determinar qual o artefato deve ser produzido;
Qual o modelo correto para produção dos
artefatos;
Quais os melhores recursos para produção;
Quais atividades devem ser executadas; e
Quais atividades iram garantir a qualidade.
Verificar se os artefatos
entregues atenderam ao
processo definido; e
Verificar se os artefatos
entregues estavam dentro dos
prazos planejados para sua
produção.
Avaliações periódicas com opinião
dos stakeholdes.
Avaliações periódicas com
opinião dos componentes das
fábricas de software.
61
O indicador escolhido para a eficiência analisa as notas atribuídas aos
artefatos entregues pelos alunos. Para a eficácia, levam-se em consideração os
prazos para entrega, a qualidade do trabalho, o atendimento aos padrões exigidos, e
a relevância das informações ao projeto. Os indicadores de comprometimento levam
em consideração as notas dos professores e monitores em relação às entregas
solicitadas e a satisfação do cliente; e motivação considera o feedback dos
componentes das fábricas de software.
Para isso, existe a necessidade do uso de uma unidade que melhor
represente a medição para os indicadores propostos. Nesse caso, foi escolhido o
índice. Seus valores podem variar na seguinte faixa: (-1) para quando uma nota não
for coletada; (0) para uma nota não avaliada, mesmo que possa ser coletada; (1)
para artefatos inacabados, nos quais as notas atribuídas ficam entre 0,1 e 1,9; (2)
para artefatos inapropriados – aqueles que, apesar de completos, não atendem ao
propósito, e ficam com notas entre 2,0 e 3,9; (3) para as entregas medidas como
insuficientes – que ficam com nota entre 4,0 e 5,9, já que atendem ao propósito, mas
então incompletas; (4) para os atendidos, isto é, os artefatos que atendem ao
propósito, mas não estão bem elaborados, ficando com notas entre 6,0 e 8,95; e, por
fim, os de índice (5) para os medidos como excepcionais, com notas entre 9,0 e 10,0
já que atendem ao propósito e estão bem elaborados.
Os índices para o indicador de eficácia são: (-1) para indicar que o artefato
não foi entregue em nenhuma das datas planejadas – sendo assim, não houve
coleta, e o item é denominado “não coletado”; (0) para mostrar que o artefato foi
entregue, porém fora do prazo, em todas as datas planejadas, caracterizando uma
falta de deferência aos prazos fixados – denominado de inapropriado; (1) indicando
que o artefato foi entregue em algumas datas planejadas, porém, em outras não,
resultando em uma inconstância na observância dos prazos – denominado de
insuficiente; (2) denotando que o artefato foi entregue, em todas as datas
planejadas, dentro do prazo estipulado – denominado de atendido.
Os índices para os indicadores de comprometimento e motivação são
decorrentes das pontuações aplicadas pelos professores, monitores, clientes e
equipes, indicando seu nível de satisfação para os itens descritos nos apêndices A e
62
B. Esses índices são baseados nessas pontuações, e a sua relação é: (-1) para não
coletado; (0) para não analisado; (1) que indica péssimo e ocorre quando a
pontuação ficar em 0,1 e 1,0; (2) para insatisfatório, quando a pontuação ficar entre
1,1 e 2,0; (3) indicando regular quando a pontuação for 2,1 até 3,0; (4) que significa
bom, para pontuação entre 3,1 e 4,0; e por fim (5) que indica ótimo, para pontuação
entre 4,1 e 5,0.
Definidos os índices, os mecanismos de análise passam a medir as notas de
entregas dos artefatos em relação a sua eficiência, isto é, respeitando os requisitos
solicitados. Para eficácia, o mecanismo se refere aos prazos, aplicando os índices
para cada um dos artefatos de cada uma das sete fábricas, como pode ser visto no
apêndice A.
É possível obter a ocorrência de cada um desses índices em quaisquer das
sete fábricas, e assim observar sua variação. No quadro 3.1, são mostrados todos
os indicadores de forma simples. Constam suas descrições; as freqüências de
medições; as unidades utilizadas; a linha de base – isto é, quando serão iniciadas as
medições; e as metas – ou seja, o que a medição deseja que seja considerado como
sucesso, e quais as ações necessárias para obtê-lo.
No próximo capítulo, será realizado um estudo de caso, com sete fábricas de
software que serviram para aplicação dos indicadores aqui propostos, bem como
com a aplicação dos mecanismos de análise descritos.
63
4 ESTUDO DE CASO
Durante a realização desta pesquisa, foram utilizados os indicadores propostos para
avaliar a evolução dos alunos inseridos em fábricas de software, no Mestrado
Profissional de Engenharia de Software (MPES) do Centro de Estudos e Sistemas
Avançados do Recife (CESAR).
O MPES, desde o segundo semestre de 2007, inseriu o processo de
aprendizagem baseada em problemas. Para isso, passou a utilizar fábricas de
software como instrumento de ensino, buscando a qualificação de profissionais em
Engenharia de Software. O objetivo é o aprimoramento e a efetividade do ensino
dessa disciplina, promovendo a habilidade de estudantes para resolver problemas
reais dentro de ambientes mais próximos da realidade.
4.1 DESCRIÇÃO DO ESTUDO DE CASO
O MPES está organizado pelas seguintes disciplinas: Fábricas de software,
Requisitos e Interfaces, Gestão de Projetos, Arquitetura, Testes e Interoperabilidade.
Elas são lecionadas dentro do contexto de fábricas de software. Para sua criação, os
aprendizes são orientados a montar equipes, em busca das definições e
formalizações dos seus respectivos papéis.
A coordenação do curso faz a montagem das fábricas a partir das
experiências dos estudantes. Com base no estudo dos modelos de fábricas de
software disponíveis no mercado, define-se o ciclo de vida do software. Além disso,
ocorre a definição do processo de desenvolvimento, a organização da infraestrutura
e os pontos de avaliação das fábricas, para acompanhamento dos processos, do
capital humano e do cliente.
É importante salientar que a montagem das fábricas não prescinde do
componente pedagógico, nem do aspecto prático-experimental. O processo não
limita, nem impõe restrições à criatividade das equipes em suas definições. Outro
aspecto no processo de aprendizagem é a avaliação, que é realizada através de
reuniões periódicas, avaliando os artefatos gerados. Dessa forma, é possível
analisar o desempenho individual e o da equipe.
64
Os alunos que cursam o MPES são profissionais da área de TIC, que
desejam aperfeiçoamento nas técnicas mais atuais e vigentes no mercado – e, ao
mesmo tempo, desejam fazê-lo através de uma metodologia de aprendizado
alternativa.
Muitos desses profissionais já trabalham no mercado. No entanto, ainda usam
técnicas ultrapassadas, desenvolvendo de forma adhoc – e, por conseqüência,
imprimindo pouca qualidade na produção.
Os projetos utilizados nesses trabalhos de aprendizado são todos reais – isto
é, são todos oriundos de demandas de mercado que buscam no MPES uma forma
de solucionar seus problemas. Procuram soluções que usem técnicas reconhecidas,
e, além disso, orientadas por profissionais experientes e alunos motivados,
abrangendo várias áreas – como sites para comércio eletrônico, aplicações para TV
Digital e sistemas para área médica, dentre outros. Com base nesses projetos, a
próxima seção mostra os resultados das análises dos dados obtidos.
4.2 PROCESSO DE AVALIAÇÃO DAS FÁBRICAS DE SOFTWARE NO CESAR
As fábricas de software utilizadas como instrumento de ensino são avaliadas
no MPES de duas formas. A primeira é o conjunto, isto é, a equipe formada para
compor a FSW deverá produzir as demandas do cliente como uma fábrica real e os
entregáveis são avaliados pelo cliente que irá responder um questionário de
satisfação atribuindo uma nota de 0 (zero) a 5 (cinco) as critérios relacionados nesse
questionário como podem ser visto no apêndice B.
Os artefatos gerados pela FSW que devem atender ao processo definido pela
FSW e são avaliados pelos monitores que irão atribuir uma nota de 0 (zero) a 10
(dez) levando em consideração os aspectos de qualidade na produção que podem
ser visto no apêndice D chamado de avaliação independente. Essas avaliações são
pontuais sendo planejadas e divulgadas no início de cada fase.
Além das avaliações independentes, a monitoria também realiza uma
avaliação em relação ao processo adotado, em relação a quem faz, o que faz, como
faz e quando faz, atribuindo uma nota também de 0 (zero) a 10 (dez) em um relatório
65
denominado de status report que pode ser visualizado no apêndice E, aplicado em
pontos de checagens previamente combinados.
A última forma de avaliação aplicada no MPES é a formativa, que consiste na
aplicação de notas de 0 (zero) a 10 (dez) pelos professores das disciplinas através
de questionamentos sobre os conceitos passados e suas aplicações nas demandas
dos clientes das fábricas.
4.3 ANÁLISE DOS RESULTADOS
Para analisar o estudo de caso, foram utilizados índices para medir os indicadores
propostos – índices esses que indicam a eficiência, eficácia, motivação e
comprometimento na produção dos artefatos entregues.
Os dados utilizados para aplicação dos índices foram coletados durante dois
anos de utilização da metodologia pelo MPES. Eles estão disponíveis no apêndice A
e B, onde estão registradas as notas obtidas pelos alunos por cada uma das sete
fábricas de software – como também as datas planejadas para suas respectivas
entregas.
O mecanismo de análise baseou-se na observação das notas atribuídas pelos
professores, monitores e clientes - durante o processo de execução das fábricas de
software em relação à entrega dos artefatos. Com base nessas notas foi verificado
em que faixa as mesmas se encontravam em relação às faixas de valores propostos
no dicionário de indicadores e baseado nessa localização nas faixas foi aplicado o
índice correspondente a faixa, nas unidades estabelecidas e descritas no quadro
3.1, para atingir as metas definidas no mesmo quadro. A partir desses índices, foi
verificada a ocorrência dos mesmos em cada uma das sete fábricas de software,
para os indicadores de eficiência e eficácia – quadros 4.1 e 4.2. A última medição foi
a de motivação e comprometimento, vista no quadro 4.3. Ela é baseada nas
pontuações de satisfação dadas pelos clientes nas referidas fábricas, para no final
verificar a ocorrência que cada índice.
66
Com isso, foi possível fornecer dados visuais para cada indicador, retratando
a evolução das fábricas em relação às entregas dos artefatos e à satisfação dos
clientes.
Quadro 4.1: Análise da Eficiência Fábricas Inacabado Inapropriado Insuficiente Atendido Excepcional FSW-1 0 0 0 12 1 FSW-2 1 1 0 7 0 FSW-3 0 0 0 4 2 FSW-4 0 0 3 2 1 FSW-5 0 0 0 6 5 FSW-6 0 0 0 1 10 FSW-7 0 0 0 6 4
Figura 4.1: Análise da Eficiência
Com a figura 4.1, pode-se observar que as medições Atendidas e
Excepcionais ocorrem com maior freqüência, denotando que a entrega dos artefatos,
em relação ao rendimento, é satisfatória. Além disso, o uso do Aprendizado Baseado
em Problemas mostra-se bem sucedido nos seguintes itens: a transmissão de
conhecimentos de como os artefatos devem ser produzidos; a determinação de
quais artefatos devem ser produzidos; a definição do modelo correto para produção
dos artefatos; a escolha dos melhores recursos para produção dos mesmos; a
eleição das atividades do processo que devem ser executadas; e a definição das
atividades que irão garantir que a qualidade dos artefatos gerados foi bem sucedida.
67
Quadro 4.2: Análise da Eficácia Fábricas Inapropriado Insuficiente Atendido FSW-1 6 7 0 FSW-2 4 5 0 FSW-3 7 1 2 FSW-4 6 4 1 FSW-5 4 4 3 FSW-6 5 2 4 FSW-7 5 3 3
Figura 4.2: Análise da Eficácia
A figura 4.2 nos mostra que a medição com maior ocorrência é a
Inapropriado. Isso quer dizer que boa parte dos artefatos não foi entregue em
nenhuma das datas planejadas. Em seguida, o de maior incidência é o Insuficiente,
indicando que os artefatos foram entregues em, pelo menos, algumas datas
planejadas. Ainda em menor proporção, está o Atendido, que indica que os artefatos
foram entregues em todas as datas planejadas, dentro do prazo estipulado.
Levando em consideração os números mostrados, o aspecto pontualidade –
que busca verificar se as entregas atenderam ao planejamento definido, dentro do
prazo – mostra que, para esse indicador, o resultado é insatisfatório. Isso indica a
necessidade de um estudo para identificação dos problemas que provocaram o não
cumprimento dos prazos de entrega.
Como foi descrito acima para o indicador de eficiência, o seu resultado foi
satisfatório, mantendo-se entre Atendido e Excepcional. Isso é uma repetição de
68
indicação positiva. Entretanto, para a eficácia, os índices que ocorreram com
freqüência foram o Inapropriado e Insuficiente, mostrando uma efetividade negativa.
Quadro 4.3: Análise da Motivação e Comprometimento Fábricas Péssimo Insatisfatório Regular Bom Ótimo FSW-1 1 0 0 1 8 FSW-2 0 0 0 3 7 FSW-3 0 0 1 8 1 FSW-4 0 4 5 1 0 FSW-5 0 0 5 2 0 FSW-6 0 0 0 6 3 FSW-7 0 0 0 0 0
Figura 4.3: Análise da Motivação e Comprometimento
Na figura 4.3, percebemos que as ocorrências das medidas Ótima e Boa
ocorrem com frequência muito maior. Em segundo lugar, surgem as medidas
Regular e Insatisfatório. A medida Péssima fica quase sem representação.
Isso indica que a satisfação dos clientes foi percebida nas sete fábricas.
Portanto, a produção de artefatos com finalidades acadêmicas – mas baseados em
necessidades reais – trouxe motivação e comprometimento dos alunos nas suas
confecções. Esse fato pode ser percebido em relação ao atendimento dos objetivos,
à qualidade do artefato entregue, à comunicação e transparência, e à agilidade dos
alunos no desenvolvimento dos artefatos, através da capacidade técnica adquirida.
Tais índices comprovam resultados satisfatórios no processo de aprendizagem.
69
4.4 CONCLUSÃO DO ESTUDO DE CASO
Com a análise realizada, podem-se obter alguns parâmetros sobre a efetividade do
ensino da Engenharia de Software em conjunto com a Aprendizagem Baseada em
Problemas. Tais indicadores são baseados em eficiência, eficácia, comprometimento
e motivação das sete fábricas de software analisadas, durante dois anos, na
aplicação do Mestrado. Assim, segue o resultado quanto aos indicadores aplicados.
Em relação ao indicador de entrega dos artefatos para Eficiência, verificou-se
que a utilização das fábricas de software no processo de aprendizagem da
Engenharia de Software produziu resultados satisfatórios. Afinal, os números de
ocorrências das medições Atendidos e Excepcionais foram, em termos percentuais,
melhores que as medições Inacabadas, Inapropriadas e Insuficientes. Isso pode ser
visto nos valores que se seguem no quadro 4.4, confirmando o atendimento da meta
estipulada para esse indicador.
Quadro 4.4: Resultado da Eficiência Fábricas Artefatos Medidos Ocorrências de Atendido ou Excepcional % de Sucesso
FSW-1 13 13 100
FSW-2 13 9 69
FSW-3 13 6 46
FSW-4 13 6 46
FSW-5 13 11 85
FSW-6 13 11 85
FSW-7 13 10 77
Já em relação ao indicador de entrega dos artefatos para Eficácia, verificou-
se que não foram atingidos os resultados pretendidos. Os números de ocorrências
de entregas nos prazos não alcançaram a meta planejada, como pode ser visto no
quadro 4.5. A maioria das datas de entrega não foi respeitada, em todas as sete
fábricas de software. Porém, essa pesquisa não traz dados suficientes para justificar
o motivo da falta de eficácia na entrega dos artefatos. Isso deverá ser contemplado
em trabalhos futuros.
70
Quadro 4.5: Resultado da Eficácia Fábricas Artefatos Medidos Ocorrências de Atendido % de Sucesso
FSW-1 13 0 0
FSW-2 13 0 0
FSW-3 13 2 15
FSW-4 13 1 8
FSW-5 13 3 23
FSW-6 13 4 31
FSW-7 13 3 23
Os indicadores de Comprometimento e Motivação permitiram verificar avanço
dos trabalhos, característica importante em um processo que envolve várias
disciplinas. Percebeu-se, também, que o feedback dos envolvidos (clientes,
professores, monitores e alunos) é normalmente positivo – o que nos leva a
considerar que a inserção de uma fábrica de software dentro do processo de ensino
da Engenharia de Software é relevante. Isso é mostrado no quadro 4.6, onde a
maior parte das pontuações está entre as metas com desempenho bom ou ótimo.
Quadro 4.6: Resultado da Motivação e Comprometimento Fábricas Artefatos Medidos Ocorrências de Bom e Ótimo % de Sucesso
FSW-1 13 9 69
FSW-2 13 10 77
FSW-3 13 9 69
FSW-4 13 1 8
FSW-5 13 2 15
FSW-6 13 9 69
FSW-7 13 0 0
Com a mudança do paradigma da forma de ensino, o professor e o monitor
deixam de ser apenas transmissores de conhecimento, tornando-se facilitadores na
obtenção do mesmo. São capazes de dar suporte, mas deixam as decisões nas
mãos dos alunos. Nesse processo, através dos números obtidos nos quadros de
resultados acima, verifica-se que essa mudança mostrou resultado em relação à
eficiência, mas não foi satisfatória em relação à eficácia.
A metodologia PBL, que inseriu o feedback nas fábricas, mostrou vantagens
tanto para os alunos quanto para os professores. Os alunos conseguiram visualizar
a sua evolução e motivação, e os professores e monitores puderam interagir melhor
com os alunos dentro das referidas fábricas. Isso permitiu a indicação dos pontos
mais fracos, que mereciam maior atenção.
71
Analisando as sete fábricas de software onde essa abordagem foi aplicada,
verifica-se que existe uma evolução nos índices. Sua progressão acaba por
classificá-las nas melhores metas, pois os alunos mantiveram o interesse na
realização das mais diversas atividades – mesmo não sendo parte do seu dia-a-dia,
mas visualizando que é uma atividade relevante ao processo. Isso mostra a
aprovação da metodologia por parte dos envolvidos, já que as notas das entregas,
em geral, foram atendidas ou excelentes.
No próximo capítulo, seguem as considerações finais desta pesquisa.
72
5 CONSIDERAÇÕES FINAIS
Este capítulo apresenta a contribuição do trabalho, como também a evolução do
mesmo, e é finalizado pela conclusão da pesquisa.
A contribuição deste trabalho dissertativo se traduz na justificativa do uso de
fábricas de software como instrumento de apoio no processo de ensino da
Engenharia de Software, em uma metodologia que se baseia em problemas reais,
com o objetivo de transmissão de conhecimento.
A partir das referências discutidas neste trabalho, foram propostos e utilizados
indicadores de mercado, criados com base em uma metodologia aceita pelo
mercado. O objetivo foi avaliar a evolução de um corpo discente inserido em um
processo de ensino que envolve problemas reais. Com isso, foi possível vivenciar
todos os problemas decorrentes do cotidiano no trabalho de desenvolvimento de
software, orientando para as boas práticas e padrões dessa indústria.
Aplicando os indicadores baseados no Balanced Scorecard com o objetivo de
aprender novas técnicas, nota-se a possibilidade de acompanhar detalhadamente
todo o processo, verificando e analisando os resultados. É possível detalhá-los em
relação à produção de artefatos, à técnica aprendida e à suficiência do tempo para a
realização das atividades. Também é possível analisar a relação do aprendizado
(mundo acadêmico) versus necessidades (mundo real).
Essa abordagem é alternativa no ensino das disciplinas que envolvem a
produção de software, e apresenta dificuldades intrínsecas a qualquer atividade que
envolva pessoas, requisitos de negócios e prazos. Como a equipe nem sempre
possui know-how suficiente para executar as atividades previstas, os alunos são
apresentados a um duro realismo – e, por conseqüência, são levados à necessidade
de produzir como se estivessem em uma verdadeira organização de tecnologia.
Como o sucesso depende da qualidade da sua produção, o cuidado que se deve ter
nas produções é, também, enfatizado.
73
5.1 EVOLUÇÃO DO TRABALHO
Este trabalho pode ser complementado com novos indicadores, que podem ser
elaborados contemplando outros aspectos.
Como o financeiro quando na aplicação da metodologia de aprendizagem
baseada em problemas em fábricas de software reais que desejem assimilar novas
técnicas, fazendo uso do BSC para avaliar o impacto desse aprendizado inserido no
processo normal de trabalho, analisando assim o retorno financeiro obtido com a
aplicação de novas técnicas.
Outra possível avaliação é em relação ao aspecto clima organizacional, que
com novos indicadores para motivação e crescimento se pode analisar a capacidade
da gerencia em motivar sua equipe.
Outra possibilidade de aplicabilidade futura seria a utilização de média
ponderada para obtenção da efetividade, aplicando pesos para tipos de pontuações
obtidas no processo, a exemplo notas dos professores, monitores e clientes para os
artefatos entregas utilizar peso 2; para a satisfação do cliente aplicar peso 3; e para
retorno da equipe peso 1, e assim ter uma métrica a mais para analisar os
resultados obtidos, apontando a efetividade de cada aspecto através de indicadores
e pesos.
Um fator não mensurado no trabalho de pesquisa foi o fato da metodologia
ser aplicada em um formato que divide as fábricas de software em grupos pequenos.
O fato de, elas terem baixo número de alunos pode ser de certa forma, um fator
importante para o sucesso da metodologia. No entanto, não se tem como relacionar
o número de participantes por fábrica, já que não foi criado indicador para essa
finalidade e não houve como testar em fábricas com número maior de participantes,
assim essa informação não pode ser obtida. Fica a possibilidade de obtenção futura
desse dado, para verificação se a quantidade de participantes por FSW é um fator
relevante para o sucesso da metodologia.
Outro fator não analisado foi o insucesso quanto ao prazo das entregas. Boa
parte dos artefatos, nas diversas fábricas de software analisadas, não foi entregue
74
nas datas planejadas. Houve uma falha nesse ponto, mas não existem dados na
coleta obtida, que possam indicar o motivo de tal atraso.
Uma complementação desse trabalho que seria de valia para o MPES, pode
ser a análise dos egressos com relação à empregabilidade após o curso, obtendo
indicação de que, com os conhecimentos obtidos pelos egressos, as suas
colocações no mercado passam para uma posição melhor em relação a outros
profissionais que não adquiriram esses conhecimentos.
5.2 CONCLUSÃO
Verifica-se, a partir das análises dos dados obtidos, que o uso de fábricas de
software no ensino da Engenharia de Software promove uma melhor assimilação,
por parte do corpo discente, das diversas disciplinas que envolvem a produção de
um software.
O uso do BSC mostrou-se útil na criação de indicadores para avaliação do
ensino. Essa metodologia já é usada no comércio para aplicação de indicadores, e
indicou praticidade análoga na área educacional – com algumas adaptações, a partir
dos aspectos que se mostraram mais relevantes para o tema.
Os indicadores que foram contemplados se mostraram úteis para avaliação
das entregas dos artefatos em relação à eficiência e eficácia; como também ao
comprometimento e motivação das equipes. Todos obtidos a partir da aplicação do
BSC.
Com esse trabalho se pode ter a clareza da importância das formas
avaliativas que podem ser aplicadas para obtenção de resultados que busquem a
efetividade do ensino, a exemplo o uso do feedback; a atribuição de nota ao grupo e
ao indivíduo. Verificando que as atividades devem envolver todos, levando em
consideração a heterogeneidade do grupo. Também se pode observar nesse
trabalho que a organização por papéis tornar melhor o processo de ensino da
Engenharia de Software através dessa abordagem alternativa.
Este trabalho elenca algumas técnicas que podem ser aplicadas no ensino da
Engenharia de Software, mas o seu objetivo é o entendimento da necessidade de
75
obter mecanismos de acompanhamento da aplicabilidade dos conceitos passados
entre as diversas disciplinas que compõem a ESW, que se integram com o objetivo
de imprimir mais qualidade à confecção de produtos de software.
Ressalta-se aqui então o recurso de indicadores, que podem ser utilizados
para acompanhar uma abordagem alternativa de ensino, possibilitando a análise e a
oportunidade de realizar os ajustes requeridos, quando se fizer necessário. Servindo
como mais uma opção de acompanhamento para os educadores de Engenharia de
Software auxiliando na tarefa de verificação da efetividade do ensino.
76
REFERÊNCIAS
ABRAMOWICZ, Michael. Avaliando a avaliação da aprendizagem: um novo olhar.
São Paulo: Lúmem, 1996.
ABRECHT, Roland. A avaliação formativa. Porto: Editora Asa, 1994.
ABRECHT, Roland. L’évaluation formative: une analyse critique. Paris: De Boeck
Université, 1991.
ARTER Judith; SPANDEL Vicki. Using Portfolios os Student Work in Instruction
and Assessment, USA: National Council on Measurement in Education, 1992.
BLOOM, Benjaman. Taxonomy of Educational Objectives: The Classification of
Educational Goals. Australis: The University of Queensland, 1996.
BSC. Balanced Scorecard Institute. Disponível em. http://balancedscorecard.org/.
Acesso em 01/04/2009.
CAPRIO, Griffin. Software Factories: Refactoring a Industry. Disponível em:
http://www.theserverside.net/tt/articles/content/SFRefactoringIndustry/SFRefactoringI
ndustry.html. Acessado em 01/05/2009.
CHIAVENATO, Idalberto. Administração estratégica: em busca do desempenho
superior - uma abordagem além do Balanced Scoredcard. São Paulo: Saraiva, 2003.
CHIAVENATO, Idalberto. Teoria Geral da Administração. Rio de Janeiro: Campus,
2000.
DAYCHOUM, Merhi. 40 Ferramentas e Técnicas de Gerenciamento. Rio de
Janeiro: Brasport, 2007.
DEMARCO, Tom; LISTER Timothy. Peopleware Productive Projects and Teams.
New York: Dorset House, 1999.
FEBRABAN. Pesquisa de indicadores. Recife: FEBRABAN, 2009. Disponível em
www.febraban.org.br. Acesso em 16/04/2009.
77
FERNANDES, Domingos. Para uma teoria da avaliação formativa. Portugal:
Universidade da Lisboa, 2006.
FINKLE, Sheryl; TORP, Linda. Introductory Documents. Illinois Math and Science
Academy. USA: Illinois. Disponível em http://pbln.imsa.edu/. Acesso em 03/08/2009.
FLEURY, Maria Tereza; FLEURY Afonso. Construindo o Conceito de
Competência. RAC - Revista de Administração Contemporânea. v.5, Edição
especial, 2001.
FREIRE, Paulo. Pedagogia da Autonomia: Saberes Necessários à Prática
Educativa. Rio de Janeiro: Paz e Terra, 1996.
FREIRE, Paulo. Pedagogia do Oprimido. Rio de Janeiro: Paz e Terra, 1987.
GREENFIELD, Jack. O Caso das Fábricas de Software. Disponível em
http://msdn.microsoft.com/pt-br/library/aa480032.aspx. Acesso em 29/09/2009.
HOFFMANN, Jussara. Avaliação mediadora: uma prática em construção da pré-
escola à universidade. Porto Alegre: Mediação. 2007.
IDC, Analyze the Future: Saiba onde investir na sua carreira em 2009. Disponível
em http://www.idcbrasil.com.br ou http://carreiradeti.com.br/previsoes-idc-
investimentos-carreira-2009/. Acesso em 23/04/2009.
KALLÁS, David. O que é Balanced Scorecard. Disponível em:
http://www.mp.pr.gov.br/arquivos/File/o_que_e_bsc.pdf, Acesso em 30/09/2009.
KAPLAN Robert; NORTON David. Strategy maps: converting intangible assets into
tangible outcomes. USA: Harvard College, 2004.
KAPLAN Robert; NORTON David. The strategy: focused organization. USA:
Harvard College, 2001.
KAPLAN, Robert; NORTON, David. A estratégia em ação: Balanced Scorecard. Rio
de Janeiro: Campus, 1997.
78
KAPLAN, Robert; NORTON, David. Translating Strategy into Action: The
Balanced Scorecard. USA: Harvard College, 1996.
KOSCIANSKI, André; SOARES, Michel. Qualidade de Software: Aprenda as
metodologias e técnicas mais modernas para desenvolvimento de software. São
Paulo: Novatec, 2007.
LOCH Jussara, Avaliação: uma perspectiva emancipatória. São Paulo: AMPUB,
2000.
MORALES, Pedro. A avaliação escolar: o que é, como se faz. São Paulo: Loyola,
2003.
PÉREZ Juan, Coaching para Docentes: el Desarrollo de Habilidades en el aula.
San Vicente: Editorial Club Universitario, 2007.
PERRENOUD, Phillipe. Construir competências desde a escola. Porto Alegre:
Artmed, 1999.
PETERSON, Michael. Skills to Enhance Problem-based Learning. USA:
University of Delaware, College of Health and Nursing Sciences. Med Educ Online,
Disponível em http://www.utmb.edu/meo/, 1997.
PIAGET, Jean. A teoria básica. Instituição brasileira de difusão cultural. São Paulo:
IBRASA, 1975.
PIAGET, Jean. Psicologia e Padagogia. Instituição brasileira de difusão cultural.
Rio de Janeiro: Forense Universitária, 1985.
POPHAM, James. Transformative Assessment. Michigan: Prentice-Hall, 2008.
PRADO, Lauro. Guia LJP E-ZINE para Balanced Scorecard. Série Empresarial,
2002. Disponível em http:/lauroprado.tripod.com/enzine. Acessado em 01/08/2009.
RASINKANGAS, Anne. International Conference on Problem-Based Learning.
Finland: Lahti, 2005 Disponível em:
http://www.lpt.fi/pblconference/abstracts/workshops/index.htm. Acessado em:
01/11/2009.
79
RIBEIRO, Luis. An experiment with PBL in higher education as appraised by
the teacher and students. Interface, 2005.
ROGERS, Carl. Client-centered Therapy: Its Current Practice, Implications and
Theory. London: London, 1951.
SANTOS, Simone. An Evaluation Approach Based on the Problem-Based
Learning in a Software Engineering Master Course. Journal of Technology
Management and Innovation, 2008.
SAVERY, John; DUFFY, Thomas. Problem based learning: An instructional model
and its constructivist framework. USA: Indiana University, Education Technology,
1995.
SCIELO. Pesquisa de artigos. Recife: SCIELO, 2009. Disponível em
www.scielo.org/php/index.php?lang=pt. Acesso em 20/04/2009.
SEFAZ. Secretaria da Fazenda. Disponível em
http://www.fazenda.gov.br/portugues/glossario/glossario-e.asp. Acessado em
25/07/2010.
SOBRINHO, José. Dilemas da educação superior no mundo globalizado:
sociedade do conhecimento ou economia do conhecimento? São Paulo: Casa do
Psicólogo, 2005.
STUFFLEBEAM Daniel, SHINKFIELD Anthony. Evaluation theory, models, and
applications. San Francisco: Jossey-Bass, 2007.
TUOHI, Raija. Assessment in Problem Based Learning connected with IT
Engineering Education. International Conference on Engineering Education &
Research. Australia: Melbourne, 2007.
VASCONCELOS, Maria Celeste et al. Gestão Estratégica da Informação, do
Conhecimento: e das competências no ambiente educacional. Curitiba: Juruá,
2008.
80
VERGUEIRO, Waldomiro. Qualidade em Serviços de Informação. São Paulo: Arte
& Ciência, 2002.
WATERS, Robert; MCCRACKEN, Michael. Assessment and evaluation in
problem-based learning. In IEEE Frontiers in Education Conference. Georgia
Institute of Technology, 1996.
WEBSHOPPERS. Pesquisa de indicadores. Disponível em
www.webshoppers.com.br. Acesso em 18/04/2009.
YIN, Feng. Applying methods of formative and summative assessment to
problem-based learning in computer courses. School of Computer Science The
Donghua University. China: The China Papers, 2006.
81
APÊNDICE A – ANÁLISE DAS ENTREGAS
Quadro A.1: Legendas Índice Eficiência
Índice Eficácia
Índice Efetividade
Índice Motivação e Comprometimento
Outras Legendas
-1=Não Coletado; 0=Não Avaliado, com nota 0; 1=Inacabado, com nota entre 0,1 - 1,9; 2=Inapropriado, com nota entre 2,0 - 3,9; 3=Insuficiente, com nota entre 4,0 - 5,9; 4=Atendido, com nota entre 6,0 - 8,9; 5=Excepcional, com nota entre 9,0 - 10,0.
-1=Não Coletado; 0=Inapropriado; 1=Insuficiente; 2=Atendido.
0=Baixa; 1=Média; 2=Alta.
-1=Não Coletado; 0=Não Avaliado; 1=Péssimo; 2=Insatisfatório; 3=Regular; 4=Bom; 5=Ótimo.
NC=Não Computado
Quadro A.2: Entrega dos Artefatos da Fábrica de Software-1
FSW-1 DATAS DAS COLETAS/ NOTAS
Artefatos 07-04-08
28-04-08
20-05-08
09-06-08
31-07-08
00-00-00
MÉDIA ÍNDICE EFICIÊNCIA
ÍNDICE EFICÁCIA
Documento de Arquitetura
8,4 8,4 4 0
Acordo de nível de serviço
6,8 6,8 4 0
Cronograma
8,4 7,6 8,0 4 1
Métricas coletadas
8,4 6,8 7,6 4 1
Planilha de Auditoria
8,4 8,4 4 0
Plano de Métricas
6,8 9,2 8,0 4 1
Plano de Riscos
9,2 9,2 5 0
Plano do Projeto
8,8 7,6 10,0 8,8 4 1
Processo de Desenvolvimento
7,6 7,6 8,8 8,0 4 1
Riscos
7,6 7,6 4 0
Plano de Negócios
8,0 8,0 4 0
Site
8,4 7,6 8,0 4 1
Documento de visão
8,8 8,4 8,6 4 1
82
Quadro A.3: Entrega dos Artefatos da Fábrica de Software-2
FSW-2 DATAS DAS COLETAS/ NOTAS
Artefatos 07-04-08
28-04-08
20-05-08
09-06-08
31-07-08
00-00-00
MÉDIA ÍNDICE EFICIÊNCIA
ÍNDICE EFICÁCIA
Documento de Arquitetura
0,0 0,0 1 -1
Acordo de nível de serviço
7,0 7,0 4 0
Cronograma
NC 0 -1
Métricas coletadas
8,8 2,1 10,0 7,0 4 1
Planilha de Auditoria
NC 0 -1
Plano de Métricas
8,4 8,4 4 0
Plano de Riscos
3,6 3,6 2 0
Plano do Projeto
8,0 6,8 9,2 8,0 4 1
Processo de Desenvolvimento
7,6 8,4 6,0 7,2 4 1
Riscos
NC 0 -1
Plano de Negócios
8,7 7,6 8,1 4 1
Site
9,2 NC 0 0
Documento de visão
7,6 6,8 6,0 6,8 4 1
83
Quadro A.4: Entrega dos Artefatos da Fábrica de Software-3
FSW-3 DATAS DAS COLETAS/ NOTAS
Artefatos 18-09-08
15-10-08
14-11-08
18-02-09
00-00-00
00-00-00
MÉDIA ÍNDICE EFICIÊNCIA
ÍNDICE EFICÁCIA
Documento de Arquitetura
9,2 9,2 9,2 5 1
Acordo de nível de serviço
6,8 NC 0 0
Cronograma
NC 0 -1
Métricas coletadas
6,0 6,0 4 0
Planilha de Auditoria
NC 0 -1
Plano de Métricas
6,8 NC 0 0
Plano de Riscos
NC 0 -1
Plano do Projeto
6,8 8,8 9,2 8,3 4 2
Processo de Desenvolvimento
8,4 8,8 8,6 4 0
Riscos
8,4 NC 0 0
Plano de Negócios
5,0 6,8 6,8 4 0
Site
9,2 NC 0 0
Documento de visão
8,4 9,6 8,8 9,2 5 2
84
Quadro A.5: Entrega dos Artefatos da Fábrica de Software-4
FSW-4 DATAS DAS COLETAS/ NOTAS
Artefatos 18-09-08
15-10-08
14-11-08
18-02-09
00-00-00
00-00-00
MÉDIA ÍNDICE EFICIÊNCIA
ÍNDICE EFICÁCIA
Documento de Arquitetura
6,4 5,2 5,8 3 1
Acordo de nível de serviço
10,0 NC 0 0
Cronograma
NC 0 -1
Métricas coletadas
5,2 5,2 3 0
Planilha de Auditoria
NC 0 -1
Plano de Métricas
9,2 NC 0 0
Plano de Riscos
NC 0 0
Plano do Projeto
8,8 5,2 7,0 4 1
Processo de Desenvolvimento
10,0 8,8 9,4 5 1
Riscos
7,6 NC 0 0
Plano de Negócios
8,0 5,2 5,2 3 1
Site
6,0 NC 0 0
Documento de visão
10,0 9,2 4,4 6,8 4 2
85
Quadro A.6: Entrega dos Artefatos da Fábrica de Software-5
FSW-5 DATAS DAS COLETAS/ NOTAS
Artefatos 15-04-09
03-05-09
01-06-09
01-07-09
03-08-09
08-09-09
MÉDIA ÍNDICE EFICIÊNCIA
ÍNDICE EFICÁCIA
Documento de Arquitetura
6,8 8,8 8,0 7,9 4 1
Acordo de nível de serviço
7,6 7,6 4 0
Cronograma
9,2 9,2 5 0
Métricas coletadas
10,0 10,0 5 0
Planilha de Auditoria
NC 0 -1
Plano de Métricas
10,0 10,0 10,0 5 1
Plano de Riscos
10,0 10,0 5 0
Plano do Projeto
6,0 9,2 8,0 10,0 10,0 9,3 5 2
Processo de Desenvolvimento
8,8 8,8 8,8 4 1
Riscos
6,4 10,0 7,8 9,6 8,6 8,5 4 2
Plano de Negócios
2,0 7,6 7,2 7,4 4 1
Site
NC 0 -1
Documento de visão
4,4 7,6 8,4 9,6 9,6 8,8 4 2
86
Quadro A.7: Entrega dos Artefatos da Fábrica de Software-6
FSW-6 DATAS DAS COLETAS/ NOTAS
Artefatos 15-04-09
03-05-09
01-06-09
01-07-09
03-08-09
08-09-09
MÉDIA ÍNDICE EFICIÊNCIA
ÍNDICE EFICÁCIA
Documento de Arquitetura
8,8 9,6 10,0 9,5 5 1
Acordo de nível de serviço
9,6 9,6 5 0
Cronograma
10,0 10,0 5 0
Métricas coletadas 10,0 10,0 5 0
Planilha de Auditoria
NC 0 -1
Plano de Métricas
10,0 10,0 10,0 5 0
Plano de Riscos
8,0 8,0 4 0
Plano do Projeto
8,4 10,0 9,0 10,0 10,0 9,8 5 2
Processo de Desenvolvimento
9,5 10,0 9,8 5 2
Riscos
7,1 10,0 10,0 9,3 9,6 9,2 5 2
Plano de Negócios
2,0 9,6 9,4 9,5 5 1
Site
NC 0 -1
Documento de visão
8,0 8,0 9,6 9,8 10,0 9,4 5 2
87
Quadro A.8: Entrega dos Artefatos da Fábrica de Software-7
FSW-7 DATAS DAS COLETAS/ NOTAS
Artefatos 15-04-09
03-05-09
01-06-09
01-07-09
03-08-09
08-09-09
MÉDIA ÍNDICE EFICIÊNCIA
ÍNDICE EFICÁCIA
Documento de Arquitetura
8,8 8,4 9,6 8,9 5 1
Acordo de nível de serviço
9,0 9,0 5 1
Cronograma
9,2 9,2 5 0
Métricas coletadas
8,4 8,4 4 0
Planilha de Auditoria
NC 0 -1
Plano de Métricas
9,0 8,4 8,7 4 0
Plano de Riscos
10,0 10,0 5 0
Plano do Projeto
7,5 8,0 7,6 7,6 9,2 8,1 4 2
Processo de Desenvolvimento
0,0 7,2 3,6 2 0
Riscos
8,5 8,6 7,5 5,3 7,5 4 2
Plano de Negócios
0,0 8,2 7,1 7,6 4 1
Site
NC 0 -1
Documento de visão
8,4 8,0 8,8 8,0 9,6 8,6 4 2
88
APÊNDICE B - ANÁLISE DA SATISFAÇÃO
Quadro B.1: Satisfação do Cliente com Fábrica de Software-1 FSW-1 DATAS DA
COLETA/ PONTUAÇÃO
ÍNDICE
Aspecto Avaliado 09-07-2008
Atendimento dos prazos estabelecidos 5,0 5
Atendimento dos objetivos do projeto 5,0 5
Qualidade do produto entregue 5,0 5
Comunicação e transparência 1,0 1
Agilidade da equipe de desenvolvimento durante o projeto 5,0 5
Capacidade técnica 5,0 5
Inovação 5,0 5
Desempenho comparado a outros fornecedores 5,0 5
Interação com o gerente de relacionamento. 5,0 5
Quadro B.2: Satisfação do Cliente com Fábrica de Software-2
FSW-2 DATAS DA COLETA/ PONTUAÇÃO
ÍNDICE
Aspecto Avaliado 09-07-2008
Atendimento dos prazos estabelecidos 4,0 4
Atendimento dos objetivos do projeto 5,0 5
Qualidade do produto entregue 5,0 5
Comunicação e transparência 4,0 4
Agilidade da equipe de desenvolvimento durante o projeto 5,0 5
Capacidade técnica 5,0 5
Inovação 5,0 5
Desempenho comparado a outros fornecedores 5,0 5
Interação com o gerente de relacionamento. 5,0 5
89
Quadro B.3: Satisfação do Cliente com Fábrica de Software-3
FSW-3 DATAS DA COLETA/ PONTUAÇÃO
ÍNDICE
Aspecto Avaliado Pontuação
Atendimento dos prazos estabelecidos 4,0 4
Atendimento dos objetivos do projeto 4,0 4
Qualidade do produto entregue 4,0 4
Comunicação e transparência 3,0 3
Agilidade da equipe de desenvolvimento durante o projeto 4,0 4
Capacidade técnica 5,0 5
Inovação 4,0 4
Desempenho comparado a outros fornecedores 4,0 4
Interação com o gerente de relacionamento. 4,0 4
Quadro B.4: Satisfação do Cliente com Fábrica de Software-4
FSW-4 DATAS DA COLETA/ PONTUAÇÃO
ÍNDICE
Aspecto Avaliado 22-01-2009
Atendimento dos prazos estabelecidos 3,0 3
Atendimento dos objetivos do projeto 3,0 3
Qualidade do produto entregue 2,0 2
Comunicação e transparência 2,0 2
Agilidade da equipe de desenvolvimento durante o projeto 3,0 3
Capacidade técnica 4,0 4
Inovação 3,0 3
Desempenho comparado a outros fornecedores 3,0 3
Interação com o gerente de relacionamento. 2,0 2
90
Quadro B.5: Satisfação do Cliente com Fábrica de Software-5
FSW-5 DATAS DA COLETA/ PONTUAÇÃO
ÍNDICE
Aspecto Avaliado 31-07-2009
Atendimento dos prazos estabelecidos 3,0 3
Atendimento dos objetivos do projeto 0
Qualidade do produto entregue 3,0 3
Comunicação e transparência 3,0 3
Agilidade da equipe de desenvolvimento durante o projeto 3,0 3
Capacidade técnica 0
Inovação 4,0 4
Desempenho comparado a outros fornecedores 0
Interação com o gerente de relacionamento. 4,0 4
Quadro B.6: Satisfação do Cliente com Fábrica de Software-6
FSW-6 DATAS DA COLETA/ PONTUAÇÃO
ÍNDICE
Aspecto Avaliado 31-07-2009
Atendimento dos prazos estabelecidos 4,0 4
Atendimento dos objetivos do projeto 5,0 5
Qualidade do produto entregue 5,0 5
Comunicação e transparência 4,0 4
Agilidade da equipe de desenvolvimento durante o projeto 4,0 4
Capacidade técnica 4,0 4
Inovação 4,0 4
Desempenho comparado a outros fornecedores 0
Interação com o gerente de relacionamento. 5,0 5
91
Quadro B.7: Satisfação do Cliente com Fábrica de Software-7
FSW-7 DATAS DA COLETA/ PONTUAÇÃO
ÍNDICE
Aspecto Avaliado 07-08-2009
Atendimento dos prazos estabelecidos -1 0
Atendimento dos objetivos do projeto -1 0
Qualidade do produto entregue -1 0
Comunicação e transparência -1 0
Agilidade da equipe de desenvolvimento durante o projeto -1 0
Capacidade técnica -1 0
Inovação -1 0
Desempenho comparado a outros fornecedores -1 0
Interação com o gerente de relacionamento. -1 0
92
APÊNDICE C – PLANILHA DE VERIFICAÇÂO
< fábrica > DATAS DAS COLETAS / NOTAS Artefatos <dat> <dat> <dat> <dat> <dat> <dat> MÉDIA ÍNDICE
EFICIÊNCIA INDICE
EFICÁCIA Documento de Arquitetura
<índ> <índ>
Acordo de nível de serviço
<índ> <índ>
Cronograma
<índ> <índ>
Métricas coletadas
<índ> <índ>
Planilha de Auditoria
<índ> <índ>
Plano de Métricas
<índ> <índ>
Plano de Riscos
<índ> <índ>
Plano do Projeto
<índ> <índ>
Processo de Desenvolvimento
<índ> <índ>
Riscos
<índ> <índ>
Plano de Negócios
<índ> <índ>
Site
<índ> <índ>
Documento de visão
<índ> <índ>
93
APÊNDICE D – PLANILHA DE AVALIAÇÃO INDEPENDENTE
Essas informações devem ser retiradas quando o template for utilizado. São de caráter informativo. Cada Artefato da fábrica será avaliado com base nos seguintes critérios: 1) Data de entrega: será avaliado se o artefato foi entregue na data planejada ou a quantidade de dias de atraso. Considerando 20 dias o atraso máximo permitido, cada dia de atraso irá corresponder a menos um décimo na nota. Caso o artefato seja entregue após o limite máximo, o conceito final da entrega será 0 (zero); 2) Conceito do artefato: pode variar de 0 a 10 de acordo com os seguintes critérios definidos no checklist de cada artefato. 3) Nota final: uma média ponderada onde o conceito do artefato representa 80% da nota e a data de entrega 20%. 4) Média do Alinhamento: será composta pela média aritmética de todas as notas finais. Esta avaliação poderá acontecer a qualquer momento pelos monitores das fábricas através da validação das evidências disponíveis nos sites / repositórios de cada fábrica.
< nome da fábrica > - < data da avaliação>
Artefatos Data Planejada
Impacto Dias
Data Realizada
Conceito do Artefato
Nota Final Comentários
< nome > < data > < número > < data > < nota > < nota > < texto >
< nota > < texto >
94
APÊNDICE E – STATUS REPORT
Essas informações devem ser retiradas quando o template for utilizado São de caráter informativo. Em cada marco pré-estabelecido, as fábricas serão avaliadas de acordo com os seguintes critérios: • apresentação da fábrica; • apresentação do projeto; • acompanhamento dos marcos; • pontos fortes / melhorias; • resultados obtidos; • métricas.
< nome da fábrica > - < data >
Artefatos Nota Comentários Apresentação da Fábrica < nota > < texto >
Apresentação do Projeto < nota > < texto >
Acompanhamento dos Marcos < nota > < texto >
Pontos Fortes / Pontos de Melhoria < nota > < texto > Resultados Obtidos < nota > < texto > Métricas < nota > < texto >
Negócios < nota > < texto >
Outros < nota > < texto > < nota > Média do Status Report