avaliação continuada do programa de formação...
TRANSCRIPT
Avaliação continuada do Programa de Formação Interdisciplinar da Unicamp
Ana Maria Carneiro – NEPP e GEOPI/DPCT
III Seminário da Rede Brasileira de Monitoramento e Avaliação Brasília, 2 de junho de 2011
Objetivo
apresentar a avaliação continuada do Programa de Formação Interdisciplinar Superior (ProFIS) da Unicamp e discutir seus desafios metodológicos e operacionais
1) Metodologia participativa 2) avaliação continuada implementada concomitantemente
com o programa 3) o caráter multidimensional 4) as dificuldades da atribuição da causalidade neste tipo de
avaliação
Momento da avaliação
Momento privilegiado para a implementação do monitoramento e avaliação do programa Raramente estes processos são implementados no início do
programa Facilidade para traçar a linha de base dos beneficiários,
mensurar as variações nos indicadores selecionados e atribuir a causalidade, comparando-se com grupos de comparação
desenho da avaliação planejado para prover uma base confiável de informações que auxiliarão na gestão do programa
Muitos desafios a enfrentar a partir do desenho planejado
O ProFIS Curso de complementação de estudos de nível superior
duração de 2 anos 120 vagas Curso aprovado pelo CONSU em 2010 para 1ª turma em 2011
Currículo de formação geral conhecimentos que vão além daqueles normalmente oferecidos em
formações mais específicas e profissionalizantes Ação afirmativa
seleção dos melhores alunos concluintes das escolas públicas de Ensino Médio de Campinas utilizando-se as notas do ENEM
731 inscritos de 88 escolas (95% das escolas de EM de Campinas) 120 matriculados de 76 escolas (44 com 2 alunos e 32 com 1 aluno) Objetivo de inclusão social já foi atingido quanto ao acesso
O ProFIS Após os 2 anos, os alunos podem escolher um curso de
graduação na Unicamp 120 vagas em 61 dos 67 cursos de graduação regular Para escolha, alunos são ordenados segundo Coeficiente de
Rendimento nas disciplinas obrigatórias Um dos objetivos do curso é ajudar os alunos a escolher a
carreira
Curso foi negociado com unidades de ensino, que ofereceram (ou não) vagas nos cursos de graduação e disciplinas
Metodologia de avaliação continuada do ProFIS
Composta por 3 eixos: 1. processo de implementação do programa 2. viabilidade do programa 3. resultados e impactos no médio e longo prazo
Objeto de avaliação Programa de Formação Interdisciplinar Superior da
Unicamp – PROFIS formado por: Programa de formação geral de 2 anos Curso de graduação da Unicamp
Curso Formação
Geral Curso de graduação
Escopo da avaliação
Ensino Médio
Graduação profissional
ProFIS Unicamp
Mundo do trabalho
Unicamp
Avaliação de viabilidade
Avaliações de Impactos
Avaliação de Resultados
Linha de Base
Objetivos da avaliação
Avaliar a implementação e viabilidade do ProFIS como programa de formação geral para Unicamp
Avaliar o impacto do ProFIS na formação e trajetória profissional do aluno
Avaliar o processo seletivo do ProFIS na promoção da inclusão social
Metodologia da avaliação
Análise do Projeto Pedagógico do ProFIS
Definição das hipóteses e dimensões de análise a partir dos
objetivos
Estudo de pré-indicadores
Definição e validação dos indicadores e suas
métricas
Alunos do ProFIS Grupos de comparação
Linha de base
Avaliação de meio-termo
Avaliação de viabilidade/resultados
Avaliações de impactos
Definição das fontes e mecanismos de obtenção de dados e informações
Avaliação de meio termo
ProFIS
2011 2012 2013 2014 2015 2016 2017
Momentos e instrumentos da avaliação (+ registros acadêmicos semestrais)
Linha de base
(turma de 2012)
Linha de base
(turma de 2011)
Linha de base
(turma de 2013)
Linha de base
(turma de 2016)
Linha de base
(turma de 2015)
Linha de base
(turma de 2014)
Linha de base
(turma de 2017)
Avaliação de resultados (turma de
2011)
Avaliação de
resultados (turma de
2015)
Avaliação de resultados (turma de
2014)
Avaliação de resultados (turma de
2013)
Avaliação de resultados (turma de
2012)
Avaliação de impactos ao
final da graduação (turma de
2011)
Avaliação de viabilidade
PROFIS
Turmas e GC
2011 2012 2013 2014 2015 2016 2017 2018 2019 2020 2021
2011 LB MT R V
I1 I2
2012 LB R I1
2013 LB R I1
2014 LB R I1
2015 LB R I1
2016 LB R
2017 LB R
2018 LB R
2019 LB R
2020 LB
LB – Linha de Base R – Av. Resultados I1 – Av. Impactos 1 I2 – Av. Impactos 2 MT – Av. Meio Termo V – Av. Viabilidade
Curso de Formação Geral
Curso de Graduação
ProFIS e Unicamp Beneficiários do programa
Dimensões da avaliação
Desenvolvimento de habilidades acadêmicas e
cognitivas
Acesso ao ensino superior
Carreira e economia
Gestão do Programa
Perfil socioeconômico (variáveis condicionais)
Dimensões da avaliação
1. Desenvolvimento de habilidades acadêmicas e cognitivas: refere-se à caracterização do desenvolvimento das competências cognitivas e acadêmicas gerais, as vivências e integração na universidade e a auto-eficácia na formação e o desempenho acadêmico
2. Acesso, permanência e equidade - refere-se à caracterização do acesso ao ensino superior, bem como permanência e persistência, e a promoção da inclusão social
Dimensões da avaliação 3. Impactos econômicos e na carreira: refere-se à
caracterização dos impactos econômicos decorrentes da realização do ensino superior via ProFIS e o desenvolvimento da carreira
4. Gestão do Programa: refere-se ao monitoramento da implementação e operação do ProFIS
5. Perfil socioeconômico: refere-se à caracterização do perfil do estudante, bem como da condição socioeconômica dele e de sua família
1) Caráter participativo Processo de avaliação busca envolver os principais atores
ligados ao programa (alunos, professores, coordenação, especialistas) no processo de definição do que deve ser avaliado na coleta dos dados análise de informações
Como? Comitê de Orientação da Avaliação Painéis de Validação da metodologia e de seus resultados Envolvimento com alunos do ProFIS e grupos de comparação
para conseguir acompanhá-los por uma década – questionários online, entrevistas presenciais
1) Caráter participativo a participação não significa apenas o envolvimento de
diversas pessoas a negociação de diferentes perspectivas, valores e interesses
muitas vezes conflitantes resulta no envolvimento de diferentes atores e de diferentes
interpretações sobre a realidade Construção da legitimidade do processo os resultados da avaliação têm mais chance de serem
compreendidos e úteis
2) Avaliação continuada Metodologia de avaliação sendo desenvolvida junto com o
programa Mescla monitoramento e avaliação de impactos Realizada por equipe interna à Unicamp com apoio de
especialistas Desafios
assegurar que a avaliação acontecerá numa base programada e com recursos adequados
manter a estabilidade do sistema de avaliação - revisão periódica dos temas e indicadores com evolução do programa mas manutenção das séries históricas
Integração de dados de vários sistemas de informação da universidade com os dados primários
3) Metodologia multidimensional dimensões selecionadas representam mudanças na vida
dos beneficiários provocadas pela experiência universitária (+ gestão do programa)
Grande parte são impactos intangíveis Desafio balancear a quantidade de dimensões e
indicadores para tornar a avaliação na medida para analisar os principais
impactos mas factível de ser realizada
4) Atribuição da causalidade checagem dupla da causalidade
Desenho inclui grupos de comparação comparação dos beneficiários com eles mesmos, perguntando
diretamente pela atribuição do programa se houve mudança nos indicadores
Dificuldade da atribuição da causalidade dos impactos no caso do ProFIS Mudanças em grande parte podem ser atribuíveis às grandes
transformações da fase da vida dos alunos (adolescência para vida adulta)
Grupos de comparação Grupo de inscritos com perfil semelhante de
desempenho no ENEM dos matriculados – impacto do curso de formação geral + curso de graduação
Grupo de alunos da Unicamp que entraram com PAAIS com distribuição semelhante por grandes áreas – impacto do curso de formação geral
Curso Formação
Geral
Curso de graduação
Para finalizar Desafios são muitos
delimitação do que deve ser avaliado - risco de criar uma perversa lista de indicadores sem significado
manter a participação, envolvendo os stakeholders e os shareholders no desenvolvimento, interpretação e revisão dos indicadores, além dos beneficiários e grupos de comparação na coleta dos dados
tornar a avaliação institucionalizada (garantir recursos humanos e financeiros) no longo prazo
Dificuldades de passar da pesquisa à prática Contribuição das comunidades de prática como RBM&A
Avaliação continuada do Programa de Formação Interdisciplinar da Unicamp
Ana Maria Carneiro – [email protected] Cibele Yahn de Andrade Stella Maria Barberá da Silva Telles
Apoio - Agência para Formação Profissional da Unicamp (AFPU)