painel 1 - “as percepÇÕes da mantenedora sobre os impactos da avaliaÇÃo na gestÃo do curso de...
TRANSCRIPT
1
Reflexões sobre a avaliação de
cursos no Brasil
Alexandre Gracioso
Vice-Presidente Acadêmico
ESPM
2
Entre os indicadores atualmente utilizados, meu foco
será no ENADE
2
Escola
Curso ADM
Concluintes
Aluno 1 Aluno 2 Aluno n
Entrantes
Aluno 1 Aluno2 Aluno n
Curso CSO
Concluintes
Aluno 1 Aluno 2 Aluno n
Entrantes
Aluno 1 Aluno2 Aluno n
ENADE / IDD
CPC
IGC
3
Questões que pretendo abordar
• Avaliação é necessária?
• A área deve se reinventar? Como os estudantes
avaliam seus cursos do ponto de vista da exigência e
dos desafios?
• O componente específico do ENADE é aderente à
realidade e evolução da profissão da Administração?
• Que variáveis o gestor/coordenador pode manipular?
• Caso ESPM 2009
4
Um processo avaliativo é
necessário? Creio que sim…
• Tendência internacional
• Demanda da sociedade por mais transparência
• Consciência cidadã
• Oportunidade de reflexão sobre o estágio de
desenvolvimento de cada IES
5
Evolução de vagas, candidatos e
ingressantes
Administração Todos os cursos
2007 2008 2009 2010
2010/
2007 2007 2008 2009 2010
2010/
2007
Part
icula
res
CANDS 469 505 528 461 -2% 2915 3091 3455 3344 15%
VAGAS 201 204 181 171 -15% 1190 1202 1162 1182 -1%
INGS 636 667 629 634 0% 3666 3833 3780 3987 9%
Públic
as
CANDS 125 140 119 162 30% 2277 2444 2583 3365 48%
VAGAS 17 17 18 18 6% 292 304 349 409 40%
INGS 65 68 71 73 12% 1214 1247 1336 1462 20%
6
Ociosidade média para cursos
selecionados (Censo 2011)
51%48%
43%
28%
10%
0%
10%
20%
30%
40%
50%
60%
Administração Todos Eng. Produção
Arquitetura Eng. Civil
% Vagas ociosas
7
Como você avalia o nível de exigência
de seu curso?
10%
27%
58%
5%1%
17%
40% 40%
3%1%
Deveria ter exigido muito
mais
Deveria ter exigido um pouco mais
Exigiu na medida certa
Deveria ter exigido um
pouco menos
Deveria ter exigido muito
menos
% Respondentes
% Entrantes % Concluintes
8
A composição da prova é aderente à
evolução da profissão?
Item Principais diferenças encontradas
Perfil
Privilegia a formação técnico-científica, em relação a formação
humanística, em 2003;
Pede o desenvolvimento de uma visão crítica e estratégica de forma explícita;
Menciona o trabalho do administrador em equipes multiprofissionais. Em
1998, mencionava-se somente equipes multifuncionais;
Requer que o administrador saiba tomar decisões com base em parâmetros
relevantes para a sociedade de forma a melhorar o padrão de vida da
comunidade.
Principais diferenças entre as diretrizes de 2003 e de 1998
para ADM [1]
9
A composição da prova é aderente à
evolução da profissão?
Principais diferenças entre as diretrizes de 2003 e de 1998
para ADM [2]
Item Principais diferenças encontradas
Habilidades
Pede melhor preparo científico para compreender e sistematizar conhecimentos
teóricos e metodológicos;
Inclui a habilidade para lidar com conflitos organizacionais;
Dá maior ênfase à tomada de decisões;
Pede a compreensão de problemas interorganizacionais;
Dá ênfase ao desenvolvimento de modelos de gestão inovadores, ao passo que
em 1998, pedia-se somente a habilidade de se adaptar a modelos inovadores
implementados na empresa;
Cobra explicitamente a integração entre teoria e prática.
Conteúdo Inclui responsabilidade social e exclui globalização e qualidade
Formato Diminui o número de questões discursivas de cinco, de caráter geral, para duas,
em formato de estudo de caso.
10
Como gestor/coordenador pode
influenciar o resultado no ENADE?
• Resultado ENADE = f(Capacitação +
Conscientização + Motivação +
Modelagem da Prova + Aplicação da
Prova + Erro)
• Alunos e Professores
11
Modelo conceitual propostoEstrutura do modelo conceitual proposto na tese com as hipóteses principais
Características individuais do aluno:Características individuais do aluno:
Avaliação da escola:Avaliação da escola:
Caracterís-
ticas gerais
Caracterís-
ticas gerais
ESCOLA
AGRUPAMENTO ESTRATÉGICO
ProficiênciaProficiênciaRecursos familiares:Recursos familiares:
Caracterís-
ticas do corpo
docente
Caracterís-
ticas do corpo
docente
Caracterís-
ticas do corpo
discente
Caracterís-
ticas do corpo
discente
Projeto peda-
gógico
Projeto peda-
gógico
H1
ALUNO
H2
H3
H4
12
Percentual do desempenho explicado por
diferenças entre escolas
EFEITOS ALEATÓRIOS – VALOR ABSOLUTO (PERCENTUAL)
Nível 1 (Alunos) Intercepto 146 (78.5%) 146 (89.4%) 146 (89.4%) 145 (87.8%)
Nível 2 (Escolas) Intercepto 29 (15.4%) 14 (8.7%) 14 (8.7%) 14 (8.5%)
Intercepto 11 (6.1%) 3 (1.9%) 3 (1.9%) 0.98 (0.6%)
Competências_e 2.79 (1.7%)
Docentes_e 1.00 (0.6%)
Ti_e 0.41 (0.2%)
Inglês_e 0.31 (0.2%) Nível 3
(Agrupamentos)
Dout_e 0.53 (0.3%)
Variância Total 185 (100.0%) 163 (100.0%) 163 (100.0%) 165 (100.0%)
Em linha com resultados de estudos anteriores, as escolas explicam
15% da variância total encontrada nos resultados. Os grupos
estratégicos explicam cerca de 6% da variância total.
13
Impacto das variáveis explicativas de segundo nível
(escola)
Controlável pelo
gestor?
Variável Efeitos
fixos
Efeitos aleatórios
Seguidora
s
Aspirante
s
Líderes
Sim Competências_
e
6.24 (1.21) -2.09 0.34 1.74
Docentes_e -2.92 (0.91) 1.22 -0.16 -1.06
CandVaga_e 1.75 (0.20) 0.00 0.00 0.00
TI_e 15.49
(2.94)
-0.76 0.13 0.63
Inglês_e 7.88 (1.27) -0.44 -0.05 0.49
Dout_e 4.82 (1.44) 0.60 -0.29 -0.31
Não Raça_e 11.27 (1.31) 0.00 0.00 0.00
Considerações de estudantes
que fizeram o ENADE em 2009
• Estudantes:
– Fizeram a prova sem empenho máximo
– Faltou comunicação
– Sem motivação e sem consciência de impactos de longo prazo
• Professores não estavam engajados
• Exame:
– Alguns pontos na prova que desconheciam
– Formato diferente daquele com que estavam habituados
15
Para concluir, fica uma
sugestão
• O resultado do ENADE deve ter
conseqüências para os estudantes, de tal
forma que eles realizem o exame com
responsabilidade