1

Reflexões sobre a avaliação de

cursos no Brasil

Alexandre Gracioso

Vice-Presidente Acadêmico

ESPM

agracioso@espm.br

2

Entre os indicadores atualmente utilizados, meu foco

será no ENADE

2

Escola

Curso ADM

Concluintes

Aluno 1 Aluno 2 Aluno n

Entrantes

Aluno 1 Aluno2 Aluno n

Curso CSO

Concluintes

Aluno 1 Aluno 2 Aluno n

Entrantes

Aluno 1 Aluno2 Aluno n

ENADE / IDD

CPC

IGC

3

Questões que pretendo abordar

• Avaliação é necessária?

• A área deve se reinventar? Como os estudantes

avaliam seus cursos do ponto de vista da exigência e

dos desafios?

• O componente específico do ENADE é aderente à

realidade e evolução da profissão da Administração?

• Que variáveis o gestor/coordenador pode manipular?

• Caso ESPM 2009

4

Um processo avaliativo é

necessário? Creio que sim…

• Tendência internacional

• Demanda da sociedade por mais transparência

• Consciência cidadã

• Oportunidade de reflexão sobre o estágio de

desenvolvimento de cada IES

5

Evolução de vagas, candidatos e

ingressantes

Administração Todos os cursos

2007 2008 2009 2010

2010/

2007 2007 2008 2009 2010

2010/

2007

Part

icula

res

CANDS 469 505 528 461 -2% 2915 3091 3455 3344 15%

VAGAS 201 204 181 171 -15% 1190 1202 1162 1182 -1%

INGS 636 667 629 634 0% 3666 3833 3780 3987 9%

Públic

as

CANDS 125 140 119 162 30% 2277 2444 2583 3365 48%

VAGAS 17 17 18 18 6% 292 304 349 409 40%

INGS 65 68 71 73 12% 1214 1247 1336 1462 20%

6

Ociosidade média para cursos

selecionados (Censo 2011)

51%48%

43%

28%

10%

0%

10%

20%

30%

40%

50%

60%

Administração Todos Eng. Produção

Arquitetura Eng. Civil

% Vagas ociosas

7

Como você avalia o nível de exigência

de seu curso?

10%

27%

58%

5%1%

17%

40% 40%

3%1%

Deveria ter exigido muito

mais

Deveria ter exigido um pouco mais

Exigiu na medida certa

Deveria ter exigido um

pouco menos

Deveria ter exigido muito

menos

% Respondentes

% Entrantes % Concluintes

8

A composição da prova é aderente à

evolução da profissão?

Item Principais diferenças encontradas

Perfil

Privilegia a formação técnico-científica, em relação a formação

humanística, em 2003;

Pede o desenvolvimento de uma visão crítica e estratégica de forma explícita;

Menciona o trabalho do administrador em equipes multiprofissionais. Em

1998, mencionava-se somente equipes multifuncionais;

Requer que o administrador saiba tomar decisões com base em parâmetros

relevantes para a sociedade de forma a melhorar o padrão de vida da

comunidade.

Principais diferenças entre as diretrizes de 2003 e de 1998

para ADM [1]

9

A composição da prova é aderente à

evolução da profissão?

Principais diferenças entre as diretrizes de 2003 e de 1998

para ADM [2]

Item Principais diferenças encontradas

Habilidades

Pede melhor preparo científico para compreender e sistematizar conhecimentos

teóricos e metodológicos;

Inclui a habilidade para lidar com conflitos organizacionais;

Dá maior ênfase à tomada de decisões;

Pede a compreensão de problemas interorganizacionais;

Dá ênfase ao desenvolvimento de modelos de gestão inovadores, ao passo que

em 1998, pedia-se somente a habilidade de se adaptar a modelos inovadores

implementados na empresa;

Cobra explicitamente a integração entre teoria e prática.

Conteúdo Inclui responsabilidade social e exclui globalização e qualidade

Formato Diminui o número de questões discursivas de cinco, de caráter geral, para duas,

em formato de estudo de caso.

10

Como gestor/coordenador pode

influenciar o resultado no ENADE?

• Resultado ENADE = f(Capacitação +

Conscientização + Motivação +

Modelagem da Prova + Aplicação da

Prova + Erro)

• Alunos e Professores

11

Modelo conceitual propostoEstrutura do modelo conceitual proposto na tese com as hipóteses principais

Características individuais do aluno:Características individuais do aluno:

Avaliação da escola:Avaliação da escola:

Caracterís-

ticas gerais

Caracterís-

ticas gerais

ESCOLA

AGRUPAMENTO ESTRATÉGICO

ProficiênciaProficiênciaRecursos familiares:Recursos familiares:

Caracterís-

ticas do corpo

docente

Caracterís-

ticas do corpo

docente

Caracterís-

ticas do corpo

discente

Caracterís-

ticas do corpo

discente

Projeto peda-

gógico

Projeto peda-

gógico

H1

ALUNO

H2

H3

H4

12

Percentual do desempenho explicado por

diferenças entre escolas

EFEITOS ALEATÓRIOS – VALOR ABSOLUTO (PERCENTUAL)

Nível 1 (Alunos) Intercepto 146 (78.5%) 146 (89.4%) 146 (89.4%) 145 (87.8%)

Nível 2 (Escolas) Intercepto 29 (15.4%) 14 (8.7%) 14 (8.7%) 14 (8.5%)

Intercepto 11 (6.1%) 3 (1.9%) 3 (1.9%) 0.98 (0.6%)

Competências_e 2.79 (1.7%)

Docentes_e 1.00 (0.6%)

Ti_e 0.41 (0.2%)

Inglês_e 0.31 (0.2%) Nível 3

(Agrupamentos)

Dout_e 0.53 (0.3%)

Variância Total 185 (100.0%) 163 (100.0%) 163 (100.0%) 165 (100.0%)

Em linha com resultados de estudos anteriores, as escolas explicam

15% da variância total encontrada nos resultados. Os grupos

estratégicos explicam cerca de 6% da variância total.

13

Impacto das variáveis explicativas de segundo nível

(escola)

Controlável pelo

gestor?

Variável Efeitos

fixos

Efeitos aleatórios

Seguidora

s

Aspirante

s

Líderes

Sim Competências_

e

6.24 (1.21) -2.09 0.34 1.74

Docentes_e -2.92 (0.91) 1.22 -0.16 -1.06

CandVaga_e 1.75 (0.20) 0.00 0.00 0.00

TI_e 15.49

(2.94)

-0.76 0.13 0.63

Inglês_e 7.88 (1.27) -0.44 -0.05 0.49

Dout_e 4.82 (1.44) 0.60 -0.29 -0.31

Não Raça_e 11.27 (1.31) 0.00 0.00 0.00

Considerações de estudantes

que fizeram o ENADE em 2009

• Estudantes:

– Fizeram a prova sem empenho máximo

– Faltou comunicação

– Sem motivação e sem consciência de impactos de longo prazo

• Professores não estavam engajados

• Exame:

– Alguns pontos na prova que desconheciam

– Formato diferente daquele com que estavam habituados

15

Para concluir, fica uma

sugestão

• O resultado do ENADE deve ter

conseqüências para os estudantes, de tal

forma que eles realizem o exame com

responsabilidade