O monitoramento da Pós-Graduação: O monitoramento da Pós-Graduação: questões, desafios, perspectivas questões, desafios, perspectivas

Oswaldo H. YamamotoOswaldo H. Yamamoto

UFRN/CAPESUFRN/CAPES

IV Congresso Norte-Nordeste de PsicologiaIV Congresso Norte-Nordeste de Psicologia

Salvador, maio de 2005Salvador, maio de 2005

2

Roteiro

A CAPES e a avaliação da pós-graduação Avaliação da pós-graduação: comparando áreas Questões acerca da avaliação da pós-graduação

A CAPES e a avaliação da pós-graduaçãoA CAPES e a avaliação da pós-graduação

4

CAPES

Coordenação de Aperfeiçoamento de Pessoal de Nível Superior: criada como “campanha” em 11 de julho de 1951

1965: CAPES classifica os 38 cursos existentes (27 de mestrado; 11 de doutorado)

1976: início do processo de avaliação sistemática da PG

Primeiras tentativas: desenvolvimento de sistemas de indicadores objetivos quantificáveis que gerassem uma classificação

Sistema atual: avaliação trienal (desde 1998), com acompanhamento anual, por comissões por área de conhecimento

5

Avaliação da pós-graduação: objetivos

A avaliação da PG deve permitirA avaliação da PG deve permitir tomar decisões com relação ao fomento e ao planejamento do sistema de C&T (incluindo atendimento das necessidades nacionais e regionais) estabelecer padrões de qualidade visando a certificação dos programas que compõem o sistema aprimorar dos próprios programas, pela identificação de fragilidades registrar a memória do sistema

6

Representação e Comissões de Área

Representação:– consulta à comunidade, construção de lista tríplice (CS), indicação da Direção

Comissão de Área:– indicação conjunta representação/direção– 2005: Comissão ad hoc e “núcleo duro”

Critérios para composição da Comissão:– diversificação regional– representação de sub-áreas– reconhecimento da comunidade** CAPES: Pesquisadores CNPq (1)/Programas acima de 4

– Não são (necessariamente) especialistas em avaliação

7

Comissões de Área: Avaliação 2004

Grandes Áreas: 8 (44 áreas)– Ciências Humanas: 8 áreas– Ciências Sociais Aplicadas: 7 áreas– Ciências Agrárias: 4 áreas– Saúde: 8 áreas– Ciências Biológicas: 4 áreas– Engenharias: 4 áreas– Ciências Exatas e da Terra: 5 áreas– Letras, Lingüística e Artes: 2 áreas Multidisciplinar e Ensino: 2 áreas

Consultores:– Consultores: 547

Avaliação da pós-graduação: Avaliação da pós-graduação: comparando áreascomparando áreas

9

Áreas comparadas

Grande Área

C. Humanas

C. Sociais Aplicadas

C. Biológicas

Saúde

Engenharias

C. Exatas e da Terra

Área

Psicologia Educação Sociologia

Direito

C. Biológicas II

Medicina II

Engenharias II

Química

10

0%

25%

50%

75%

100%

Sete

Seis

Cinco

Quatro

Três

Comparando áreas: conceitos na Avaliação 2004

11

Avaliação: etapas

Fase preparatória: definição de critérios e de procedimentos elaboração de documentos elaboração/atualização do Qualis da área

Fase de execução da Avaliação: avaliação dos Programas pelas Comissões de Área análise dos resultados pelas Grandes Áreas (2004) deliberação sobre os resultados pelo CTC comunicação dos resultados avaliação de recursos pelas Comissões de Área deliberação final sobre os recursos pelo CTC

Fase de homologação dos resultados (CNE)

12

Sete quesitos (ponderados): Proposta do Programa Corpo Docente Atividade de Pesquisa Atividade de Formação Corpo Discente Teses e Dissertações Produção Intelectual

Subdivisão de cada quesito em itens (4-6) Possibilidade de inclusão de itens e de ponderação pelas áreas

Critérios: a Ficha de Avaliação

13

Comparando áreas: pesos dos quesitos

Psi Edu Soc Dir*CBio

IIMed

IIEng

IIQuim

Proposta Qual Qual Qual Qual Qual Qual Qual Qual

C. Docente 15 15 10 20 5 20 15 20

A. Pesquisa 5 20 30 20 15 10 10 5

A. Formação 15 15 10 10 20 15 15 5

C. Discente 15 10 10 10 10 10 15 20

Teses/Dissertações 25 20 10 20 20 15 20 20

P. Intelectual 25 20 30 20 30 30 25 30

14

Psicologia

Procedimentos Atualização do Qualis

periódicos* Reunião para definir critérios** Distribuição dos Programas

pelos avaliadores (2 Programas para cada dupla)

Elaboração de análise preliminar

Preparação de análise de produção intelectual

Reunião: dia 1- ajuste de critérios

Trabalho em duplas (variáveis) Discussão grupo todo (busca de

consenso) Revisão das Fichas (grupo

menor)

Critérios Documento de Critérios:

descrição das características que correspondem às avaliações (ex.)

Atividades de formação: “Quando todos os docentes atuam lecionando disciplinas (ainda que isso não ocorra em todos os anos do triênio), quando todos orientam, quando não há dependência de docentes colaboradores, quando os alunos estão bem distribuídos entre os orientadores, quando a maior parte dos docentes atua também na graduação, além de orientar alunos em iniciação científica, e quando as ementas e a bibliografia das disciplinas mostram-se pertinentes e atualizadas, o quesito é avaliado como “muito bom”.”

15

Psicologia

% de artigos em relação ao total de itens de produção % de artigos com autoria exclusivamente discente % de artigos publicados em periódicos estrangeiros % de artigos concentrados em um mesmo periódico % de docentes sem artigos publicados no triênio total de itens de produção (artigos + capítulos + livros +

trabalhos completos) por docente, por ano total de artigos por docente, por ano total de artigos por docente, por ano, considerando a

qualificação dos periódicos total de itens de produção por docente, por ano, considerando a

qualificação dos periódicos no caso dos artigos

16

Educação

Procedimentos Elaboração do Qualis (eventos,

periódicos, livros) Reunião para afinar critérios Definição de critérios para

Programas 6 e 7 Distribuição dos Programas pelos

avaliadores (2 a 5 Programas) Elaboração de pareceres

preliminares (individualmente/correio eletrônico)

Reunião: dia 1- ajuste de critérios Discussão das fichas Indicação para Programas 6 e 7 Revisão das Fichas (grupo menor)

CritériosDefinidos critérios quantitativos para

cada quesito e item (ex.:) Corpo docente: Abrangência e

especialização do NRD6

Tabela 4: MB=+75; B=65-74; R=55-64; F=45-54; D=-45

Indicadores Peso Critério

% doc com doutorado

D ou pesos abaixo

Abaixo de 100%= D

Doutor em Ed. NRD6/NRD6

40 Tabela 4

Vinculação titulados Ed. em áreas e linhas

30 Quali

Vinculação não-titulados Ed.

30 Quali

17

Sociologia

Procedimentos Visita a todos os Programas Busca de homogeneidade: tomada

de decisões por consenso 4 reuniões com coordenadores no

triênio Entrega dos CDs Reunião prévia de 5 membros para

qualificar livros e coletâneas (+200 livros em 2 dias...)

Produção de síntese dos indicadores de cada Programa

Primeiro dia: consenso sobre padrões de qualidade

Trabalho em duplas (pelo menos 1 dos visitantes)

Leitura em voz alta das avaliações

CritériosDescrição dos critérios por

quesito/item (Ex.)Teses e dissertações: Tempo médio de titulação - O tempo médio de titulação para a menção Muito Bom deve observar dois critérios: 1) o tempo ideal proposto pela Capes, e 2) a série histórica do programa. Tempo elevado em instituições consolidadas há bastante tempo, mas que têm se esforçado para a redução do TMT, com resultados visíveis, é aceitável.Produção intelectual: Qualidade dos veículos - Muito bom implica publicar boa parte dos resultados de pesquisa em periódicos nacionais e internacionais de níveis A e B classificados no Qualis da Sociologia.

...

18

Direito

Procedimentos Distribuição dos Relatórios na

reunião preliminar Divisão da Comissão em

subgrupos para relato Análise coletiva, a partir dos

relatos dos subgrupos Avaliadores relataram

Programas diferentes dos da Avaliação Continuada

Discussão ampla antes de definir conceito final

Discussão do Programa do avaliador sem a sua presença

Avaliação predominantemente qualitativa

CritériosProdução intelectual

Adequação (25): MB (Entre 80 e 100% da produção de publicações originárias de autores-docentes e autores-discentes, com adequação à proposta do Programa e vinculada às Áreas de Concentração, Linhas e Projetos de Pesquisa) ...

Qualidade (25): MB (70% e 100% de sua produção intelectual veiculada em publicações distribuídas de acordo com o perfil das respectivas áreas de concentração e publicadas por editoras de reconhecida expressão nacional ou internacional para a área do Direito)...

19

Ciências Biológicas II

Procedimentos Elaboração de tabela-síntese

com 51 indicadores (total de docentes, pesquisadores com bolsa, publicações cf. Qualis, publicações por orientador, somatório do índice de impacto por orientador, etc.)

Avaliação pelo conjunto dos itens contemplados

Ex.: Conceito 5:Produção de pelo menos 3 artigos completos publicados em revistas classificadas como categoria "A" do Qualis da área por 50% dos orientadores do programa no triênio.

Regularidade da produção científica individual, indicando adequada contribuição coletiva dos orientadores para o desempenho do programa.Somatório do índice de impacto das revistas.Relação índice de impacto por orientador.Número de publicações categoria "A" do Qualis da área por discentes.Total de dissertações e teses defendidas.Relação entre as publicações categoria "A" do Qualis da área com discente sobre número de dissertações e teses defendidas.Baixa dependência de orientadores externos.Tempo médio de titulação dos mestres e doutores.Baixo índice de evasão.

20

Engenharia II

Procedimentos Atualização do Qualis Distribuição do CD

(avaliação por pares) Reunião para uniformização

de critérios Análise detalhada dos casos

limites Análise por subáreas

(Química, Materiais, Metalúrgica, Minas e Nuclear)

Definição de procedimentos/planilhas por Grande Área

Critérios Produção intelectual:M=fração computada por itemIA, IB, CLI, LI, PI Qualidade dos produtos do

NRD6 (15%): M=M1/NRD6 onde

M1 =IA+0,5 IB+ xCLI + yLI + zPI(MB=1 M; B=0,75 M 1...) Qualidade dos produtos no

Programa (10%): M=M2/n docentes

M2= IA+0,5 IB+ xCLI + yLI + zPI...

21

Medicina II*

Procedimentos Seguiu critérios definidos pela

Grande Área Publicações: Qualis (definido

em reunião anterior da Comissão)

Critérios Quantificação de todos os

quesitos/itens. Ex.:Corpo Discente: Dimensão do corpo discente com relação ao NRD6: MB=até 5 alunos; B=5-6; R=6-7; F=7-8; D=+8

Teses e dissertações: Tempo médio de titulação (M): MB=24 meses;

B=25-30; R=31-36; F=37-42; D=+42

Produção bibliográfica: Adequação dos veículos: MB=80% NDR6 3 Qualis Nac A + 1 In A ou B/doc no triênio; B= 80% NDR6 3 Qualis Nac B + 1 In C/doc no triênio; R= 80% NDR6 3 Qualis Nac C + 0,5 In C/doc no triênio

Produção científica: QualisIn A: fator de impacto (fi) 1In B: 1 fi 0In C: sem fi, mas no Medline

Nac A: Scielo

Nac B: Lilacs

Nac C: demais

22

Química

Procedimentos Análise prévia dos

Programas (duplas) Preenchimento de planilha

com indicadores definidos na reunião de preparação

Reunião: construção de planilha única

Revisão dos dados (falhas detectadas nos documentos)

Critérios

Produção intelectual: JCR: 0,007-0,499 (IC) JCR: 0,5-0,999 (IB) JCR: 1 (IA) Equiparação de tipos de

produção (livros=artigos; capítulos i/n=art. nacional ...)

Questões Questões acerca da avaliação da pós-graduaçãoacerca da avaliação da pós-graduação

24

Questões e perspectivas

O que é avaliado: o relatório ou o Programa? Modelo comum às 44 áreas Caráter declaratório Visitas como alternativa Mudanças no Coleta e na Ficha de Avaliação

A produção científica é adequadamente avaliada? Qualis Periódicos: classificação da Comissão CAPES-ANPEPP Classificação das demais áreas aceita Livros e capítulos de livros: Qualis? Qualis livros e indicação de melhor produção

25

Questões

O processo de avaliação é cuidadoso? A questão do tempo destinado à preparação e à avaliação

propriamente dita A análise do CTC (diante do volume de processos) O material é adequado? Meta-avaliação (Spagnolo e Souza, 2005)

A avaliação é objetiva? Subjetividade da Comissão (escolha de membros; definição de

critérios e pesos; seleção, análise e interpretação dos dados; compromissos e tendenciosidade)

A base de dados

26

Questões

Como articular (a) padrões gerais do SNPG, (b) quadro evolutivo da área e (c) proposta do Programa? O significado do “padrão médio da área” Avaliar processo ou estabilidade? Avaliação como indutor (de qualidade ou de padrão comum?) Padronizar ou inovar? Flexibilização do tempo de titulação + Portaria 68

Ênfase na produção científica Pressuposto: uma formação adequada só pode ser assegurada por

um corpo docente qualificado Formação de recursos humanos como missão da CAPES A questão do egresso