sistema de avaliação da capes na área de administração · 2015-12-04 · sistema de...

Sistema de Avaliação da Capes na área de Administração

Prof. Dr. Emerson Antonio Maccari

ANÁLISE DOS RESULTADOS – Sistema de Avaliação da CAPES

CRITÉRIOS DESDOBRAMENTO DE CADA QUESITO AVALIAÇÃO

M. BOM BOM REGULAR FRACO DEFICIENTE

Proposta do programa

Áreas de concentração, linhas de pesquisa e projetos em andamento (pesquisa, desenvolvimento e extensão).

AVALIAÇÃO QUALITATIVA Coerência, consistência e abrangência da estrutura curricular. Infra-estrutura para ensino, pesquisa e extensão. Atividades inovadoras e diferenciadas de formação de docentes.

Corpo Docente

15% Formação dos docentes permanentes. > 80% 70 - 79% 60 - 69% 50 - 59% < 50%

25% Adequação da dimensão, composição e dedicação dos docentes permanentes. > 70% 61 - 70% 51 - 60 40 - 50% < 40%

20% Perfil do corpo permanente em relação à proposta do programa. > 80% 70 - 79% 60 - 69% 50 - 59% < 50%

10% Atividade docente permanente na pós-graduação. > 90% 80 - 89% 70 - 79% 60 - 69% < 60%

10% Atividade docente permanente na graduação. > 90% 80 - 89% 70 - 79% 60 - 69% < 60%

20% 20% Participação dos docentes em pesquisa e desenvolvimento de projetos. > 90% 80 - 89% 70 - 79% 60 - 69% < 60%

Corpo Discente

20% Percentual de defesas mestrado/doutorado em relação ao total do corpo dicente.

> 40% 25%

36-39% 22-24%

30-35% 18-21%

< 30% < 18%

15% Adequação e compatibilidade da relação orientador/discente. < 8 < 8

10% Participação de discentes autores da pós-graduação e graduação. > 25% > 40%

20-24,9% 30-39,9%

15-19,9% 20-29,9%

10-14,9% 10-19,9%

< 10%

20% Dissertações/teses vinculadas a publicações. > 50% > 80%

40-50% 60-80%

30-40% 40-60%

20-30% 30-40%

< 20% < 30%

20% Qualidade das teses e dissertações. AVALIAÇÃO QUALITATIVA

35% 15% Tempo médio de titulação de mestres e doutores. < 30 < 54

30 - 31 54 - 55

32 - 33 55 - 56

> 33 > 56

Produção Intelectual

50% Publicações qualificadas do programa por docente permanente. > 50 35-49 20 - 34 12- 19 < 12

20% Distribuição de publicações qualificadas em relação ao corpo docente permanente.

> 80% 70 - 80% 50 - 70% 20 - 50% < 20%

15% Produção técnica ou tecnológica. AVALIAÇÃO QUALITATIVA 35% 15% Produção de alto impacto. > 100 75 - 99 50 - 74 25 - 49 < 25

Impacto Social

60% Inserção e impacto regional e/ou nacional do programa. AVALIAÇÃO QUALITATIVA

FONTE: MACCARI, 2008

30% Integração e cooperação com outros programas.

10% 10% Visibilidade ou transparência do programa.

Dissertações e Teses

Dissertações e Teses



Estrutura Curricular

Estrutura Curricular

Área de concentração

Área de concentração Linhas de Pesquisa

Linhas de Pesquisa

Projetos de

Pesquisa

Projetos de

Pesquisa

Organização da Estrutura de Pesquisa - Modelo CAPES


Estrutura do Programa Estrutura do Programa

Resultados

Produção Científica e Tecnológica

Produção Científica e Tecnológica

Inserção Social Inserção Social

Sistema de Avaliação da Pós-Graduação

Corpo discente

Área de Concentração Área de Concentração

Estrutura Curricular Estrutura Curricular

Linhas de Pesquisa Linhas de Pesquisa

Projetos (eixo)

Corpo Docente

Egresso

Stakeholders

Stakeholders

Visão

Acesso a Recursos


Estruturação do PPGA/USP Triênios 2004-2006, 2007-2009, 2010-2012 E

2013-2016

Administração Administração

As linhas de pesquisa pertencem ao Programa e é por meio delas que os docentes se conectam para desenvolver suas atividades.

Área de Concentração e Linhas de Pesquisa - LP

Linhas de Pesquisa e Projetos de Pesquisa

• Diminuição da linhas de pesquisa de 12 para 8

– 48 docentes (mínimo de 4 por linha)

• Linhas de pesquisa do professor e não do programa

• Projeto eixo de pesquisa

– máximo 2 por docente

– participação em 1 como colaborador

Projeto Eixo de Pesquisa

DOCENTE

Docentes

• Premiação para os mais produtivos (produção Intelectual)

• Curso de Lattes

• Auxílio na elaboração de projetos de pesquisa

• Requisitos para participar do corpo docente permanente (Produção, Disciplina, Orientação e projeto financiado);

• 2013 – 2016 – Desempenho docente (Produção Intelectual, Orientação, projeto financiado, produção em parceria (ou não) com o discente e egresso, grupo de pesquisa)

Gestão do processo de entrada no Programa

• A entrada é regulada pela saída (controle de estoque)

• Entrada por linha de pesquisa

– (capacidade de orientação do ocente)

• Aumento da entrada de doutores

– 2004 42 M e 37 D = 79

– 2014 35 M e 65 D = 110

Discentes

• Publicação em periódico vale créditos . – Cada artigo em periódico “Qualisficado” = 4 créditos

– Artigos em congresso = 2 créditos

– Pode acumular 8 créditos (2 disciplinas)

• Sistema de acompanhamento discente: 1) Adequado; 2) Alerta; 3) Risco.

• Curso de Lattes

O processo de Gestão da Informação

Coordenação do Programa Coordenação do Programa

Sistema Fênix - Pós Graduação da USP

Seção Pós-Graduação da FEA

Docentes

Secretaria

do PPGA

Equipe Coleta Equipe Coleta

Discentes, Participantes

Externos e Teses/Dissert

a-ções

Projetos de Pesquisa

Disciplinas Turmas

Auxílio no preenchimento

do Currículo Lattes -CNPq

Produção docente, Produção Discente/ Egressos

Discentes e Egressos

Colegiado do PPGA

Área de Concentração

Linhas de Pesquisa

Preenchimento e

Conferência dos Dados

Resultados TIPOS DE PRODUÇÃO 2004 2004 CORRIGIDO EVOLUÇÃO

BIBLIOGRÁFICA

Artigos em Periódico 63 125 98%

Livros/Capítulos 39 90 130%

Trabalhos em Anais 237 713 200%

Artigo em Jornais e Revistas 83 215 159%

Outro tipo de produção bibliográfica 21 28 33%

TÉCNICA

Serviços Técnicos 203 417 105%

Curso curta duração 36 66 83%

Desenvolvimento de Aplicativo 1 2 100%

Desenvolvimento de Material Didático 1 8 700%

Desenvolvimento de técnica 5 7 40%

Editorial 8 9 12%

Organização de Eventos 1 7 600%

Programa de Rádio/TV 6 10 66%

Relatório de Pesquisa 3 11 266%

Outro tipo de produção técnica 67 98 46%

Apresentação de Trabalhos 43 178 314%

TOTAL 817 1984 142%

MACCARI, E. et al. Sistema de avaliação da pós-graduação da capes: pesquisa-ação em um programa de pós-graduação em

administração. RBPG. Revista Brasileira de Pós-Graduação, 2008.

Novo Qualis

Critérios para indexação

• Scielo: www.scielo.br/criteria/scielo_brasil_pt.html

• Scopus: http://info.scopus.com/etc/suggesttitle/

• ISI: www.isiwebofknowledge.com

• DOAJ: www.doaj.org/doaj?func=suggest

http://www.doaj.org/doaj?func=suggest

Estrato Pontuação

A1 100

A2 80

B1 60

B2 50

B3 30

B4 20

B5 10

C 0

COMPOSIÇÃO DOS ESTRATOS

A1 = 12% A2 = 13% B1 = 25% B2 + B3 + B4 + B5 = 50%

A1 < A2 A1 + A2 < B1 % A1 + A2 + B1 < (B2 + B3 + B4 + B5)

Travas

Estrutura dos Mestrados e Doutorado em Administração - UNINOVE

• Lattes

• Site

• Revistas

Novo Qualis

Definição dos estratos

• B5 – Atendimento dos mínimos estabelecidos para avaliação e padrão de qualidade regular (compatível com o que atualmente se caracteriza como Local C)

• B4 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade bom (compatível com o que atualmente se caracteriza como Local B, Local A ou Nacional C), publicação de no máximo 45% dos artigos com autores vinculados a uma mesma instituição, por volume

• B3 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade muito bom (compatível com o que atualmente se caracteriza como Nacional B), publicado por tempo de vida superior a 4 anos, publicação de no máximo 40% dos artigos com autores vinculados a uma mesma instituição, por volume

• B2 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A), publicado por tempo de vida superior a 4 anos, publicação de no máximo 35% dos artigos com autores vinculados a uma mesma instituição

Definição dos estratos (cont.)

• B1 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A ou Internacional C), publicado por tempo de vida superior a 8 anos, publicação de no máximo 30% dos artigos com autores vinculados a uma mesma instituição, indexado no Scielo, se periódico editado no Brasil, ou indexador equivalente, se periódico editado fora do Brasil

• A2 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A, Internacional B ou A), indexado no ISI ou na base Scopus

• A1 – Atendimento dos mínimos estabelecidos para avaliação, padrão de qualidade excelente (compatível com o que atualmente se caracteriza como Nacional A, Internacional B ou A), indexado no ISI com fator de impacto publicado no JCR igual ou superior a 0,5, ou indexado na base Scopus/SCImago com índice H igual ou superior a 5

Critérios para indexação

• Scielo: www.scielo.br/criteria/scielo_brasil_pt.html

• Scopus: http://info.scopus.com/etc/suggesttitle/

• ISI: www.isiwebofknowledge.com

• DOAJ: www.doaj.org/doaj?func=suggest

http://www.doaj.org/doaj?func=suggest

Estrato Pontuação

A1 100

A2 80

B1 60

B2 50

B3 30

B4 20

B5 10

C 0

COMPOSIÇÃO DOS ESTRATOS

A1 = 12% A2 = 13% B1 = 25% B2 + B3 + B4 + B5 = 50%

A1 < A2 A1 + A2 < B1 % A1 + A2 + B1 < (B2 + B3 + B4 + B5)

Travas

Povoamento dos Estratos pelas Áreas na CAPES

Prof. Dr. Emerson Maccari

[email protected]

[email protected]

Áreas Sem Programas com Conceito 7 Nome da Área Número de Programas

Arquitetura e Urbanismo 41

Interdisciplinar 236

Ensino 73

Biotecnologia 40

Ciências Sociais Aplicadas I 57

Nutrição 20

Direito 75

Materiais 27

Das 48 áreas da CAPES, 8 não possuem programas povoando o estrato conceito 7.

(CAPES, 2013a)

4

6

5

7

3

117

205

556

922

858

Distribuição dos Programas - 2010

(CAPES, 2013b)

4,3%

7,5%

20,5%

33,9%

117

205

556

922


4

6

5

7

3

(CAPES, 2013b)

858 31,6%

4

6

5

7

3

140

266

598

1219

1054


(CAPES, 2013b)

4

6

5

7

3

4,2%

8%

17,9%

36,5%

31,6%

140

266

598

1219

1054


(CAPES, 2013b)

Evolução da produção em Artigos A1 e A2 triênios 2010 e 2013

Indicadores 2010 2013 Evolução

Artigos A1 172 472 274%

Artigos A2 566 2046 361%

Dentre as 48 áreas avaliadas pela CAPES a área de Administração,

Ciências Contábeis e Turismo foi a 12º na produção em A1 e 13º na

produção em A2 na trienal 2013 que mais cresceu.

Fonte: (CAPES, 2010; 2013a)

Evolução de programas de doutorado e titulação de doutores

A área de Administração foi, percentualmente, a 8ª área que mais

aumentou o número de programas de doutorado e a 5ª que mais

ampliou a titulação de doutores ao se comparar o triênio 2010 com o

2013.

.



Programas

Doutorado

27 41 51%

Doutores

Titulados

430 495 62%

Povoamento dos Conceitos 6 e 7 nos triênios 2010

e 2013

Dos 119 programas que compõem a área de Administração, Ciências

Contábeis e Turismo, na trienal de 2013, 1,7 % (2 Programas) povoam o

estrato do conceito 7 e 2,5% (3 Programas) povoam o estrato conceito 6.

Na avaliação de 2010, eram 2,1% (2 Programas) Conceito 7 e 3,1% (3

Programas) Conceito 6.

Administração,

C. Contábeis e

Turismo

2010

(96)

% Média

áreas %

2013

(119)

% Média

Áreas

%

Conceito 7 2 2,1 6,2% 2 1,7 5,8%

Conceito 6 3 3,1 8,7% 3 2,5 8,6%


Produção artigos A1 e A2 per capta por programa e

povoamento do estrato 6 e 7 trienal 2013

A área de Administração, Ciências Contábeis e Turismo, possui a melhor

média per capta de produção de artigos A1 e A2, porém, é praticamente

a pior na ocupação dos Estratos 6 e 7.

Áreas Total Conceito 7 %7

Conceito 6 %6

A1 A2 Pa1 Pa2

Arquitetura e Urbanismo 41 0 0,0% 1 2,4% 16 95 0 2

Economia 55 3 5,5% 5 9,1% 102 175 2 3

Filosofia/Teologia: 59 2 3,4% 7 11,9% 114 414 2 7

Planejamento Urbano-Regional

e Demografia 34 1 2,9% 3 8,8% 88 180 3 5

Direito 75 0 0,0% 8 10,7% 202 418 3 6

Ciência da Computação 68 5 7,4% 3 4,4% 206 177 3 3

Serviço Social 30 1 3,3% 4 13,3% 121 253 4 8

Ciências Sociais Aplicadas I 57 0 0,0% 5 8,8% 253 488 4 9

Administração, Ciências

Contábeis e Turismo 119 2 1,7% 3 2,5% 472 2046 4 17

Fonte: (CAPES, 2013a)

Povoamento da Área no Estrato Conceito 7

Posição

Área Programas

Conceito

7 %

36º Administração, Ciências Contábeis e Turismo 119 2 1,7%

37º Zootecnia e Recursos Pesqueiros 60 1 1,7%

38º Ciências Ambientais 64 1 1,6%

39º Odontologia 96 1 1,0%

40º Biodiversidade 120 1 0,8%

Na trienal finalizada em 2013, das 40 áreas que possuem programas com

conceito 7, a área de Administração, Ciências Contábeis e Turismo

apresentou o 36º pior povoamento do estrato 7. Somente quatro áreas

tiveram, percentualmente, um desempenho inferior. Destaca-se que

destas quatro áreas, duas áreas (Ciências Ambientais e Biodiversidade)

são novas, foram criadas neste triênio.


Povoamento da Área de Administração Conceito 6

• Das 48 áreas que possuem Programas com conceito 6

somente a área de Arquitetura e Urbanismo apresentou um

desempenho inferior.

• Das 48 áreas que possuem Programas com conceito 6

somente a área de Arquitetura e Urbanismo apresentou um

desempenho inferior.

Posição

Área Programas Conceito 6 %

47º Administração, Ciências

Contábeis e Turismo 119 3 2,5%

48º Arquitetura e Urbanismo 41 1 2,4%


Evolução de programas com doutorado e titulação de doutores

• A área de Administração, Ciências Contábeis e Turismo foi, percentualmente, a 8ª área que

mais aumentou o número de programas de doutorado e a 5ª que mais ampliou a titulação de

doutores ao se comparar o triênio 2010 com o 2013.

• A área de Administração, Ciências Contábeis e Turismo foi, percentualmente, a 8ª área que

mais aumentou o número de programas de doutorado e a 5ª que mais ampliou a titulação de

doutores ao se comparar o triênio 2010 com o 2013.


Programas

Doutorado

27 41 51%

Doutores

Titulados

430 695 62%


Evolução de programas com doutorado e titulação de doutores

Estratos (notas)

Administração, Ciências Contábeis e

Turismo

Todas as Áreas Proposta para a Área

Programas % Programas % Programas %

7 2 1,7 140 4,2 5 4,2

6 3 2,5 266 8,1 10 8,4

5 23 19,3 598 18,3 23 19,3

4 54 45,4 1219 37,2 44 37

3 37 31,1 1054 32,2 37 31,1

Total 119 100 3277 100 119 100

Fonte: (CAPES, 2013b)

4

6

5

7

3

1,7%

2,5%

19,3%

45,3%

31,1%

2

3

23

54

37

Sugestão para a Área

4,2%

8%

17,9%

36,5%

31,6%

5

10

23

45

37

(CAPES, 2013b)

Resultado da Avaliação trienal 2013

Sugestão para a Área • Realizar uma avaliação comparada com as outras áreas da CAPES de modo a calibrar a régua das exigências do

sistema de avaliação para a área;

• Dar mais importância aos itens de output do sistema, como por exemplo: a) formação de discentes; b) Produção

Intelectual (científica e técnica-tecnológica) de seus docentes, discentes e egressos; c) Inserção Social do

Programa;

• Ajustar a ocupação dos estratos dos programas que solicitaram recursos utilizando-se como balizador o

percentual de ocupação dos estratos de todas as áreas;

• Elaborar um planejamento de estimulo à evolução dos programas por meio de reuniões direcionadas aos blocos

de programas de cada um dos estratos;

• Considerar não somente a média em percentual dos indicadores de um programa, mas sim sua efetiva

contribuição no que diz respeito a formação de alunos (mestres e doutores), produção intelectual docente e

discente (qualidade e volume) e inserção social;

• Atribuir pontuação para a formação de cada mestres e cada doutor. Isto estimulará os programas a ofertarem

mais vagas e ampliarem o seu corpo de docentes permanentes;

• Fazer uma divulgação comparada de todos os programas nos estratos específicos com destaque aos itens de

output. Assim, os programas podem visualizar sua posição em relação aos outros programas. Isto diminuirá as

dúvidas no processo de avaliação.

• Realizar uma avaliação comparada com as outras áreas da CAPES de modo a calibrar a régua das exigências do

sistema de avaliação para a área;

• Dar mais importância aos itens de output do sistema, como por exemplo: a) formação de discentes; b) Produção

Intelectual (científica e técnica-tecnológica) de seus docentes, discentes e egressos; c) Inserção Social do

Programa;

• Ajustar a ocupação dos estratos dos programas que solicitaram recursos utilizando-se como balizador o

percentual de ocupação dos estratos de todas as áreas;

• Elaborar um planejamento de estimulo à evolução dos programas por meio de reuniões direcionadas aos blocos

de programas de cada um dos estratos;

• Considerar não somente a média em percentual dos indicadores de um programa, mas sim sua efetiva

contribuição no que diz respeito a formação de alunos (mestres e doutores), produção intelectual docente e

discente (qualidade e volume) e inserção social;

• Atribuir pontuação para a formação de cada mestres e cada doutor. Isto estimulará os programas a ofertarem

mais vagas e ampliarem o seu corpo de docentes permanentes;

• Fazer uma divulgação comparada de todos os programas nos estratos específicos com destaque aos itens de

output. Assim, os programas podem visualizar sua posição em relação aos outros programas. Isto diminuirá as

dúvidas no processo de avaliação.

• REFERÊNCIAS:

• CAPES. Resultados Finais – Trienal 2010. 2010. Disponível em http://trienal.capes.gov.br/?page_id=100.

Acesso em 10 de Dez, 2013.

• CAPES. Resultados Avaliação Trienal 2013 – Planilha de Notas. 2013. Disponível em http://avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas. Acesso em 10 de Dez. 2013a.

• CAPES. Resultados Avaliação Trienal 2013 – Apresentação dos Resultados. 2013. Disponível em http://avaliacaotrienal2013.capes.gov.br/resultados/planilha-de-notas. Acesso em 10 de Dez. 2013b.

• MACCARI, E. et al. Sistema de avaliação da pós-graduação da capes: pesquisa-ação em um programa de pós-graduação em administração. RBPG. Revista Brasileira de Pós-Graduação, 2008.

• MACCARI, E. A. . Contribuições à gestão dos programas de pós-graduação stricto sensu em administração no Brasil com base nos sistemas de avaliação norte americano e brasileiro. São Paulo: USP, 2008 (Tese).

• MACCARI, E. A. ; ALMEIDA, Martinho Isnard Ribeiro de ; NISHIMURA, A. T. ; RODRIGUES, L. C. . A Gestão dos Programas de Pós-Graduação em Administração com Base no Sistema de Avaliação da CAPES. REGE. Revista de Gestão USP, v. 16, p. 1-16, 2009

sistema de avaliação da capes na área de administração · 2015-12-04 · sistema de...

Documents