Qualis: Avaliação de Periódicos na Medicina II

Rodrigo T. Calado Faculdade de Medicina de Ribeirão Preto

Universidade de São Paulo Coordenador da área Medicina II da CAPES

CIÊNCIA E DESENVOLVIMENTO Programas Acadêmicos e Profissionais

CIÊNCIABÁSICA

ENSAIOSCLÍNICOS

SOCIEDADE/INDÚSTRIA/PACIENTES

PESQ

UISAA

TR

ANSLAC

IONAL

APLICA

ÇÃO

PROGRAMASPROFISSIONAISPROGRAMASACADÊMICOS

Pós-graduação Cenário de avaliação

Voltadaparaaestruturaçãoeavaliaçãodegruposdepesquisa

Pós-graduação Cenário de avaliação

TrigoFR,2017

32

MESTRADO PROFISSIONAL EM SAÚDE | INTRODUÇÃO

Figura 3: Mudanças nos pesos de avaliação de cada um dos cinco quesitos avaliados pela CAPES. MP: Mestrado Profissional; MA: Mestrado Acadêmico; DA: Doutorado Acadêmico.

Fonte: Autor.

Proposta do Programa

Refere-se à concepção, aos fundamentos, aos objetivos e à infraestrutura (física,

didático-pedagógica e de pesquisa) que o programa utiliza para formar mestres e doutores. Nela

incluem-se o planejamento do programa e as metas em termos de formação de pessoas e de

produção intelectual. Neste quesito são valorizadas as propostas interdisciplinares; a geração

de conhecimento novo a ser imediatamente aplicável; a clareza no perfil do profissional a ser

formado; a priorização de projetos de intervenção, avaliação ou desenvolvimento de políticas

públicas assistenciais e de desenvolvimento tecnológico; a relevância temática e os impactos

locais, regionais ou nacionais; além da formação em pesquisa e fundamentos metodológicos.

Destaca-se ainda que “É desejável que o Programa de Pós-Graduação tenha conhecimento

sobre o destino dos seus egressos” (BRASIL, 2017, pág. 14).

Embora esse quesito – “Proposta do programa” - não seja pontuado na avaliação da

CAPES (0%), por se tratar de um curso novo (Hemoterapia e Biotecnologia), torna-se

fundamental investigar se a proposta tem atendido às necessidades exigidas nas unidades de

trabalho e se atende ao público específico.

Avaliação da Pós-graduação A fixação da métrica

“Noteverythingthatcanbecountedcounts,andnoteverythingthatcountscanbecounted”W.B.Camareon,1963

Avaliação da Pós-graduação A fixação da métrica

Baseadaem4conceitos:•  Relaçãoentremedidasemelhorias(“Ifyoucannotmeasureit,

youcannotimproveit”);•  Crençadequeépossíveledesejávelsubs`tuirojulgamento

subje`vo,adquiridopelaexperiênciapessoal,porindicadoresnuméricosdeperformancecompara`va;

•  Crençadequetalmétricapública(transparência)asseguraqueasins`tuiçõesestãocumprindooseupapel;

•  Crençadequeamelhorformademo`varpessoasnessasins`tuiçõesépormeiodeprêmiosepenalidadesdeacordocomsuaperformancedeacordocomamétrica.

J.Z.Müller,2018

Avaliação da Pós-graduação A fixação da métrica

Resultados:

•  Ressen`mento

•  Manipulaçãodedadosparamelhorarindicadores

•  Fabricaçãodedadosparamelhorarindicadores

•  Maisindicadoresparaevitarmanipulação!

•  “WheneverrewardisFedtomeasuredperformance,

metricfixaFoninvitesgaming”J.Z.Müller,2018

Avaliação da Pós-graduação A fixação da métrica

LeideCampbell(1975):

“Quantomaisqualquerindicadorsocialéusadoparaa

tomadadedecisõessociais,maissujeitoeleestaráà

corrupçãoemaisprovavelmentecapazdedistorcere

corromperosprocessossociaisqueele,oindicador,

pretendiamonitorar.”

D.Ravitch,2010

Avaliação da Pós-graduação Planejamento futuro

Foconaformaçãododiscente/egresso

D.Ravitch,2010

Avaliação da Pós-graduação Planejamento futuro

Formação:

•  Matrizcurricular

•  Infraestruturadeensino-aprendizagemepesquisa

•  Binômioaluno/orientador

•  Produçãodiscente

D.Ravitch,2010

Avaliação da Pós-graduação Planejamento futuro

Indicadores:usecommoderação!

•  Seleçãode5produtospordocente?

•  Produçãodiscente?

•  Corpodocente?

•  Qualisúnico?

•  Baseadonosquar`sISIparaaáreadeconhecimento

•  Baseadonospercen`sScopusparaaáreadeconhecimento

Avaliação da Pós-graduação Qualis

DesenvolvidoparaaavaliaçãodaproduçãodeprogramasdePG!

-  Nãoavaliaar`gos

-  Nãoavaliaperiódicos

Avaliação da Pós-graduação Qualis único

•  Manutençãodestatusdequalificaçãodeproduçãoem

periódicosparatodasasáreasdeavaliação

•  Buscarcritériodesemelhançaentre“indicadoresde

qualidade”

•  Reconheceraheterogeneidadenoprocessodeindexação

•  CadaperiódicoumúnicoQualis

Avaliação da Pós-graduação Qualis único

Pressões:

•  Externas–dificuldadedecompreensãodavariaçãode

classificaçõesentreáreasdeavaliação

•  Internas–comparabilidadeentreáreasreduzida;forte

“subje`vidade”dealgumasclassificações

Avaliação da Pós-graduação Qualis: 2 grupos de áreas •  Áreasqueseu`lizamapenasouprincipalmentedemétricasquan`ta`vas

deindexadoresinternacionais(IF-JCR;SJR;percen`sdoJIF;etc)•  Áreasqueu`lizamprincipalmentea“variedadedebasesindexadores”ou

métricasquan`ta`vasabertas(H5Scholar)

y = 1,4207x - 4,5207R² = 0,7967

y = 44,062ln(x) - 104,25R² = 0,7559

0

20

40

60

80

100

120

0 50 100 150 200 250

Perc

entis

H5

y = 0,0321x - 0,0989R² = 0,8601

y = 1,064e0,0152x

R² = 0,7908

0

5

10

15

20

25

0 50 100 150 200 250

FIp

H5

Avaliação da Pós-graduação Qualis:

Avaliação da Pós-graduação Qualis:

Avaliação da Pós-graduação Indicadores WeR_USP(Prof.Carlox)

Avaliação da Pós-graduação Indicadores: WeR_USP: Medicina II

Avaliação da Pós-graduação Indicadores: WeR_USP: Medicina II

Avaliação da Pós-graduação Indicadores: WeR_USP: Medicina II

Avaliação da Pós-graduação Indicadores: WeR_USP: Medicina II

RESUMO

•  Foconaformaçãododiscente/egresso

•  Flexibilidadeaosprogramasparademonstraremsuasqualidades

•  Reduçãodonúmerodeindicadores(comparcimônia)

•  5produtos/docente•  Qualisúnico

rtcalado@usp.br