além do fator de impacto: novas métricas€¦ · fator de impacto jcr / Índice h na...

46
Rogério Mugnaini Departamento de Informação e Cultura Escola de Comunicações e Artes Universidade de São Paulo Além do Fator de Impacto: novas métricas Rogério Mugnaini | ABEC / XXIV CEC, Junho 2016

Upload: others

Post on 05-Oct-2020

0 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

RogérioMugnainiDepartamentodeInformaçãoeCulturaEscoladeComunicaçõeseArtesUniversidadedeSãoPaulo

AlémdoFatordeImpacto:novasmétricas

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 2: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

IndicadoresdeCT&I

Indicadoresdeoutput

IndicadoresdeproduçãocienEfica

Bibliometria

Cientometria

Informetria,Webometria

RelaçãoentreconceitosdeanálisequanMtaMvadaciênciaeindicadoresdeC&T

Bibliometria:escopo

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 3: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Aevoluçãodaavaliaçãoderevistas

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Glänzel, 2010)

Page 4: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Aevoluçãodaavaliaçãoderevistas

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Glänzel, 2010)

Page 5: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Fatordeimpacto:eseu“impacto”

Enfermidade?Idolatria?

Assombração?Ignorância?Manipulação?

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 6: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

FatordeImpacto:jusMficaMvasparaousoindiscriminadoDentreosmuitosautoresqueestudamoFIeprocuramproporindicadoresalternaMvos,GlänzeleMoed(2002)apontamcomofatoresprincipaisquejusMficamseuusoindiscriminado:–  a"facilidadedecompreensão",jáquesetratasimplesmentedonúmeromédiodecitaçõesrecebidaspelosarMgosdeumarevista;

–  a"robustez",poissuavariaçãodeumanoparaoutronãoémuitogrande;

–  ea"rápidadisponibilidade",dadaàagilidadedeindexaçãoedistribuiçãodoISI-Ins'tuteforScien'ficInforma'on(atualThomsonReuters).

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 7: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Métricasacadêmicas:relações

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Haustein, 2016)

Page 8: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

§  SegundoHaustein(2016),métricasacadêmicassão,portanto,definidascomoindicadoresbaseadosemeventosregistradosdeatos(ex:ver,ler,guardar,difundir,mencionar,citar,reuMlizar,modificar)relacionadosaosdocumentosacadêmicos(ex:documentos,livros,blogs,conjuntosdedados,código)ouagentesacadêmicos(ex:pesquisadores,universidades,financiadores,revistas).

§  Assim,altmetrics(ouAltmetria)referem-seaumsubconjuntoheterogêneodemétricasacadêmicasesãoumsubconjuntoprópriodaInformetria,CientometriaeWebometria.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Haustein, 2016)

Métricasacadêmicas:oquesão?

Page 9: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

§  AcomparaçãodosGoogleScholar(aberto)comoWebofScience(comercial)éinteressante.EmboraoGSestejalivre,eaWoSrequerumalicença,aconstruçãodoconjuntodedadoseocálculodosindicadoressãorealmentemaistransparentesnaWoSdoquenoGS.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Wouters & Costas, 2012)

Métricasacadêmicas:confiabilidade

Page 10: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

§  PareceplausívelesperarqueasprimeirasondasdetweetssobreumarMgocienhficopoderepresentarumadimensãointeiramentediferentedecomunicaçãocienEficadoqueatardiaondadecitações,talvezmaiscuidadosamenteelaboradas.

§  Aindanãoestáclarooquãorápidosindicadoresdeavaliaçãodepesquisaeavaliaçãodevemser.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Wouters & Costas, 2012)

Métricasacadêmicas:confiabilidade

Page 11: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

§  Naturalmente,istopodeserdiferentequandoaferramentaéuMlizadacomoumfiltrodeinformaçãooucomoumaferramentadeauto-avaliação.Nessescasos,avelocidadepodecontarmais.

§  Em1955,EugeneGarfieldpublicaumarMgosobreumíndicedecitação,comafinalidadedefacilitararecuperaçãodearMgoscitadosnosarMgoscienhficos(GARFIELD,2006)–deve-seentenderquesuamoMvaçãoinicialerafacilitaroacessoàbibliografiacitadanosarMgos.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Wouters & Costas, 2012)

MétricasacadêmicaseFatordeImpacto:uMlidadecomum?

Page 12: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Alt-metric.com:velhoshábitoscustamamorrer:acriaçãodeumoutroindicador‘all-in-one’

–  Combinadas,aspontuaçõestêmaintençãodeserumaaproximaçãoponderadadetodaaatençãoqueAlt-metric.comcaptou,sobreoresultadodapesquisa.

– Altmetric.comafirmaclaramente:‘OindicadoréúMlquandoseolhaparaváriasmedidasemconjuntoparaidenMficarrapidamenteoníveldeaMvidadeonlineemtornodeumdeterminadoresultadodepesquisanãosetratadeumamedidadaqualidadedapesquisa,oudopesquisador.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Gumpenberger, Glänzel & Gorraiz, 2016)

Page 13: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Alt-metric.com:asdeficiênciasdosindicadorescompostos

– “HáograndeperigodequeoindicadoraltmetricspoderáembrevesermaluMlizadocomooFatordeImpactoderevistas;

–  InicialmentedesMnadoaseraplicadononívelderevistas,poderáembreveserusadoparapesquisadores,insMtuiçãoounoníveldepaís;

– Mesmonovosrankingspodemsurgircombaseemtaisinformaçõesarbitrárias”.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

(Gumpenberger, Glänzel & Gorraiz, 2016)

Page 14: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Informaçãoecomunicação:conceitos

Aconceituaçãodostermos“informação”e“comunicação”permiteumaanálisedaspráMcasrelacionadasàproduçãocienhfica,pois:

•  “enquantoainformaçãoéumproduto,umasubstância,umamatéria;

•  acomunicaçãoéumato,ummecanismo,éoprocessodeintermediaçãoquepermiteointercambiodeidéiasentreosindivíduos”.

(TARGINO,2000,p.53)

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 15: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Publicação:produtoeinsumodaciência

“Aautoridade,ocrédito,ovalordocienMstasãomedidospeloseutrabalho(Knorr-CeMna,1996),queconsistenoprodutodaciência,sujeitoàsregrasestabelecidaspelasdiversaspolíMcassobasquaisessemesmoprodutoépensadoeconcreMzado.OcienMsta,alémdeserdetentordovalordaquiloqueproduz,dependeráaolongodesuacarreira,enquantoprofissionalcontratadoparafazerciência,dohistóricoacadêmico-profissional,avaliadoaparMrdeseutrabalhodocumentado,bemcomodoscargosocupadosporele.”

“Otrabalhocienhficoéumelementouniversalevitalparaoavançodaciência,naqual‘nadasecria,nadaseperde’.Diantedetodaaliteraturadisponível,cabeaocienMstaexplorá-laeconhecerasconquistasnelajáalçadas,paraquepossadarconMnuidadeaodesenvolvimentodoobjetodesuaárea.”

(Mugnaini,2006,p.50e51)

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 16: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

•  AavaliaçãodaproduçãocienEficaemâmbitonacionaldeveconsideraromodelodepolíMcaexistentee,aomesmotempo,agregarasespecificidadesdacomunicaçãocienhficaexpressasnaspráMcasdascomunidadesdasdiversasáreasdosaber.

•  Osparâmetrosdeavaliaçãoestabelecidospelosíndicesdecitaçãodevemseradequadosnãosomenteàsdiferentesáreas,mastambémaocontextonacional,para,assim,darsubsídiosaumapolíMcacienhficacoerente,naqualacomunidadecienhficabrasileiratemexercidoumimportantepapel.

PolíMcacienhfica:adequaçãodomodelodeavaliaçãoaocontextonacional

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 17: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Guedón(2010)observaquesurgeumaestruturadepoderbaseadaemtrêscomponentes:

•  insMtuições,•  associaçõese•  revistas.“Éfácilanalisarcadacomponenteseparadamente,masumateiadensaecomplexadeinteraçõeseinfluênciasosunedetalformaque,maisumavez,caracterizaocampocienhfico”.

Campocienhfico:atoresqueoconformam

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 18: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Progs.Pós-Grad

Periódicos

ArMgos

FluxodaComunicaçãoCienhfica:avaliação

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 19: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Caminhos....?

OfluxodacomunicaçãocienEficaéconformadopelaPCT!

Osistemadeavaliaçãotop-downprecisadeumareaçãobo,on-up!!!

Osindicadoresprecisamsercontextualizados,ouatémesmo

subsMtuídos!!!

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 20: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Progs.Pós-Grad

Periódicos

ArMgos

PolíMcacienhfica:avaliação

Periódicos

Basesde

dados

Pol.Cient.eTécn.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 21: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Etemosindicadores madeinBrazil....?

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 22: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

ProjetoFAPESPCaminhos:sistemaparasuporteaoQualis

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 23: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

ObjeMvos

Obje0vogeral•  AnalisaroprocessodecomunicaçãocienhficanoBrasil,comvistasaoaperfeiçoamentodoscritériosdeavaliaçãodaproduçãocienhficanasdiversasáreas.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 24: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

ObjeMvos

Obje0vosespecíficos•  Analisaroprocessodecomunicaçãocienhficadasdiversasáreas,noquedizrespeito:

– Aoscritériosdeavaliaçãodaproduçãocienhfica;

– ÀimportânciadasrevistasuMlizadaspelascomunidadescienhficas.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 25: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Ø  Período:15anosdeavaliaçãotrienaldeCAPES

ü  Triênio1: 1998-2000

ü  Triênio2: 2001-2003

ü  Triênio3: 2004-2006

ü  Triênio4: 2007-2009

ü  Triênio5: 2010-2012

Etapasmetodológicas

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 26: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

1ªFasedapesquisaAnálisedoscritériosdeavaliaçãodaproduçãocienEficanacional

CritériosdeavaliaçãodoQualisPeriódicos

Ø Buscarádiferenciarasáreasaolongode5triênios,segundo:– Usodosíndicesdecitação– Aprimoramentodoscritérios–  Compararuso/importânciadasbasesdedadosnasdiversasáreas,considerando:

•  Mpologia:índicedecitação,catálogo,diretório•  processodeseleçãodeEtulos:critériosdequalidade,temáMcos

RogérioMugnaini|ABEC/XXIVCEC,

Junho2016

Page 27: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

AnálisedoscritériosdeavaliaçãodaproduçãocienEficanacional

Consideraçõesimportantesparaproposiçãodeindicadores

Ø Brasil:poucainserçãodapesquisanacionalnaciênciaditamainstreamporfaltadeaudiênciapotencial(MacRoberts&MacRoberts,1996),indispensávelparaumaanálisedecitaçãoconsistenteü Consequentemente:avaliaçãolimita-seaosindicadoresdeproduMvidade,diantedanecessidadedeseestabelecercritériosdequalidade-restandoentãoclassificardasrevistas,aoinvésdeavaliaraprodução;

ü Quandoumpesquisadoratuanumaáreadepesquisadecaráterlocal(oquesepronunciademaneiramaisgeneralizadanasCiênciasSociaiseHumanas),oacúmulodepontosrequerumnúmerosignificaMvamentemaiordepublicações,sobrecarregandoosistemadecomunicaçãocienEfica.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 28: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

AnálisedoscritériosdeavaliaçãodaproduçãocienEficanacional

ClassificaçãodoscritériosdeavaliaçãodoQualisPeriódicos

Ø CritériosdeclassificaçãoderevistasdoQualis,segundoaimportânciadadapelasÁreasdeAvaliação,temos:ü indicadoresdecitaçãoFatordeImpactoJCR/ÍndiceHnaScopus/sciMAGOouGoogleScholar/sciMAGOJournalRanking/mixdeindicadoresü indexaçãoembasescomcritériosdeseleçãoexplícitoíndicesdecitaçãocomoWebofScienc,Scopus,SciELO/basestemáMcas-p.e.MEDLINE-,ouregionais-Redalyc,LaMndexousemcritériosdeseleçãoexplícito(p.e.basePASCAL);

ü caracterísMcasdasrevistas,sendoelasintrínsecas(conteúdo,qualidade,entreoutras)ouextrínsecas(formato,gerenciais,entreoutras).

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 29: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

ExemplodaáreadeQuímica,quedependeexclusivamentedofatordeimpacto.

CritériosQualis:doc.deárea

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 30: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

ExemplodaáreadeMatemáMca,ProbabilidadeeEstaEsMca,quemesclamosíndicesdeimpactoeobsolescência.

CritériosQualis:doc.deárea

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 31: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

ExemplodaáreadeCiênciadaComputação,quecalculaumindicadorquemescla:FatordeImpactoJCR,eíndicesHdoScopuseGoogleScholar.Alémdisso,analisaconferênciasinternacionais,combasenoíndiceHcalculadonoGoogleScholar.

CritériosQualis:doc.deárea

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 32: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

História,queespecificalimitedeendogamiaediversificaçãoinsMtucionalderevisores.

CritériosQualis:doc.deárea

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 33: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

GrandeÁrea ÁreadeAvaliação A1 A2 B1CIENCIASBIOLOGICASICIENCIASBIOLOGICASIICIENCIASBIOLOGICASIIIENGENHARIASIENGENHARIASIIENGENHARIASIIIENGENHARIASIVASTRONOMIA/FISICACIENCIADACOMPUTACAOMATEMATICA/PROBAB.EESTATISTICAQUIMICAENFERMAGEMFARMACIAMEDICINAIMEDICINAIIMEDICINAIIIODONTOLOGIASAUDECOLETIVACIENCIASDEALIMENTOSMEDICINAVETERINARIAZOOTECNIABIODIVERSIDADEBIOTECNOLOGIAMATERIAIS

BIOLOGICAS(100%)

Indicador

ENGENHARIAS(100%)

EXATASEDATERRA(80%)

SAUDE(78%)

AGRARIAS(75%)

MULTIDISCIPLINAR(50%)

Áreascomperfildeavaliaçãobaseadoestritamenteemindicadores.

Qualis:áreasecritérios(triênio2010-2012)

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 34: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

CritériosQualisCritériosbaseadosemindicador•  Asáreasdefinemdiferenteslimitesmínimosparacada

estrato,porexemplo–  CiênciasBiológicasIuMlizaamedianadoFatordeImpacto(FIJCR)paradeterminaçãodosestratos,sendo4,3paraA1,3,1paraA2e2,0paraB1;

–  OutrasáreasapenasdistribuemosperiódicosemordemdecrescentedeFIJCR,bastandodeterminaraquanMdadedeperiódicosquecadaestratopodeconter(combasenototal)edefinindoentreosestratosovalordeFIJCRdelimitador.

•  AlgumaslimitaçõesdoFIJCR(VANCLAY,2011):–  Trêscasasdecimais:práMcaenganosa,falsaprecisão,oqueéagravadopelotamanhodajaneladecitaçãoeimprecisãodosMposdedocumentocontabilizados;

RogérioMugnaini|ABEC/XXIVCEC,

Junho2016

Page 35: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

•  OutrasáreasuMlizamoíndicehparadeterminaçãodeestratos:–  dasExatas,CiênciadaComputação(quepropõemumindicadorcompostoquemesclaFIJCR,eíndicehnasbasesScopuseGoogleAcadêmico);eSaúde(Enfermagem,FarmáciaeSaúdeColeMva).

•  CríMcasaousodoíndicehparaavaliaçãodeperiódicos(WALTMANeVANECK,2012):–  indicadorsize-dependent(dependentedotamanho),acabapermiMndoqueperiódicosquepublicammaisarMgostendematerovalordoindicadormaiselevado(talproblemanãoseverificanoFIJCR,porderivardeumamédiaaritméMca);

CritériosQualisCritériosbaseadosemindicador

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 36: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Qualis:distribuiçãodosperiódicosSciELOBrasilsegundoestratosdoQualisPeriódicos

A1 A2 B1 B2 B3 B4 B5 C % Freq.Ci.Agrárias2007 8,6% 60,0% 22,9% 5,7% 2,9% 100,0% 352008 18,4% 42,1% 28,9% 10,5% 100,0% 382010 2,6% 35,9% 33,3% 17,9% 7,7% 2,6% 100,0% 39

Ci.SociaisAplicadas2007 5,9% 29,4% 41,2% 17,6% 2,9% 2,9% 100,0% 342008 8,3% 36,1% 38,9% 11,1% 2,8% 2,8% 100,0% 362010 15,4% 46,2% 33,3% 2,6% 2,6% 100,0% 39

Ci.Biológicas2007 2,9% 8,8% 64,7% 11,8% 2,9% 5,9% 2,9% 100,0% 342008 17,1% 45,7% 22,9% 8,6% 5,7% 100,0% 352010 6,1% 27,3% 39,4% 18,2% 9,1% 100,0% 33

Engenharias2007 33,3% 50,0% 11,1% 5,6% 100,0% 182008 31,6% 42,1% 21,1% 5,3% 100,0% 192010 5,0% 15,0% 65,0% 10,0% 5,0% 100,0% 20

Ci.Exatas/Terra2007 6,3% 25,0% 56,3% 12,5% 100,0% 162008 6,3% 25,0% 43,8% 18,8% 6,3% 100,0% 162010 5,6% 27,8% 44,4% 16,7% 5,6% 100,0% 18

Ci.Saúde2007 3,4% 10,1% 55,1% 15,7% 10,1% 4,5% 1,1% 100,0% 892008 3,2% 13,8% 42,6% 23,4% 9,6% 5,3% 2,1% 100,0% 942010 8,6% 19,4% 52,7% 12,9% 4,3% 2,2% 100,0% 93

Ci.Humanas2007 22,2% 35,8% 32,1% 4,9% 1,2% 1,2% 1,2% 1,2% 100,0% 812008 30,6% 35,3% 24,7% 4,7% 2,4% 1,2% 1,2% 100,0% 852010 46,6% 27,3% 21,6% 2,3% 1,1% 1,1% 100,0% 88

Ling.,Letras&Artes2007 57,1% 28,6% 14,3% 100,0% 72008 66,7% 33,3% 100,0% 92010 72,7% 27,3% 100,0% 11

TotalÁreaperiódico/AnoQualis

Melhorestratodeclassificaçãoalcançado

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 37: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Distribuiçãodeperiódicossegundobasesdedados,quarMldoFatordeImpactoJCR,em3atualizaçõesdalistaQualisdetodasasáreas.

AnoeQuartilJCR - SciELO-BR SciELO-ORG Totalgeral2007 12.249 277 295 12.821- 7.423 248 259 7.930JCR-1Q 1.275 1 1.276JCR-2Q 1.335 4 2 1.341JCR-3Q 1.233 9 8 1.250JCR-4Q 983 16 25 1.024

2008 15.891 294 405 16.590- 10.447 265 361 11.073JCR-1Q 1.435 1 1.436JCR-2Q 1.466 4 2 1.472JCR-3Q 1.398 10 10 1.418JCR-4Q 1.145 15 31 1.191

2010 20.471 303 512 21.286- 13.912 221 423 14.556JCR-1Q 1.753 1 1.754JCR-2Q 1.863 9 2 1.874JCR-3Q 1.690 21 14 1.725JCR-4Q 1.253 52 72 1.377

Qualis:distribuiçãodosperiódicosclassificadosnoQualis2007,2008e2010

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 38: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Distribuiçãodeperiódicosnão-SciELOsegundonúmerodeQuarMldoFatordeimpactoJCRemelhorestratodeclassificação-atualizaçãoQualis2010.

A1 A2 B1 B2 B3 B4 B5 C1 7,8% 8,6% 12,9% 10,5% 11,0% 12,1% 18,6% 18,6% 100,0% 12.7842 18,7% 13,9% 18,3% 9,0% 10,0% 11,6% 13,4% 5,1% 100,0% 5.9063 19,7% 14,7% 14,8% 11,3% 13,4% 15,3% 9,9% 0,8% 100,0% 1.781

Totalgeral 12,0% 10,6% 14,6% 10,1% 10,9% 12,2% 16,3% 13,2% 100,0% 20.471

A1 A2 B1 B2 B3 B4 B5 CJCR-1Q 73,4% 17,7% 6,4% 1,1% 0,3% 0,3% 0,1% 0,7% 100,0% 1.753JCR-2Q 32,5% 34,6% 25,1% 4,4% 1,4% 1,1% 0,2% 0,8% 100,0% 1.863JCR-3Q 10,4% 23,6% 45,0% 14,1% 3,5% 1,5% 0,7% 1,2% 100,0% 1.690JCR-4Q 3,8% 13,2% 37,2% 23,9% 12,5% 3,9% 3,8% 1,8% 100,0% 1.253

- 2,4% 4,7% 8,6% 10,3% 14,3% 17,3% 23,6% 18,9% 100,0% 13.912Totalgeral 12,0% 10,6% 14,6% 10,1% 10,9% 12,2% 16,3% 13,2% 100,0% 20.471

N

NNúmerodeColégios

TotalMelhorestratodeclassificação

QuartildoFatordeImpacto

Melhorestratodeclassificação Total

Qualis:distribuiçãodosperiódicosnão-SciELOclassificadosnoQualis2010

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 39: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

AvaliaçãoderevistasuMlizadaspelacomunidadecienEficanacional

Avaliaçãodasrevistassegundocritérios

•  Interno– ZonasdeBradforddeproduçãocienhfica(arMgos)– ZonasdeBradforddeconsumodeinformação(referênciasbibliográficas/citações)

•  Externo– QuarhldoFatordeImpacto–JCR

2ªFasedapesquisa

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 40: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Oscritériosdeavaliação-internoü  ZonasdeBradford:

ü  Produção:htulosondepublicamosbrasileiroseü  Consumo:htulosconsumidos(citados)pelosbrasileiros

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 41: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

ArMgoserespecMvasreferênciasbibliográficasdosbrasileiros(WoS+SciELO)1998-2012)Produçãonacional

ArMgos:

400milConsumonacional

Referênciasbibliográficas:

10,7milhõesRogérioMugnaini|ABEC/XXIVCEC,

Junho2016

Page 42: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Zonas(1e2)deProdução:áreaMulMdisciplinarJournal ISSN Region Index T1_P T2_P T3_P T4_P T5_P

AN.ACAD.BRAS.CIENC. 0001-3765 2 SciELO/WoS 1 1 1 1 1 255 255ACTASCI-TECHNOL 1806-2563 2 WoS - - - 2 2 175PNATLACADSCIUSA 0027-8424 0 WoS 2 2 2 2 2 80SCIENCE 0036-8075 0 WoS 3 2 3 3 3 31NATURE 0028-0836 0 WoS 2 3 2 3 3 28THESCIENTIFICWORLDJO 1537-744X 0 WoS - - 3 3 3 11NATURWISSENSCHAFTEN 0028-1042 0 WoS 3 3 3 3 3 10JRSOCINTERFACE 1742-5689 0 WoS - - - 3 3 9ADVCOMPLEXSYST 0219-5259 0 WoS - - 3 3 3 6REV.UDCAACTUAL.&DIV.CIENT. 0123-4226 1 SciELO - - - 3 3 5NATCOMMUN 2041-1723 0 WoS - - - - 3 5SYNTHESE 0039-7857 0 WoS 3 3 3 3 3 3ADVSCILETT 1936-6612 0 SciELO/WoS - - - - 3 3CURRSCIINDIA 0011-3891 0 WoS 3 3 3 3 3 2S.AFR.J.SCI. 0038-2353 0 SciELO/WoS - - - 3 3 2NOTESRECROYSOC 0035-9149 0 WoS - - - - 3 2BLATAMRES 0261-3050 0 Naoindexada - - - - 3 2NATMETHODS 1548-7091 0 WoS - - - - 3 2SCIAM 0036-8733 0 WoS 3 - - - 3 1INTERDISCIPLSCIREV 0308-0188 0 WoS 3 3 - - 3 1SCIENCEASIA 1513-1874 0 WoS - - - 3 3 1ANNSCI 0003-3790 0 WoS - - - - 3 1JZHEJIANGUNIV-SCB 1673-1581 0 Naoindexada - - - - 3 1PESTACADSCI 1736-6046 0 WoS - - - - 3 1JSCIINDRESINDIA 0022-4456 0 WoS 3 - 3 3 3 1TEXTTALK 1860-7330 0 Naoindexada - - - - 3 1

255

129

Freq.Artigos(T5)

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 43: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Zonas(1e2)deConsumo:áreaMulMdisciplinar

Journal ISSN Region Index T1_C T2_C T3_C T4_C T5_C Freq.Citações(T5)NATURE 0028-0836 0 WoS 1 1 1 1 1 21.518SCIENCE 0036-8075 0 WoS 2 2 2 2 2 19.227PNATLACADSCIUSA 0027-8424 0 WoS 2 2 2 2 2 18.816AN.ACAD.BRAS.CIENC. 0001-3765 2 SciELO/WoS 3 3 3 3 3 2.313JRSOCINTERFACE 1742-5689 0 WoS - - 3 3 3 512CURRSCIINDIA 0011-3891 0 WoS 3 3 3 3 3 448AMSCI 0003-0996 0 Naoindexada 3 3 3 3 3 114S.AFR.J.SCI. 0038-2353 0 SciELO/WoS 3 3 3 3 3 113CHINESESCIBULL 1001-6538 0 WoS 3 3 3 3 3 106JSCIINDRESINDIA 0022-4456 0 WoS 3 3 3 3 3 90ADVCOMPLEXSYST 0219-5259 0 WoS - - 3 3 3 23BLATAMRES 0261-3050 0 Naoindexada 3 3 3 3 3 21ANNSCI 0003-3790 0 WoS 3 3 3 3 3 13TEXTTALK 1860-7330 0 Naoindexada - - - 3 3 12NOTESRECROYSOC 0035-9149 0 WoS - 3 3 3 3 8INTERDISCIPLSCIREV 0308-0188 0 WoS 3 3 3 3 3 6PESTACADSCI 1736-6046 0 WoS - - - - 3 4ADVSCILETT 1936-6612 0 SciELO/WoS - - - - 3 2NATURWISSENSCHAFTEN 0028-1042 0 WoS - - - - 3 1NATCOMMUN 2041-1723 0 WoS - - - - 3 1

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 44: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Zonas(1e2)deConsumo:CiênciasAgrárias

PESQ.AGROPEC.BRAS. Brasil SciELO/WoS 1 1 1 1 1 S 1 1 1 1 1 9506 SJAGRFOODCHEM Outros WoS 3 3 3 3 3 S 2 1 1 1 1 8735 U1FOODCHEM Outros WoS 3 3 3 3 3 S 3 2 2 1 1 6514 U2CIENC.RURAL Brasil SciELO/WoS 2 1 1 1 1 U1 3 2 2 1 1 5672 U2JDAIRYSCI Outros WoS 3 3 3 3 3 S 1 1 1 1 1 5208 SJNUTR Outros WoS 3 3 3 3 3 S 2 1 1 1 1 4342 U1CIENC.AGROTEC. Brasil SciELO/WoS - 2 2 1 1 U1* 3 3 3 2 2 4234 U1JFOODENG Outros WoS 3 3 3 3 3 S 3 3 2 2 2 3475 U1SCI.AGRIC.(PIRACICABA,BRAZ.) Brasil SciELO/WoS 2 2 2 2 2 S 3 2 2 2 2 3301 U1CROPSCI Outros WoS 3 3 3 3 3 S 1 1 1 2 2 2941 D1JFOODSCI Outros WoS 3 3 3 3 3 S 1 2 1 2 2 2695 OBRAGANTIA Brasil SciELO/WoS 3 3 2 2 2 U1 2 2 2 2 2 2612 SINTJFOODMICROBIOL Outros WoS 3 3 3 3 3 S 3 3 2 2 2 2305 U1BRITJNUTR Outros WoS 3 3 3 3 3 S 2 2 2 2 2 2219 SFOODCHEMTOXICOL Outros WoS 3 3 3 3 3 S 3 3 2 2 2 2018 U1FOODSCI.TECHNOL(CAMPINAS) Brasil SciELO/WoS 2 2 2 2 1 U1 3 3 3 2 2 1960 U1SOILTILLRES Outros WoS 3 3 3 3 3 S 3 3 2 2 2 1947 U1GEODERMA Outros WoS 3 3 3 3 3 S 3 2 2 2 2 1865 U1MEATSCI Outros WoS 3 3 3 3 3 S 3 3 2 3 2 1794 OJAMOILCHEMSOC Outros WoS 3 3 3 3 3 S 2 2 2 2 2 1738 SREV.NUTR. Brasil SciELO/WoS 3 3 3 2 2 U1 3 3 3 2 2 1700 U1ENG.AGRIC. Brasil SciELO - - 2 2 2 S* 3 3 3 3 2 1605 U1AGRONJ Outros WoS 3 3 3 3 3 S 2 2 2 2 2 1558 SFOODRESINT Outros WoS 3 3 3 3 3 S 3 3 3 3 2 1480 U1

T1_C T2_C T3_C T4_C T5_C Cit_5PerfilPROD

PerfilCONS

Periódico País Base T1_P T2_P T3_P T4_P T5_P

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 45: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Referências•  GARFIELD,E.Thehistoryandmeaningofthejournalimpactfactor.JAMA,v.295,n.1,p.90-93,2006.•  GLÄNZEL,W.TheevoluMonofjournalassessment.SNIPandSJRNewPerspecMvesinJournalMetrics,

2010.[Disponívelem]•  GUÉDON,J.C.AcessoAbertoeadivisãoentreciênciapredominanteeciênciaperiférica.In:

FERREIRA,S.M.S.P.;TARGINO,M.G.(Org).Acessibilidadeevisibilidadederevistascienhficaseletrônicas.SãoPaulo:Senac/CENGAGELearning,2010,p.21-77.

•  GUMPENBERGER,ChrisMan;GLÄNZEL,Wolfgang;GORRAIZ,Juan.Theecstasyandtheagonyofthealtmetricscore.Scientometrics,p.1-6.

•  HAUSTEIN,Stefanie.Grandchallengesinaltmetrics:heterogeneity,dataqualityanddependencies.Scientometrics,p.1-11,2016.

•  KNORR-CETINA,K.D.¿ComunidadescienhficasoarenastransepistémicasdeinvesMgación?UnacríMcadelosmodeloscuasi-económicosdelaciencia.Redes.Revistadeestudiossocialesdelaciencia,v.3,n.7,p.129-160,1996.

•  MACROBERTS,M.H.;MACROBERTS,B.R.ProblemsofcitaMonalysis.Scientometrics,v.36,n.3,p.435-444,1996.

•  TARGINO,M.G.Comunicaçãocienhfica:umarevisãodeseuselementosbásicos.Inf.&Soc.Est.(Joãopessoa)v.10,n.2,p.37-85,2000.

•  VANCLAY,J.K.Impactfactor:outdatedartefactorstepping-stonetojournalcerMficaMon?Scientometrics,vol.92,n.2,p.211-238,2011.

•  WALTMAN,L.;VANECK,N.J.Theinconsistencyoftheh-index.JournaloftheAmericanSocietyforInformaMonScienceandTechnology,v.63,n.2,p.406-415,2012.

•  WOUTERS,Paul;COSTAS,Rodrigo.Users,narcissismandcontrol:trackingtheimpactofscholarlypublicaMonsinthe21stcentury.Utrecht:SURFfoundaMon,2012.

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

Page 46: Além do Fator de Impacto: novas métricas€¦ · Fator de Impacto JCR / Índice H na Scopus/sciMAGO ou Google Scholar / sciMAGO Journal Ranking / mix de indicadores ü indexação

Rogé[email protected]

Ø  EsteestudoépartedapesquisadesenvolvidanoâmbitodoProgramaJovens

PesquisadoresdaFAPESP,inMtulada:Linkparaoprojeto:“AvaliaçãodeproduçãocienEficanoBrasil:estudodacomunicaçãocienEficanasdiversasáreasedesenvolvimentodeinfraestruturainsMtucional”

RogérioMugnaini|ABEC/XXIVCEC,Junho2016

www.ebbc.inf.br