o fator de impacto do isi e a avaliação da produção científica : aspectos conceituais e...

Avaliação da qualidade da produção cientifica: desafios e perspectivasCentro de Estudos do IOC

O Fator de Impacto do ISI e a O Fator de Impacto do ISI e a avaliação da produção avaliação da produção científica : aspectos científica : aspectos conceituais e metodológicosconceituais e metodológicos

Letícia StrehlLetícia StrehlUniversidade Federal do Rio Grande do SulUniversidade Federal do Rio Grande do Sul

Biblioteca CentralBiblioteca Central


Tipos de Indicadores Bibliométricos usados Tipos de Indicadores Bibliométricos usados na avaliação da produção científicana avaliação da produção científica

Indicadores de produtividadeIndicadores de produtividade

Indicadores de impactoIndicadores de impacto


Indicadores de ImpactoIndicadores de Impacto

Fonte de informação: citações feitas Fonte de informação: citações feitas a trabalhos científicosa trabalhos científicos

Premissa: trabalhos importantes são Premissa: trabalhos importantes são freqüentemente citados na literaturafreqüentemente citados na literatura


O Papel do ISIe de Eugene Garfield


Principais Publicações doPrincipais Publicações doInstitute for Scientific InformationInstitute for Scientific Information

Citation IndexCitation Index Journal Citation ReportsJournal Citation Reports

Edições:Edições:ScienceScienceSocial ScienceSocial ScienceArts HumanitiesArts Humanities


Objetivos da Indexação das Objetivos da Indexação das CitaçõesCitações

Recuperação de artigos de um dado Recuperação de artigos de um dado

assuntoassunto

Identificação do impacto de Identificação do impacto de

publicaçõespublicações


A Fórmula do FI: A Fórmula do FI: Memórias do Instituo Oswaldo Cruz-2004


A Origem da Fórmula do FIA Origem da Fórmula do FI

Eugene Garfield e Irving Sher (1963)Eugene Garfield e Irving Sher (1963) Definição dos títulos a serem Definição dos títulos a serem

indexados no SCIindexados no SCI Normalização das citações pelo Normalização das citações pelo

número de artigos publicados no número de artigos publicados no periódicoperiódico

Periódicos de revisãoPeriódicos de revisão


Definição da Fórmula do FIDefinição da Fórmula do FI

Tipos de documentos citadosTipos de documentos citadosEm 1965, Derek de Solla Price verificou Em 1965, Derek de Solla Price verificou

que 12 das 15 referências correspondiam a que 12 das 15 referências correspondiam a artigos de periódicosartigos de periódicos

Idade das referências citadasIdade das referências citadas 21 a 25% das referências são a trabalhos 21 a 25% das referências são a trabalhos

publicados nos últimos três anos ou menospublicados nos últimos três anos ou menos


ContudoContudo


Diferenças nos Valores Médios de Diferenças nos Valores Médios de FI por Áreas do ConhecimentoFI por Áreas do Conhecimento


Por que o FI médio das áreas do Por que o FI médio das áreas do conhecimento são diferentes ?conhecimento são diferentes ?

Segundo Garfield!Segundo Garfield!

Densidade dos artigos publicados Densidade dos artigos publicados nos periódicosnos periódicos

Ritmo de obsolescência da Ritmo de obsolescência da literaturaliteratura

Número médio de referências citadas nos artigos de um título específico

Número médio de referências RECENTES citadas nos artigos de um título específico


Número Médio de Referências e de Número Médio de Referências e de Citações feitas aos Artigos, por áreaCitações feitas aos Artigos, por área

Referências por artigos/Referências por artigos/

citações recebidas em médiacitações recebidas em média Áreas do ConhecimentoÁreas do Conhecimento

Pouca densidade/entre 5 e 6Pouca densidade/entre 5 e 6 Engenharia, Tecnologia e MatemáticaEngenharia, Tecnologia e Matemática

Média densidade/entre 8 e 10Média densidade/entre 8 e 10 Psicologia e BiologiaPsicologia e Biologia

Alta densidade/entre 12 e 15Alta densidade/entre 12 e 15 Astronomia, Geologia, Física, Química e Medicina ClínicaAstronomia, Geologia, Física, Química e Medicina Clínica

Altíssima densidade/18 e 20Altíssima densidade/18 e 20 Pesquisa BiomédicaPesquisa Biomédica

Fonte: NARIN, F. Evaluative bibliometrics: the use of publication and citation analysis in the evaluation of scientific activity. Cherry Hill: Computer Horizons, 1976.


O FI, o Ritmo de Obsolescência e a O FI, o Ritmo de Obsolescência e a

Densidade das Sub-áreas (ANOVA)Densidade das Sub-áreas (ANOVA)


Distribuição Anual das Citações feitas aos Distribuição Anual das Citações feitas aos Artigos Publicados em Periódicos de Artigos Publicados em Periódicos de

Disciplinas Científica DistintasDisciplinas Científica Distintas

02468

1012141618

1994 1993 1992 1991 1990 1989 1988 1987 1986 1985

%

J. Virol. IEEE T. Telc

Fonte: GÓMEZ CARIDAD; Isabel, BORDONS CANGAS, María. Limitaciones en el uso de los indicadores bibliométricos para la evaluación científica. IN: POLITICA Cientifica. Madrid: Comission Internacional de Ciencia Y Tecnología, 1996. v. 46, p. 26.


Alguns dados sobre os Alguns dados sobre os periódicos citados na Cadernos periódicos citados na Cadernos de Saúde Públicade Saúde Pública


Impacto Medido com Dados de Citação Coletados Impacto Medido com Dados de Citação Coletados em Diversos Períodosem Diversos Períodos

Fonte dos dados: GARFIELD, Eugene. Long-term vs. short-term impact: Does it matter?. The Scientist, v. 12, n. 3, p. 10-12, Feb. 1998.

55

13 18 1429

131

23

155

221

275

34

12 918 23

60

19

7687

97

57

176

26

67 68

98

7187 93

0

50

100

150

200

250

300

JOU

RN

AL

OF

INF

EC

TIO

US

DIS

EA

SE

S

AN

NA

LS O

FIN

TE

RN

AL

ME

DIC

INE

AR

CH

IVE

S O

FG

EN

ER

AL

PS

YC

HIA

TR

Y

CIR

CU

LAT

ION

JOU

RN

AL

OF

VIR

OLO

GY

AM

ER

ICA

NJO

UR

NA

L O

FE

PID

EM

IOLO

GY

JOU

RN

AL

OF

TH

E N

AT

ION

AL

CA

NC

ER

INS

TIT

UT

E

INT

ER

NA

TIO

NA

LJO

UR

NA

L O

FC

AN

CE

R

AM

ER

ICA

NJO

UR

NA

L O

FC

LIN

ICA

LN

UT

RIT

ION

BR

ITIS

HJO

UR

NA

L O

FP

SY

CH

IAT

RY

FI- 1991 FI 7anos FI 15 anos


FI Médio das Áreas dos Periódicos Citados na CSPFI Médio das Áreas dos Periódicos Citados na CSP


A Física no BrasilA Física no Brasil

Um exemplo de uso desastroso do Um exemplo de uso desastroso do FI para avaliação da Produção FI para avaliação da Produção CientíficaCientífica Diferenças entre sub-áreas Diferenças entre sub-áreas

específicasespecíficas Evolução temporal dos valoresEvolução temporal dos valores


Distribuição de Valores de FI em Distribuição de Valores de FI em Diferentes Sub-áreas da FísicaDiferentes Sub-áreas da Física


Variação do FI de Três Periódicos com FI Variação do FI de Três Periódicos com FI

Próximo de 1 no anos de 1993 a 2000Próximo de 1 no anos de 1993 a 2000

0

0,2

0,4

0,6

0,8

1

1,2

1,4

1,6

1993 1994 1995 1996 1997 1998 1999 2000

Val

ore

s d

e F

I

J. MAGNETISM AND MAGNETICMATERIALS

INTERNATIONAL J. MODERNPHYSICS B

NUCLEAR INSTRUMENTS &METHODS IN PHYSICS RESEARCHA


Percentual de Periódicos que de um Percentual de Periódicos que de um Ano para o Outro Mudaram de Ano para o Outro Mudaram de

Categoria de FI da CAPESCategoria de FI da CAPES


Considerações FinaisConsiderações Finais

Complexa rede de fatores associada à Complexa rede de fatores associada à

forma como FI é calculado pelo ISI.forma como FI é calculado pelo ISI.

A avaliação da PC com o FI deve ser feita A avaliação da PC com o FI deve ser feita

de modo a respeitar as diferenças de modo a respeitar as diferenças

existentes entre as várias (sub-)áreasexistentes entre as várias (sub-)áreas


Muito obrigada!Muito obrigada!

www.leydesdorff.netwww.leydesdorff.net

http://www.garfield.library.upenn.eduhttp://www.garfield.library.upenn.edu//

http://www.cwts.nl/http://www.cwts.nl/

Sites Sites relacionadosrelacionados

o fator de impacto do isi e a avaliação da produção científica : aspectos conceituais e...

Documents