293293293293293Mem Inst Oswaldo Cruz, Rio de Janeiro, Vol. 98(3): 293-297, April 2003

Impact Factor, Scientific Production and Quality of BrazilianMedical Journals

Fator de Impacto, Produção Científica e Qualidade das RevistasMédicas Brasileiras

Brazilian scientific community is highly influenced bythe impact factor rates of the journals where their produc-tion is published. There is an indicator that is used andaccepted, in Brazil, by the majority of researchers, researchand educational institutions, and also by most researchand post-graduation financing agencies, especially CNPqand Capes; it is the Science Citation Index (SCI), from theInstitute for Scientific Information (ISI) databases, whichis published in the Journal Citation Reports (JCR).

ISI indexes nearly 16,000 journals, within more than160 areas of knowledge. Among these titles, there are 15Brazilian journals, carefully selected, that represent 0.09%of all ISI indexed titles. Considering the 15 Brazilian jour-nals, only one (Computational and Applied Mathemat-ics – Cambridge, MA, USA) reached an impact factorhigher than 1, the others ranges from 0.764 to 0.032, ac-cording to JCR 2001.

The impact factor is determined by dividing the num-ber of citations received by the journal articles within ayear on ISI indexed journals, to the number of works pub-lished by the journal during the two previous years. Forinstance: the 423 articles published by Memórias doInstituto Oswaldo Cruz in 1999 and 2000 were cited 272times, in 2001, on ISI indexed journals; therefore,Memórias’ impact factor, in 2001, achieved 0.643 (272/423). Other indicators are also considered, such as theImmediacy Index that points out the relation between thecitations, in 2001, of papers published in that same year,and the Cited Half-life that accumulates from previousyears.

The SciELO program (Scientific Electronic Library On-line), coordinated by Bireme and Fundação de Amparo àPesquisa do Estado de São Paulo – Fapesp (São PauloState Research Support Foundation), indexes 91 fromnearly 500 Brazilian journals. This number represents about18% of national journals, including those indexed by ISI,by Medline/Index Medicus and Psyinfo (APA) and oth-ers selected by SciELO Consultant Committee, accordingto the journal scientific guidelines, the Publishing Board,periodicity, punctuality, number of articles during the year,among other criteria. Following ISI similar criteria and, inour opinion, more adapted to Brazilian reality and lessdiscriminatory, even because of a continuous evaluationprocess accomplished by an Intelligent Consultant Com-mittee, SciELO includes journals of excellent scientificquality and medical-social importance. Among these, wecall attention to Revista da Sociedade Brasileira deMedicina Tropical, Revista do Instituto de MedicinaTropical de São Paulo, Revista de Saúde Pública, andCadernos de Saúde Pública, only to mention those, whichare akin to Memórias do Instituto Oswaldo Cruz.

A comunidade científica brasileira vem sendo alta-mente influenciada pelo fator de impacto das revistasonde ela publica os seus trabalhos. Um dos indicadoresutilizados e aceitos, no Brasil, pela maioria dos pesqui-sadores, instituições de ensino e pesquisa e agênciasfinanciadoras de pesquisa e pós-graduação, particular-mente pelo CNPq e pela Capes, é o Science CitationIndex (SCI), da base de dados do Institute for ScientificInformation (ISI) divulgado pelo Journal Citation Reports(JCR).

O ISI indexa, aproximadamente, 16 mil periódicos emmais de 160 áreas de conhecimento. Dentre estes estão 15revistas brasileiras, rigorosamente selecionadas, que re-presentam 0.09% de todas as revistas indexadas no ISI.Destas 15, apenas uma (Computational and AppliedMathematics – publicada em Cambridge, MA, USA) apre-senta fator de impacto acima de 1, as outras 14 apresen-tam valores que variam de 0.764 a 0.032 no JCR 2001.

O fator de impacto é calculado dividindo-se o núme-ro de vezes em que os artigos de uma revista são citadosem um determinado ano, em revistas indexadas pelo ISI,pelo número de trabalhos publicados pela revista nosdois anos anteriores. Por exemplo: os 423 artigos pu-blicados pelas Memórias do Instituto Oswaldo Cruz em1999 e 2000 foram citados 272 vezes em 2001 em revis-tas indexadas pelo ISI, portanto, o fator de impacto dasMemórias em 2001 foi de 0.643 (272/423). Outros índi-ces como o Immediacy Index, relação entre as citaçõesem 2001 dos trabalhos publicados naquele ano e o CitedHalf-life, cumulativo de anos anteriores, também sãoapurados.

O programa SciELO (Scientific Electronic Library On-line) coordenado pela Bireme e pela Fundação de Ampa-ro à Pesquisa do Estado de São Paulo (Fapesp), indexa91 das cerca de 500 revistas brasileiras, em um percentualaproximado de 18% dos periódicos nacionais, incluindoautomaticamente os indexados pelo ISI, pelo Medline/Index Medicus e Psyinfo (APA) e outros selecionados peloComitê Consultivo SciELO, de acordo com o caráter ci-entífico da revista, seu Conselho Editorial, sua periodici-dade, sua pontualidade, número de artigos por ano, entreoutros. Com critérios semelhantes aos do ISI, e a nossover mais adequados à realidade brasileira e menosdiscriminatórios, inclusive pela presença de avaliaçãocontinuada de um Comitê Consultivo Inteligente, oSciELO inclui revistas de boa qualidade científica e im-portância médico-social, entre as quais destacamos a Re-vista da Sociedade Brasileira de Medicina Tropical, a Re-vista do Instituto de Medicina Tropical de São Paulo, aRevista de Saúde Pública e os Cadernos de Saúde Pública,para citar apenas as mais relacionadas com o campo dasMemórias do Instituto Oswaldo Cruz.

294294294294294 Editorial • José Rodrigues Coura, Luciane de CB Wilcox

Um dos méritos do SciELO é fazer aflorar a chamada“ciência escondida” que, ao contrário do que muitospensam, não está sendo publicada em revistas de segun-da categoria. Considerando que o ISI indexa apenas 15revistas brasileiras, os trabalhos publicados nos demais76 periódicos indexados pelo SciELO, não estariam sen-do considerados. Excelentes artigos, particularmente nasáreas da Medicina Tropical e da Saúde Pública não sãoaceitos em revistas estrangeiras, principalmente aquelesconsiderados de “interesse local”. Informações extre-mamente importantes deixam muitas vezes de serdivulgadas adequadamente por não serem consideradas“ciência universal”. Por exemplo, um artigo sobre umsurto de diarréia por um tipo específico de Escherichiacoli, com vários casos fatais simulando cólera em comu-nidades da Amazônia brasileira, deixa de ser aceito emalgumas revistas indexadas pelo ISI por ser um “proble-ma local”. Por outro lado, a emergência da doença deChagas na Amazônia, quando a doença começa a sercontrolada em áreas endêmicas, é também consideradaum problema de interesse local? Em geral, pesquisassobre as doenças negligenciadas (mas de grande impor-tância para os países subdesenvolvidos) não são do in-teresse dos países desenvolvidos; portanto, os manuscri-tos gerados dessas pesquisas não serão aceitos para pu-blicação em revistas internacionais. Onde devemos, en-tão, publicar as pesquisas que interessam aos países emer-gentes como o nosso? Devemos nós também deixar depesquisar as doenças que ainda atacam as populaçõesmenos favorecidas?Artificialidade dos índices de citação e dos fatores deimpacto

Como já mencionado, o critério mais popular paraavaliar o fator de impacto de uma revista é o valor ado-tado pelo SCI, da base de dados do ISI, divulgado peloJCR. A artificialidade desse critério pode ser claramentedemonstrada pelo curto tempo de avaliação, pelo tipode artigo publicado e pela diferença entre as áreas doconhecimento. Dois anos representam muito pouco naárea científica. Por exemplo, uma descoberta pode levaraté dez anos, ou mais, para ser comprovada, validada,discutida e absorvida pela comunidade científica. Poroutro lado o tipo de artigo, um review ou uma adaptaçãotécnica, podem ter um enorme índice de citação a curtoprazo, enquanto uma descoberta, dependendo da área,pode levar anos até ser reconhecida. As áreas de conhe-cimento têm diferentes dinâmicas. Não se pode compa-rar um estudo epidemiológico na área da Medicina Tro-pical, onde a comunidade é restrita, com um estudoimunológico onde a comunidade é enorme. Certamenteos índices de citação das revistas de boa qualidade naMedicina Tropical não podem ser comparados com osíndices em revistas, também de boa qualidade, daImunologia.

Revistas top, do nível da Science e da Nature publi-cam artigos que nunca, ou raramente, são citados antesde cinco anos ou mais (Garfield, 1983. Current Contents44: 5-13). Artigos publicados no Lancet e no New EnglandJournal of Medicine, revistas médicas de boa qualidade,têm um enorme índice de citação. Nem sempre os ganha-dores de Prêmio Nobel foram os autores mais citados em

A merit of SciELO is the fact that this program man-ages to reveal the so called “hidden science”, which, con-trary to what most people believe, is not being publishedon second line journals. Considering that ISI indexes only15 Brazilian journals, the papers published on the other 76journals indexed by SciELO are not being considered. Ex-cellent articles, mainly on the areas of Tropical Medicineand Public Health are not accepted in foreign journals,especially that considered of “regional interest”. Manytimes, extremely important information is not properly di-vulged because they are not considered “universal sci-ence”. For instance, an article about a diarrhea outbreakcaused by a specific kind of Escherichia coli, which pre-sented fatal occurrences similar to cholera in BrazilianAmazonian communities, is not accepted in some ISI in-dexed journals, because treats of a “local problem”. Onthe other hand, the emergence of Chagas disease in theAmazonian region, at the same time the disease starts tobe controlled in endemic areas, should also be consid-ered a local interest problem? Generally, researches aboutneglected diseases (although of great interest for under-developed countries) do not call attention of developedcountries; therefore, essays created upon these researchesare not accepted for publishing on international journals.Where should we publish, then, the researches that areinteresting to emerging countries like ours? Should wealso stop studying diseases that still prevail among un-derprivileged population?

Artificiality of Citation Indexes and Impact FactorsAs already mentioned, the most popular criterion for

evaluating a journal impact factor is the value adoptedby SCI, from ISI databases, and published by JCR. Theartificiality of this criterion may be clearly demonstrated,by considering the short time taken into account forevaluation, the published article type and the differencebetween knowledge areas. Two years represent very little,in terms of scientific area. For instance, a scientific dis-covery may last ten years or more to be proved, vali-dated, discussed and absorbed by scientific community.On the other hand, the type of article, a review or a tech-nical adaptation, may register a high index of citationswithin a short period, while a discovery, depending onthe area, may take years to be recognized. The knowl-edge areas have different dynamics. One can never com-pare an epidemiological study in the Tropical Medicinearea, a restricted community, with an immunological studythat contemplates a huge community. Certainly, the cita-tion indexes of Tropical Medicine respectable journalscannot be compared with the indexes recorded in, alsorespectable, Immunology journals.

Top journals, such as Science and Nature, publisharticles that are never, or rarely, cited before five years ormore (Garfield, 1983. Current Contents 44: 5-13). Articlesthat are published in the Lancet and in the New EnglandJournal of Medicine, reputable Medicine journals, havean enormous citation index. Nobel Prize winners some-times are not the most cited authors in their academic life(Garfield 1986. Current Contents 23: 3-8). E. Garfield, apioneer regarding the creation of science citation index,

295295295295295Mem Inst Oswaldo Cruz, Rio de Janeiro, Vol. 98(3), April 2003

suas vidas acadêmicas (Garfield 1986. Current Contents23: 3-8). E. Garfield, pioneiro na criação do índice decitação para a ciência, argumenta: “Análise de citaçãonão é um atalho usado para substituir o bom senso”, eacrescenta: “É o ponto de partida para aqueles que de-sejam explorar cada avenida da avaliação”. Estes e ou-tros exemplos podem demonstrar a artificialidade dosfatores de impacto das revistas científicas, chamado de“comédia de erros” por Dirk Schoonbaert e GibertRoelants (1996. Trop Med Intern Health 1: 739-752).Evolução da Produção Científica Brasileira

A produção científica brasileira, medida por númerode artigos em periódicos científicos internacionaisindexados pelo ISI, mais que quintuplicou de 1981 a2001, passando de 1.889 artigos publicados em 1981para 10.555 em 2001, segundo o Ministério da Ciência eTecnologia do Brasil, baseado em levantamento do ISI(citado por Claudia Izique, em Pesquisa Fapesp, 2002).Conseqüentemente houve um crescimento das publica-ções brasileiras de 0,44% da produção científica mundi-al em 1981 para 1,4% em 2001. Este fato reflete natural-mente o aumento das pessoas qualificadas para a pes-quisa (doutores e mestres), que triplicou nos últimos dezanos. A figura mostra a evolução da produção científicabrasileira indexada pelo ISI

Aumento do número de trabalhos brasileiros, publicados em revistascientíficas internacionais, de 1981 a 2001.Fonte: ISI. Levantamento do Ministério da Ciência e Tecnologia.

argues: “Citation analysis is not a shortcut to be used asa replacement for thinking”, and adds: ‘‘It is the point ofdepature for those who are willing to explore every av-enue to thorough evaluation”. These and other examplespoints out the artificiality of scientific journals impact fac-tors, called “comedy of errors” by Dirk Schoonbaert andGibert Roelants (1996. Trop Med Intern Health 1: 739-752).

Evolution of Brazilian Scientific ProductionThe Brazilian scientific production, measured by the

number of articles on ISI indexed international scientificjournals, increased more than five times from 1981 to2001; in 1981, there were 1,889 published articles and, in2001, this number reached 10,555, according to BrazilianMinistry of Science and Technology, based on a ISI sur-vey (mentioned by Claudia Izique, in Pesquisa Fapesp,2002). As a result, there was an increase in Brazilian pub-lications in relation to international scientific produc-tion, which ranged from 0.44%, in 1981, to 1.4%, in 2001.This fact naturally indicates an increase in the numberof qualified people for research (Doctors and Masters),which triples in the last ten years. The Graphic showsthe evolution of Brazilian scientific production indexedby ISI.

Increase of Brazilian publications on international scientific jour-nals from 1981 to 2001.Source: ISI. Survey of Ministry of Science and Technology

���������������������������������������������������������

��������������������������������������������������������������������������������

������������������������������������������������������������������������������������������������������������������

��������������������������������������������������������������������������������������������������������������������������������������������������������

����������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������������

1,8812,480

3,907

10,555

6,057

0,000

2,000

4,000

6,000

8,000

10,000

12,000

1981 1986 1991 1996 2001Year

Num

ber o

f pub

lishe

d pa

pers

The increase of Brazilian works published on indexedinternational journals, as presented on the Graph, illus-trates only part of the whole increasing process. If wealso take into account the SciELO indexed journals, notincluded in ISI, this number would be one third higherand would reach 13,000 - 14,000 articles, among the inter-national and national indexed ones; not mentioning ar-ticles of the other 80% of national journals that are notindexed by ISI/SciELO. On the other hand, global bib-

O aumento das publicações brasileiras em revistas in-ternacionais indexadas, conforme apresentado na figura,representa apenas uma parte desse crescimento. Se consi-derarmos ainda as revistas indexadas pelo SciELO, nãoincluídas no ISI, esse aumento seria acrescido em pelomenos um terço, chegando aos 13.000 - 14.000 artigosentre os internacionais e nacionais indexados, sem contaros artigos de 80% de outras revistas brasileiras nãoindexadas pelo ISI/SciELO. Por outro lado, a produção

296296296296296 Editorial • José Rodrigues Coura, Luciane de CB Wilcox

bibliográfica global de pesquisadores doutores, levanta-da pelo Diretório de Pesquisa do CNPq, no período de1998 a 2001, em revistas nacionais e internacionais, apre-senta uma média anual de aproximadamente 46.000 pu-blicações, ou seja, mais de três vezes em relação às publi-cações indexadas. Esta sim, poderia ser considerada emparte a “ciência escondida” ou negligenciada, nos seusdois terços publicados em revistas não indexadas.REVISTAS MÉDICAS BRASILEIRAS. PARA ONDE VAMOS?

Numerosas revistas médico-biomédicas são editadasno Brasil, duas ou três indexadas pelo ISI e algumaspelo programa SciELO, que inclui, como já menciona-do, o ISI e o Medline/Index Medicus. Entre as revistasindexadas pelo ISI destacam-se as Memórias do Institu-to Oswaldo Cruz e o Brazilian Journal of Medical andBiological Research, que obtiveram, em 2001, respecti-vamente, 1.443 e 1.453 citações em revistas indexadaspelo ISI, obtendo fatores de impacto de 0.643 e 0.769,respectivamente, inferiores ao exigido para o QUALIS A(= 1) da Capes para os cursos das áreas de ciênciasbiológicas II e III.

No caso do Brazilian Journal a coordenação daque-las áreas resolveu promovê-lo, por exceção, paraQUALIS A, apesar de seu fator de impacto ser igual a0.769. Quando considerado o Immediacy Index do ISI,as Memórias tiveram 223 citações em 2001, obtendo umíndice de 0.067, enquanto o Brazilian Journal teve 197citações naquele ano e ficou com o Immediacy Index de0.056, confirmando a artificialidade dos índices a quenos referimos.

Quando considerado o índice SciELO, o BrazilianJournal, que publicou 593 artigos nos anos 1998, 1999e 2000, que foram citado 48 vezes em 2001, obteve umfator de impacto de 0.0809, enquanto as Memórias, quepublicaram 599 artigos naquele período, que foram ci-tados 212 vezes em 2001, obtiveram um impacto de 0.272ou seja 3.36 vezes maior. Isso não significa que as Me-mórias sejam 3.36 vezes melhor do que o Brazilian Journal,apenas confirma a artificialidade e a variabilidade dosdiversos índices.

Outros periódicos como a Revista da Sociedade Brasi-leira de Medicina Tropical, os Cadernos de Saúde Pública,a Revista de Saúde Pública e a Revista do Instituo de Me-dicina Tropical de São Paulo, que publicaram respectiva-mente 307, 372, 344 e 283 artigos, tiveram fatores deimpacto SciELO de 0.420, 0.247, 0.239 e 0.155, respecti-vamente, no período. Da mesma forma isso não significaque eles sejam melhores ou piores entre si ou em relaçãoàs Memórias ou ao Brazilian Journal. São condições cir-cunstanciais que favorecem a maior citação por um ououtro índice. A Revista da Sociedade Brasileira de Medici-na Tropical, embora não indexada pelo ISI, é uma boarevista, com corpo editorial exigente e tem a vantagem deser uma revista de sociedade, distribuída para centenasde sócios, sendo por isso muito citada por eles. Este é omesmo caso do American Journal of Tropical Medicine andHygiene (de maior impacto na área de Medicina Tropi-cal) e do American Journal of Clinical Microbiology, cujasociedade tem milhares de sócios, grande distribuição ealto índice de citação e de impacto.

liographic production from doctors researchers, recordedby the Research Directory of CNPq, between 1981 and2001, considering national and international journals,points out an annual average of approximately 46,000titles; what means a number three times higher than theindexed publications. The science that comes out fromthe two-thirds of articles not published on indexed jour-nals, this could be called “hidden science” or neglectedscience.BRAZILIAN MEDICAL JOURNALS. WHERE ARE WE GOING?

There are many medical-biomedical journals publishedin Brazil. Two or three of them are indexed by ISI and someof them, by SciELO program, which includes, as alreadymentioned, ISI and Medline/Index Medicus. Among ISIindexed periodicals, Memórias do Instituto Oswaldo Cruzand the Brazilian Journal of Medical and BiologicalResearch should be pointed out, as they received, re-spectively, 1,443 and 1,453 references on ISI indexed jour-nals; therefore, achieving an impact factor of 0.643 and0.769, lower values than those required by Capes’ QUALISA (=1), regarding Biological Sciences I and II courses.

In the case of Brazilian Journal, the coordination ofthe mentioned areas decided to raise it, in exception, toQUALIS A, though its impact factor is 0.769. When con-sidered the ISI Immediacy Index, Memórias recorded 223references in 2001 and an impact factor of 0.067, while theBrazilian Journal recorded 197 references during thesame year and registered 0.056 in the Immediacy Index,confirming the artificiality of the referred indexes.

If we consider SciELO index, the Brazilian Journal,which published 593 articles in 1998, 1999 and 2000, cited48 times in 2001, obtained an index of 0.0809; whileMemórias published 599 articles during that period, cited212 times in 2001, and obtained an impact factor of 0.272,that is to say, 3.36 times higher than the first one. This factdoes not mean that Memórias is 3.36 times better than theBrazilian Journal, but just confirms the artificiality andvariability of the different indexes.

Other Brazilian journals, such as Revista da SociedadeBrasileira de Medicina Tropical, Cadernos de SaúdePública, Revista de Saúde Pública and Revista do Instituode Medicina Tropical de São Paulo published, respec-tively, 307, 372, 344 and 283 articles and recorded SciELOimpact factors of 0.420, 0.247, 0.239 and 0.155, in the pe-riod. In the same way, this fact does not mean that theyare better or worse than each other, or in comparison withMemórias or Brazilian Journal. It depends on the cir-cumstances, which may favor citations on one or on otherindex. Although not being indexed by ISI, Revista daSociedade Brasileira de Medicina Tropical, is a fine pe-riodical, with strict editorial guidelines and the advantageof being an Association journal; thus, it is distributed forhundreds of associates and is very cited by them. Thesame situation occurs in the case of the American Jour-nal of Tropical Medicine and Hygiene (of greater impactin the Tropical Medicine area) and the American Journalof Clinical Microbiology, as they have thousands of as-sociates, a large distribution and high indexes of citationand impact.

297297297297297Mem Inst Oswaldo Cruz, Rio de Janeiro, Vol. 98(3), April 2003

Nós brasileiros somos muito interessantes e criati-vos; melhoramos muito as nossas revistas, com corpoeditorial rígido e financiamentos específicos das agên-cias de fomento. Depois essas mesmas agências criamum critério (QUALIS), que não consideram as nossasrevistas, exceto uma delas promovida por exceção, pornão atingirem o fator de impacto mínimo exigido porelas, mesmo as indexadas no ISI. Em conseqüência, sub-metemos os nosso melhores trabalhos para revistas es-trangeiras, de maior fator de impacto, prejudicando asnossas próprias revistas, esperando alcançar o QUALISda Capes ou talvez “O Prêmio Nobel do Terceiro Mun-do” por termos publicado em revistas do primeiro mun-do. A ciência brasileira melhorou, mas a consciência departe da comunidade científica não evoluiu no mesmonível! QUO VADIS?

José Rodrigues CouraEditor Científico

Luciane de CB WillcoxEditora Administrativa

We, Brazilians, are very interesting and creative; weimproved a lot our journals, with a rigid editorial guidelineand specific financing from development agencies. After-wards, these same agencies establish a criterion (QUALIS)that does not favor our journals, except one of them pro-moted in exception, because these journals do not reachthe minimum impact factor established by the agencies,even though they are ISI indexed. As a consequence, wesubmit our best papers to foreign journals, which presenta higher impact factor and, doing so, hoping to reachCapes’ QUALIS or, maybe, the “Third World Nobel Prize”,we contribute to lower the quality of our own journals.Brazilian science has improved, but the conscience of partof the Brazilian scientific community did not improve inthe same level! QUO VADIS?

298298298298298 Editorial • José Rodrigues Coura, Luciane de CB Wilcox