UEZO- Centro Universitário Estadual da Zona OesteV Jornada de Ciência e TecnologiaRoberto Lopes dos Santos Junior

Fator de Impacto e índice H : o antes e o agora da medição da produtividade científica

Pano de fundo• “Recentemente, houve uma grande divulgação do aumento no número de

publicações de brasileiros em revistas indexadas pela Web of Science. Em 12/05/2009 o então ministro da educação apresentou durante uma seção conjunta da SBPC-ABC dados que mostravam que o Brasil tinha alcançado a 13ª posição no ranking dos países com maior produção indexada no Web of Science.”(Jacques Wagner, Jornal da ciência, 2012)

• Mas produção de artigos científicos, mesmo artigos em revistas indexadas pelo Web of Science, seria a métrica errada para medir a qualidade da ciência brasileira? (Jacques Wagner, Jornal da ciência, 2012)

• medição da produtividade científica: quantitativo X qualitativo• Discussão sobre o desenvolvimento dos métodos de quantificação da

ciência, apresentando e discutindo os dois principais (ou mais conhecidos e disseminados) meios de quantificação da produção científica.

Tópicos

• Fator de impacto (origens, desenvolvimento, características e polêmicas)

• Analise de citação (características e questionamentos)

• Índice H (origens, características e polêmicas)• Alguns exemplos• Breve discussão e considerações finais

Fator de impacto (origens)• Promulgação da lei 81-507, em 1950, estabelecendo a National Science Foundation (NSF), que

tinha como missão interligar centros de pesquisa e de tecnologia nos EUA e de patrocinar pesquisas realizadas no país.

• Criação do Science Citation Index (SCI), atualmente Thomson Reuters/ Web of Science, desenvolvido e coordenado por Eugene Garfield (www.garfield.library.upenn.edu/ )- em colaboração com pesquisadores ingleses e norte-americanos – em 1958, com publicação regular a partir de 1960.

• Science Citation Index : “base de dados multidisciplinar de onde se pode recuperar os resumos, em inglês, de todas as revistas da literatura científica indexadas à base de dados (Pinto, Andrade, 1999)”.

• Consolidação e disponibilização de base de dados mais específicos como o Social Sciences Citation Index e o Arts and Humanities Citation Index. Algumas informações adicionais publicados no Current Contents desde 1955. Publicado regularmente no Journal of Citation Reports desde 1972.

• As informações do SCI foram descobertas como instrumentos para se estudar a distribuição da ciência no mundo , com considerável utilização nos países desenvolvidos (Velho, 2000)

• Thomson Reuters (thomsonreuters.com) Web Of Science (http://thomsonreuters.com/products_services/science/science_products/a-z/isi_web_of_knowledge/)

Journal Citation Reports

ISI/ Thomson/ Web of Science (processo de avaliação)

• A avaliação e a seleção, tanto das revistas incluídas na base de dados como dos títulos excluídos, são realizadas continuamente pelo ISI a cada duas semanas. A equipe editorial do Instituto analisa cerca de 2 mil títulos novos de revistas anualmente, mas apenas 10% - 12% são selecionadas. Além disso, a cobertura de títulos existente nos produtos do ISI também passa por constante revisão.

• Cada revista é submetida a um processo amplo de avaliação antes de ser selecionada ou rejeitada.Os editores do ISI que conduzem as avaliações das revistas possuem formação educacional apropriada às suas áreas de responsabilidade, além do suporte de redes instituídas de assessores que participam do processo de avaliação quando necessário.

• Na avaliação das revistas, muitos fatores qualitativos e quantitativos são levados em consideração. Os padrões básicos de apresentação, o conteúdo editorial, a internacionalidade dos autores e a citação de dados associada a esses autores são analisados. Nenhum fator é considerado de forma isolada, mas, ao contrário, combinando e inter-relacionando os dados, o editor é capaz de determinar os pontos fortes e fracos de uma revista na sua totalidade. (testa, 1998;2006))

Fator de impacto (exemplo)

Fator de impacto (características)• Forte participação das áreas relacionadas a Ciência da Informação e Sociologia da ciência na

formulação e discussão dessa ferramenta (Wouters,1999). • Relação com disciplinas referentes a bibliometria e cientometria (metodologias que medem

quantitativamente as publicações científicas e o campo em Ciência e Tecnologia)• No Brasil, primeiras analises sobre essa ferramenta surgem (indiretamente) no inicio dos

anos 1970 (por exemplo, em Braga,1973).

• Fator de Impacto (JIF)- cálculo que reflete o número médio de citações de artigos científicos publicados em determinado periódico -

• Cálculo :• sendo A = o número de vezes em que os artigos publicados em 2010 e 2011 foram citados

por periódicos indexados durante 2012• sendo B = o número total de "itens citáveis" publicados em 2010 e 2011 ("itens citáveis":

geralmente artigos, revisões, resumos de congressos ou notas, não sendo computados editoriais ou cartas ao editor)

• então, o fator de impacto de 2012 = A/B

Fator de impacto exemplos

Fator de impacto exemplos

Fator de impacto• Nos anos 2000, outras bases de dados na Internet buscaram criar alternativas

para avaliar a produção científica e medir o impacto de determinada pesquisa ou pesquisador: Scopus (http://www.scopus.com/home.url), Bing Search API 2.0 (http://msdn.microsoft.com/en-us/library/dd251056.aspx), Google acadêmico, Scimago (http://www.scimagojr.com/), entre outros, podem ser considerados os principais nomes de uma “nova geração” nesse tipo de ferramenta.

• Segundo algumas pesquisas, essas ferramentas como seu antecessor SCI, mostram pontos positivos (rápida indexação de material recente; no caso do Google acadêmico, de acesso gratuíto; cobertura de áreas mais ampla que o realizado pelo Thomson/Web of Science), porém também apresentam alguns problemas e inconsistências (não disponibilizam dados; sem lista clara de jornais e congressos indexados; duplicidade de resultados, isto é, um artigo que possui versões em diferentes sites e repositórios acabam sendo incluídos, criando distorções) (Bar-Ilan, 2010;Thelwall,Sud, 2012).

Fator de impacto – America Latina e Brasil

• Praticamente inexistente base de dados latino americanos e brasileiros que façam serviços da mesma magnitude aos do ISI/ Thomson ou Scopus.

• America Latina: Bireme (Centro Latino-Americano e do Caribe de Informação em Ciências da Saúde) - http://regional.bvsalud.org/php/index.php

• Brasil, o Scielo (Scientific Electronic Library Magazine) - coleção de periódicos brasileiros publicados e indexados online em acesso aberto (convênio FAPESP/BIREME): http://www.scielo.br/scielo.php?lng=en (Bonfá et. al., 2008)

• Políticas de acesso aberto no Brasil – lideradas pelo IBICT – Instituto Brasileiro de Informação em Ciência e Tecnologia - www.ibict.br - BDTD - Biblioteca Digital de Teses e Dissertações - http://bdtd.ibict.br/bdtd/ ; TEDE - Sistema de Publicações Eletrônicas de Teses e Dissertações - http://tedesite.ibict.br (Bonfá et. al. 2008). Portal Capes (periodicos.capes.gov.br/)

Fator de impacto (polêmicas)• Desde meados dos anos 1970, críticas oriundas das mais diversas áreas de pesquisa,

questionam alguns critérios adotados pelo ISI-Thomson na escolha dos periódicos.• O sistema de comunicação científica internacional é bastante imperfeito e o acesso a trabalhos

varia consideravelmente, o que torna questionável a atitude de mensurar algo apenas pelas citações. (Velho, 2000)

• Há uma barreira linguística que muitas vezes separa os cientistas de determinadas publicações indexadas no SCI, de onde são colhidas as citações.(Velho, 2000)

• Práticas de publicação variam entre as áreas do conhecimento. Não se pode, por exemplo, dizer que a física é mais produtiva que a matemática com base nos trabalhos publicados de uma e outra. São ciências diferentes, com culturas diferentes no que se refere à divulgação em revistas científicas. (Velho, 2000)

• Trabalhos são citados sem terem sido lidos e analisados cuidadosamente. (Velho, 2000)• critérios muitas vezes inconsistentes de avaliação de citações ou sobre o impacto das pesquisas.• Produção científica e tecnológica dependentes de critérios excessivamente quantitativos.

(“Publish or Perish”)• Não identificação imediata da utilização “social” das pesquisas. • Período coberto pelo Fator de impacto (dois anos) por vezes problemático dependendo da

pesquisa citada.

Fator de impacto (polêmicas)• Visões equivocadas que a a literatura científica produzida pelos países periféricos em suas

próprias línguas nativas e não indexada pelo SCI é, geralmente, de baixa qualidade ou sem interesse para a ciência internacional; e que a cobertura incompleta da produção científica do Terceiro Mundo pelo SCI afeta todos os países periféricos e todas a áreas do conhecimento da mesma maneira. (Velho, 2000).

• Há também alguns vícios de origem nas avaliações da ciência por meio de índices como o SCI. Uma delas é a de que o objetivo da ciência é unicamente, ou principalmente, a produção de novos conhecimentos científicos, como os que são divulgados em periódicos. Outra é a que o produto da ciência e sua qualidade refletem-se integralmente nos instrumentos escritos formais de comunicação científica, particularmente nos periódicos científicos (Velho, 2000).

• o conhecimento tácito -- por exemplo, a aprendizagem de técnicas de laboratório durante o treinamento e os processos de "negociação" entre colegas -- é parte constitutiva da ciência e que, por definição, não pode ser descrita na literatura científica e no Fator de impacto (Velho, 2000).

• Identificação das características do Fator de impacto na realidade web (Analises de link, Citação na Web, Bookmarking, periódicos eletrônicos, influência de sites relacionados a “web 2.0” como Twitter, Facebook e You tube, Webometria e políticas de open acess) (Thelwall, 2012)

Analise de citação• Objetivo: localiza, organiza, quantifica e discute as citações e referências realizadas

em artigos, pesquisas ou outras obras científicas.• quinze funções da citação: prestar homenagem aos pioneiros; dar crédito para

trabalhos relacionados; identificar metodologia, equipamento etc.; oferecer leitura básica; retificar o próprio trabalho; retificar o trabalho de outros; analisar trabalhos anteriores; sustentar declarações; informar os pesquisadores de trabalhos futuros; dar destaque a trabalhos pouco disseminados, inadequadamente indexados ou desconhecidos (não citados); validar dados e categorias de constantes físicas e de fatos etc.; identificar publicações originais nas quais uma ideia ou um conceito são discutidos; identificar publicações originais que descrevam conceitos ou termos epônimos, ou seja, descobertas que receberam o nome do pesquisador responsável, por exemplo, Doença de Chagas; contestar trabalhos ou idéias de outros; debater a primazia das declarações de outros (Weinstock, 1971 apud Vanz, Caregnato, 2003).

• Carvalho (1975) apud Vanz, Caregnato (2003) outras funções das citações bibliográficas: estabelecimento dos direitos de propriedade e prioridade da contribuição científica de um autor, a identificação de fontes de informação, o auxílio na avaliação dos hábitos de coleta de informações e a exposição da literatura que é indispensável para o trabalho dos cientistas

Analise de Citação / Fator de impacto

• Três tipos de citação: citação positiva, neutra ou negativa.• “[...] a prática da citação seja influenciada por diversos

fatores (lealdade, interesses pessoais, conhecimento da literatura e do assunto, idioma etc.) pode-se afirmar que os documentos realmente importantes são normalmente citados e os sem importância, ignorados.Além disto, o impacto produzido por um documento pode ser avaliado por sua incidência de citação em outros documentos – e apesar de impacto não significar qualidade, pode-se asseverar que, de maneira geral, os documentos mais importantes são mais citados” (Braga, 1973).

Analise de citação (criticas e questionamentos)

• Visão “transparente” sobre as citações torna-se mais “opaca”, e uma série de pesquisadores, desde os anos 1970, criticam ou relativizam os resultados das análises. Baseados nas evidências empíricas das múltiplas motivações e usos das citações, alguns autores passaram a notar a dificuldade dos dados quantitativos serem utilizados como conceitos, articulando-se a um sistema teórico de compreensão da ciência (Romancini, 2010).

• Ainda segundo Romancini (2010), debate sobre a necessidade de uma “teoria da citação” ou de uma “teoria dos indicadores científicos”.

• Inclusão de teorias do desenvolvimento (e inter-relação) científico relacionadas a autores como Thomas Kuhn, Bruno Latour e Pierre Bourdieu. (Romancini,2010)

• Problemática principal: muitas vezes ser muito citado não necessariamente significa pesquisa de qualidade, como o não citado não necessariamente significa uma pesquisa sem importância ou sem utilização teórica e prática.

Analise de citação (criticas e questionamentos)

• O número de citações quando usado particularmente para avaliar pesquisa em países periféricos tem pouca aplicabilidade. (Velho, 2000)

• Trabalhos específicos indicam artigos muito citados baseados em pesquisas falsas, errôneas, manipuladas, ou com forte tendência a plágios.

• Citações são muitas vezes feitas de segunda mão, isto é, levantadas de um outro artigo, sem terem sido lidas e sem dar crédito ao trabalho que primeiramente as apontou. (Velho, 2000)

• Citações são muitas vezes colocadas depois que o trabalho de pesquisa está pronto, quase como uma "decoração" para se seguir o "ritual" acadêmico.(Velho, 2000)

• Há uma reconhecida tendência dos cientistas de se autocitar (fazer "propaganda" do seu próprio trabalho) e de citar seus amigos, já que conhece bem seus trabalhos anteriores e os de seus amigos. (Velho, 2000)

Analise de citação (exemplo)

Índice H• No dia 3 de agosto de 2005, o físico argentino Jorge Hirsch disponibiliza para a

comunidade cientifica um pequeno artigo apresentando um indicador para quantificar o desempenho individual de um cientista a partir de uma sutil combinação entre duas variáveis – numero de citações e numero de artigos publicados (HIRSCH, 2005). Esse novo indicador, índice h, atraiu rapidamente a atenção de muitos pesquisadores de diferentes áreas do conhecimento (Batista, 2011).

• Entre 2005-10, mais de 850 citações (impacto considerável no meio científico) (Batista, 2011).

• O índice h tem sido adotado por diversos órgãos financiadores de pesquisa, com destaque para agências na Austrália, Nova Zelândia, Reino Unido e Espanha, além de universidades e centros de pesquisa que, também, o utilizam como critério para a promoção funcional de pesquisadores e avanço dos mesmos na carreira científica (Lima, Velho, Faria, 2012).

• No Brasil, o índice h tem sido, paulatina,mas sistematicamente, apropriado por algumas fundações estaduais de amparo à pesquisa (FAPs), pelo Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) e Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES), como critério para alocação de recursos e benefícios, tais como as bolsas de produtividade científica concedidas pelo CNPq (Lima, Velho, Faria, 2012).

Indice H (exemplo)• Um cientista terá um índice h se h de seus N artigos tiverem ao menos h citações cada um. Em

palavras, o índice h é o número de artigos com citações maiores ou iguais a esse número (Batista,2011).

• Pesquisador que hipoteticamente publicou 10 artigos científicos. A Tabela 1-A apresenta a lista esses artigos, listados por ordem decrescente em função do ano de publicação. Na Tabela 1-B, a segunda coluna representa o numero total de citações recebidas por cada artigo, e a primeira coluna representa o numero acumulado de artigos publicados. Finalmente, o calculo do índice h, utilizando a Tabela 1-B, consiste em contar a quantidade de células em que o numero total de citações e maior ou igual ao numero de artigos publicados.

• O índice h e igual a 8 para o pesquisador, ou em outras palavras, esse pesquisador possui 8 artigos cientificos que receberam, cada um, ao menos 8 citações. (exemplo tirado de Batista, 2011)

Indice H (críticas)• O índice h tem problemas para avaliar a produção de cientistas em início de

carreira ou com baixa produção.• Problemas de autocitação não são perceptíveis nesse índice. • Já as citações feitas de forma incorreta podem acarretar modificações ou

distorções no índice.• Índice aleatório, por vezes simplista e de difícil mensuração (pelo fato do mesmo

não ter sido formulado por uma equação matemática), com dificuldade em estipular um número preciso de publicações para a utilização do mesmo.

• Outra consequência dessa fórmula simplista é que o índice h descarta muitos dados do registro do artigo, detalhes que poderiam revelar fatos latentes da rede de citação e levar a avaliações mais equilibradas

• Várias tentativas de adaptação desse índice para diferentes tipos de quantificação de publicações científicas, ocasionando o excesso de variantes e adaptações do mesmo(índice g, índice p, índice j...) que prejudicam uma”normalização” dele (segundo Bornmann et. al., em 2011 existiam cerca de 37 variações para o índice h).

Exemplos (Scopus)

Exemplos (Google acadêmico)

Exemplos(Currículo Lattes)

Exemplos II (Curriculo Lattes -continuação)

Exemplo III (Ministério em ciência, Tecnologia e Inovação)

Exemplo III (Ministério em ciência, Tecnologia e Inovação)

Exemplo III (Ministério em ciência, Tecnologia e Inovação)

Breve discussão e considerações finais

• Apesar das limitações e críticas, o fator de impacto, devido a quase não existência de outras opções de medições quantitativas da ciência além das apresentadas, consolidou-se e mantêm-se como importante instrumento de quantificação da produção científica.

• O índice h, apesar de sua pouca idade (menos de dez anos) e de algumas inconsistências, também já foi assimilado por diferentes bases de dados, mas como forma de medição da produtividade científica de determinado cientista.

• Necessidade de discussão sobre a utilização e interpretação do MCTI brasileiro dos dados relacionados ao Thomson e Scopus para identificar algumas características da produção científica do país.

• Discussões sobre o real estado da ciência do Brasil a partir desses dados quantitativos (uma ciência cada vez mais visível e internacional, ou um campo cada vez mais irrelevante e esvaziado?) (uma visão geral sobre o tema pode ser visto em Leta, 2011).

Breve discussão e considerações finais

• Discussão sobre a inclusão desses instrumentos quantitativos no patrocínio científico de pesquisadores, periódicos, grupos de pesquisa e universidades.

• Base de dados nacionais: além do Scielo e das políticas de acesso aberto de periódicos, quais outras opções possíveis de medição quantitativa da produção científica no Brasil?

• Dimensionar a influência do Fator de impacto ou do índice de citações em decisões do CAPES e CNPQ (por exemplo no QUALIS)

• Analisar de forma cuidadosa o fluxo de produção, disseminação e comunicação nos campos da ciências humanas e sociais, naturais e exatas, pois existem diferença entre essas ciências na forma em que a informação científica é trocada entre seus pares (não somente artigos em periódicos, mas também capítulos de livros, comunicações em congresso, etc...).

• Por tudo isso, é extremamente importante que as avaliações de produção científica levem em consideração que os índices podem abrigar, como já foi dito, inúmeros vícios de origem. A reprodução dessas quantificações em reportagens, como se tem feito no Brasil, pode "comprar" essas informações e equivocadamente repassar ao leitor uma visão do meio científico primeiro-mundista, parcial e totalmente disforme. (Velho,2000)

Bibliografia consultada e sugestões de leitura sobre o tema• BAR-ILAN, J.Citations to the ‘Introduction to Informetrics’ indexed by WOS, Scopus and Google Scholar. Scientometrics, vol. 82, n° 3, p.

495-506, 2010.• BATISTA, P. D. . Ainda é possível pensar o índice h como um indicador quantitativo, qualitativo, fracionário?. PontodeAcesso (UFBA), v. 5,

p. 57-71, 2011.• BOMFÁ, C. R. Z. ; MOCELLIN, E. R. ; Trzeciak D.i S. ; Freitas, M. do C. D. . Acesso livre à informação científica digital: dificuldades e

Tendências. Transinformação, v. 20, p. 309-318, 2008.• Bornmann, L., Mutz, R., Hug, S. E. & Daniel, H.-D. A multilevel meta-analysis of studies reporting correlations between the h index and

37 different h index variants. Journal of Informetrics, 5(3), 346-359, 2011. Disponível em: http://www.lutz-bornmann.de/icons/FinalMeta.pdf

• BRAGA, Gilda Maria . Relações bibliométricas entre a frente de pesquisa (research front) e revisões da literatura.. Ciência da Informação, Rio de Janeiro, v. 2, n.1, p. 9-23, 1973.

• LIMA, R. A. ; VELHO, L. M. L. S. ; FARIA, L. I. L. Bibliometria e “avaliação” da atividade científica: um estudo sobre o índice h. Perspectivas em Ciência da Informação. Vol. 17, n°3, p.3-17, 2012.

• LETA, J. . Indicadores de desempenho, ciência brasileira e a cobertura das bases informacionais. Revista USP, v. 89, p. 62-77, 2011. • PINTO, Angelo C. ; ANDRADE, Jailson B. de . Fator de impacto de revistas científicas: qual o significado deste parâmetro?. Química Nova,

Brasil, v. 22, p. 448-453, 1999.• ROMANCINI, Richard . O que é uma citação? A análise de citações na ciência. In Texto (UFRGS. Online), v. 2, p. 20-35, 2010.• STREHL, L. . O Fator de Impacto do ISI e a Avaliação da Produção Científica: aspectos conceituais e metodológicos. Ciência da

Informação (Impresso), Brasília, v. 34, n.1, p. 19-27, 2005• TESTA, James. A base de dados ISI e seu processo de seleção de revistas. Cência da Informação, vol.27, nº.2, p.233-235, 1998.• TESTA, James. The Thomson Scientific journal selection process. International Microbiology, vol.9, p.135-138, 2006.• THELWALL, M., & SUD, P. Webometric research with the Bing Search API 2.0. Journal of Informetrics, 6(1), 44-52, 2012. Disponível em:

http://www.scit.wlv.ac.uk/~cm1993/mycv.html• THELWALL, M. Journal impact evaluation: A webometric perspective, Scientometrics, 92(2), 429-441, 2012. Disponpível em :

http://www.scit.wlv.ac.uk/~cm1993/papers/Journal_impact_evaluation_Webometrics_preprint.pdf• VANZ, S. ; CAREGNATO, S. E. Estudos de citação: uma ferramenta para entender a comunicação científica. Em Questão (UFRGS), Porto

Alegre, v. 9, n.2, p. 295-307, 2003.• VELHO, L. . Cuidado com os rankings científicos. Prometeu.com.br, São Paulo, 10 nov. 2000. Dospinível em:

http://www.prometeu.com.br/bb-lea.asp• WOUTERS, Paul. The Citation Culture. Tese de doutorado. Universidade de Amsterdã, 1999. Disponível em:

www.garfield.library.upenn.edu/wouters/wouters.pdf

Curiosidade: Filme sobre o ISI e o Science Citation Index apresentado por Eugene Garfield (1967) – Parte 1 (

http://www.youtube.com/watch?v=abNZ66ZLbjU)