Slide 1

possvel comparar pesquisadores com interesses cientficos diferentes? Osame Kinouchi Pablo Diniz Batista Mnica Campiteli Alexandre Souto Martinez DFM-FFCLRP-USP Frum: Pesquisa Interdisciplinar e avaliao: tendncia no debate contemporneo UNICAMP 8 de maio de 2008

Slide 2

possvel...? Resposta curta: No Outras respostas: De forma justa, no Um pouco mais justa, sim Talvez, em princpio, difcil na prtica Busca de ndices de comparao no tendenciosos Mesmo para comparao entre reas de pesquisa? 1 2 3

Slide 3

possvel comparar...? Comparar = usar ndices (qualitativos ou quantitativos) ndices no-bibliomtricos ndices bibliomtricos

Slide 4

possvel comparar pesquisadores de diferentes reas? Se as distribuies de probabilidade para o ndice x tem forma funcional diferente para cada rea, no possvel fazer comparaes.

Slide 5

ndice h de Hirsch Paper Times Cited 12341234 87328732 h = 3 Um pesquisador com ndice h tm h artigos com pelo menos h citaes PNAS 102: 16569 (2005) Este artigo teve 119 citaes at abril de 2008 !

Slide 6

Web of Science (ISI) e Scopus Alguns ndices fornecidos Nmero total de publicaes: N Nmero total de citaes: C (com ou sem auto- citaes) Nmero mdio de citaes: C/N Citaes da i-sima publicao por ano: C i ndice h de Hirsch

Slide 7

Publish or Perish Publish or Perish um software que usa o Google Scholar para obter citaes acadmicas.Google Scholar N C ndice h de Hirsch e parmetros relacionados ndice g de Egghe ndice h contemporneo Taxa de citao ponderada por idade Duas variaes do ndice h individual Anlise do nmero de autores por paper http://www.harzing.com/resources.htm#/pop.htm

Slide 8

ndice h depende da rea de pesquisa 120A. Ulrich76J. N. Bacall 128R. M. Evans79P. G. de Gennes * 134T. Kishimoto87M. Cardona 138C. A. Dinarello88M. E. Fisher * 144S. Moncada88S. Weinberg * 152B. Vogelstein92A. C. Gossard 153P. Chambon98P. W. Anderson * 154R. C. Gallo104M. L. Cohen 160D. Baltimore107 7 A. J. Heeger 192S. H. Snyder110E. Witten hBiolgos/BiomdicoshFsicos

Slide 9

Estatsticas no Brasil Dados coletados do Thompson ISI Web of Science 188.909 referncias at junho de 2005 com endereo BRAZIL ou BRASIL de artigos de 1975 a 2004 150.323 artigos 24.163 resumos de conferncias 5.541 notas (brief reports ou rapid communications) 3.3577 cartas (letters) 2.333 reviews

Slide 10

ndice h no Brasil Figura 1. Nmero de pesquisadores com ndice h no Brasil.

Slide 11

ndice h na Alemanha Figura 3. Nmero de pesquisadores com ndice h na Alemanha.

Slide 12

Nmero de autores depende de rea de pesquisa Figura 2. Nmero de publicaes com k autores por artigo in quatro reas de pesquisa no Brasil: Fsica (crculos), Qumica (quadrados), Biologia/Biomedica (quadrados abertos) e Matemtica (tringulos). Inset: Nmero N(N C ) de publicaes citadas N C vezes em quatro reas de pesquisa no Brasil de 1975 a 2004 (dados coletatos em junho de 2005).

Slide 13

Observaes sobre ndice h ndice robusto, difcil de inflar, pouco sensvel ao nmero total de publicaes e citaes. Mede impacto acumulado, no produo atual. Dependente da rea de pesquisa. No leva em conta co-autoria. Para vantagens e desvantagens, ver: Bornmann L. and Daniel H-D, What do we know about the h index J. Am. Soc. Inf. Sci. Tech. 58:1381-1385 (2007)

Slide 14

Descontando co-autoria ndice h individual Is it possible to compare researchers with different scientific interests? Batista PD el at. Scientometrics Vol 68 (2006) 179

Slide 15

Comparando h com h I no Brasil Figura 4. Os ndices h e h I em funo do ranque para reas brasileiras de pesquisa. As curvas h I, diferentemente das curvas de h, aparentam ter a mesma forma funcional. Exponencial Extendida

Slide 16

Comparando h com h I na Alemanha Figura 5. Os ndices h e h I em funo do ranque para reas alems de pesquisa. As curvas h I, diferentemente das curvas de h, aparentam ter a mesma forma funcional. Exponencial Extendida

Slide 17

ndices relativos (Brasil) Figura: Os ndices h e h I escalados pela mdia em funo do ranque escalado para o Brasil. Uma nica curva universal foi obtida para o ndice h I. Exponencial Extendida

Slide 18

ndices relativos (Alemanha) Figura: Os ndices h e h I escalados pela mdia em funo do ranque escalado para a Alemanha. Uma nica curva universal foi obtida para o ndice h I.

Slide 19

Resultado novo *

Slide 20

Concluses I A avaliao de pesquisadores dentro de uma mesma rea j um problema difcil. A avaliao em reas interdisciplinares coloca problemas adicionais. ndices ideais deveriam ser normalizados de modo a (suas distribuies de probabilidade) serem insensveis rea de pesquisa.

Slide 21

Concluses II O ndice h tem desvantagens, entre elas a curva N(h) e o correspondente grfico de ranque depende da rea de pesquisa. O ndice h I relativo menos dependente do campo de pesquisa. Entretanto, parece ser possvel normalizar esses ndices em uma curva universal independente de rea, pelo menos para 99,9% dos pesquisadores. Essa nova gerao de ndices ainda precisa ser melhor validada. Lembrar porm que a avaliao deve ser sempre multidimensional.

Slide 22

Questo Poderia o ndice h (e seus derivados), mesmo com suas limitaes, ajudar em uma avaliao mais justa das reas interdisciplinares? Exemplo: colega em rea interdisciplinar com N = 9 e h = 6.

Slide 23

Mesa Redonda Interdisciplinariedade: Um caminho para uma avaliao mais abrangente?

Slide 24

ndices de avaliao: uma abordagem interdisciplinar Osame Kinouchi DFM-FFCLRP-USP Frum: Pesquisa Interdisciplinar e avaliao: tendncia no debate contemporneo UNICAMP 8 de maio de 2008

Slide 25

Avaliao e ranqueamento: um problema genrico O problema de avaliar a importncia e relevncia de items ocorre em inmeras reas alm da rea de cientometria Exemplos: Mquinas de busca na WWW: ranqueamento de pginas (Google, Yahoo Search etc). Medidas de centralidade em redes sociais, biolgicas, tecnolgicas. Teoria de redes complexas.

Slide 26

Redes complexas I Rede gentica

Slide 27

Redes complexas II Rede de transduo de sinais biolgicos

Slide 28

Redes Complexas III Blogosfera poltica americana: Conservadores (vermelho), liberais (azul)

Slide 29

Medidas de centralidade Na rea de redes complexas, vrias medidas de centralidade (importncia) j foram definidas e estudadas: Degree centrality Betweenness centrality Closeness centrality Eigenvector centrality Etc... provvel que idias provindas dessa rea sejam adaptadas para problemas cientomtricos.

Slide 30

Redes de citaes

Slide 31

Exemplo Finding scientific gems with Googles PageRank algorithm P. Chen, H. Xie, S. Maslovand S. Redner Journal of Informetrics Volume 1, Issue 1Volume 1, Issue 1, January 2007, Pages 8-15 Abstract We apply the Google PageRank algorithm to assess the relative importance of all publications in the Physical Review family of journals from 1893 to 2003. While the Google number and the number of citations for each publication are positively correlated, outliers from this linear relation identify some exceptional papers or gems that are universally familiar to physicists.

Slide 32

Concluso A avaliao de reas de pesquisa interdisciplinares constitui um problema difcil e desafiante. O problema de avaliao e ranqueamento possui contatos com uma rea de pesquisa mais geral: medidas de centralidade na teoria de redes complexas. Algumas dessas idias j tem sido aplicadas em cientometria. Talvez, no futuro, idias dessa rea venham contribuir para a questo da avaliao interdisciplinar (e vice-versa!)