laboratório de bibliometria: do fator de impacto até boas revisões biblogr…

Introdução Bibliometria Ferramentas O ISI e a Bibliometria Referências

Laboratório de BibliometriaDo Fator de Impacto até Boas Revisões Bibliográficas

Alejandro C. Frery

LaCCAN

Laboratório de Computação Científicae Análise Numérica

Universidade Federal de Alagoas

ERBASE 2013

Objetivos

� Estimular o debate sobre o significado da pesquisa científica

� Estimular o debate sobre os tipos de veículos de publicação

� Colocar a revisão bibliográfica em perspectiva

� Estimular o uso de medidas objetivas de qualidade, maslembrando das suas limitações

� Mostrar o uso de um conjunto de ferramentas e práticas queauxiliam na pesquisa (RR)

Resumo

Introdução

Bibliometria

Ferramentas

O ISI e a Bibliometria

O que é Ciência?

Utilizando o texto de Volpato (2007b):

Pesquisa: toda atividade realizada para descobrir a resposta aalguma indagação. Nem toda pesquisa é pesquisacientífica.

Pesquisa científica: aquela pesquisa que utiliza a metodologia e ospressupostos científicos, independentemente doobjeto de estudo.

Ciência: é a forma humana de construir e aceitargeneralizações acerca do universo, utilizando ummétodo e o discurso lógico, e admitindo aprecariedade dessas generalizações.

O que é Ciência?

Pesquisa científica: aquela pesquisa que utiliza a metodologia eos pressupostos científicos, independentemente doobjeto de estudo.

O que é Ciência?

Ciclo de produção da ciência

O Produto

Ciência

A saída esperada do ecossistema da pesquisa é o novoconhecimento científico produzido por nova mão de obraespecializada de alto nível.

Ciência: uma imagem

Qual a relação da publicação com fazer ciência?

Lembrando Volpato (2006, 2007a,b)

• Pesquisa sem originalidade não é pesquisa científica

• Pesquisa sem método não é pesquisa científica

• Pesquisa que não foi publicada em veículos de impacto não épesquisa científica

E para medir o impacto, vamos entender o que é a Bibliometria.

Resumo

Introdução

Bibliometria

Ferramentas

Bibliometria

Definição

É um campo das áreas de biblioteconomia e ciência da informaçãoque aplica métodos estatísticos e matemáticos para analisar o cursoda comunicação escrita de uma determinada disciplina.

Abrangência

Segundo a Wikipedia, alguns dos objetivos e aplicações daBibliometria são:

• Identificar tendências e crescimento do conhecimento emuma determinada disciplina.

• Estudar dispersão e obsolescências dos campos científicos.

• Estimar a cobertura das revistas científicas.

• Identificar as revistas do núcleo de cada disciplina.

• Adaptar políticas de aquisição e descarte de publicações etc.

" Medir o impacto das publicações e dos serviços dedisseminação da informação.

" Identificar autores e instituições mais produtivos.

Abrangência

Principais veículos em Ciência da Computação

Em primeiro lugar vejamos as características dos dois principaisveículos de comunicação do conhecimento em Ciência daComputação: periódicos e anais de conferências.

Anais de conferências

" As conferências científicas são uma tradição salutar e muitoestimulante

" Elas oferecem um forum ímpar para a discussão de novasidéias

" Algumas produzem anais, com relatos do que nelas foiapresentado

" A seleção do que nelas é publicado é tipicamente rápida

" Dificilmente há mais de uma rodada de correções

" Há fortes limitações de espaço

" A publicação é tipicamente condicionada ao pagamento dainscrição, quando não também à apresentação do trabalho

Periódicos indexados

" Os periódicos são uma tradição salutar e muito estimulante

" Eles oferecem um meio ímpar para a divulgação de novasidéias

" Eles são a memória da pesquisa científica

" A seleção do que neles é publicado é tipicamente criteriosa, epode demorar

" Frequentemente há mais de uma rodada de correções até umaversão publicável

" Nem sempre há limitações de espaço

" A publicação só é eventualmente condicionada a pagamentoquando há figuras coloridas e/ou é ultrapassado um certonúmero de páginas

Anais vs. Periódicos

� Não há contraposição; são fontes diferentes

� Os primeiros costumam reportar resultados preliminares, ossegundos resultados consolidados

� A grande diferença é que limitando-se ao universo dosperiódicos indexados pelo ISI (peça fundamental da nossaconversa, voltaremos a ela mais tarde) temos acesso a umasérie de medidas de qualidade

Como avaliar conferências?

• Não há critérios universalmente aceitos nem indexadoresuniversalmente reconhecidos para essa tarefa

• Agência organizadora e anos de realização são fatoresobservados

• Taxa de rejeição é uma métrica reputada como bom indicadorde qualidade

• Em 2012 surge a proposta de fazê-lo pelo fator h através dohttp://shine.icomp.ufam.edu.br

• Taxa de rejeição é uma métrica reputada como bomindicador de qualidade

Argumentos contra e respostas I

A: A taxa de rejeição mede a qualidade dasconferências.

R: Faz sentido usar a rejeição como medida dequalidade, enquanto que o resto da ciência usa aaceitação?

R: Com esse critério, o melhor veículo do universo é oJournal of Universal Rejectionhttp://www.universalrejection.org/

A: A taxa de rejeição mede a qualidade das conferências.

Argumentos contra e respostas II

Não há consenso, como com qualquer opinião polémica.

A: A computação é muito nova, não há suficientesperiódicos.

R: Há 1257 periódicos cadastrados no portal da CAPEScomo “computação”, nas mais diversas especialidadese aplicações. No Science Direct são 1280, no SJR(SCImago Journal & Country Rank) constam 914, noJCR 428 e assim por diante. . .

Argumentos contra e respostas II

Não há consenso, como com qualquer opinião polémica.

A: A computação é muito nova, não há suficientesperiódicos.

R: Há 1257 periódicos cadastrados no portal da CAPEScomo “computação”, nas mais diversasespecialidades e aplicações. No Science Direct são1280, no SJR (SCImago Journal & Country Rank)constam 914, no JCR 428 e assim por diante. . .

Argumentos contra e respostas III

A: A computação é muito dinâmica, e a demora parapublicar as contribuições as desatualiza.

R: Que contribuições são essas que ficam desatualizadastão rapidamente? Além disso, não é para deixar departicipar em congressos, é sim para fechar o ciclocom boas publicações em veículos de prestígio.

R: Há periódicos e números especiais com ciclo depublicação curto, mas ainda com o processo e aqualidade de periódicos.

R: Que contribuições são essas que ficamdesatualizadas tão rapidamente? Além disso, não épara deixar de participar em congressos, é sim parafechar o ciclo com boas publicações em veículos deprestígio.

R: Que contribuições são essas que ficam desatualizadastão rapidamente? Além disso, não é para deixar departicipar em congressos, é sim para fechar o ciclocom boas publicações em veículos de prestígio.

Argumentos contra e respostas IV

A: Há conferências melhores do que periódicos.

R: Sob qual métrica? Uma comparação honesta deveriaser feita entre entidades comparáveis, não os piorescontra os melhores. . . e as melhores conferências nãotêm os atributos dos melhores periódicos.

Argumentos contra e respostas IV

A: Há conferências melhores do que periódicos.

R: Sob qual métrica? Uma comparação honestadeveria ser feita entre entidades comparáveis, nãoos piores contra os melhores. . . e as melhoresconferências não têm os atributos dos melhoresperiódicos.

Argumentos contra e respostas V

A: Muitas conferências são one shot, isto é, a versãoenviada precisa ser praticamente a final.

R: Isso é one shot no próprio pé, e na testa da memóriacientífica. O processo de construção doconhecimento científico requer iterações para seuaprimoramento.

Argumentos contra e respostas V

A: Muitas conferências são one shot, isto é, a versãoenviada precisa ser praticamente a final.

R: Isso é one shot no próprio pé, e na testa da memóriacientífica. O processo de construção doconhecimento científico requer iterações para seuaprimoramento.

Conclusão

Iremos focar a nossa discussão na análise da qualidade deperiódicos científicos indexados pelo ISI.A mesma fonte será usada para aferir a produção científicaindividual.

Resumo

Introdução

Bibliometria

Ferramentas

ISI, JabRef, BIBTEX e LATEXEsse conjunto de ferramentas permite

ISI: Verificar todos os periódicos indexados, saber onúmero de citações que cada artigo recebeu, saberquem citou quem, ter acesso a alguns artigoscompletos, montar e exportar listas de referênciasbibliográficas

JabRef: Importar as listas de referências geradas pelo ISI e poroutras fontes, montar bancos de dados de referências,de arquivos associados (PDF etc.) e de links (DOI etc.)

BIBTEX: Gerenciar as referências que o seu artigo usa, dentre ouniverso de todas as suas referências

LATEX: Escrever artigos de alta qualidade gráfica, portáveis,em um formato universalmente aceito, em umaplataforma gratuita e disponível para virtualmentequalquer ambiente computacional, que fala comBIBTEX

ISI: o que é, onde fica?

� É um serviço caro, disponível para a Academia através doPortal de Periódicos da CAPES(http://periodicos.capes.gov.br).

� É um banco de dados bibliográficos, com informaçõescruzadas sobre todas as publicações por ele indexadas.

� Não é a fonte primária para conseguir os artigos completos,mas sim para acompanhar o estado-da-arte.

Como usar?

Formas básicas:

! Pelo assunto ou título

! Pelo periódico

! Pelo(s) autor(es): mais adequado para a procura do fator h

Uma vez localizado um artigo relevante, é necessário acrescentá-loà lista de referências marcadas (a memória da nossa busca).

Tela Principal do ISI

Como começar?

Uma forma prática de começar fazer uma revisão bibliográficaconsiste em seguir os seguintes passos:

1. Eleja n ≥ 1 artigos como sendo os básicos do seu trabalho

2. Localize cada artigo no ISI, marque-o e veja os artigos por elecitados (o cone do passado). Esse cone dar-lhe-á osantecedentes que levaram a essa publicação (que você elegeucomo básica para o seu trabalho, logo esses deveriam sertambém os seus antecedentes).

3. Para cada 1 ≤ i ≤ n, veja os artigos que o citaram (o cone dofuturo). Esse cone dar-lhe-á uma idéia da relevância e doimpacto desse artigo básico.

Como começar?

� No final desse processo, você deverá ter uma lista saborosa dereferências.

� Já temos um bom material para começar!

� Procure eleger, a partir da leitura dos abstracts dos trabalhosselecionados, um novo conjunto de artigos básicos, se possívelmais novos do que os n iniciais.

� Repita a técnica acima.

� Itere.

Árvore de Citações

Quando acabou a revisão bibliográfica?

� Essa pergunta é fácil de responder: Nunca!

� Quando os novos artigos básicos forem do ano atual, talvezseja um bom momento para descansar (apenas).

� Descansou? Pronto! É hora de filtrar a lista.

� A filtragem deveria deixar os trabalhos mais relevantes, maiscitados e mais diretamente relacionados com a sua pesquisa.

� Não jogue nada fora! Apenas marque os artigos que irão ficarna sua revisão (BIBTEX e LATEX vão encarregar-se de incluirapenas os que você citar).

� Chegou a hora de exportar a sua lista (incluindo os abstracts!),e baixar um arquivo completamente incompreensível ouescolher exportar para formato BIBTEX.

Gerando uma lista legível

Dentro do Jabref, com o resultado do levantamento bibliográfico,usar a opção “Exportar entradas selecionadas”.Com isso temos material para estudar e começar organizar o textoda revisão bibliográfica.

Onde mais procurar?Além de artigos ISI e trabalhos em conferências de ponta, ocandidato a bom pesquisador pode querer material ainda maisatualizado.Chegou a hora de entrar no arXiv.org!

Como escolher?

Após um levantamento bibliográfico teremos um volumesubstancial de referências.

Dica I

A qualidade percebida do seu trabalho nunca será superior à dopior artigo citado na revisão.

Dica II

Os revisores do seu trabalho serão aqueles autores que vocêesqueceu de citar. . . e eles não perdoam!

Como escolher?

Após um levantamento bibliográfico teremos um volumesubstancial de referências.

Dica I

A qualidade percebida do seu trabalho nunca será superior à dopior artigo citado na revisão.

Dica II

Os revisores do seu trabalho serão aqueles autores que vocêesqueceu de citar. . . e eles não perdoam!

JabRef: o que é e onde pego?

� É um aplicativo 100% Java, portanto portável, que permitegerenciar referências bibliográficas utilizando BIBTEX comolinguagem de descrição.

� Esse gerenciamento inclui a administração de arquivos PDF,DJVU etc. bem como acesso direto a links (DOI, HTML etc.).

� JabRef é gratuito e está disponível emhttp://jabref.sourceforge.net.

� JabRef importa a lista do ISI e a transforma em um banco dedados com entradas BIBTEX.

Interface

Resumo

Introdução

Bibliometria

Ferramentas

Como vimos, o ISI dispõe de muitas informações, dentre elas

• Quem publicou o quê e onde

• Quem citou quem e quando

Elas permitem responder, dentre outras, perguntas sobre qualidadedos veículos científicos, de cientistas e de grupos de cientistas.

Métricas de qualidade de periódicos indexados

Todas fazem referência a veículos ISI.

Número de citações: total desde que o periódico é ISI

Cited Half-Life: Número de anos a partir do atual responsáveispela metade do total das citações

Immediacy Index: número de citações recebidas no último anodividido pelo número de artigos publicados nomesmo período

Fator de Impacto: número de citações recebidas nos últimos doisanos dividido pelo número de artigos publicados nomesmo período; por ser o índice mais importantepara a média da comunidade, faz parte dasinformações oferecidas pelo Portal de Periódicos daCAPES

Como calcular o fator de impacto?

• A versão “oficial” é a que consta no JCR (Journal CitationReports), mas é uma informação relativamente restrita ecara.

• O Publish or Perish fornece gratuitamente dados comparativosúteis (http://www.harzing.com/pop.htm)

• O SCImago é outro recurso ainda mais poderoso e tambémgratuito (http://www.scimagojr.com)

• A versão “oficial” é a que consta no JCR (Journal CitationReports), mas é uma informação relativamente restrita e cara.

• O Publish or Perish fornece gratuitamente dadoscomparativos úteis (http://www.harzing.com/pop.htm)

• A versão “oficial” é a que consta no JCR (Journal CitationReports), mas é uma informação relativamente restrita e cara.

• O Publish or Perish fornece gratuitamente dados comparativosúteis (http://www.harzing.com/pop.htm)

Prática I

Usaremos a seguir o ISI para verificar as métricas de periódicos denosso interesse.

1. Localizar o JCR

2. Localizar o periódico (se não imagina nenhum, procurePattern Recognition)

3. Registre o (último) fator de impacto, a média dos últimos cincofatores de impacto, o fator de imediatez, e a vida média

4. Cited Journal Data quais os periódicos que citam PR

5. Citing Journal Data quem PR cita

6. Impact Factor Trend

7. Periódicos por categoria, ordenar por fator de impacto

8. Dados da categoria, analisar o boxplot

Prática I

1. Localizar o JCR

Prática I

1. Localizar o JCR

3. Registre o (último) fator de impacto, a média dos últimoscinco fatores de impacto, o fator de imediatez, e a vida média

Prática I

1. Localizar o JCR

Prática I

1. Localizar o JCR

Prática I

1. Localizar o JCR

Prática I

1. Localizar o JCR

Prática I

1. Localizar o JCR

O boxplot

Conclusões da análise

• Como se situa o periódico escolhido no conjunto deperiódicos da área

• Com quantas áreas ele foi identificado? Há diferençassignificativas entre elas?

• Como está seu fator de impacto em relação ao seu histórico?

• Quais os melhores periódicos da área de interesse?

Medidas de produtividade individual (e de grupos)

� Número de artigos: mede a produtividade, nãonecessariamente a qualidade (penaliza o critério em favor daLPU – Least Publishable Unit, ou artigo salaminho, verBaggs, 2008)

� Número de citações: pode ser inflacionado por alguns artigosexcepcionais

� Número de artigos com pelo menos M citações: arbitrariedadedo M (Google sugere usar o i10)

� Citações por artigos: favorece a baixa produtividade

� Associa-se o fator h ∈N0 ao pesquisador que tem h artigoscitados pelo menos de h vezes, e os outros com menoscitações (Hirsch, 2005)

� Número de artigos: mede a produtividade, nãonecessariamente a qualidade (penaliza o critério em favor daLPU – Least Publishable Unit, ou artigo salaminho, ver Baggs,2008)

� Número de artigos com pelo menos M citações:arbitrariedade do M (Google sugere usar o i10)

Prática II

Usaremos a seguir o ISI para verificar as métricas de pesquisadores.

1. Localize o autor do seu interesse (se não conseguir imaginarnenhum, pode usar Frery, A em duas abas: no ISI e noLattes (ou em uma base de publicações confiável)

2. Verifique se as áreas de atuação são coerentes

3. Verifique o tipo de publicações realizadas (artigos, correções,anais, review etc.)

4. Retire da lista de publicações os artigos que não são do seucientista

5. Create Citation Report

6. Registre e repita para outro pesquisador

Prática II

1. Localize o autor do seu interesse (se não conseguir imaginarnenhum, pode usar Frery, A em duas abas: no ISI e no Lattes(ou em uma base de publicações confiável)

Prática II

• Como está a produção do seu pesquisador por diversosíndices?

• Ele está com um h crescente ou estável?

• Nunca mais caia no truque do grande pesquisador que nãopublica, ou caia sabendo que está sendo trouxa.

Referências I

Alves, R. (1981), Filosofia da Ciência, Ars Poetica, São Paulo.

Baggs, J. G. (2008), ‘Issues and rules for authors concerning authorshipversus acknowledgements, dual publication, self plagiarism, and salamipublishing’, Research in Nursing & Health 31(4), 295–297.

Chen, J. & Konstan, J. A. (2010), ‘Conference paper selectivity and impact’,Communications of the ACM 53(6), 79–83.

Day, R. A. (1998), How to write & publish a scientific paper, 5 ed., Oryx.

Freyne, J., Coyle, L., Smyth, B. & Cunningham, P. (2010), ‘Relative status ofjournal and conference publications in computer science’,Communications of the ACM 53(11), 124–132.

Halpern, J. Y. & Parkes, D. C. (2011), ‘Journals for certification, conferencesfor rapid dissemination’, Communications of the ACM 54(8), 36–38.

Hirsch, J. E. (2005), ‘An index to quantify an individual’s scientific researchoutput’, Proceedings of The National Academy of Sciences102(46), 16569–16572.

Referências IILee, A., Dennis, C. & Campbell, P. (2007), ‘Nature’s guide for mentors’,

Nature 447, 791–797. URL http://www.nature.com/nature/journal/v447/n7146/full/447791a.html.

Meyer, B., Choppy, C., Staunstrup, J. & van Leeuwen, J. (2009), ‘Researchevaluation for computer science’, Communications of the ACM52(4), 31–34.

on Data, Y. L. S. R. & Sharing, C. (2010), ‘Reproducible research:Addressing the need for data and code sharing in computationalscience’, Computing in Science & Engineering pp. 8–12.

Vardi, M. Y. (2009), ‘Conferences vs. journals in computing research’,Communications of the ACM 52(5), 5.

Vardi, M. Y. (2010), ‘Revisiting the publication culture in computingresearch’, Communications of the ACM 53(3), 5. URLhttp://cacm.acm.org/magazines/2010/3/76297-revisiting-the-publication-culture-in-computing-research/fulltext.

Referências III

Volpato, G. L. (2006), Dicas para redação científica: por que não somoscitados?, 2 ed., Gilson Luiz Volpato, Botucatu.

Volpato, G. L. (2007a), Bases teóricas para redação científica: por que seuartigo foi negado?, Cultura Acadêmica, São Paulo.

Volpato, G. L. (2007b), Ciência: da filosofia à publicação, 5 ed., CulturaAcadêmica, São Paulo.

Volpato, G. L. (2008), Publicação científica, 3 ed., Cultura Acadêmica, SãoPaulo.

Wing, J. M. (2009), ‘CS woes: Deadline-driven research, academicinequality’, Communications of the ACM 52(12), 8–9.

Contacto

Alejandro C. [email protected]://sites.google.com/site/acfrery

laboratório de bibliometria: do fator de impacto até boas revisões biblogr…

Documents