cenário atual das métricas alternativas e os impactos da produção científica - cbbd 2015

24
Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica Iara Vidal Pereira de Souza XXVI CBBD, São Paulo, 22 a 24 de Julho de 2015

Upload: iara-vidal-pereira-de-souza

Post on 18-Aug-2015

150 views

Category:

Science


0 download

TRANSCRIPT

Page 1: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Cenário Atual das Métricas Alternativas e os Impactos da

Produção CientíficaIara Vidal Pereira de Souza

XXVI CBBD, São Paulo, 22 a 24 de Julho de 2015

Page 2: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Métricas Alternativas? Mas qual o problema das métricas tradicionais?

• Fator de impacto de periódicos

• Inadequado para avaliar impacto de artigos/autores/instituições individualmente;

• Sujeito a manipulações.

• Contagem de citações• É lenta – citações precisam de tempo para acumular! (ler =>

escrever => submeter à revisão => publicar => indexar => ...);

• Ignora o produto que não é artigo e o uso que não é citação;

• Desconsidera o contexto e as razões para citação.

Page 3: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Altmetrics: a manifesto (PRIEM et al, 2010)

• A Web permite acompanhar melhor o que acontece com os produtos da pesquisa científica depois que são divulgados• A bibliografia sai da gaveta para o Mendeley/Zotero;

• O papo nos corredores das universidades e congressos acontece também no Twitter e nas caixas de comentários;

• A literatura cinzenta vai para repositórios e blogs...

• Altmetrics / Altmetria: “a criação e o estudo de novas métricas baseadas na Web Social para analisar e informar atividades acadêmicas”

http://altmetrics.org/manifesto/

Page 4: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Não Confunda: Altimetria vs Altmetria

• ALTImetria (Topografia)• Estudo ou técnica da medição de altitudes; representação das

altitudes em mapas ou plantas topográficas (http://www.priberam.pt/dlpo/altimetria)

• ALTmetria (do inglês altmetrics)• Alt => Alternative/Alternativas• Metrics => Métricas• Altmetria: métricas alternativas da comunicação

científica.

Page 5: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Não Confunda: Altmetria vs. Article-Level Metrics (ALM)

Article-Level Metrics(métricas de artigo): medida do impacto de um artigo reunindo indicadores tradicionais e alternativos

Métricas de Artigo (ALM)

Métricas Alternativas

Adaptado de Ian Mulvanyhttps://flic.kr/p/jqxxi5

Page 6: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Uma Visão Multidimensional do Impacto

• A promessa da Altmetria é compreender melhor atores, processos, produtos e impactos da comunicação científica.• Usos além da citação: compartilhamentos, etiquetas/tags,

anotações, comentários...

• Públicos além da academia: médicos, pacientes, educadores, estudantes, cientistas amadores...

• Produtos além do artigo de periódico: dados, software, blogs...

Agências de fomento como a Wellcome Trust (Reino Unido) já usam dados altmétricos para acompanhar os resultados das pesquisas que financiam (DINSMORE; ALLEN; DOLBY, 2014)

Page 7: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

IMPACTO

CITAÇÕES

Adaptado de http://altmetrics.org/manifesto/

Page 8: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

IMPACTO

USODownloadsVisualizações

REVISÃO POR PARES PÓS-PUBLICAÇÃO

Opinião de especialistas

CITAÇÕES

ALTMETRICSFavoritosConversas

Compartilhamentos

Adaptado de http://altmetrics.org/manifesto/

Page 9: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Alguns Indicadores Altmétricos

• Captura: item salvo/favoritado/curtido• Mendeley, CiteULike, Delicious, Slideshare…

• Compartilhamento: item compartilhado, sem comentários adicionais significativos• Twitter, Facebook, Linkedin, YouTube, Mendeley, posts de blog…

• Revisão: item comentado, discutido, anotado• Faculty of 1000 (F1000), posts de blog, comentários

• Menção/Citação/Reuso• YouTube, posts de blog, notícias, verbetes da Wikipédia…

Page 10: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Vantagens das Métricas Alternativas

• Servem de complemento aos métodos tradicionais de avaliação, mostrando impactos que são invisíveis às métricas tradicionais

• Em geral se acumulam mais rápido que as citações, indicando a *atenção* recebida por um trabalho.

Para bibliotecários: ferramentas auxiliares para desenvolvimento e avaliação de coleções/repositórios; serviços para usuários (“saiba quem está usando a sua pesquisa!”)

Page 11: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Críticas e Desvantagens

• Falta de credibilidade - medida de impacto ou de popularidade?• Medida de *atenção*, que pode ter vários motivos.

• Diversidade e efemeridade• Lembra do Orkut?• Um favorito no Twitter é igual a uma curtida no Facebook?

• Baixa disponibilidade de indicadores

• Possibilidade de manipulação

Page 12: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Ferramentas Para Coletar Dados Altmétricos

• ImpactStory

•PLOS ALM

•Altmetric

•Plum Analytics

Page 13: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

• Sem fins lucrativos, financiada pela National Science Foundation e pela Fundação Alfred P. Sloan.

• Voltada para pesquisadores individuais• Assinatura anual – 60 dólares

• Métricas contextualizadas• Por audiência: academia (ex.: Mendeley, Figshare), público em

geral

• Por tipo de engajamento: visualizações, recomendações, discussões, etc.

http://impactstory.org

Page 14: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

• Inicialmente voltada apenas para artigos publicados em periódicos da PLOS, está disponível para outros editores, instituições e publicações (código aberto)• Adotada pelo Open Journal System (OJS/PKP) => SEER

• Indicadores: uso, citações (acadêmicas ou não), disseminação e social bookmarking, cobertura em blogs e namídia, discussões e classificações• Contextualizados por audiência (público em geral e acadêmico),

dimensão (atenção, autopromoção e impacto), e tempo (curto, médio e longo prazo)

http://article-level-metrics.plos.org

Page 15: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

• Vinculada à Digital Science (Holtzbrinck Publishing Group)

• Voltada para editores e instituições (repositórios)• Adotada por Springer, Elsevier, Nature, SciELO, entre outros.

• Altmetric donut: cores indicam as fontes

• Altmetric score:• Número que resume a atenção recebida por um determinado item

(artigo com DOI/PMID), ponderando quantidade e qualidade.

• 4 categorias de indicadores: mídia social; gerenciadores eletrônicos de referências; jornais e revistas; contagens de downloads (opcional) www.altmetric.com

Page 16: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

• Vinculada à EBSCO.

• Voltada para instituições (universidades, agências de fomento, etc).

• PlumX oferece métricas relacionadas a grupos, pesquisadores, laboratórios, departamentos etc.• Monitora mais de 20 tipos de “artefatos”: artigos, livros, vídeos,

apresentações, trabalhos de conferência, códigos, etc.

• 5 categorias de indicadores: uso, capturas, menções, mídia social, citações (PubMed, Scopus, patentes).

www.plumanalytics.com

Page 17: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

O que já sabemos sobre a Altmetria?

• Artigos das Ciências Humanas e Sociais, que geralmente recebem um volume menor de citações do que os artigos das Exatas e biológicas, são mais mencionados nas mídias sociais (HAUSTEIN; COSTAS; LARIVIÈRE, 2015)

• Número de capturas no Mendeley está correlacionado positivamente com número de citações• Correlação forte p/ medicina, ciências “duras”; moderada p/

ciências sociais e humanas (ver trabalhos do StatisticalCybermetrics Research Group da University of Wolverhampton, Reino Unido - http://cybermetrics.wlv.ac.uk/)

Page 18: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Desenvolvimentos para ficar de olho

• Alternative Metrics Initiative (National InformationStandards Organization – NISO/USA)• Em busca de padrões e/ou melhores práticas em altmetria.

http://www.niso.org/topics/tl/altmetrics_initiative/

• CrossRef’s DOI Event Tracker Pilot• Um ponto central para coleta, armazenamento e propagação de

eventos DOI a partir de várias fontes, para vários públicos http://det.labs.crossref.org/

Page 19: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

E no Brasil?

• Referências básicas:• Altmetria: métricas de produção científica para além das citações

(GOUVEIA, 2013)

• Altmetria: estado da arte (minha dissertação de mestrado / trabalho no ENANCIB 2014)

• Altmetrics: métricas alternativas de impacto científico com base em redes sociais (BARROS, 2015)

• Dados altmétricos já disponíveis nas revistas SciELO (via Altmetric.com) e em periódicos/repositórios baseados em SEER/OJS (via PLOS ALM). PlumX entrando no mercado.

Page 20: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

E no Brasil? Estudos empíricos

• Geographic variation in social media metrics: an analysis of Latin American journal articles (ALPERIN, 2015)

• Análise altmétrica de artigos scielo.br de 2013 - 5.319 (25.09%) artigos com pelo menos uma menção; destaque para Mendeley(3.986 / 18.80%), Twitter (1.286 / 6.03%), Facebook (596 / 2.81%).

• Does the Global South have altmetrics? Analyzing a Brazilian LIS journal (ARAÚJO; MURAKAMI; LARA; FAUSTO, 2015)

• Análise altmétrica do DataGramaZero, usando APIs de Facebook e Twitter – de 441 artigos (1999-2014), 211 com pelo menos umamenção.

• 1.164 menções no total – Twitter (15.72%); Facebook: 84.28%.

Page 21: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Desafios

• Potencial pouco explorado: foco dos estudos ainda permanece no artigo científico e na correlação entre altmetria e citações

• Mais pesquisas (e dados!) são necessárias para aprofundar a compreensão teórica e prática sobre o tema e identificar as particularidades da altmetria em diferentes contextos disciplinares, geográficos, linguísticos, etc.

Muito trabalho pela frente! E somos parte disto também...

Page 22: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Obrigada!

Contato: [email protected]

Twitter: @iaravps

http://iaravps.wordpress.com

Page 23: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

ReferênciasALPERIN, J. P. Geographic variation in social media metrics: an analysis of Latin American journalarticles. Aslib Journal of Information Management, v. 67, n. 3, 2015.

ARAÚJO, R. F. de et al. Does the Global South have altmetrics? Analyzing a Brazilian LIS journal. INTERNATIONAL CONFERENCE ON SCIENTOMETRICS AND INFORMETRICS, 15th, 2015, Istambul. Disponível em: https://www.researchgate.net/publication/279443581_Does_the_Global_South_have_altmetrics_Analyzing_a_Brazilian_LIS_journal. Acesso em: 4 jul. 2015.

BARROS, M. A. de. Altmetrics: métricas alternativas de impacto científico com base em redes sociais. Perspectivas em Ciência da Informação, v. 20, n. 2, 2015 . Disponível em: http://portaldeperiodicos.eci.ufmg.br/index.php/pci/article/view/1782. Acesso em: 20 jul. 2015.

DINSMORE, A.; ALLEN, L.; DOLBY, K. Alternative perspectives on impact: the potential of ALMs and altmetrics to inform funders about research impact. PLoS Biol, v. 12, n. 11, 2014. Disponível em: http://journals.plos.org/plosbiology/article?id=10.1371/journal.pbio.1002003. Acesso em: 23 jun. 2015.

GOUVEIA, F. C. Altmetria: métricas de produção científica para além das citações. Liinc em Revista, v. 9, n. 1, 2013. Disponível em: http://revista.ibict.br/liinc/index.php/liinc/article/view/569. Acesso em: 23 jun. 2015.

Page 24: Cenário Atual das Métricas Alternativas e os Impactos da Produção Científica - CBBD 2015

Referências

HAUSTEIN, S.; COSTAS, R.; LARIVIÈRE, V. Characterizing social media metrics of scholarly papers: the effect of document properties and collaboration patterns. PLoS ONE, v. 10, n. 3, 2015. Disponível em: http://journals.plos.org/plosone/article?id=10.1371/journal.pone.0120495. Acesso em: 23 jun. 2015.

PRIEM, J. et al. Altmetrics: a manifesto. 2010. Disponível em: http://altmetrics.org/manifesto. Acesso em: 23 jun. 2015.

SOUZA, I. V. P. de. Altmetria: estado da arte. In: ENCONTRO NACIONAL DE PESQUISA EM CIÊNCIA DA INFORMAÇÃO, 15., 2014, Belo Horizonte. Anais eletrônicos... Belo Horizonte: UFMG, 2014. Disponível em: http://enancib2014.eci.ufmg.br/documentos/anais/anais-gt7. Acesso em: 23 jun. 2015.

______. Altmetria: métricas alternativas do impacto da comunicação científica. 2014. Dissertação (Mestrado)–Programa de Pós-Graduação em Ciência da Informação, Universidade Federal Fluminense, Niterói, 2014. Disponível em: http://dx.doi.org/10.6084/m9.figshare.1059176. Acesso em: 23 jun. 2015.