Oficina Métricas Alternativas

Iara Vidal & Andréa do Nascimento Participação Prof. Dra. Nanci Oddone

Programa de Pós-Graduação em Biblioteconomia/UNIRIO

Seminário Internacional “Ciência Aberta, Questões Abertas” 18 a 22 de agosto de 2014, Rio de Janeiro, Brasil

Andréa do Nascimento

Agenda

• Altmetrics

• Categorias

• Ferramentas

– ImpactStory

– Altmetric.com

Altmetrics/Altmetria

Métricas baseadas na Web Social para analisar e informar atividades acadêmicas

• O ciclo de pesquisa não termina com a publicação, mas com o compartilhamento

• Altmetrics permitem que o pesquisador veja onde seu trabalho está sendo visualizado, compartilhado e discutido na web

Origens da Altmetria

Origem do termo

• Altmetrics: a manifesto / Jason Priem, Dario Taraborelli, Paul Groth, Cameron Neylon (2010)

• Uma solução para a crise dos filtros da ciência – revisão por pares, contagem de citações, fator de impacto de periódicos

Caminhos Alternativos

• Métricas Alternativas: compartilhamentos, etiquetas/tags, anotações, comentários...

• Produtos Alternativos: blogs, dados brutos, literatura cinzenta, software...

• Públicos Alternativos: organizações, médicos, pacientes, educadores, estudantes, cientistas amadores...

• Pesquisadores Alternativos (ALPERIN, 2013): os que estão fora da “elite” científica

Múltiplas Dimensões

IMPACTO

USO Downloads Visualizações

REVISÃO POR PARES Opinião de especialistas

CITAÇÕES ALTMETRICS

Favoritos Conversas

Compartilhamentos

Adaptado de altmetrics.org

Vantagens da Altmetria

• Complemento aos métodos tradicionais de avaliação (San Francisco Declaration on Research Assessment – DORA, 2012)

• Diversidade: métricas diversas, produtos diversos, capturando múltiplas dimensões do impacto científico

• Velocidade: Apuração quase imediata da atenção recebida por um trabalho científico

Desvantagens da Altmetria

• Possibilidade de manipulação

• Falta de credibilidade: medida de impacto ou de popularidade?

• Heterogeneidade e efemeridade das fontes e indicadores altmétricos

Contextualizar é indispensável!

Categorias

Journal-level metrics • Fator de impacto • Eigenfactor • SJR e SNIP

Author-level metrics • H-Index

Article-level metrics • Análise tradicional de citações • Novas maneiras de medir impacto/atenção = altmetrics

Medidas de impacto

Extraído de TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.

Article-Level Metrics (ALMs)

• ALM é muitas vezes confundido com Altmetrics

• ALM tenta medir o impacto de um artigo usando fontes de dados tradicionais e alternativas

• Incorporar fontes de dados emergentes (alternativas) fornece uma imagem mais rica sobre como esse artigo está sendo discutido, compartilhado e usado

ALMs vs. Altmetrics

Altmetrics Dados

tradicionais ALMs

ALMs = tentativa de

medir impacto no nível do

artigo

Altmetrics = fontes de

dados, não é nível de

agregação

Altmetrics

Citações

Tweets; Leitores no Mendeley; Menções na Wikipédia, na mídia (...)

Reuso de software Citação de dados (...) Adaptado de Ian Mulvany

(Flickr)

Métricas de Artigo (ALM)

Métricas Alternativas

Tipos de dados

Extraído de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013.

Dado Descrição Exemplos

Shares / Mentions Post público para compartilhar notícias de um artigo ou resultado de pesquisa

Twitter, Topsy, Facebook, reddit, artigos de notícias, blog posts, Google+, YouTube, Figshare, Mendeley

Saves / Captures Salvo em um site de bookmark social ou marcado como favorito em um site de mídia social ou gestor de referência

Mendeley, CiteULike, Delicious, Github, Twitter, and Slideshare

Reviews / Social Media Discutido com inclusão de um comentário adicional

Faculty of 1000 (F1000), blog posts, comentários de artigos, comentários no Facebook

Adaptations Criação de trabalhos derviados usando um artigo ou outro resultado de pesquisa

Github

Views / Usage Downloads ou views em web services e sites de mídia social

Figshare, Slideshare, Dryad, Facebook, YouTube, LinkedIn

Cites Citações em literatura acadêmica Pubmed, Scopus, Web of Science

Adaptado de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013; e TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.

Editores e Altmetrics

Editores firmam parcerias para incluir altmetrics em seus artigos online:

• Elsevier • BioMed Central • Nature • Springer • PLOS • Emerald • Wiley • EBSCO • High Wire Press

Ferramentas

• Altmetric Explorer

• ImpactStory

• Plum Analytics

• PLOS ALM

E ainda...

• Kudos

• ScienceCard

• ReaderMeter

• PeerEvaluation

• Research Scorecard

• Altmetric.com rastreia menções de artigos científicos em sites de mídia social, jornais, blogs e outras fontes, e registra a resposta online a esses artigos

• Empresa com fins de lucro

• Adotada por diversos editores, bases de dados e periódicos

• Altmetric score indica a atenção recebida por um determinado item, ponderando quantidade e “qualidade” da menção

• Três fatores principais: número de menções, onde foi feita a menção e frequência de menções do autor

• ImpactStory é uma ferramenta na nuvem, de código aberto, que permite aos pesquisadores descobrir e compartilhar os diversos impactos de seus produtos de pesquisa, de artigos a posts em blogs, datasets, e software, entre outros.

• Voltada para pesquisadores, permite importação de registros de outros sites e inserção manual de identificadores de artigo/autor.

• Assinatura mensal (US$10) ou anual (US$60)

• Métricas abertas e contextualizadas

• classificadas por audiência e por tipo de engajamento – citações, recomendações, discussões, etc.

• Plum Analytics permite que instituições acompanhem a influência de seus pesquisadores, usando altmetrics para rastrear mais de 20 diferentes tipos de 'artefatos', incluindo artigos de periódicos, livros, vídeos, apresentações, trabalhos de conferência, códigos, casos, e mais.

• Vendido a universidades e institutos de pesquisa como um meio de aferir a produtividade de departamentos e grupos

• Disponível por assinatura. Adquirido pela EBSCO em 2014.

• Inclui métricas relacionadas a produtos, grupos, pesquisadores, laboratórios, departamentos etc

• Article Level Metrics disponível para todos os artigos

publicados na PLOS. Rastreia uso, citações e atividade social na web.

• Inclui visualizações em HTML, downloads de PDFs e XML, uso no PubMed Central, citações em bases de dados e mecanismos de busca externos (incluindo Google Scholar e Scopus), Facebook, Twitter, blogs, e comentários no próprio site.

• Monitora a influência dos artigos a curto, médio e longo prazo

• Indicadores: estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos, citações acadêmicas ou não

• Audiências: público em geral e acadêmico

• Dimensões: atenção, autopromoção e impacto

• Adotada também por outros editores, instituições e publicações (ex: OJS/PKP)

• API permite usar e melhor desenvolver a ferramenta de ALM construída pela PLOS.

Prática

Prática

Artigo sobre os impactos ecológicos do acidente nuclear em Fukushima.

• > 1,859 twitter compartilharam, total combinado de seguidores 2.5M.

• 68% dos tweets enviados do Japão.

• 77% dos tweets de membros

do público.

2012, Scientific Reports 2, 570 Figure 1

Métricas vs. Evidência de impacto

Exemplo: artigo de autores da USP

Altmetrics score

Volume

Autor Fonte

Number = score Blue = Twitter Yellow = blogs Red = news

• Maioria dos artigos tem score 0

• Média de 30-40% de artigos de publicação mencionados pelo menos uma vez

• Dados incompletos para artigos publicados antes de julho de 2011

• Explorer app

• Bookmarklet

• Badges

• Widget

Altmetrics score

OBRIGADA!

Iara Vidal - @iaravps / iaravidalps@gmail.com Andréa do Nascimento - @deiafix / aandreafg@gmail.com

Prof. Dra. Nanci Oddone – neoddone@gmail.com

Seminário Internacional “Ciência Aberta, Questões Abertas” 18 a 22 de agosto de 2014, Rio de Janeiro, Brasil