Oficina Métricas Alternativas
Iara Vidal & Andréa do Nascimento Participação Prof. Dra. Nanci Oddone
Programa de Pós-Graduação em Biblioteconomia/UNIRIO
Seminário Internacional “Ciência Aberta, Questões Abertas” 18 a 22 de agosto de 2014, Rio de Janeiro, Brasil
Andréa do Nascimento
Agenda
• Altmetrics
• Categorias
• Ferramentas
– ImpactStory
– Altmetric.com
Altmetrics/Altmetria
Métricas baseadas na Web Social para analisar e informar atividades acadêmicas
• O ciclo de pesquisa não termina com a publicação, mas com o compartilhamento
• Altmetrics permitem que o pesquisador veja onde seu trabalho está sendo visualizado, compartilhado e discutido na web
Origens da Altmetria
Origem do termo
• Altmetrics: a manifesto / Jason Priem, Dario Taraborelli, Paul Groth, Cameron Neylon (2010)
• Uma solução para a crise dos filtros da ciência – revisão por pares, contagem de citações, fator de impacto de periódicos
Caminhos Alternativos
• Métricas Alternativas: compartilhamentos, etiquetas/tags, anotações, comentários...
• Produtos Alternativos: blogs, dados brutos, literatura cinzenta, software...
• Públicos Alternativos: organizações, médicos, pacientes, educadores, estudantes, cientistas amadores...
• Pesquisadores Alternativos (ALPERIN, 2013): os que estão fora da “elite” científica
Múltiplas Dimensões
IMPACTO
USO Downloads Visualizações
REVISÃO POR PARES Opinião de especialistas
CITAÇÕES ALTMETRICS
Favoritos Conversas
Compartilhamentos
Adaptado de altmetrics.org
Vantagens da Altmetria
• Complemento aos métodos tradicionais de avaliação (San Francisco Declaration on Research Assessment – DORA, 2012)
• Diversidade: métricas diversas, produtos diversos, capturando múltiplas dimensões do impacto científico
• Velocidade: Apuração quase imediata da atenção recebida por um trabalho científico
Desvantagens da Altmetria
• Possibilidade de manipulação
• Falta de credibilidade: medida de impacto ou de popularidade?
• Heterogeneidade e efemeridade das fontes e indicadores altmétricos
Contextualizar é indispensável!
Categorias
Journal-level metrics • Fator de impacto • Eigenfactor • SJR e SNIP
Author-level metrics • H-Index
Article-level metrics • Análise tradicional de citações • Novas maneiras de medir impacto/atenção = altmetrics
Medidas de impacto
Extraído de TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.
Article-Level Metrics (ALMs)
• ALM é muitas vezes confundido com Altmetrics
• ALM tenta medir o impacto de um artigo usando fontes de dados tradicionais e alternativas
• Incorporar fontes de dados emergentes (alternativas) fornece uma imagem mais rica sobre como esse artigo está sendo discutido, compartilhado e usado
ALMs vs. Altmetrics
Altmetrics Dados
tradicionais ALMs
ALMs = tentativa de
medir impacto no nível do
artigo
Altmetrics = fontes de
dados, não é nível de
agregação
Altmetrics
Citações
Tweets; Leitores no Mendeley; Menções na Wikipédia, na mídia (...)
Reuso de software Citação de dados (...) Adaptado de Ian Mulvany
(Flickr)
Métricas de Artigo (ALM)
Métricas Alternativas
Tipos de dados
Extraído de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013.
Dado Descrição Exemplos
Shares / Mentions Post público para compartilhar notícias de um artigo ou resultado de pesquisa
Twitter, Topsy, Facebook, reddit, artigos de notícias, blog posts, Google+, YouTube, Figshare, Mendeley
Saves / Captures Salvo em um site de bookmark social ou marcado como favorito em um site de mídia social ou gestor de referência
Mendeley, CiteULike, Delicious, Github, Twitter, and Slideshare
Reviews / Social Media Discutido com inclusão de um comentário adicional
Faculty of 1000 (F1000), blog posts, comentários de artigos, comentários no Facebook
Adaptations Criação de trabalhos derviados usando um artigo ou outro resultado de pesquisa
Github
Views / Usage Downloads ou views em web services e sites de mídia social
Figshare, Slideshare, Dryad, Facebook, YouTube, LinkedIn
Cites Citações em literatura acadêmica Pubmed, Scopus, Web of Science
Adaptado de: KONKIEL, S. Altmetrics: A 21st-Century Solution to Determining Research Quality. Online searcher, v. 37, n. 4, p. 10-15, 2013; e TANAMBAUM, G. Article-Level metrics: a SPARC primer. 2013.
Editores e Altmetrics
Editores firmam parcerias para incluir altmetrics em seus artigos online:
• Elsevier • BioMed Central • Nature • Springer • PLOS • Emerald • Wiley • EBSCO • High Wire Press
Ferramentas
• Altmetric Explorer
• ImpactStory
• Plum Analytics
• PLOS ALM
E ainda...
• Kudos
• ScienceCard
• ReaderMeter
• PeerEvaluation
• Research Scorecard
• Altmetric.com rastreia menções de artigos científicos em sites de mídia social, jornais, blogs e outras fontes, e registra a resposta online a esses artigos
• Empresa com fins de lucro
• Adotada por diversos editores, bases de dados e periódicos
• Altmetric score indica a atenção recebida por um determinado item, ponderando quantidade e “qualidade” da menção
• Três fatores principais: número de menções, onde foi feita a menção e frequência de menções do autor
• ImpactStory é uma ferramenta na nuvem, de código aberto, que permite aos pesquisadores descobrir e compartilhar os diversos impactos de seus produtos de pesquisa, de artigos a posts em blogs, datasets, e software, entre outros.
• Voltada para pesquisadores, permite importação de registros de outros sites e inserção manual de identificadores de artigo/autor.
• Assinatura mensal (US$10) ou anual (US$60)
• Métricas abertas e contextualizadas
• classificadas por audiência e por tipo de engajamento – citações, recomendações, discussões, etc.
• Plum Analytics permite que instituições acompanhem a influência de seus pesquisadores, usando altmetrics para rastrear mais de 20 diferentes tipos de 'artefatos', incluindo artigos de periódicos, livros, vídeos, apresentações, trabalhos de conferência, códigos, casos, e mais.
• Vendido a universidades e institutos de pesquisa como um meio de aferir a produtividade de departamentos e grupos
• Disponível por assinatura. Adquirido pela EBSCO em 2014.
• Inclui métricas relacionadas a produtos, grupos, pesquisadores, laboratórios, departamentos etc
• Article Level Metrics disponível para todos os artigos
publicados na PLOS. Rastreia uso, citações e atividade social na web.
• Inclui visualizações em HTML, downloads de PDFs e XML, uso no PubMed Central, citações em bases de dados e mecanismos de busca externos (incluindo Google Scholar e Scopus), Facebook, Twitter, blogs, e comentários no próprio site.
• Monitora a influência dos artigos a curto, médio e longo prazo
• Indicadores: estatísticas de uso, compartilhamentos sociais, bookmarks acadêmicos, citações acadêmicas ou não
• Audiências: público em geral e acadêmico
• Dimensões: atenção, autopromoção e impacto
• Adotada também por outros editores, instituições e publicações (ex: OJS/PKP)
• API permite usar e melhor desenvolver a ferramenta de ALM construída pela PLOS.
Prática
Prática
Artigo sobre os impactos ecológicos do acidente nuclear em Fukushima.
• > 1,859 twitter compartilharam, total combinado de seguidores 2.5M.
• 68% dos tweets enviados do Japão.
• 77% dos tweets de membros
do público.
2012, Scientific Reports 2, 570 Figure 1
Métricas vs. Evidência de impacto
Exemplo: artigo de autores da USP
Altmetrics score
Volume
Autor Fonte
Number = score Blue = Twitter Yellow = blogs Red = news
• Maioria dos artigos tem score 0
• Média de 30-40% de artigos de publicação mencionados pelo menos uma vez
• Dados incompletos para artigos publicados antes de julho de 2011
• Explorer app
• Bookmarklet
• Badges
• Widget
Altmetrics score
OBRIGADA!
Iara Vidal - @iaravps / [email protected] Andréa do Nascimento - @deiafix / [email protected]
Prof. Dra. Nanci Oddone – [email protected]
Seminário Internacional “Ciência Aberta, Questões Abertas” 18 a 22 de agosto de 2014, Rio de Janeiro, Brasil