Qualidade, recuperação, visibilidade e acesso à informação científica: conceitos, ferramentas e indicadoresLetí

cia

Strehl

Sumário0 Qualidade, recuperação, visibilidade e acesso à

informação científica 0 Conceitos0 Ferramentas

0Recuperação: 0 Cobertura das bases de dados0 Recursos de indexação

0 Implicações na revisão da literatura e na elaboração de artigos

0Visibilidade0 Acesso aberto0 Preenchimento correto do Lattes0 Identificadores digitais para nomes de autores0 Identificação precisa da afiliação institucional0 Perfis de autores e redes sociais

0 Indicadores0 Fator de impacto, SJR, SNIP, Qualis CAPES, Índice H e Altmetrias

ConceitosQualidade,

recuperaçã

o,

visibilida

de

e acesso

à

informação

científica

Qualidade da informação científica

0 A medida que a publicação contribui para o avanço do conhecimento científico em certo campo de pesquisa0 Preenche uma lacuna de conhecimento do campo0 Descobre uma lacuna de conhecimento do campo

Qualidade: as contribuições podem ser de naturezas diversas

Teórica

Técnica

Empírica

Metodológica

1ª instância de avaliação da qualidade:

A avaliação por pares0 A qualidade de uma publicação está

diretamente relacionada com o rigor aplicado na avaliação por pares0 Editores-chefe competentes e de prestígio0 Revisores ad-hoc experientes nas

temáticas tratadas pela publicação0 Publicações notórias pelo rigor na

avaliação, não apenas da originalidade da contribuição, como da qualidade do texto:

J Bohannon Science 2013;342:60-65

J Bohannon Science 2013;342:60-65

LIST OF PUBLISHERSBeall’s List:http://scholarlyoa.com/publishers/

2ª instância de avaliação da qualidade:

A citação nas publicações subsequentes

0 Premissas:0 Todo resultado de pesquisa precisa ser

comunicado (=publicado)0 Todavia, “Publish or Perish” is not enough0 A contribuição relevante não é apenas

publicada, mas é lida e utilizada por outros

cientistas, é, enfim, citada.

http://blogs.bmj.com/bmj-journals-development-blog/category/authors/

http://howtopublishinjournals.com/

http://www.wu.ece.ufl.edu/papers/publishORperish/publishORperish.htm

Ética científica

0 No momento da submissão do artigos:0 Autores declaram a

responsabilidade intelectual de cada um dos autores

A conhecida metáfora do Iceberg para pensar essas três dimensões da produção científica : qualidade, recuperação e visibilidade.

#iceberg1

Diferentemente de tempos anteriores, na Era Google, pode-se dizer, grosso modo: tudo é recuperável!

#iceberg2

Recuperável, mas, não necessariamente, visível!

#iceberg3

Qualidade versus visibilidade

Qualidade versus visibilidade

Milhõooooooes de documentos:Quantas páginas você percorre?

FerramentasQualidade,

recuperaçã

o,

visibilida

de

e acesso

à

informação

científica

Ferramentas de RECUPERAÇÃO da informação científica

http://static.guim.co.uk/sys-images/Guardian/Pix/pictures/2012/9/25/1348577593474/Data-Base-sculpture.-Word-008.jpg

Alguns componentes básicos de um sistema de recuperação da informação

0 Cobertura0 Critério de seleção

0Seletivo0Exaustivo

0 Abrangência temática0Multidisciplinar0Especializada

0 Recursos de indexação 0 Referências0 Terminologia por controle de vocabulário

Duas formas de identificar documentos tematicamente relacionados

0 Adoção de terminologia semelhante

0 Citação de referências comuns

Ferramentas de RECUPERAÇÃO

Mais importantes

Exemplos

Um artigo, duas bases de dados:Web of Science

Um artigo, duas bases de dados:Pubmed

Questionamentos obrigatórios sobre a recuperação da informação0 1º Momento: quando você revisa a literatura

0 Estou olhando a base de dados adequada para os temas e tipos de documentos que procuro?

0 Estou utilizando os termos adequados para expressar meu tópico de pesquisa quando busco a informação?

0 Estou explorando os recursos de recuperação para localizar documentos com referências comuns e citações aos artigos que considero importantes?

Questionamentos obrigatórios sobre a recuperação da informação0 2º Momento: quando você escreve seu artigo

0 Estou escrevendo o título, o resumo e as palavras-chave com os termos mais significativos do meu tema de pesquisa ?

0 Estou contemplando possíveis variações terminológicas para os conceitos tratados?

0 3º Momento: quando você submete seu artigo0 Estou submetendo meu manuscrito para uma revista coberta

pelas bases de dados importantes para a minha área?0 A revista em questão é lida pela comunidade que pretendo

atingir?

Ferramentas de VISIBILIDADE da informação científica

http://www.onque.com.au/insights/wp-content/uploads/2013/01/facebook-graph-search.jpg

Acesso aberto

Acesso aberto como ferramenta de visibilidade

Opções de acesso abertoTaxa de Acesso

Aberto no momento da publicação

Política de auto-arquivamento

Informações sobre política de auto-arquivamento

Os dois lados do acesso aberto:quando você disponibiliza sua pesquisa em acesso

aberto

Artigos escritos por ou em colaboração com docentes ou técnico-administrativos da UFRGS

***************************Depósito na Biblioteca da respectiva Unidade

Os dois lados do acesso aberto:Quando você busca um artigo

Evidências do acesso aberto sobre o impacto do artigos

MIGUEL, S.; CHINCHILLA-RODRIGUEZ, Z.; DE MOYA-ANEGÓN, F. Open access and Scopus: A new approach to scientific visibility from the standpoint of access. Journal of the American Society for Information Science and Technology, v. 62, n. 6, p. 1130–1145, 11 jun. 2011.

Preenchimento correto do seu Lattes

Lattes, DOI e Indicadores de produçãoPreenchimento

Identificadores digitais

Ferramentas de VISIBILIDADE/Recuperação(1)

Ao invés disso, umnúmero:0000-0001-9723-9576

Variações do nome do autor

Identificadores digitais de autores em diferentes bases de dados

Integrados com a

ORCID (Open Reseacher & Contributor ID)

www.orcid.org

Vinculado à Scopus e ao Researcher ID

Integração com diversas bases de dados

Apresenta lista de publicações e classifica por data, tipo e título.

Código numérico não proprietário

ORCID (perfil)

Publicações

Dados do autor

ORCID (cadastro)

Researcher ID

www.researcherid.com

Vinculado ao ORCID

Integração somente com Web of Science e

Endnote

Acompanha citações e índice H

Código numérico proprietário

Identifica colaboradores

Researcher ID (perfil)

Dados do autor

Publicações

Métricas

Colaboraçõese citações

Researcher ID (métricas)

Researcher ID (colaborações)

Autores

Apresenta o nome dos

colaboradores mais frequentes.

Researched ID (colaborações)

Áreas de classificação

Apresenta as áreas de

classificação dos periódicos em que o autor publicou.

Researched ID (colaborações)

Locais

Apresenta os países de

afiliação dos colaboradores

mais frequentes

Researched ID (colaborações)

Instituições

Apresenta as instituições de afiliação dos

colaboradores mais frequentes

Researched ID (colaborações)

Apresenta no mapa os países de afiliação dos pesquisadores colaboradores

Ao clicar sobre a letra apresenta

dados da publicação realizada em

colaboração com pesquisadores

daquela localidade.

Researcher ID (citações)

Autores

Apresenta oo nome dos

pesquisadoresque mais

frequentemente citaram o autor

Researcher ID (citações)

Áreas de publicação

Apresenta as áreas de classificação

dos periódicos em que o pesquisador

foi citado.

Researcher ID (citações)

Países

Apresenta os países de afiliação dos pesquisadores

que mais frequentemente citaram o autor

Researcher ID (citações)Instituições

Apresenta as instituições de afiliação dos

pesquisadores que mais

frequentemente citaram o autor

Researcher ID (citações)

Apresenta no mapa os países de afiliação dos

pesquisadores que citaram

publicações do autor

Researcher ID (citações)Anos

Apresenta os anos com maior

frequência de citações

Researcher ID (cadastro)

Para fazer um novo cadastro: Clique no Item “Join Now It´s

Free”

Se já possui login na Web of Science e

Endnote utilize aqui o mesmo

login

Na linha da precisa identificação:

cuidado com seus dados de afiliação

Você quer atuar numa instituição que já produziu...

... 9.264 artigos científicos?

... 12.755 artigos científicos?

... 20.605 artigos científicos?

... 33.870 artigos científicos?

33.870 artigos científicos

... quando um pesquisador busca pelo nome de nossa Universidade,

Produção científica do Hospital de Clínicas indexada na Scopus, mas não é

informada como produção da UFRGS

Redes Sociais

Ferramentas de VISIBILIDADE/Recuperação(2)

E as redes sociais:

Research GateAcademia eduLinked InSlideshareFacebookTwitter

IndicadoresQualidade,

recuperaçã

o,

visibilida

de

e acesso

à

informação

científica

Indicadores:

tipos e níveis de abrangência

0 Indicadores bibliométricos0 De impacto (número de citações por artigo):

Fator de Impacto, SJR, SNIP0 De produtividade e impacto: Índice H

0 Indicadores webométricos0 Número de acessos e downloads0 Altmetrias (impacto nas redes sociais)

Periódico

Autores

Artigos

Todavia, todos esses indicadores criados, originalmente, para medir padrões de comunicação científica nos níveis acima destacados, são aplicáveis em diferentes contextos: países, instituições, departamentos, áreas, PPGs, etc.

Indicadores de impactoMédia de citações por artigo de um periódico: fórmulas

variadas, cada qual com sua fonte de dadosFI

SJRSNIP

Os dados e os indicadores:

Fator de impactoSCI E SSCI NA WEB OF

SCIENCE

JOURNAL CITATION REPORTS

Acesso via:Acesso via:

Os dados e os indicadoresSJR

Scopus Scimago

Acesso via: Acesso livre!

Os dados e os indicadoresSNIP

Scopus CWTS Journal Indicators

Acesso via: Acesso livre!

Os dados e os indicadoresSNIP

ScopusJournal Metrics :

SNIP, SJR e IPP

Acesso via: Acesso livre!

Indicadoresnão normalizadospor área:valores obtidospara publicaçõesde áreas diversasnão podem sercomparados!

Indicadornormalizadopor área:comparação permitida!

Pelo menos dois fatores contribuem para as diferenças nos índices de impacto não

normalizados

0 Oncologia0 Densidade dos artigos

0 Idade das citações

0 Matemática0 Densidade dos artigos

0 Idade das citações

Comparação entre dois periódicos de mais alto impacto de áreas diversas

Periódico Área FI SJR SNIP

Ca-A Cancer Journal for Clinicians Oncologia 153,459 29,85 52,92

Journal of the American Mathematical Society

Matemática 3,567 7,23 4,69

43x 4x 11x

Essa é uma diferença comparável segundo o CWTS

O Qualis CAPES para “periódico”

Avaliação da produção científica na pós-graduação

O Qualis CAPES para “periódico”

0 É o conjunto de procedimentos utilizados pela Capes para estratificação da qualidade da produção intelectual dos programas de pós-graduação.

0 O Qualis afere a qualidade [sic] de um artigo pela qualidade [sic] do periódico científico que o publicou.

0 A classificação de periódicos é realizada pelas áreas de avaliação e passa por processo anual de atualização.

0 Os periódicos são enquadrados em estratos indicativos da qualidade [sic] - A1, o mais elevado; A2; B1; B2; B3; B4; B5; C - com peso zero.

0 Um mesmo periódico, ao ser classificado em duas ou mais áreas distintas, pode receber diferentes avaliações.

0 O aplicativo que permite a classificação e consulta ao Qualis é o WebQualis.

Informações sobre a

avaliação na página da

CAPES

Critérios de classificação dos

periódicos

Enquadramentode cada

periódico por área

Critérios e enquadramento em estratos

Critérios Qualis Classificação

Algumas áreas associam os estratos do Qualis aos valores de outros indicadores

Outras áreas associam os estratos do Qualis à indexação do periódico em bases de dados

específicas

O produto de aplicação dos critérios é uma lista de periódicos por estrato para cada área

O uso do FI para definição do Qualis dos periódicos nas áreas “Medicina” de 1 a 3 na CAPES

EstratosFaixas de FI por área de avaliação

Medicina I Medicina II Medicina III

A1 >3,8 >3,8 >2,96

A2 Entre 3,799 e 2,5 Entre 3,8 e 2,36 Entre 2,29 e 2, 96

B1 Entre 2,499 e 1,3 Entre 2,36 e 1,1 Entre 1,35 e 2,28

B2 Entre 1,299 e 0,001 Entre 1,1 e 0,11 Entre 0, 1 e 1,34

B3 <0,11

Fonte: Documentos de Área disponível na página da CAPES em: http://www.capes.gov.br/avaliacao/areas-paginas

Os diferentes padrões de FI das subáreas de uma mesma área de avaliação

Subárea da medicina Áreas do JCR Mediana do FI FI Agregado Meia-Vida

Agregada

CANCEROLOGIA ONCOLOGY 2,455 4,604 5,7

CARDIOLOGIA

CARDIAC & CARDIOVASCULAR SYSTEMS 1,993 3,769 6,3

DERMATOLOGIA DERMATOLOGY 1,667 2,253 7,5

ENDOCRINOLOGIAENDOCRINOLOGY & METABOLISM 2,796 4,072 6,6

GASTROENTEROLOGIA

GASTROENTEROLOGY & HEPATOLOGY 2,210 3,606 6

MEDICINA LEGAL E DEONTOLOGIA MEDICINE, LEGAL 1,159 1,605 6,6

PNEUMOLOGIA RESPIRATORY SYSTEM 2,272 3,403 6,9

Medicina I

Os diferentes padrões de FI das subáreas de uma mesma área de avaliação

Medicina II

Subárea da medicina Áreas do JCR Mediana do FI

FI Agregado

Meia-Vida Agregada

ALERGOLOGIA E IMUNOLOGIA CLÍNICA ALLERGY 1,985 3,623 6ANATOMIA PATOLÓGICA E PATOLOGIA CLÍNICA ANATOMY & MORPHOLOGY 1,471 1,689 8,5DOENÇAS INFECCIOSAS E PARASITÁRIAS INFECTIOUS DISEASES 2,594 3,79 6

HEMATOLOGIA HEMATOLOGY 2,747 5,173 6,4

NEUROLOGIA CLINICAL NEUROLOGY 1,994 3,006 7

PEDIATRIA PEDIATRICS 1,314 1,858 7,1

PSIQUIATRIA PSYCHIATRY 2,011 3,248 7,3

RADIOLOGIA MÉDICARADIOLOGY, NUCLEAR MEDICINE & MEDICAL IMAGING 1,861 2,832 6,7

REUMATOLOGIA RHEUMATOLOGY 2,594 3,851 5,9

Os diferentes padrões de FI das subáreas de uma mesma área de avaliação

Subárea da medicina Áreas do JCR

Mediana do FI FI Agregado

Meia-Vida Agregada

ANESTESIOLOGIA ANESTHESIOLOGY 2,176 2,764 7,5

CIRURGIA SURGERY 1,263 2,105 7,6GINECOLOGIA E OBSTETRÍCIA

OBSTETRICS & GYNECOLOGY 1,616 2,182 6,8

OFTALMOLOGIA OPHTHALMOLOGY 1,362 2,204 7,5

ORTOPEDIA ORTHOPEDICS 1,164 1,875 8,4

CIRURGIA SURGERY 1,263 2,105 7,6

Medicina III

Motivos do sucesso do FI como critério de avaliação da produção científica

0 Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais

0

0 Facilidade de compreensão0 “Robustez” (pequena variação de um ano para outro)0 Rápida disponibilidade

Fonte: GLÄNZEL, W.; MOED, H. F. Journal impact measures in bibliometric research. Scientometrics, v. 53, n.2, p.171-193, 2002.

Motivos do sucesso do FI como critério de avaliação da produção científica

0 Dificuldades relacionadas com o levantamento de dados de citações a trabalhos individuais

0

0 Facilidade de compreensão0 “Robustez” (pequena variação de um ano para outro)0 Rápida disponibilidade

Tópico polêmico: O Fator de Impacto realmente revela algo sobre o impacto dos artigos?

SILVA, Mauricio Rocha e. E. As certezas e incertezas do Fator de Impacto. Como o periódico Clinics se move nos meandros das citações. In: Seminário de Avaliação do Desempenho dos Periódicos Brasileiros no JCR . São Paulo, 2011.

Além disso, hoje, existem recursos que facilitam a coleta dos dados sobre as citações aos

trabalhos individualmente

A Plataforma Lattes é um

exemplo

Corruptela do FI do periódico:o FI do autor

0 Divide-se o número de citações recebidas por um dado autor pelo número de artigos que ele publicou

0 Sabidamente é um índice que não funciona, o tamanho da amostragem dos dados não é suficiente para eliminar possíveis distorções

Indicadores de produção & impacto: Índice H

Relação entre o número de trabalhos que o pesquisador publica e o número de citações que

recebe1 fórmula, várias fontes de dados

O que é o índice H

h é o número de artigos publicados por um

pesquisador que obtenham um total de citações

igual ou superior a h

Fonte: HIRSCH, J.E. An index to quantify an individual's scientific research output. Proceedings of the NationalAcademy of Sciences of the United States of America, v. 102, n.46, p. 16569-16572, Nov. 2005.

Exemplo de índice H: Stephen Hawking

Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 74, ou seja, ele já publicou 74 trabalhos que receberam pelo menos 74 citações.

índice H calculado na

Exemplo de índice H: Stephen Hawking

Stephen Hawking, autor de "Uma Breve História do Tempo": seu h é 74, ou seja, ele já publicou 74 trabalhos que receberam pelo menos 74 citações.

Fator de impacto e Índice H

O que medem os diferentes indicadores?

LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.

Impacto

Produção

O SJR e o FI podem ser considerados equivalentes?

LEYDESDORFF, L. How are New Citation-Based Journal Indicators Adding to the Bibliometric Toolbox? Journal of the American Society for Information Science and Technology, v. 60, n. 7, p. 1327-1336, July 2009.

Sim!

Indicadores altmétricosImpacto nas redes sociais de um artigo

Impacto nas redes sociais: indicador comparável aos demais ?

O Donut da Altmetric é o indicador mais popular!

O desafio em termos de indicadores

0 A avaliação capaz de considerar as diferenças existentes

entre as várias (sub-)áreas

0 Desenvolvimento de indicadores que valorizem os

periódicos de qualidade que tratam de problemas regionais

0 Indicadores econômicos e sociais não estão contemplados

por nenhuma dessas fórmulas

0 eles podem estar subjacentes, mas não diretamente medidos

Para concluir retomando os pontos anteriores

0 Recuperação0 Atente para os aspectos que facilitam a recuperação de seu

trabalho em bases de dados0 Visibilidade

0 Existem muitas estratégias de visibilidade, utilize-se delas0 Todavia, nenhuma ferramenta pode superar as deficiências

de qualidade de uma contribuição0 Indicadores

0 Existem muitas fórmulas, existem muitas fontes, nem sempre as agências lidam bem com essa diversidade0 As citações ao seu trabalho são um indicador de impacto mais

importante do que o Fator de Impacto do periódico que você publica