avaliação de artigos científicos

Avaliação de Artigos

Científicos

UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011 Seminários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação

2. BOAS PRÁTICAS DA AVALIAÇÃO 3. GRELHAS DE AVALIAÇÃO

4. O RELATÓRIO DO REVISOR

1. O PROCESSO DA AVALIAÇÃO

5. TIPOS DE ARTIGOS

6. NOVAS TENDÊNCIAS


revisor

editor

revisor revisor

ed. assoc.

editor

revisor revisor revisor

ed. assoc.

revisor revisor revisor

Esta é a terminologia para revistas (journals). No caso das conferências, o papel do editor

é exercido pelo presidente da comissão de programa (ou comissão científica).

Os restantes membros da comissão de programa actuam como editores associados

revisor = avaliador = árbitro (reviewer = referee)


NÍVEIS DE ANONIMATO:

Revisão duplamente anónima (double-blind review) –

Revisores não sabem quem são os autores e autores não

sabem quem são os revisores.

Revisão anónima (single-blind review) – Revisores

sabem quem são os autores, mas autores não sabem quem

são os revisores.

Revisão aberta. Vários níveis de anonimato:

•  As identidades das duas partes são conhecidas.

•  As avaliações, assinadas, são enviadas aos autores.

•  São colocadas on-line versões preliminares dos artigos e pedem-se revisões e comentários.


COMPENSAÇÕES:

•  Tipicamente, o esforço de revisão não é remunerado.

•  A principal “remuneração” é o prestígio, quer seja reconhecido em

privado, quer seja tornado público em listas de revisores.

•  Nas revistas, pode oferecer-se uma assinatura ou uma autorização de acesso gratuito por tempo limitado.

•  Nas conferências, oferece-se às vezes a participação na conferência ou no programa social.

•  Apesar de não haver pagamentos, o custo estimado da revisão de artigos de revista é da ordem de 25% dos custos totais de publicação e disseminação.

•  Nas conferências, por vezes convidam-se os revisores para as

comissões de programa, para que o destaque possa ser mais evidente.




5. TIPOS DE ARTIGOS


2. BOAS PRÁTICAS DA AVALIAÇÃO

•  A avaliação de artigos científicos deve ser encarada como uma actividade cívica do cientista na sua contribuição para

melhorar o eco-sistema de produção científica

•  O revisor deve auxiliar o editor a defender os interesses do leitor na obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o

autor, ajudando-o a melhorar o seu trabalho e a progredir como autor

•  Nesse sentido, um avaliador que se limite a preencher grelhas, sem comentar nem justificar os seus julgamentos,

deve ser excluído e remetido para lista negra

•  A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor é fornecer ao editor elementos que sustentem a sua decisão, bem como

propor recomendações que ajudem o autor a melhorar o seu trabalho


•  As avaliações devem ser sempre justificadas, eventualmente com referências que as apoiem (o revisor deve abster-se de

sugerir referências da sua própria autoria, que poderão denunciar arrogância ou parcialidade da sua parte)

•  Na maior parte dos casos, a contribuição do revisor é importante, por representar experiência e competência no domínio, mas por vezes é útil que, como advogado

do diabo, assuma um papel exterior ao domínio

•  O papel do revisor não é dar largas à sua vaidade e mostrar como é competente e superior, mas sim

oferecer, discretamente, uma avaliação útil e objectiva


•  Um revisor que não seja suficientemente crítico está a prestar um mau serviço à comunidade, encorajando investigação de má qualidade,

iludindo autores inexperientes, incentivando a progressão de autores incompetentes, degradando a qualidade do conhecimento tornado

público, incentivando a proliferação de trabalhos que tornam os processos de revisão insustentáveis. Poderá estar, assim, a contribuir

para um mundo mais ignorante do que aquele em que vivemos

•  Um revisor que seja demasiado crítico pode bloquear o progresso da investigação, matar à nascença ideias promissoras, prejudicar

carreiras, deixar as revistas e conferências sem nada que publicar. Em particular, não deverá rejeitar, sem boas razões, trabalhos que

se oponham às ideias correntes e que, por esse motivo, poderão vir a ser embriões de novos e valiosos desenvolvimentos


•  Deve-se usar um tom civilizado e não insultuoso nas avaliações. As críticas devem ser dirigidas ao artigo e não ao autor

•  Um revisor deverá evitar, em absoluto, actuar em situação de conflito de interesses, nomeadamente se for parte

interessada na aprovação ou rejeição de um artigo

•  Um artigo submetido a avaliação é confidencial, pelo que, uma vez avaliado, deverá ser esquecido. Não poderá ser copiado nem

divulgado. A apropriação, mesmo que subconsciente, de ideias alheias é uma falta grave, e, neste caso, um abuso de um privilégio

•  Se um revisor não estiver à vontade num tópico em avaliação, não tiver tempo para avaliar um artigo, ou tiver conflito de

interesses, deverá comunicá-lo de imediato ao editor


•  É frequente os autores de artigos para conferências serem convidados a actuar também como

revisores. Deverão aceitar, a bem do sucesso da conferência, entendida como evento de partilha

•  Quando um artigo é definitivamente mau e irrecuperável, não se deve perder tempo a dar sugestões que tentem

melhorá-lo. O papel do revisor é auxiliar o autor, mas não escrever o artigo por ele. Nesses casos, deve apontar duas

ou três falhas graves e passar ao trabalho seguinte




5. TIPOS DE ARTIGOS


3. GRELHAS DE AVALIAÇÃO

Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:

Relevância. É relevante para a conferência ou revista? Resolve problemas efectivos? De quem? Permite que o leitor passe a utilizar as propostas? Ou, pelo contrário,

é uma acrobacia intelectual, sem utilidade?

Significado. Altera de forma significativa a visão que temos da realidade estudada? Ou, pelo contrário, limita-se a retomar formulações cujo significado está mais do que esclarecido?

Originalidade. Representa um avanço sensível relativamente ao que já existe? Abre novas perspectivas para a compreensão do tema?


Adequação dos métodos de investigação. Em que medida é que os métodos de investigação adoptados se adequam ao trabalho

realizado? Há inovações na exploração desses métodos?

Adequação dos processos de investigação. O processo usado para chegar às propostas é cientificamente sólido? Fundamentou-se em teorias

e dados experimentais credíveis? Justificou essa fundamentação?

Análise e interpretação dos dados. Em que medida é que a análise e interpretação dos dados são adequadas e rigorosas?



Lógica da argumentação. Em que medida é que a lógica da argumentação é rigorosa, fluente e acessível aos leitores?

Adequação do título, resumo, introdução e conclusões. O título é esclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dá o enquadramento adequado? As conclusões são objectivas e esclarecedoras?

Completude e coerência. Há aspectos importantes que deviam ter sido incluídos? Há aspectos desnecessários que deviam ter sido omitidos?

Profundidade. Explora a temática em profundidades, ou fica-se por generalidades? Deixa em aberto aspectos de

aplicação ou operacionalização das propostas?





5. TIPOS DE ARTIGOS



1.   Sumário do artigo. Uma a cinco frases. Útil para o editor, mas também para o próprio revisor.

2.   Relevância, significado e originalidade.

3.   Qualidade do trabalho. Adequação dos métodos, processos e e análise, lógica da argumentação, adequação do título, resumo, introdução e conclusão, profundidade, completude e coerência

4.   Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir justificação da recomendação, para que o editor possa decidir.

5.   Sugestões de melhoramentos. Apenas em caso de aprovação ou se a decisão de rejeição for acompanhada da sugestão de

posterior re-submissão ou de submissão noutro local.




5. TIPOS DE ARTIGOS


5. TIPOS DE ARTIGOS

•  Criação de teoria (empírica) •  Verificação de teoria (empírica)

•  Estudo conceptual-analítico •  Proposta de criação de inovação

•  Proposta de avaliação de inovação •  Artigo de opinião

•  Levantamento do estado da arte

(Jarvinen, 2004; Smith, 1990; Wiering, 2006)

•  Tutorial




5. TIPOS DE ARTIGOS



•  Introduz atrasos excessivos

•  Nem sempre detecta negligência e más condutas (falsificação, plágio, encobrimento de conflitos de interesses)

•  É prejudicada pela parcialidade dos revisores

CRÍTICAS À AVALIAÇÃO PELOS PARES:

•  Pode ser subjectiva e incoerente

•  Incentiva conservadorismo e reprime inovação

•  Prejudica investigação interdisciplinar

•  Sobrecarrega os avaliadores (muitas submissões de má qualidade)


•  Circulação dos artigos on-line, em pré-versões, antes da publicação formal, para recolha aberta dos comentários de uma

população alargada de investigadores (Exemplo: arXiv)

EMERGÊNCIA DA “SCHOLARSHIP 2.0”:

•  Avaliações pós-publicação, eventualmente complementadas com comentários informais em blogs, redes sociais e plataformas de

recomendação (recommender systems), quer sociais, quer algorítmicas.

•  Avaliação mista: formal, expedita mas rigorosa na pré-publicação, seguida, na pós-publicação, por avaliações formais

ou informais com base em comentários e/ou classificações •  Recurso a variantes de crowdsourcing e contagens de

downloads em vez de avaliações formais pelos pares.

Avaliação de Artigos

Científicos

UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011 Seminários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação

FIM

avaliação de artigos científicos

Documents