avaliacao artigos cientificos u-aveiro

Avaliação de Artigos

Científicos

UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011

Seninários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação!

2. BOAS PRÁTICAS DA AVALIAÇÃO!

3. GRELHAS DE AVALIAÇÃO!

4. O RELATÓRIO DO REVISOR!

1. O PROCESSO DA AVALIAÇÃO!

5. TIPOS DE ARTIGOS!

6. NOVAS TENDÊNCIAS!








revisor

editor

revisor revisor

ed. assoc.

editor

revisor revisor revisor

ed. assoc.

revisor revisor revisor

Esta é a terminologia para revistas (journals). No caso das conferências, o papel do editor

é exercido pelo presidente da comissão de programa (ou comissão científica).

Os restantes membros da comissão de programa actuam como editores associados

revisor = avaliador = árbitro (reviewer = referee)


NÍVEIS DE ANONIMATO:

Revisão duplamente anónima (double-blind review) –

Revisores não sabem quem são os autores e autores não

sabem quem são os revisores.

Revisão anónima (single-blind review) – Revisores

sabem quem são os autores, mas autores não sabem quem

são os revisores.

Revisão aberta. Vários níveis de anonimato:

•! As identidades das duas partes são conhecidas.

•! As avaliações, assinadas, são enviadas aos autores.

•! São colocadas on-line versões preliminares dos artigos e pedem-se revisões e comentários.


COMPENSAÇÕES:

•! Tipicamente, o esforço de revisão não é remunerado.

•! A principal “remuneração” é o prestígio, quer seja reconhecido em

privado, quer seja tornado público em listas de revisores.

•! Nas revistas, pode oferecer-se uma assinatura ou uma autorização de acesso gratuito por tempo limitado.

•! Nas conferências, oferece-se às vezes a participação na conferência ou no programa social.

•! Apesar de não haver pagamentos, o custo estimado da revisão de artigos de revista é da ordem de 25% dos custos totais de publicação e disseminação.

•! Nas conferências, por vezes convidam-se os revisores para as

comissões de programa, para que o destaque possa ser mais evidente.








•! A avaliação de artigos científicos deve ser encarada como uma actividade cívica do cientista na sua contribuição para

melhorar o eco-sistema de produção científica

•! O revisor deve auxiliar o editor a defender os interesses do leitor na obtenção de trabalhos de melhor qualidade e utilidade, mas respeitar o

autor, ajudando-o a melhorar o seu trabalho e a progredir como autor

•! Nesse sentido, um avaliador que se limite a preencher grelhas, sem comentar nem justificar os seus julgamentos,

deve ser excluído e remetido para lista negra

•! A decisão de aceitar ou rejeitar um artigo cabe ao editor. O papel do revisor é fornecer ao editor elementos que sustentem a sua decisão, bem como

propor recomendações que ajudem o autor a melhorar o seu trabalho


•! As avaliações devem ser sempre justificadas, eventualmente com referências que as apoiem (o revisor deve abster-se de

sugerir referências da sua própria autoria, que poderão denunciar arrogância ou parcialidade da sua parte)

•! Na maior parte dos casos, a contribuição do revisor é importante, por representar experiência e competência no domínio, mas por vezes é útil que, como advogado

do diabo, assuma um papel exterior ao domínio

•! O papel do revisor não é dar largas à sua vaidade e mostrar como é competente e superior, mas sim

oferecer, discretamente, uma avaliação útil e objectiva


•! Um revisor que não seja suficientemente crítico está a prestar um mau serviço à comunidade, encorajando investigação de má qualidade,

iludindo autores inexperientes, incentivando a progressão de autores incompetentes, degradando a qualidade do conhecimento tornado

público, incentivando a proliferação de trabalhos que tornam os processos de revisão insustentáveis. Poderá estar, assim, a contribuir

para um mundo mais ignorante do que aquele em que vivemos

•! Um revisor que seja demasiado crítico pode bloquear o progresso da investigação, matar à nascença ideias promissoras, prejudicar

carreiras, deixar as revistas e conferências sem nada que publicar. Em particular, não deverá rejeitar, sem boas razões, trabalhos que

se oponham às ideias correntes e que, por esse motivo, poderão vir a ser embriões de novos e valiosos desenvolvimentos


•! Deve-se usar um tom civilizado e não insultuoso nas avaliações. As críticas devem ser dirigidas ao artigo e não ao autor

•! Um revisor deverá evitar, em absoluto, actuar em situação de conflito de interesses, nomeadamente se for parte

interessada na aprovação ou rejeição de um artigo

•! Um artigo submetido a avaliação é confidencial, pelo que, uma vez avaliado, deverá ser esquecido. Não poderá ser copiado nem

divulgado. A apropriação, mesmo que subconsciente, de ideias alheias é uma falta grave, e, neste caso, um abuso de um privilégio

•! Se um revisor não estiver à vontade num tópico em avaliação, não tiver tempo para avaliar um artigo, ou tiver conflito de

interesses, deverá comunicá-lo de imediato ao editor


•! É frequente os autores de artigos para conferências serem convidados a actuar também como

revisores. Deverão aceitar, a bem do sucesso da conferência, entendida como evento de partilha

•! Quando um artigo é definitivamente mau e irrecuperável, não se deve perder tempo a dar sugestões que tentem

melhorá-lo. O papel do revisor é auxiliar o autor, mas não escrever o artigo por ele. Nesses casos, deve apontar duas

ou três falhas graves e passar ao trabalho seguinte








Classificar artigo numa escala de 1 (fraco) a 5 (excelente), para os sucessivos itens:

Relevância. É relevante para a conferência ou revista? Resolve problemas efectivos? De quem? Permite que o leitor passe a utilizar as propostas? Ou, pelo contrário,

é uma acrobacia intelectual, sem utilidade?

Significado. Altera de forma significativa a visão que temos da realidade estudada? Ou, pelo contrário, limita-se a retomar formulações cujo significado está mais do que esclarecido?

Originalidade. Representa um avanço sensível relativamente ao que já existe? Abre novas perspectivas para a compreensão do tema?


Adequação dos métodos de investigação. Em que medida é que os métodos de investigação adoptados se adequam ao trabalho

realizado? Há inovações na exploração desses métodos?

Adequação dos processos de investigação. O processo usado para chegar às propostas é cientificamente sólido? Fundamentou-se em teorias

e dados experimentais credíveis? Justificou essa fundamentação?

Análise e interpretação dos dados. Em que medida é que a análise e interpretação dos dados são adequadas e rigorosas?



Lógica da argumentação. Em que medida é que a lógica da argumentação é rigorosa, fluente e acessível aos leitores?

Adequação do título, resumo, introdução e conclusões. O título é esclarecedor? O resumo satisfaz os requisitos de um resumo? A introdução dá o enquadramento adequado? As conclusões são objectivas e esclarecedoras?

Completude e coerência. Há aspectos importantes que deviam ter sido incluídos? Há aspectos desnecessários que deviam ter sido omitidos?

Profundidade. Explora a temática em profundidades, ou fica-se por generalidades? Deixa em aberto aspectos de

aplicação ou operacionalização das propostas?









1. ! Sumário do artigo. Uma a cinco frases. Útil para o editor, mas também para o próprio revisor.

2. ! Relevância, significado e originalidade.

3. ! Qualidade do trabalho. Adequação dos métodos, processos e e análise, lógica da argumentação, adequação do título, resumo, introdução e conclusão, profundidade, completude e coerência

4. ! Recomendação. Aprovação, rejeição, aprovação com reservas. Incluir justificação da recomendação, para que o editor possa decidir.

5. ! Sugestões de melhoramentos. Apenas em caso de aprovação ou se a decisão de rejeição for acompanhada da sugestão de

posterior re-submissão ou de submissão noutro local.








•! Criação de teoria (empírica)

•! Verificação de teoria (empírica)

•! Estudo conceptual-analítico

•! Proposta de criação de inovação

•! Proposta de avaliação de inovação

•! Artigo de opinião •! Levantamento do estado da arte

(Jarvinen, 2004; Smith, 1990; Wiering, 2006)

•! Tutorial








•! Introduz atrasos excessivos

•! Nem sempre detecta negligência e más condutas (falsificação, plágio, encobrimento de conflitos de interesses)

•! É prejudicada pela parcialidade dos revisores

CRÍTICAS À AVALIAÇÃO PELOS PARES:

•! Pode ser subjectiva e incoerente

•! Incentiva conservadorismo e reprime inovação

•! Prejudica investigação interdisciplinar

•! Sobrecarrega os avaliadores (muitas submissões de má qualidade)


•! Circulação dos artigos on-line, em pré-versões, antes da publicação formal, para recolha aberta dos comentários de uma

população alargada de investigadores (Exemplo: arXiv)

EMERGÊNCIA DA “SCHOLARSHIP 2.0”:

•! Avaliações pós-publicação, eventualmente complementadas com comentários informais em blogs, redes sociais e plataformas de

recomendação (recommender systems), quer sociais, quer algorítmicas.

•! Avaliação mista: formal, expedita mas rigorosa na pré-publicação, seguida, na pós-publicação, por avaliações formais

ou informais com base em comentários e/ou classificações

•! Recurso a variantes de crowdsourcing e contagens de downloads em vez de avaliações formais pelos pares.

Avaliação de Artigos

Científicos

UNIVERSIDADE DE AVEIRO - 20 de Maio de 2011

Seninários de Investigação em Didáctica Programa Doutoral em Didáctica e Formação!

FIM

O DESAFIO!

O DESAFIO!

ENCONTRO EM ESPAÇO ABERTO!

REGRA DOS DOIS PÉS

Use os dois pés para se movimentar de acordo com a contribuição que pode dar

QUATRO PRINCÍPIOS

•! Quando começar, é o momento certo

•! Quando acabar, acabou

•! Quem estiver é quem resolve os problemas

•! O que se conseguir é à melhor solução

Owen, H. (1997). Open Space Technology: A User's Guide. Benett-Koechler Publications

avaliacao artigos cientificos u-aveiro

Documents