II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Revisão por pares na aprendizagem

17 anos de prática e pesquisa no Projeto Par

Vinícius Medina Kern*

www.kern.prof.ufsc.br

Universidade Federal de Santa Catarina

Programa de Pós-Graduação em Ciência da Informação (PGCIN) Programa de Pós-Graduação em Engenharia e Gestão do Conhecimento (EGC)

Grupo de Pesquisa em Informação, Tecnologia e Sociedade (@DGP/CNPq)

* Com apoio do CNPq no período 2013-2016, Edital Universal.

II Colóquio Internacional Tendências Contemporâneas da Comunicação Científica: Desafios e perspectivas Florianópolis: UFSC, 1-3/12/2014 Apresentação CO21c: Quarta-feira, 3/12, sesão 15:30-16:30, sala I

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Introdução

Trabalho do cientista: muitas vezes individual,

... mas a ciência é conhecimento público* e depende da comunicação científica.

Universidade: instrui para produzir ciência, mas não para a avaliar (há exceções‡).

* Ziman, J. (1979). Conhecimento público. Belo Horizonte: Itatiaia.

‡ Pond, K., Ul‐Haq, R. & Wade, W. (1995). Peer review: a precursor to peer assessment. Programmed Learning, 32(4), 314-323.

Moreira, D. A., & Silva, E. Q. (2003). A method to increase student interaction using student groups and peer review over the internet. Education and Information Technologies, 8(1), 47-54. Yankulov, K., & Couto, R. (2012). Peer review in class: Metrics and variations in a senior course. Biochemistry and Molecular Biology Education, 40(3), 161-168.

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Avaliação de trabalhos científicos: usualmente, revisão por pares.

Idealmente, é uma oportunidade de escrutínio por vários olhares peritos, mas...

... pode ser uma forma de censura ou Inquisição ou...

... meramente um cotejamento de ignorâncias e/ou desleixos.

Introdução

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Relevância científica (e socioeconômica) da revisão por pares: Decide o que terá ou não verba (projetos) e visibilidade (artigos)

Por que, então, a universidade esconde a revisão por pares?

Eu sei que o Nani misturou Prometeu com Sísifo, mas até que a revisão por

pares às vezes suscita punição semelhante à de ambos...

Introdução

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Principais características

• Estudantes: autores e revisores (avaliados como tais)

• Instrução para elaborar o trabalho e para revisar

• Organização: este professor (às vezes, com auxiliares)

• Processo duplo-cego (sempre que possível), rodada única

• Objeto: artigos, propostas de tese/dissertação, diversos tipos de modelos

• Tecnologia: Excel e e-mail. Software de gestão (OJS) complicou mais que resolveu.

• Instrumento de revisão (formulário): exemplo no próximo slide

• Histórico, quantitativos, pesquisa: a seguir

Projeto ParRevisão por pares na aprendizagem, desde 1997

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

1994: experiência como aluno (Virginia Tech)

1a experiência na PG (esp.)

Único fracas-so total

Palestra PPGECT.Tese: efetividade como abordagem pedagógica

Growing a peerreview cultureamong graduatestudents

Confiabilidade da revisão recíproca anônima de propostas de mestrado (LIINC)

Total: 1499 (70% UFSC)

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Tese de pesquisadora coautora:SARAIVA, L. M. Proposta metodológica de aplicação da revisão pelos pares como instrumento pedagógico para a educação ambiental. Florianópolis, 2002. 95 f. Tese (Doutorado) - Universidade Federal de Santa Catarina, Programa de Pós-Graduação em Engenharia de Produção.

Análise de conteúdo sobre entrevistas com alunos de graduação

Algumas manifestações:

“Tivemos a oportunidade em [sic] compreender como a ciência valida suas pesquisas”.

“A atividade e [a] avaliação não ficam centralizadas no professor”

“A atividade permite mudanças quando a devolução é detalhada e nos faz pensar. Se for uma devolução superficial e descomprometida não adianta”.

Pesquisa (I)Efetividade como abordagem pedagógica

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Artigo:DENISCZWICZ, M.; KERN, V. M. Indicadores de gestão na revisão por pares: confiabilidade da

revisão recíproca anônima de propostas de mestrado. Liinc em revista, v. 9, n. 1, p. 283-295, 2013.

Pesquisa (II)Concordância entre revisores

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

Projeto Par: 46 certames realizados (12/2014) e 1499 participações de alunos

Propósito: promover a competência dos alunos a ponto de favorecer a

consolidação de uma cultura acadêmica de crítica objetiva.

Sucessos (ok...) e fracassos (mais fascinantes)

Num modelo de escola que instila conformidade e repetição, não é surpresa que alguns alunos prefiram resistir, resguardando-se na queixa que “sugere que existe

dificuldade no exercício da autonomia e independência” (SARAIVA, 2002, p. 66).

Pró-capacidade crítica dos cidadãos:

“Embora os cientistas sejam uma minoria da população, a cidadania democrática em uma sociedade moderna depende, entre outras coisas, da habilidade dos cidadãos para compreender, criticar e usar ideias e argumentos científicos.”

INGLATERRA. The United Kingdom Parliament. Science and technology: 3rd report. House of Lords, 2000.

Considerações finais

II Colóquio Comunicação Científica, 2014. Kern, VM: Revisão por pares na aprendizagem: 17 anos de prática e pesquisa no Projeto Par

OBRIGADO!

www.kern.prof.ufsc.br

UFSC/CED/CIN – Programa de Pós-Graduação em Ciência da InformaçãoGrupo de Pesquisa Informação, Tecnologia e Sociedade