qualidade de artigos incluídos em revisão sistemática: comparação
TRANSCRIPT
-
1
UNIVERSIDADE DE SO PAULO
INSTITUTO DE PSICOLOGIA
MARIA IMACULADA CARDOSO SAMPAIO
Qualidade de artigos includos em reviso sistemtica:
comparao entre latino-americanos e de outras regies
So Paulo
2013
-
2
MARIA IMACULADA CARDOSO SAMPAIO
Qualidade de artigos includos em reviso sistemtica: comparao
entre latino-americanos e de outras regies (Verso corrigida)
Tese apresentada ao Instituto de Psicologia da Universidade de So Paulo, como parte dos requisitos para a obteno do grau de Doutor em Psicologia.
rea de concentrao: Psicologia Experimental
Orientadora: Profa. Dra. Sonia Beatriz Meyer
So Paulo 2013
-
3
Autorizo a divulgao total ou parcial deste trabalho, por qualquer meio convencional
ou eletrnico, para fins de estudo e pesquisa, desde que citada a fonte.
Catalogao na publicao Biblioteca Dante Moreira Leite
Instituto de Psicologia da Universidade de So Paulo
Sampaio, Maria Imaculada Cardoso.
Qualidade de artigos includos em reviso sistemtica: comparao entre latino-americanos e de outras regies / Maria Imaculada Cardoso Sampaio; orientadora Sonia Beatriz Meyer. -- So Paulo, 2013.
223 f. Tese (Doutorado Programa de Ps-Graduao em
Psicologia. rea de Concentrao: Psicologia Experimental) Instituto de Psicologia da Universidade de So Paulo.
1. Trabalho cientfico 2. Psicologia baseada em evidncias 3. Reviso sistemtica 4. Depresso ps-parto 5. Prevalncia 6. Amrica Latina I. Ttulo.
Q180
-
4
Nome: Sampaio, Maria Imaculada Cardoso Ttulo: Qualidade de artigos includos em reviso sistemtica: comparao entre latino-americanos e de outras regies
Tese apresentada ao Instituto de Psiclogia da Universidade de So Paulo como parte dos requisitos para a obteno do grau de Doutor em Psicologia
Aprovado em: 4 de outubro de 2013.
Banca examinadora
Prof. Dr Sonia Beatriz Meyer
Instituio: IP-USP
Prof. Dr. Briseida Dogo de Resende
Instituio: IP-USP
Prof. Dr. Piotr Trzesniak
Instituio: UNIFEI
Prof. Dr. Tamara Melnik
Instituio: UNIFESP
Prof. Dr. Adrs Eduardo Aguirre Antnez
Instituio: IP-USP
-
5
In Memoriam
In Memoriam de Caio Luiz Cardoso Sampaio, meu professor, meu marido, pai dos meus filhos, meu nico e verdadeiro amor.
Nos primeiros dias do nosso namoro, no ano de 1975, o Caio me trouxe USP e me explicou o que era uma Universidade.
Ento Caio, capito estelar, ainda estou aqui na Universidade e ofereo este trabalho a voc!
Ateno senhor Scotty, velocidade de transcorder, preparar para deixar o planeta
Terra, temos uma longa viagem pela frente."
"Para casa - respondeu Kirk.
Para o Universo Alternativo?
O senhor entende isso?
Sim, capito. E concordo com sua partida. S peo que me coloque
desacordado com um disparo de feiser em tonteio antes de partir. Meus agentes
confirmaro qualquer histria que eu contar depois."
(Star Trek Episdios da Srie Clssica)
Nave Star Trek
-
6
Dedicatria
Dedico esta tese ao Professor Doutor Arrigo Leonardo Angelini que, dentre
tantas coisas maravilhosas que fez pela Psicologia brasileira, no ano de 1954,
realizou uma reviso da literatura sobre O emprego do cido glutmico na terapia
da debilidade mental. O estudo teve como objetivo
...rever e comparar os resultados de tais pesquisas, no sentido de verificar at que ponto so eles concordantes e autorizariam o emprego dessa droga como teraputica da deficincia mental. (Angelini, 1954, p.130)
Muito alm do seu tempo, mesmo sem utilizar o termo reviso sistemtica, o
estudo reuniu e sistematizou 36 artigos sobre o tema e concluiu que:
Smente quando um maior nmero de pesquisas, feitas com o maior rigor cientfico, evidenciarem resultados positivos definidos, e se ficar bem tambm provado que o uso da droga no constitui perigo para a integridade do organismo, ento poderemos empregar o cido glutmico, sem receio, na teraputica da deficincia mental. (p.131)
Penso que a Psicologia Baseada em Evidncias deu seus primeiros passos
no Brasil com este artigo.
-
7
Agradecimento(s)
Muitas pessoas contriburam para que essa etapa dos meus estudos fosse
concluda, agradeo a cada uma, sensibilizada. Morrendo de medo de ser injusta,
vou agradecer especialmente a algumas pessoas e algumas instituies aqui. Quem
se sentir injustiado, por favor, desculpe-me, foi falha mesmo, nada intencional.
Profa. Dra. Sonia Beatriz Meyer, minha orientadora, que me adotou e foi
competente, envolvida e carinhosa, meu muito obrigada, do fundo do corao.
Gabriela Andrade da Silva, autora da tese irm, como disse a Sonia. Obrigada por
surgir e remodelar meu estudo. J sinto saudades dos nossos cafs, reunio por
Skype noite, e-mails... Ainda bem que temos projetos futuros juntas. Ainda bem!
Aparecida Anglica Paulovic Z. Sabadini, amiga, parceira de tantos projetos,
bibliotecria exemplar, obrigada pela reviso cuidadosa das referncias, leitura
atenta de parte do texto e por ficar comigo at o ltimo minuto.
Aos membros da banca de defesa, que compartilharam comigo um momento nico e
especial da minha vida acadmica e promoveram um debate rico e instrutivo, alm
de fornecerem contribuies excelentes para a verso revisada deste trabalho.
Helina, muito obrigada por arrumar minhas tabelas, figuras, formatar o texto e
cuidar de mim com tanto carinho e dos passarinhos tambm.
Obrigada aos colegas da Biblioteca Dante Moreira Leite: Aline; Ana Rita; Carla;
Cristiane; Elaine; Fernanda; Flvio; Lilian; Lcia; Marcos; Marta; Nilza; Renato;
Roseni; Silvana; Tatiana; Teresa; Vanessa e Wanderley, por todo o apoio e
pacincia nos ltimos tempos, quando minha cabea estava na tese e na tese e na
tese.
Profa. Dra. Emma Otta por ter me apoiado na deciso de fazer meus estudos no
Programa de Psicologia Experimental.
-
8
Eneida Cardoso Sampaio (In Memoriam) por ter me apresentado
Biblioteconomia e Elza Correa Granja, por me apresentar Psicologia e por terem
me ensinado tantas coisas, agradeo emocionada.
Sonia Maria Caetano de Souza, obrigada pelas orientaes seguras e ateno.
minha me, Maria do Nascimento Leite e meu pai, Jos Leite da Silva (In
Memoriam) por terem me ensinado a nunca desistir e lutar pelo que eu quero. Me,
amo voc, vamos ter mais tempo juntas agora!
Aos meus filhos, Cassio Luiz Cardoso Sampaio e Glauco Luiz Cardoso Sampaio (na
ordem de chegada) simplesmente por existirem, por serem meu orgulho maior, por
fazerem minha vida mais feliz e por terem me trazido duas filhas: Maria Soledad
Zabalza Sampaio e Janana Cipriano. Duas moas lindas e queridas.
minha irm e meus irmos, cunhado, cunhadas e sobrinhos pelo carinho e por
estarem sempre presentes em minha vida.
USP, ao IPUSP e aos seus funcionrios, meus colegas, professores e alunos.
Ao Departamento de Psicologia Experimental do Instituto de Psicologia da
Universidade de So Paulo por me receber com tanto carinho e pelo apoio financeiro
para obteno de artigos por comutao bibliogrfica.
Aos editores e autores que me trouxeram a inquietao para fazer este estudo.
-
9
Epgrafe
Em princpio, a comunidade cientfica uma repblica democrtica.
Qualquer pessoa com ideias novas ou com crticas vlidas acerca
das ideias correntes pode publicar seu trabalho.
(John Ziman, A fora do conhecimento: a dimenso cientfica da sociedade, 1981)
-
10
RESUMO
Sampaio, M. I. C. (2013). Qualidade de artigos includos em reviso sistemtica: comparao entre latino-americanos e de outras regies. Tese de Doutorado, Instituto de Psicologia, Universidade de So Paulo, So Paulo.
Introduo: A qualidade de um artigo cientfico diretamente proporcional qualidade metodolgica e apresentao dos resultados da pesquisa que o originou. Perguntas, ou hipteses, muito bem explicitadas, objetivos claramente definidos, metodologia adequada que conduza aos objetivos propostos, com base em procedimentos metodolgicos rigorosos e suficientemente descritos e justificados, so elementos essenciais no relato de pesquisas. Objetivo: Avaliar a qualidade metodolgica e da apresentao de resultados de artigos sobre prevalncia de depresso ps-parto, includos em reviso sistemtica, comparando artigos latino-americanos e de outras regies. Metodo: O delineamento do estudo foi de pesquisa documental, com anlise crtica da literatura. As etapas de definio das bases de dados, elaborao da estratgia de busca, classificao dos estudos de acordo com os critrios de incluso e anlise dos estudos foram efetuadas por duas revisoras independentes. A qualidade dos artigos foi mensurada de acordo com a Escala de Loney, comparados o desempenho dos artigos latino-americanos e no latino-americanos e a procedncia das revistas que os publicaram. Ttulos, resumos e palavras-chave tambm foram avaliados, em funo de normas internacionais e terminologias da rea. Tcnicas estatsticas foram aplicadas e as hipteses testadas com o uso de testes no paramtricos. Resultados: Foram recuperados 1.894 registros de estudos originais e, aps o processo de seleo, 337 foram includos na reviso sistemtica. Desses, 34 eram estudos latino-americanos que foram avaliados e comparados com uma amostra aleatria pareada de 34 artigos no latino-americanos. A qualidade da apresentao da metodologia e dos resultados dos dois grupos de artigos no apresentou diferena significativa, sendo considerada fraca em ambos os casos. Em relao procedncia das revistas, tambm, no foram encontradas diferenas significativas. Discusso: Artigos cientficos so evidncias que podem apoiar a tomada de deciso, tanto na prtica clnica como na gesto pblica. Para que possam ser utilizados com essa finalidade, a qualidade da metodologia e os resultados devem ser primorosos. Concluso: Revisar o vasto conhecimento psicolgico, gerado nos ltimos anos, em revises sistemticas, narrativas e exploratrias um caminho para o registro e anlise constante dos procedimentos utilizados e das intervenes que podem promover melhorias na qualidade de vida das pessoas. No entanto, a capacidade do pesquisador em desenvolver estudos que produzam resultados confiveis e generalizveis demanda investimentos, tanto na Amrica Latina, quanto em outras regies. Palavras-chave: Trabalho cientfico. Reviso sistemtica. Psicologia baseada em evidncias. Prevalncia. Depresso ps-parto. Amrica Latina.
-
11
ABSTRACT
Sampaio, M. I. C. (2013). Quality articles included in the systematic review: Comparison between Latin-american and others regions. Tese de Doutorado, Instituto de Psicologia, Universidade de So Paulo, So Paulo.
Introduction: The quality of an article is directly proportional to the methodological quality and to the presentation of its associated research results. Questions or hypothesis well explained, clearly defined objectives, proposed objectives supported by an adequate methodology based on sufficiently described and justified rigorous methodological procedures are all essential elements in the correct presentation of research findings. Objective: Assess the quality of both the methodology and results presentation on articles about postpartum depression, included in systematic review, contrasting Latin-American with foreign articles. Method: The study is of the documentary research type with critical literary analysis. Two independent reviewers performed the definition of the data sources, definition of the search criteria, classification of the studies according to the selection criteria and data analysis. The quality of the articles was measured according to the Loney Scale in comparing the performance of Latin-American and foreign articles and the location of the respective publishing journals. Titles, summaries and keywords were also evaluated in terms of international normative references and field specific terminologies. Technical statistics were applied and the hypothesis tested through the usage of non-parametric tests. Results: 1,894 original study records were retrieved and 337 included in the systematic review after passing through the selection process. Amongst those, 34 were identified as Latin American studies and which were evaluated and compared to a random sample of 34 foreign articles. The quality of both the methodology presentation and results of the two groups or articles did not show a significant difference. In both cases, quality was found to be low. The same results in regards to regional differences could was found when comparing the country of origin of the journals. Discussion: Scientific articles are evidences that can support decision making both in the clinical practice and in public policymaking. That can only be achieved if the quality of methodological quality and results presentation are high. Conclusion: The review of the vast sources of psychological knowledge (created over the last few years) in systematic reviews, narratives and exploratory is a path to record the constant analysis of the utilized procedures and of the intervention methods that could promote quality of life improvements. However, the ability of researchers to develop studies that generate reliable results that can be generalized (both in Latin American and worldwide) requires significant investments. Keywords: Scientific work. Systematic review. Psychology evidence based. Postpartum depression. Prevalence. Latin America.
-
12
RESUMEN
Sampaio, M. I. C. (2013). Calidad de artculos incluidos en revisin sistemtica:
comparacin entre latinoamericanos y otras regiones. Tese de Doutorado, Instituto de Psicologa, Universidade de So Paulo.
Introduccin: La calidad de un artculo cientfico es directamente proporcional a la calidad metodolgica y a la presentacin de los resultados de la investigacin que lo origin. Preguntas o hiptesis muy bien explicitadas, objetivos claramente definidos, metodologa adecuada que conduzca a los objetivos propuestos con base en procedimientos metodolgicos rigurosos y suficientemente descriptos y justificados, son elementos esenciales en el relato de las investigaciones. Objetivo: Evaluar la calidad metodolgica y la presentacin de resultados de artculos sobre la prevalencia de depresin post parto. Estos artculos han sido sujetos a una revisin sistemtica, comparando artculos latinoamericanos y de otras regiones. Mtodo: El delineamiento del estudio se ha constituido en una investigacin documental con un anlisis crtico de la literatura pertinente. Las etapas de definicin de las bases de datos, elaboracin de la estrategia de bsqueda, clasificacin de los estudios de acuerdo con los criterios de inclusin, y anlisis de los mismos, fueron efectuadas por dos revisoras independientes. La calidad de los artculos fue medida de acuerdo con la Escala de Loney comparando el desempeo de los artculos latinoamericanos y no latinoamericanos y la procedencia de las revistas que los publicaron. Ttulos, resmenes y palabras clave tambin fueron evaluados en funcin de las normas internacionales y terminologas del rea. Tcnicas estadsticas fueron aplicadas y las hiptesis evaluadas con el uso de pruebas no paramtricas. Resultados: Fueron recuperados 1.894 registros de estudios originales y, despus del proceso de seleccin, 337 fueron incluidos en la revisin sistemtica. De stos 34 estudios latinoamericanos fueron evaluados y comparados con la muestra aleatoria pareada de 34 artculos no latinoamericanos. La calidad de la presentacin de la metodologa y de los resultados de los dos grupos de artculos no present diferencia significativa siendo considerada dbil en ambos casos. En relacin a la procedencia de las revistas, tampoco fueron encontradas diferencias significativas. Discusin: Los artculos cientficos son evidencias que pueden apoyar la toma de decisin, tanto en la prctica clnica como en la gestin publica. Para que puedan ser utilizados con esta finalidad, la calidad de la metodologa y los resultados deben ser primorosos. Conclusin: Revisar el vasto conocimiento psicolgico, generado en los ltimos aos en revisiones sistemticas, narrativas y exploratorias es un camino para el registro y anlisis constante de los procedimientos utilizados y de las intervenciones que pueden promover mejoras en la calidad de vida de las personas. No obstante, la capacidad del investigador de desenvolver estudios que produzcan resultados confiables y generables demandan inversiones, tanto en Amrica Latina, como en otras regiones. Palabras clave: Trabajo cientfico. Revisin sistemtica. Psicologa basada en evidencias. Prevalencia. Depresin post parto. Amrica Latina.
-
13
LISTA DE ILUSTRAES
Figura 1 Mtodos de Pesquisa ......................................................................... 52 Figura 2 Pirmide das Evidncias Cientficas..................................................... 55 Figura 3 Um autor latino-americano diante de editor internacional?................... 79 Figura 4 Fluxograma da seleo de estudos para a reviso sistemtica......... 108
Figura 5 - Universo do estudo comparativo...........................................................144
Figura 6 Frequncia total das pontuaes aos artigos (68), em funo da Escala
de Loney et al. (1998) ............................................................................ 144 Figura 7 Comparao das pontuaes totais obtidas na Escala de Loney et al. (1998) pelos artigos latino-americanos e de outras regioes (em nmeros de artigos)...................................................................................................................151 Figura 8 Comparao das pontuaes totais obtidas na Escala de Loney et al.
(1998) pelas revistas latino-americanas e no latino-americanas (em nmero de artigos)......................................................... ..................... 152
Figura 9 Pontuaes dos artigos em relao ao objetivo do estudo.................... 153
-
14
LISTA DE TABELAS
Tabela 1 Escala de Qualidade para Avaliao de Artigos Cientficos (ARR).........32
Tabela 2 Diferenas entre a Reviso Sistemtica Clssica e a Reviso Sistemtica
Exploloratria........................................................................................64
Tabela 3 Tipos de Pesquisa Definidos na Fora Tarefa APA.................................64
Tabela 4 Escala de Loney et al. (1998)...................................................................96
Tabela 5 Bases de dados, data de consulta e de registros recuperados 106
Tabela 6 Estratgias de busca para as bases de dados consultadas..................107
Tabela 7 Concordncia entre avaliadoras quanto incluso de estudos pelos
ttulos, resumos e textos completos....................................................109
Tabela 8 Ttulos das revistas e numero dos artigos includos na reviso sistemtica
............................................................................................................111
Tabela 9 Pases em que a coleta de dados dos trabalhos includos na reviso
sistemtica foi realizada......................................................................119
Tabela 10 Data de publicao e frequncia dos estudos includos na reviso
sistemtica..........................................................................................122
Tabela 11 Distribuo dos pases em que a coleta de dados foi realizada: latino-
americanos e de outras regies................ ........................................125
Tabela 12 Distribuio dos artigos conforme o ano de publicao e a origem da
revista.................................................................................................127
Tabela 13 Ttulo e pas e procedncia da revista, frequncia de artigos por revista
e ndices de impacto no JCR (FI), ndice H no SCImago e FI no
SciELO...............................................................................................129
Tabela 14 Ttulo da revista que publicou os estudos latino-americanos, pas e
frequncia de publicao....................................................................133
Tabela 15 Ttulo do estudo latino-americano, revista estrangeira que publicou o
artigo, pas de origem do estudo, nmero de citaes no Google
Acadmico, Scopus e WOK e ano de publicao...............................135
-
15
Tabela 16 Ttulo do artigo e da revista, pas de origem, nmero de citaes no
Google Acadmico, WOK e Scopus e ano de publicao..................137
Tabela 17 Concordncia entre avaliadoras para os itens da Escala de Loney et al.
(1998)..................................................................................................143
Tabela 18 - Nmero e frequncia de artigos que obtiveram pontuaes em cada
item da Escala de Loney et al. (1998).................................................146
Tabela 19 Frequncia de artigos que realizaram a coleta de dados em pases
latino-americanos e no latino-americanos que obtiveram pontuao
em cada item da Escala de Loney et al. (1998)..................................154
Tabela 20 - Frequncia de artigos publicados em revistas latino-americanas e no latino-americanas que obtiveram pontuao nos itens da Escala de Loney et al. (1998) ...............................................................................157
Tabela 21 - Posicionamento dos estudos latino-americanos e no latino-americanos em funo da Escala Loney et al. (1998)..............................................161
Tabela 22 - Posicionamento dos artigos publicados em revistas latino-americanas e no latino-americanas em funo da Escala de Loney et al. (1998)....161
Tabela 23 - Pases latino-americanos e nmero de registros LILACS e em ttulos de revistas em SciELO..............................................................................176
-
16
LISTA DE ABREVIATURAS E SIGLAS
ARR - Acceptable, Revise, Reject (escala de avaliao de artigos)
ARRR - Accepted (without revision), Revision (minor), Revision (enough), Rejected (idem ARR, com reviso e ampliao)
APA American Psychological Association
BIREME Centro Latino-Americano e do Caribe de Informao em Cincias da Sade
BVS-PSI ULAPSI Biblioteca Virtual em Sade - Psicologia - Unio Latino-americana de Psicologia
CAPES Coordenao de Aperfeioamento de Pessoal de Nvel Superior
CINAHL Cumulative Index to Nursing & Allied Health Literature
CLASE Citas Latinoamericanas en Ciencias Sociales y Humanidades
Comut Programa de Comutao Bibliogrfica
DECS Descritores em Cincias da Sade
DPN Depresso ps-natal
DPP Depresso ps-parto (em ingls, PPD postpartum depression)
DSM-IV Manual Diagnstico e Estatstico de Transtornos Mentais. 4a Edio
EMBASE Excerpta Medica Database
ERIC Education Resources Information Center
EVIPNet Rede de Polticas Informadas por Evidncias
FAPESP Fundao de Amparo Pesquisa do Estado de So Paulo
FI Fator de Impacto
IC Intervalo de Confiana
IDH ndice de Desenvolvimento Humano
IPUSP Instituto de Psicologia da Universidade de So Paulo
Lilacs Literatura Latino-Americana e do Caribe em Cincias da Sade (base de dados)
MEDLINE Medical Literature Analysis and Retrieval System Online (Sistema Online de Busca e Anlise de Literatura Mdica)
-
17
MESh Medical Subjects Headings
NLM National Library of Medicines
OMS Organizao Mundial de Sade
PBE - Prticas Baseadas em Evidncias
PEP Psychonalytic Electronics Publishing
PePSIC Peridocos Eletrnicos em Psicologia
PICO Participantes, Interveno, Controle e Outcomes (desfechos)
PNUD Programa da Naes Unidas para o Desenvolvimento
PPBE Prtica da Psicologia Baseada em Evidncias
ProQuest Base de dados de dissertaes, teses e outros tipos de documentos cientficos.
Psicodoc Base de dados do Colgio de Psiclogos de Madrid
PsycINFO Psychological Information (APA)
PsycLIT Psychological Literatura (APA)
PsycNet Rede de Fonte de Informaes da APA
PubMed Base de dados publicada pelo National Center for Biotechnology Information (NCBI) na National Library of Medicine (NLM)
PVO Participantes, Variveis e Outcomes (desfechos)
RedAlyc Red de Revistas Cientficas de Amrica Latina y el Caribe, Espaa y Portugal
SCAD Servio de Acesso ao Documento
SciELO Scientific Electronic Library Online (Biblioteca Cientfica Eletrnica Online)
SciMago - SCImago Journal & Country Rank Portal de indicadores bibliomtricos
SCOPUS Base de dados multidisciplinar, produzida pela editora Elsevier
Sociofile Sociological Abstracts (base de dados)
UNIFESP Universidade Federal do Estado de So Paulo
WOK - Web of Knowledge
WOS - Web of Science
-
18
SUMRIO
1 APRESENTAO .............................................................................20
2 INTRODUO ...................................................................................25 2.1 O processo de avaliao de artigos cientficos ........................................................... 27 2.2 Avaliao de artigos na rea de Psicologia ................................................................ 37
2.3 Pergunta de pesquisa ................................................................................................ 44 2.4 Tipos de pesquisas utilizados pela cincia psicolgica .............................................. 47
2.5 Reviso Sistemtica: padro-ouro das evidncias cientficas? ................................... 53 2.5.1 Aprendendo com a Medicina Baseada em Evidncias ......................................... 55 2.5.2 Evidncias cientficas: a tomada de deciso nos processos psicolgicos ............ 59 2.5.2.1 Psicologia Baseada em Evidncias ................................................................... 68
2.6 Artigos publicados em revistas latino-americanas contm boas evidncias? ............. 77 2.7 Por qu Prevalncia de DPP? .................................................................................... 80
2.7.1 Estudos de Prevalncia ....................................................................................... 80 2.8 Depresso Ps-Parto: um grave transtorno do humor ................................................ 84
3 OBJETIVOS E HIPTESES ..............................................................87 3.1 Objetivo geral ............................................................................................................. 87 3.2 Objetivos especficos.................................................................................................. 87 3.3 Hipteses ................................................................................................................... 87
4 MTODO............................................................................................88 4.1 Etapas da reviso sistemtica .................................................................................... 89
4.1.1 Formulao da pergunta da reviso sistemtica .................................................. 89 4.1.2 Critrios de incluso dos trabalhos ...................................................................... 89 4.1.3 Bases de dados selecionadas .............................................................................. 91 4.1.4 Definio da estratgia de busca ......................................................................... 92 4.1.5 Confronto de duplicidades ................................................................................... 93 4.1.6 Armazenamento e gerenciamento dos dados dos registros ................................. 93 4.1.7 Triagem pelo ttulo do trabalho ............................................................................. 94 4.1.8 Triagem pelo resumo ........................................................................................... 94 4.1.9 Obteno dos textos completos ........................................................................... 94 4.1.10 Avaliao do texto completo .............................................................................. 95 4.1.11 Incluso de outras variveis para avaliao metodolgica ............................... 101 4.1.12 Verificao do nvel de concordncia entre as revisoras .................................. 102
4.2 Procedimentos especficos deste estudo comparativo ............................................. 102 4.2.1 Universo do estudo ............................................................................................ 103 4.2.2 Instrumentos ...................................................................................................... 103 4.2.3 Critrios de seleo ........................................................................................... 103
4.3 Avaliao da qualidade de forma ............................................................................. 103 4.4 Anlise dos dados ................................................................................................... 104
5 RESULTADOS ................................................................................. 105 5.1 Resultados gerais da reviso sistemtica ................................................................. 105
-
19
5.2 Seleo dos estudos ................................................................................................ 108 5.3 Anlises descritivas da Reviso Sistemtica ............................................................ 110 5.4 Resultados da qualidade de artigos includos na reviso sistemtica ....................... 124 5.5 Qualidade metodolgica e da apresentao dos resultados dos estudos ................. 140 5.6 Testes de hipteses ................................................................................................. 150 5.7 Anlise da qualidade dos ttulos, resumos e palavras-chave dos artigos ................. 162
5.7.1 Avaliao dos ttulos dos artigos ........................................................................ 163 5.7.2 Avaliao dos resumos dos artigos .................................................................... 164 5.7.3 Avaliao das palavras-chave dos artigos ......................................................... 167
6 DISCUSSO .................................................................................... 168 6.1 Buscando a literatura para a reviso sistemtica ...................................................... 170 6.2 Diminuindo os vieses de seleo: concordncia entre avaliadoras........................... 173 6.3 Presena de estudos latino-americanos na reviso .................................................. 175 6.4 Publicao em ingls e impacto dos artigos latino-americanos ................................ 177 6.5 Avaliao de contedo e busca por evidncia cientfica ........................................... 180 6.6 Qualidade de forma: ttulos, resumos palavras-chave .............................................. 185
7 CONCLUSO ............................................................................. 186 7.1 Direes Futuras ...................................................................................................... 189
REFERNCIAS ................................................................................... 191
APNDICE A - Instrues para seleo e anlise dos estudos ..... 204
APNDICE B - Referncias dos estudos avaliados ........................ 217
-
20
1 APRESENTAO
Esta tese um conjunto de textos organizados de acordo com normas e
procedimentos, encerra um ciclo da minha vida, um importante ciclo, por isso vou me
permitir falar na primeira pessoa do singular nesta seo do trabalho. Foi realizada
no Programa de Ps-Graduao em Psicologia Experimental, do Instituto de
Psicologia da Universidade de So Paulo, sete anos depois da concluso do meu
mestrado, na Escola de Comunicao e Artes da mesma Universidade, na qual
tambm conclui a graduao, no ano de 1989. Portanto, minha formao na rea
de Comunicao, precisamente, em Cincia da Informao ou Biblioteconomia.
Fazer o doutorado em Psicologia foi uma forma de me aproximar ainda mais da rea
que atuo h 23 anos, desde que me formei bibliotecria, e realiza dois desejos: 1)
colocar em prtica o que temos tentado mostrar nos cursos que oferecemos sobre
escrita cientfica; 2) aprender mais sobre uma rea que vem despertando muito meu
interesse: o uso de evidncias cientficas na tomada de deciso em sade. Claro
que preenche uma lacuna que considero importante na minha formao: operar no
universo da pesquisa e usar o mtodo cientfico, efetivamente.
Afinal, o que uma tese? Tem origem na palavra grega Thesis e quer dizer
proposio. Consiste numa assero discutida e defendida por algum, com base
em hipteses ou pressupostos e, atualmente, encerra um ciclo de estudos
acadmicos em uma determinada universidade. Entre o incio dos meus estudos
ps-graduados e a concluso desta tese, muitas coisas aconteceram.
Desde o projeto inicial para participao do processo de seleo, denominado:
Psicologia Latino-Americana Baseada em Evidncias: Diretrizes para uma Prtica
em Prol de Melhores Condies de Vida finalizao deste trabalho, algumas
coisas mudaram e outras permaneceram inalteradas. Das coisas que mudaram e
que gostaria de destacar foi a chegada minha vida acadmica e pessoal de uma
colega de turma que se tornou pea essencial deste estudo e da qual jamais
esquecerei. Na verdade, Gabriela Andrade da Silva, foi a minha co-orientadora e me
ensinou muitas coisas. Interferiu na transformao do meu projeto, dos meus
objetivos, auxiliou-me a redefinir minhas hipteses, e, principalmente, apresentou-
me a uma rea nunca antes apreendida: a prevalncia da depresso ps-parto. Do
projeto inicial ao estudo aqui apresentado as mudanas foram profundas e o
aprendizado imenso.
-
21
Outra mudana a ser comemorada foi a chegada da professora Sonia Beatriz
Meyer no meu projeto. Do pouco contato que eu tinha com a Sonia inicialmente, at
as interferncias que ela fez no meu texto, sugerindo, questionando e participando
ativamente da construo do trabalho, houve uma trajetria de surpresas felizes.
Tenho a plena convico que a providncia a colocou no meu caminho para
colaborar muitssimo na remodelao do meu projeto. Sonia Meyer, sua presena
forte nesta tese!
Dentre as mudanas, duas convices se mantiveram firmes e inabalveis: 1) a
de querer aprender e falar da Psicologia Baseada em Evidncias, e 2) a de verificar
se estudos latino-americanos apresentam diferenas de qualidade em relao aos
no latino-americanos.
Buscar caminhos para incrementar o interesse de pesquisadores e autores da
rea de Psicologia pela Psicologia Baseada em Evidncias, que uma rea
importante e necessria para a regio, foi uma das motivaes deste estudo. Para
tanto, era necessrio avaliar artigos cientficos, pois so essas as evidncias
consideradas mais vlidas na atualidade.
A oportunidade de participar de uma reviso sistemtica, discutindo cada etapa
com a Gabriela, definindo critrios, buscando nas bases de dados, avaliando os
artigos por ttulo, pelo resumo e, finalmente, pelo texto completo, foram lies que
levarei para o resto da minha vida. Enquanto esse percurso era percorrido, eu ia
aprendendo sobre prevalncia, depresso ps-parto, taxas de concordncia entre
avaliadores, tcnicas de amostragem, taxas de perdas, sensibilidade, especificidade,
intervalo de confiana e outras variveis que faziam parte do estudo. Assim, quando
me perguntam: Por que prevalncia de depresso ps-parto?, eu respondo: O
motivo foi o de participar de uma reviso sistemtica e a prevalncia de depresso
ps-parto foi a oportunidade que eu tive de estudar uma rea nova e que integra a
Psicologia com a Cincia da Informao. Participar de todas as etapas de uma
reviso sistemtica foi uma oportunidade mpar de aprendizado. Mesmo que no
houvesse a tese, o conhecimento adquirido j teria valido o esforo.
Os objetivos de fortalecer a pesquisa de processos comportamentais bsicos
em nosso pas, com o sentido de se obter independncia na soluo de problemas,
atravs da produo do conhecimento cientfico e a partir das oportunidades
criadas por esse fortalecimento, formar novos pesquisadores e docentes,
qualificados para difundir e multiplicar esse conhecimento em outros centros do pas
-
22
e derivar desse conhecimento a soluo prtica de problemas sociais e regionais,
declarados na pgina web do Programa de Ps-graduao em Psicologia
Experimental, do Instituto de Psicologia da USP,1 tambm chamou minha ateno e
despertou-me um interesse em realizar meus estudos no programa.
A interao com profissionais da informao, pesquisadores, professores,
editores e autores responsveis pela gerao do conhecimento cientfico na rea de
Biblioteconomia e Psicologia, promovida pela minha atuao como bibliotecria e
pela coordenao da Biblioteca Virtual em Sade Psicologia (BVS-Psi), do Brasil e
da Amrica Latina, alm da participao na Diretoria da Associao Brasileira de
Editores Cientficos de Psicologia (ABECiPsi), desde seu nascimento, em 2006,
permitiu-me assistir, fascinada, a realizao de sonhos e acompanhar a eterna luta
pela melhoria da qualidade das revistas cientficas latino-americanas. A defesa da
visibilidade do nosso conhecimento tambm uma batalha a qual acompanho com
muito interesse. Tudo isso me encorajou a avanar na empreitada deste trabalho.
Assim, ainda que modestos e parciais, entrego os resultados dos meus
estudos, esperando ter contribudo, minimamente, para ampliar a discusso sobre a
qualidade de artigos cientficos e, tambm, em uma rea que tende a se fortalecer e
se expandir: a Psicologia Baseada em Evidncias. A Cincia da Informao tambm
ser impactada pelo avano dessa nova rea, afinal, estamos falando de informao
na tomada de deciso.
No segundo Captulo, o assunto introduzido e as caractersticas dos artigos
cientficos so apresentadas. O sistema de reviso por pares, algumas escalas para
reviso de manuscritos e um breve relato do processo de avaliao das revistas de
Psicologia, ilustram parte do captulo. O problema da retratao de artigos e a m
conduta de autores so brevemente introduzidos. Em seguida, as partes que
compem o artigo cientfico, com nfase para mtodos utilizados pela Psicologia
esclarecem o leitor. As evidncias cientficas na tomada de deciso nos processos
psicolgicos e como instrumento da gesto de polticas pblicas ganham nfase e
relevncia no texto. lanada uma pergunta sobre as revistas latino-americanas
publicarem boas evidncias e uma breve explicao sobre prevalncia e depresso
ps-parto encerram o captulo. Em meio s definies e s fundamentaes, a
literatura revisada.
1 http://www.ip.usp.br/portal/index.php?option=com_content&view=article&id=975%3Aobjetivos-do-programa&catid=191&Itemid=114&lang=pt
-
23
O objetivo geral e os especficos que guiaram o desenvolvimento do estudo
com as trs hipteses testadas no trabalho formam o Captulo 3.
O mtodo de pesquisa utilizado foi descrito em detalhes no Captulo 4. Estudos
transversais de anlise crtica da literatura, que podem, tambm, ser chamados de
delineamentos de pesquisa documental, so aqueles cujos objetivos e hipteses
verificam-se pela anlise de documentos bibliogrficos ou no bibliogrficos,
demandando uso de metodologia adequada. A coleta, seleo, organizao e
anlise dos dados foram feitas de forma sistematizada para se chegar aos
resultados esperados e descritas nesse captulo.
Os resultados compem o Captulo 5, quando dados gerais da reviso
sistemtica, que embasou o trabalho de Gabriela, e os que compararam artigos
latino-americanos e de outras regies, so apresentados. As buscas bibliogrficas, a
seleo dos textos para avaliao, os critrios de incluso, a concordncia entre as
revisoras, as estatsticas descritivas e os testes de hipteses so apresentados. A
anlise dos ttulos, resumos e palavras-chave encerram esta parte da tese.
As discusses dos principais resultados e o dilogo com autores que
desenvolveram estudos de natureza semelhante conformam o Captulo 6. A
presena de estudos latino-americanos na reviso sistemtica e a importncia da
qualidade metodolgica e da apresentao dos resultados em artigos cientficos,
que os habilitam a serem usados como evidncias na tomada de deciso em gesto
e polticas pblicas, so debatidas.
O Captulo 7 conclui a tese e refora a necessidade de a Psicologia latino-
americana se apoderar das tcnicas de reviso sistemtica para aplicao da
Psicologia Baseada em Evidncias como ferramenta de apoio ao avano das
pesquisas e na soluo de problemas comuns da populao da regio. Para finalizar
so apresentadas algumas direes de estudos futuros que apontam para a
importncia em se desenvolver protocolos de verificao de qualidade metodolgica
e da apresentao de resultados em todas as reas, para que sejam utilizadas por
pesquisadores ainda na fase de definio da metodologia de estudos em
andamento. Sugesto para que a reviso integrativa seja adotada em estudos na
rea tambm foi oferecida. Parcerias entre pesquisadores de Psicologia e
profissionais da informao so sugestes para ampliao da construo de estudos
acadmicos de interesse para as reas de atuao desses profissionais. Finalmente,
feito um apelo para que a comunidade cientfica, as agncias de fomento e os
-
24
programas de ps-graduao revejam alguns critrios de avaliao da produo
cientfica dos cientistas, pesquisadores e docentes, considerando a qualidade dos
estudos e desestimulando o produtivismo exagerado, que valoriza os aspectos
quantitativos em prol dos qualitativos.
-
25
2 INTRODUO
A qualidade de um artigo cientfico diretamente proporcional qualidade
metodolgica e apresentao dos resultados da pesquisa que o originou. A
qualidade cientfica de uma pesquisa e do artigo que a divulga resulta,
fundamentalmente, da sua validade externa (o poder de generalizar os resultados) e
da sua validade interna (se efetivamente est sendo medido o que se deseja
mensurar) (Hoppen, 1998, p. 155). A relevncia do tema de pesquisa, apresentado
em um objetivo muito bem definido, as teorias e os estudos que sustentam a
importncia da pesquisa, embasados em uma reviso da literatura atualizada e
julgada com critrios rigorosos de seleo, metodologia consistente, se possvel
testada em pesquisas anteriores, coleta e anlise de dados com o mnimo de vis e
profundidade, alm do poder de sntese dos resultados, so caractersticas que
permitem avaliar a qualidade da apresentao de um relato de pesquisa. A
habilidade do pesquisador (autor) em sintetizar e redigir corretamente, de
preferncia baseada em diretrizes especializadas, cada uma dessas partes da
pesquisa no bom artigo cientfico, faz a diferena do relato.
O artigo cientfico o meio por excelncia para publicao de resultados de
pesquisas, relatos de experincia profissional, reviso de teorias/temas e outros
tipos de contribuies que pesquisadores e profissionais entregam sociedade.
um texto tcnico-cientfico, escrito por um ou mais autores, de acordo com as
normas editoriais de uma determinada revista. Pode ser o resultado de uma
pesquisa cientfica, da reviso ou da reflexo sobre um determinado tema ou teoria,
que so apresentados em forma de artigos empricos originais, de reviso ou
tericos (Sabadini, Sampaio, & Koller, 2009a). O Dicionrio de Biblioteconomia e
Arquivologia resume: artigo cientfico um texto escrito que foi aprovado para
publicao ou publicado num peridico cientfico (Cunha & Cavalcanti, 2008, p. 32).
A breve definio deixa claro que o artigo cientfico passa por um processo de
avaliao, pois necessita ser aprovado. A avaliao antes da aprovao a grande
diferena do artigo cientfico em relao aos outros tipos de publicao cientfica.
Especialistas avaliam o texto e emitem pareceres antes da publicao, validando o
conhecimento ali registrado e contribuindo com sua experincia para a melhoria do
texto.
-
26
Escrever um artigo cientfico muito diferente de escrever um poema, conto,
romance ou fico. No depende tanto de talento, embora esse seja um facilitador
para autores de qualquer tipo de escrita. A criatividade tambm um fator que
auxilia na redao de bons artigos cientficos. A vantagem que autores podem ser
formados e treinados na tarefa de redao de textos de qualidade. Um conjunto de
regras, normas e procedimentos conduz a redao dos artigos e serve de orientao
para os autores menos experientes. De qualquer forma, depende de habilidades,
mas o interessante que essas podem ser desenvolvidas e melhoradas com a
prtica, no dependendo tanto de vocao.
Quando a velocidade de gerao do conhecimento cientfico j no permitia a
demora para publicar o livro nasceu, por sua vez, a conscienciosa inveno do
artigo cientfico, meio de transmitir e preservar os conhecimentos que passavam a
crescer com rapidez maior do que permitiria transp-los para a forma de livros
(Price, 1976, p. 101). A cincia um empreendimento humano que busca
compreender e explicar os fenmenos e descobrir a ordem das coisas. A matria
prima que alimenta a cincia so todas as outras contribuies j dadas por seus
contemporneos e predecessores (Price, 1976, p.117). Se o principal resultado do
trabalho de pesquisa de um homem o conhecimento, podemos dizemos que esse
homem est dedicado cincia, logo um cientista. Os trabalhos em andamento,
ou aqueles que o pesquisador (no havia mulheres na cincia, ainda...) decidia
compartilhar, eram lidos nas reunies das sociedades cientficas. Para ampliar a
audincia, as Sociedades passaram a publicar as atas das reunies. Por isso,
muitas revistas tinham o nome, e tm at hoje, de Atas...(contribuio direta de Piotr
Trzesniak).
Como vimos, o artigo se diferencia dos outros tipos de trabalhos cientficos
pelo processo de avaliao ao qual submetido. Esse tipo de avaliao recebe o
nome de peer-review (em ingls), que significa reviso por pares, ou referee system,
sistema de arbitragem, que a reviso feita por especialistas antes da aceitao ou
da rejeio de um manuscrito para publicao em uma revista cientfica (Pessanha,
1998). No entanto, outros processos de avaliao esto ganhando fora atualmente,
o que podemos chamar de avaliao de contedo ps-publicao. Deste trataremos
mais frente, agora vamos discutir sobre como teve incio o processo de avaliao
por pares, considerado o meio por excelncia de avaliao de artigos cientficos.
-
27
2.1 O processo de avaliao de artigos cientficos
Na produo cientfica, a quantidade e a qualidade so aspectos centrais em
qualquer rea do conhecimento, pois so indicadores do seu vigor, constituindo-se
em parmetro para sua mensurao e caminho para o seu desenvolvimento
crescente (Soares, Victoria, Cavalieri, & Bottino, 2006). Em relao quantidade,
Price (1976) analisou matematicamente o crescimento exponencial das revistas
cientficas e criticou: At agora nada se disse da qualidade da pesquisa, em
oposio sua quantidade. Qualidade, naturalmente, algo muito mais difcil,
naturalmente, de determinar e exigir investigao muito mais sria do que tem
merecido (p. 163). Price gostaria de saber que, no ano de 2010, Haslam e Laham
exploraram sistematicamente a relao entre quantidade versus qualidade versus
impacto de publicaes acadmicas. Os autores analisaram o estilo da redao e o
prestgio institucional dos autores, por meio dos ndices bibliomtricos, embora
alertassem que os fatores de impacto no capturam as complexidades
multidimensionais da qualidade dos artigos. Elegeram uma amostra intencional de
86 psiclogos sociais com grau de doutorado e analisaram suas publicaes na Web
of Knowlodge (WOK), antes e depois do doutoramento. A quantidade de artigos
publicados foi um forte preditor do impacto no grupo de pesquisadores, embora os
autores argumentem que a qualidade tambm limitada, pois uma revista com fator
de impacto alto pode apresentar artigos com impacto modesto. Essa descoberta
implica que a qualidade e a quantidade refletem maior realizao cientfica:
pesquisadores mais realizados tendem a publicar mais artigos e a faz-lo em
revistas de maior prestgio. Concluem que qualidade e quantidade de publicaes
no so fatores antagnicos, mas alertam que as descobertas no significam que
pesquisadores devem apontar para a quantidade acima de tudo Artigos que
aparecem em revistas melhores' so, em mdia, mais impactantes, mesmo
sabendo que a qualidade das pesquisas no pode ser reduzida aos ndices
bibliomtricos. Price, provavelmente, ficaria confuso em relao validade desses
ndices, mas certamente concluiria que ainda no com o fator de impacto que o
problema da avaliao da qualidade est resolvido. O problema da qualidade do
artigo no pode ser resolvido por nada feito depois que ele publicado. FI um
indicador post-mortem, no influi na qualidade. apenas uma tentativa (meio
fracassada) de avali-lo (contribuio de Piotr Trzesniak).
-
28
Vale esclarecer que o Fator de Impacto (FI) (de dois anos) de uma revista
um indicador bibliomtrico utilizado para medir as citaes a um determinado
peridico. calculado dividindo-se o nmero de citaes recebidas por um peridico
em um determinado ano pelo nmero de artigos publicados por ele nos dois anos
anteriores (Sampaio & Sabadini, 2009, p. 108). O impacto de um artigo pode ser
medido pelo nmero de vezes que o mesmo citado por outros trabalhos. Antes
restritas s bases de dados WOK e Scopus, atualmente, o Google Acadmico faz
essas medies tambm, com a (des)vantagem de considerar todas as publicaes
que ele localiza na Internet, independente de indexao nas bases de dados. Vale
lembar que no considera todas as disponveis, s as que ele encontra e consegue
medir.
O primeiro modo para transmisso de ideias entre os cientistas foi a
correspondncia pessoal. As cartas eram trocadas entre os homens da cincia e a
comunicao com os amigos era utilizada para se fazer o relato e a discusso das
descobertas cientficas, o que ficava restrito a pequenos grupos de interessados que
discutiam essas ideias e, quase sempre, concordavam entre si (Stumpf, 1996). Essa
troca informal de informao, a respeito das novas experincias, foi muito bem
recebida pela comunidade cientfica e permitiu maior divulgao a respeito do que
se fazia na Europa, naquele tempo, em termos de cincia. Como eram grupos de
amigos, as informaes eram disseminadas de maneira dirigida, uma vez que seus
autores nunca as enviavam para aqueles que pudessem refutar suas teorias ou
rejeitar seus experimentos. As descobertas cientficas eram ...limitadas a um
pequeno crculo de pessoas, essas dissertaes epistolares, no se constituram
no mtodo ideal para a comunicao do fato cientfico e das teorias (Stumpf, 1996,
p. 383). ...a correspondncia atravs de trocas de cartas entre cientistas e
estudiosos foi criada e mantida por trinta anos, graas a Pre Mersenne (1588-
1648), o que deu incio primeira rede de cientistas (Beaulieu, 1995; Maury, 2003
citados por Bgault, 2009, p. 92). Estava formado o colgio invisvel, to bem aceito
e popular no meio acadmico e cientfico.
Embora diferente da troca das cartas pessoais do incio do sculo XII,
podemos questionar se no acontece coisa semelhante com algumas revistas na
atualidade, pois, at hoje, algumas no enviam os artigos para avaliao externa e
publicam artigos de acordo com os interesses do editor. O envio dos manuscritos
-
29
para que os pares avaliem e deem pareceres uma forma de minimizar o problema
da amizade cientfica e dar maior credibilidade s descobertas da cincia.
O processo de avaliao da produo cientfica surgiu de forma embrionria,
juntamente com a publicao das primeiras revistas cientfica, no sculo XVIII. Em
1731, a Royal Society of Edinburgh publicou no prefcio do primeiro volume da
revista Medical Essays and Observations um procedimento para seleo de artigos
baseado na reviso por especialistas de fora da instituio. A identidade do revisor
no era informada, somente o parecer era enviado ao autor. Vinte anos depois, a
Royal Society of London estabelecia o processo de reviso dos textos por juzes
externos. Nascia um processo de avaliao de manuscritos que ganharia forma e se
tornaria o modo mais utilizado de seleo de artigos para publicao de todos os
tempos.
Os revisores so juzes encarregados de avaliar a qualidade do produto
cientfico e so parte do controle social, pois avaliam seus pares em todos os
mbitos institucionais e distribuem as recompensas (Davyt & Velho, 2000). No caso
do artigo cientfico, a recompensa a aceitao para publicao. A reviso por
pares definida, segundo Davyt e Velho (2000), como a anlise por iguais, ou
ainda como mecanismo auto-regulador da cincia moderna. , tambm,
um mtodo organizado para avaliar o trabalho cientfico, que usado pelos cientistas para garantir que os procedimentos estejam corretos, estabelecer a plausibilidade dos resultados e distribuir recursos escassos como o espao em revistas, fundos de pesquisa, reconhecimento e reputao. (Chubin & Hackett, 1990, p. 2)
O sistema de assessores, ou revisores, no apareceu tal como conhecido
hoje, mas tem se modificado ao longo da histria, em resposta ao desenvolvimento
da prpria instituio cientfica e dos seus contextos (Davyt & Velho, 2000;
Zuckerman & Merton, 1971). O processo objetiva verificar se o tema relevante,
original, e se o texto fornece informaes, argumentos e interpretaes que
constituam apoio suficiente para as concluses. A reviso visa a contribuir com a
construao do conhecimento, mais do que a mera deciso de publicar ou no. O editor. a seu juzo, tem o poder de concordar ou discordar do parecer, sejam eles
positivos ou negativos. O parecerista pode, por exemplo, estar defendendo ou
protegendo um autor ou bloqueando uma nova ideia. Pode ainda estar acontecendo
um Conflito de interesses entre o autor e o parecerista, seja de ordem pessoal,
-
30
econmica, ideolgica e cultural. Nesse caso, editores enfrentam a difcil tarefa de
detect-los e contorn-los a fim de garantir a qualidade e a credibilidade da revista
(Reiners et al., 2002, p. 4).
A avaliao final sempre do editor e o reconhecimento e respeito por seu
trabalho vai depender de sua postura tica e conhecimento da rea. Em relao
questo tica na publicao e o conflito entre autores, editores e pareceristas, muito
se tem debatido, porm, o consenso est distante de ser estabelecido (Buela-Casal,
2003; Goldenberg, 2001; Greene, 1998; Rodrigues, Crespo, & Miranda, 2006;
Werneck, 2006). O que permeava as cartas aos amigos do incio das publicaes da
cincia, hoje chamado de conflito de interesse, e muitas revistas exigem que os
autores declarem no haver tal conflito na redao do seu trabalho. Rodrigues et al.
(2006) demonstram a preocupao com o assunto e enfatizam a
necessidade de verificar como ocorre o jogo de interesses, quando maus profissionais utilizam-se de associaes de classe para promoo mtua e aproveitam-se desse respaldo, ou mesmo de sua incluso em corpos editoriais de peridicos, para restringir a publicao de inimigos, de posies tericas diferentes das suas. (p. 38)
Outra preocupao dos editores reside na situao em que o revisor compete
com o autor em um mesmo tema e pode dirigir o parecer contrrio publicao do
manuscrito. Embora a reviso seja s cegas, ou duplo-cego, dificultando ao revisor
identificar o autor, muitas vezes, pelo assunto, pelas referncias citadas no trabalho
ou apenas buscando o ttulo ou alguma frase peculiar na web, possvel identificar a
autoria (Martnez, 2012).
Desde que surgiu, o processo de reviso de manuscritos antes da publicao
tem sido aprimorado e diversas revistas publicam roteiros para auxiliar os revisores
na rdua tarefa. Trata-se de preocupao legtima, que interfere diretamente na
qualidade do conhecimento cientfico. Os aspectos a serem analisados em um
manuscrito diferem de rea para rea, mas alguns pontos so comuns e no podem
ser desconsiderados.
No ano de 1956, Dvorak publicou um guia para analisar relatos de pesquisas.
O autor argumentava que os estudantes de doutorado tinham dificuldade para
selecionar um problema de pesquisa, preparar a metodologia, coletar, processar e
interpretar dados e escrever o relatrio, denominado por ele de tese. Sugeria que os
estudantes tivessem aulas para adquirir experincia como pesquisadores e aulas de
-
31
redao de textos cientficos. Dvorak se surpreenderia se soubesse que, passados
quase 60 anos da criao de sua escala, a problemtica continua, acentuada por
uma necessidade imensa de se produzir muito para ser bem avaliado.
Johnson (1957) estudou a habilidade de estudantes do curso de mtodos de
pesquisa em educao para avaliar e criticar artigos de pesquisa; concluiu que eles
necessitavam de treinamento para desenvolverem a atividade. Com o objetivo de
facilitar a capacitao dos alunos na tarefa, ele desenvolveu um mtodo para avaliar
artigos de pesquisas cientficas no campo da Educao, como forma de preparar os
alunos na elaborao do texto cientfico.
O Report of the Committee on Evaluation of Research, de autoria de Wandt
e colaboradores (1967), relata o procedimento desenvolvido para avaliar a qualidade
das pesquisas publicadas em revistas da rea educacional. Os artigos foram
avaliados mediante uma escala, com cinco caractersticas, que pontuava a
qualidade da publicao. A tabela 1, adaptada do Report apresenta a escala.
-
32
Tabela 1 - Escala de Qualidade para Avaliao de Artigos Cientficos (ARR)
Nvel de qualidade Descrio
5 Excelente - um modelo de boas prticas
4 Bom - poucos defeitos
3 Medocre - nem bom, nem ruim
2 Pobre - alguns defeitos graves
1 Completamente incompetente - um exemplo horrvel
Nota. Tabela traduzida e adaptada de An evaluation of educational research published in journals. Report of the Committee on Evaluation of Research, de Wandt et al., 1967, American Educational Research Association (Unpublished), p. 3. Recuperado de http://www.indiana.edu/~educy520/readings/wandt65.pdf
Da amostra de 125 artigos, publicados no ano de 1962, em revistas da rea
de Educao, os especialistas encontraram 19% aceitveis (aceitvel para
publicao sem reviso), 41% com reviso (aceitvel para publicao depois de
reviso) e 40% rejeitado (no aceitvel para publicao). Das iniciais das palavras
Acceptable, Revise e Reject surgiu a sigla ARR, que deu nome escala. Foram
identificadas 25 caractersticas nos 125 artigos publicados. Os procedimentos
organizados e detalhados se transformaram em um relevante guia para avaliao do
relato de pesquisas na rea.
Em 1971, Ward, Hall e Schramm replicaram o estudo conduzido em 1962
pelo Committee of the American Educational Research Association (AERA) e
avaliaram a qualidade das pesquisas de Educao por meio de artigos publicados
em revistas cientficas especificas da rea. Foram avaliados 121 artigos que
cumpriam os requisitos definidos para a seleo da amostra. Considerando novas
demandas da comunidade cientfica, a Escala ARR foi aplicada com uma ampliao
no nmero de itens a serem avaliados, passando de 25 na primeira escala para 33
no estudo de 1971. Com os oito itens includos pelos pesquisadores, a escala
avaliou: ttulo, problema da pesquisa, reviso da literatura, procedimentos, anlise
de dados, concluso, forma e estilo. A nova escala gerou um item a mais tambm na
classificao dos artigos: 1) aceito para publicao sem reviso (A); 2) aceito para
publicao com pequena reviso (R); 3) aceito para publicao com bastante
-
33
reviso (R); e 4) rejeitado (R), e passou a ser denominada Escala ARRR (Ward et
al., 1975).
Hall, Ward e Comer (1988) retomaram a questo da avaliao da qualidade
do relato das pesquisas na rea educacional e explicaram que numerosos guias
haviam sido desenvolvidos nos ltimos 20 anos, enfatizando o trabalho do
Committee on Evaluation of Research, American Educational Research Association
(AERA). Os autores compararam os resultados encontrados aos de 1971, e
publicados em 1975, por Ward et al. A amostra foi composta por 128 artigos
submetidos Escala ARRR e analisados segundo os mesmo critrios, sem
nenhuma inovao. Os autores concluram que houve melhoria na qualidade das
pesquisas publicadas entre 1971 e 1983, data de coleta dos dados da ltima anlise,
e comentaram que 75% dos juzes, consultados no ano de 1983, eram revisores ou
editores de revistas, o que pode ter favorecido os resultados da avaliao.
Objetivando avaliar o estado da arte da rea de conhecimento de Sistemas
de Informao, no Brasil, Hoppen (1998, p. 151) analisou 163 artigos publicados em
revistas cientficas de Administrao, nos anos de 1990. Foram estudados os temas
abordados, as estratgias de busca e as metodologias utilizadas nas pesquisas
empricas que resultaram em artigos. Dentre diversas variveis, o autor constatou
que a qualidade cientfica dos artigos ainda baixa, em razo da no explicitao
de como as teorias de base so operacionalizadas, da descrio incompleta dos
procedimentos metodolgicos e da no validao dos instrumentos de pesquisa (p.
151).
Na metade dos anos de 1990, foi constitudo um grupo internacional de
pesquisadores de ensaios clnicos, estatsticos, epidemiologistas e editores da rea
de biomdicas que, em 1996, apresentou as normas conhecidas como Consolidated
Standards of Reporting Trials (CONSORT) ou Padronizao Consolidada dos
Ensaios Clnicos. O objetivo era o de criar normas para melhorias da comunicao e
anlises de ensaios clnicos. Sua ltima atualizao foi no ano de 2011. O
CONSORT apoiado por diversas revistas da rea mdica, que exigem que os
ensaios clnicos sejam registrados em algum site ou rgo regulamentador para
serem publicados, e tem a adeso de grupos editoriais, incluindo o Comit
Internacional de Editores de Revistas Mdicas, o (ICMJE, O Grupo de Vancouver), o
Conselho de Editores Cientficos (CSE), e a Associao Mundial de Editores
Mdicos (WAME) (Candeiro et al., 2011). A utilidade de CONSORT reforada por
-
34
um acompanhamento contnuo da literatura biomdica, que lhe permite ser
modificada dependendo dos mritos para manuteno dos indicadores ou
agregando novos itens, quando necessrio. A abordagem, baseada em evidncias,
utilizada para desenvolver o CONSORT tambm tem sido utilizada para desenvolver
padres para a comunicao de metanlises de ensaios clnicos aleatorizados e de
estudos observacionais (Altman et al., 2001). As normas do CONSORT foram
estendidas para cobrir, tambm, os desenhos de estudos no farmacolgicos.
Intervenos como cirurgias, procedimentos tcnicos, dispositivos de reabilitao,
psicoterapia comportamental, terapia base de plantas e outros procedimentos
receberam diretrizes objetivando a melhoria dos seus relatos de pesquisas (Boutron,
Moher, Douglas, Schult, & Ravaud, 2008).
A qualidade cientfica de artigos que utilizaram a pesquisa emprica tipo
survey foi avaliada por Froemming et al. (2000) por meio da anlise de 124
trabalhos, publicados em duas revistas e anais de um congresso, considerados os
veculos brasileiros mais representativos daquilo que se produz e publica em termos
cientficos dentro da rea de marketing (p. 202). A concluso da anlise, em
termos gerais, sinaliza pouca preocupao com aspectos relevantes da qualidade
metodolgica da investigao (p. 216).
A qualidade metodolgica dos ensaios clnicos controlados randomizados,
publicados em revistas de ortopedia e de traumatologia do esporte indexadas no ISI
(Institute for Scientific Information), foi comparada com a das revistas indexadas
apenas no MEDLINE. Foram analisados 266 ensaios clnicos controlados
randomizados, sendo 225 publicados em revistas indexadas no ISI e 41 em revistas
MEDLINE. Os ensaios clnicos publicados em revistas ISI apresentaram maiores
pontuaes metodolgicas, segundo os critrios definidos no estudo, em relao aos
estudos publicados nas revistas MEDLINE (Peccin, 2005).
A avaliao da qualidade de relatos de pesquisas publicados em artigos
cientficos vem ampliando seu alcance como rea de estudo. Na rea de
otorrinolaringologia, uma dissertao de mestrado classificou os objetivos e os
desenhos de estudo dos artigos publicados em quatro revistas da rea de
fonoaudiologia, com o objetivo de analisar a qualidade metodolgica das
publicaes sobre voz e laringe. As revistas selecionadas para a avaliao
apresentaram adequao metodolgica insuficiente para responder s perguntas
-
35
clnicas, ou seja, os desenhos de estudo no esto adequados s respectivas
perguntas (Vieira, 2006, p. 45).
Cursos de redao cientfica tm sido oferecidos nas principais universidades
do Brasil e livros que orientam sobre a escrita cientfica so publicados em grande
escala. Gilson Volpato um dos chamados gurus dessa modalidade de
capacitao para autores e seus livros so consumidos pela comunidade cientfica
em busca de aprovao para publicao em revistas internacionais e nacionais com
fator de impacto alto. Interessa aos autores publicarem em revistas com FI alto, pois
so revistas reconhecidas e valorizadas, alm de muito consultadas. Os livros:
Bases Tericas para Redao Cientfica (2007), Administrao da Vida Cientfica
(2009), Dicas para Redao Cientfica (2010a), Prolas da Redao Cientfica
(2010b), Mtodo Lgico para Redao Cientfica (2011) e, o mais atual, Cincia: da
Filosofia Publicao (2013) so leituras obrigatrias para iniciantes e, tambm,
para experientes na matria da redao cientfica com qualidade. Especificamente,
na rea de Psicologia, outro texto que vem tendo uma excelente aceitao o
Publicar em Psicologia, publicado pela Associao Brasileira de Editores Cientficos
de Psicologia (ABECiP), em parceria com a Instituto de Psicologia da USP. O livro
pode ser baixado gratuitamente da internet, a partir do link
http://www.ip.usp.br/portal/images/stories/biblioteca/Publicarempsicologiaversao2012
.pdf.
Um maior rigor no processo de avaliao antes da publicao poderia,
tambm, evitar a situao que vem sendo apontada por especialistas como um
grave problema na cincia: o elevado nmero de retrataes em artigos cientficos.
Retratao quando uma inconsistncia grave apontada em um artigo e o autor
envia sua defesa para publicao. A frequncia da retratao um importante
indicador da sade do empreendimento cientfico, pois revela os erros e os
equvocos publicados nos trabalhos. Artigos retratados representam falhas,
evidncias equivocadas e fracasso do projeto, independente da causa (Foo, 2011).
O nmero de retrataes vem despertando o interesse de estudiosos e
levando anlise desse tipo de ocorrncia nas publicaes cientficas (Fang, Steen,
& Casadevall, 2012; Foo, 2011). Os autores analisaram os artigos indicados como
retratados no PubMed e classificaram as retrataes de acordo com a fraude
identificada: falsificao ou fabricao de dados, plgio, publicao duplicada, ou por
outras razes (por exemplo, erro da revista ou disputa de autoria). Em maio de 2012,
-
36
o PubMed reunia 25 milhes de artigos, indexados desde o ano de 1940, e foram
localizados 2.074 artigos retratados, sendo o mais antigo publicado em 1973 e
retratado em 1977. A maioria dos artigos foi retratada por m conduta dos autores e
os casos mais notrios so problemas de tica na pesquisa. Os autores concluem
que falta maior vigilncia de revisores, editores e leitores na avaliao dos artigos
fraudulentos. As instituies governamentais, que patrocinam grande parte das
pesquisas, tambm precisam estar mais vigilantes, assim como agncias de fomento
e os jornalistas cientficos. Maiores investimentos em capacitaes de
pesquisadores e autores tambm podem resultar na diminuio do nmero de
retrataes de artigos cientficos, uma vez que a m conduta cientfica tende a
diminuir, concluem Fang et al (2012).
Visando reunir o maior nmero possvel de trabalhos que discutem a questo
Manes e Flach (2012) realizaram uma reviso sistemtica da produo cientfica
sobre o tema fraude, a partir de artigos publicados em peridicos internacionais de
contabilidade indexados s bases de dados ISI e Scopus, no perodo entre 2000 e
2011 (p. 166). A partir da reviso de 61 artigos os autores concluram que o tema
fraudes vem ocupando vrios espaos em publicaes, tanto nacionais, quanto
internacionais, e que os autores prefeririam discutir sobre a responsabilidade dos
pareceristas e as punies que lhes dizem respeito, caso seja necessrio. A punio
se d, principalmente, quando existem escndalos financeiros que envolvem as
publicaes.
Dentre as muitas formas de m conduta de pesquisadores, a publicao de
dados fraudulentos uma das mais graves, pois a confiana e a validade da
pesquisa seriamente prejudicada.
Ter um artigo retratado pode prejudicar injustamente a reputao de um autor
que cometeu um erro sem inteno e passvel de explicao.
Alm disso, um artigo pode conter informao valiosa, porm descart-lo,
porque no h clareza em sua redao, no o invalida.
A mxima publicar ou morrer um fator que influi demasiadamente na
qualidade, pois o FI e o ndice h esto a como uma espada na cabea de
pesquisadores e professores em todos os pases.
O ndice h ou h-index, em ingls, uma ferramenta para combinar quantidade
e qualidade de produo cientfica, com base nos trabalhos publicados (Marques,
2013).
-
37
2.2 Avaliao de artigos na rea de Psicologia
A Psicologia uma das reas que, h muitos anos, preocupa-se com a
qualidade dos relatos de pesquisas. No ano de 1929 foi publicado o primeiro Manual
de Publicao, um documento de sete pginas com um conjunto de procedimentos
para aumentar a compreenso da leitura dos textos cientficos. Criado sob a
responsabilidade do United States National Research Council, seus elaboradores
incluiam psiclogos, antroplogos e profissionais de publicao (American
Psychological Association [APA], 2010, p. xiii).
Em 1952, o manual foi ampliado e publicado como um suplemento de 55
pginas no Psychological Bulletin. Revises foram publicadas em 1957 e 1967
(APA, 1952, 1957, 1967). A primeira edio apresentava normas para a escolha de
palavras adequadas, gramtica, pontuao e formatao, polticas de publicao de
peridicos, alm de orientaes para acondicionamento e transporte das revistas
(APA, Council of Editors, 1952, p. 442).
Em resposta s crescentes complexidades da comunicao cientfica, as
edies subsequentes foram lanadas em 1974, 1983, 1994 e 2001. Conhecido
principalmente pela simplicidade e consistncia de seu estilo de citao e
normalizao das referncias, o Manual de Publicao da American Psychological
Association (Publication Manual of the American Psychological Association) tambm
estabeleceu normas para o uso da linguagem que tiveram efeitos de longo alcance.
Particularmente influentes foram as Diretrizes para a lngua no-sexista em Revistas
da APA, publicado pela primeira vez como uma modificao para a edio de 1974,
o que proporcionou alternativas prticas para a linguagem sexista ento de uso
comum (APA Task Force on Sexual Bias in Graduate Education, 1975). As diretrizes
para reduzir o vis na linguagem foram atualizadas ao longo dos anos e, atualmente,
fornecem orientaes prticas para escrever sobre raa, etnia, sexo, idade,
orientao sexual, deficincia e status (APA, 2010, pp. 70-77).
Antes mesmo de lanar a sexta edio, no ano de 2009, antecipando a
reviso do Manual, a APA formou o Working Group on Journal Article Reporting
Standards (JARS) para preparar recomendaes para a submisso de manuscritos
s revistas publicadas pela Associao. As recomendaes tratam de a) normas
para apresentao de todos os tipos de artigos cientficos; b) normas especficas
-
38
para relatos de pesquisas com manipulao experimental ou avaliao de
intervenes, usando desenhos de pesquisa que envolvam aleatorizao e no
aleatorizao; e c) normas para apresentao de estudos de metanlise. Os
informes tambm encorajam os autores a providenciarem mais detalhes nos seus
relatos de pesquisas e examinam os obstculos e os benefcios do desenvolvimento
de relatrios de normas editoriais (APA Publications and Communications Board
Working Group on Journal Article Reporting Standards, 2008).
O Manual de Publicao da American Psychological Association encontra-se
na sexta edio e orienta os autores em relao ao estilo que deve ser seguido para
a redao de artigos cientficos a serem submetidos s revistas da Associao
(APA, 2010). A ltima verso incluiu procedimentos para elaborao de revises
sistemticas, com ou sem metanlise, alm de inovaes em relao ao ambiente
digital, com nfase para o papel do Digital Object Identifier (DOI), como uma maneira
confivel de localizar informaes. Foram introduzidas, tambm, novas orientaes
sobre a questo tica da determinao da autoria principal e colaborao;
duplicaes de uma mesma publicao; plgio e autoplgio, mascaramento dos
participantes; validade dos instrumentos de pesquisas; disponibilizao de dados
para verificao por outros; procedimentos para verificao da clareza e da preciso
de pesquisas empricas; simplificao do ttulo para torn-lo mais propcio em
publicaes eletrnicas; novas diretrizes para reduo do vis de linguagem e
adequao aos padres atuais da lngua; novas diretrizes para apresentao das
estatsticas e abreviaturas. Vale destacar a discusso ampliada do processo de
publicao, incluindo a funo e o processo de reviso por pares, tica, requisitos
legais e polticas em publicao, e orientaes sobre como interagir com o editor
enquanto o artigo est no prelo. Sem dvidas, o mais importante manual de estilo
para publicao da rea de Psicologia. As orientaes do manual regem a
Psicologia em diversos pases do mundo. Mesmo no Brasil, que conta com a
Associao Brasileira de Normas Tcnicas (ABNT) para padronizar a normalizao
de publicaes, o Manual de Publicao da APA consenso entre os autores da
rea de Psicologia e disciplinas correlatas.
Sabadini, Nascimento e Cadid (2007) analisaram as normas editorias de 69
ttulos de revistas brasileiras de Psicologia com o objetivo de observar as que
adotam o estilo publicado pela APA na normalizao das citaes e das referncias.
Concluiram que 35 dos 69 ttulos analisados (51%) utilizavam as normas
-
39
internacionais, o que demonstrava uma tendncia de uso do estilo APA de
normalizar. Ao acompanhar as revistas, por ser atributo das nossas atividades,
podemos afirmar que esse panorama sofreu bastante alterao e muitas outras
revistas de Psicologia migraram para o padro APA.
A preocupao com a qualidade dos artigos cientficos em Psicologia levou
Witter (2006) a buscar instrumentos para a avaliao da produo cientfica
brasileira. A autora pesquisou e analisou diversas publicaes que relatavam a
preocupao com a sistematizao e criao de instrumentos para anlise da
produo cientfica. Dentre as escalas mais difundidas e pesquisadas, ela encontrou
a Escala ARRR, desenvolvida por Ward et al. (1975), apresentada anteriormente.
Witter (2006) informa que utilizou amplamente a Escala nos cursos de ps-
graduao das reas de Psicologia, Educao e Lingustica, para que os alunos
avaliassem artigos de pesquisa. Segundo a autora, o instrumento se mostrou muito
til, no s como ferramenta de avaliao, mas tambm como meio de ensino de
redao cientfica. A autora passou a utilizar a Escala tambm para que os alunos
avaliassem seus prprios relatrios de pesquisa, pois notou que isso ajudava a
melhorar a criticidade na avaliao de pesquisas por parte dos estudantes.
A Escala ARRR avalia os artigos de acordo com o nmero de pontos que o
trabalho alcanou na avaliao. No deve ser utilizada para avaliar resenhas,
editoriais, informativos e outros tipos de contribuio que no sejam textos tericos e
relatos de pesquisa. Quando o trabalho terico so computados os pontos de
acordo com uma tabela especfica (Witter, 2006). Ao adaptar a Escala ARRR, a
autora inseriu itens para avaliao das referncias dos artigos, em relao a seguir a
norma adotada pela revista e a temporalidade das referncias e tipologia do suporte
documental. Graas ao trabalho de Witter (2006), a rea da Psicologia tem avaliado
seus artigos com um instrumento validado, internacional e nacionalmente, e pode se
dedicar avaliao de sua produo com o rigor necessrio cincia.
No final da dcada de 1990, a preocupao com a qualificao no foi
preocupo com a qualidade, mas com a qualificao, isto , onde estava sendo
publicado,e no o qu estava sendo publicado nos programas de ps-graduao
que, consequentemene, levou avaliao das revistas cientficas. Cada rea do
conhecimento se responsabilizou por desenvolver os critrios para anlise da sua
produo, de acordo com eventos da Coordenadoria de Aperfeioamento de
Pessoal de Nvel Superior (CAPES), denominado QUALIS.
-
40
As demandas para a realizao deste empreendimento, que teve a sua verso inicial realizada em 1999, so as seguintes: (a) qualificar os veculos cientficos nos quais publicam pesquisadores brasileiros vinculados aos programas de ps-graduao em psicologia; (b) criar mecanismos para viabilizar a manuteno dos peridicos com melhor avaliao; (c) estabelecer parmetros para o incremento da qualidade dos peridicos da rea (Yamamoto et al., 2002, p. 163).
A necessidade de distinguir entre a informao de qualidade e o
conhecimento reproduzido em larga escala desqualificou uma parte considervel do
material apresentado aos programas de ps-graduao e centros de pesquisa.
Entre os artigos publicados, produes apresentadas em eventos, orientaes de
trabalhos cientficos, livros e outras publicaes, imprescindvel sinalizar para a
comunidade acadmica o mrito cientfico de tais produtos (Costa & Yamamoto,
2008, p. 22). O Sistema de Avaliao da Ps-graduao foi implantado no ano de
1998, com o objetivo de avaliar os programas de ps-graduao no Brasil.
Costa e Yamamoto (2008) analisaram o sistema de avaliao de peridicos
Qualis da rea de Psicologia com o objetivo de fazer um estudo do processo de
avaliao, que chamaram de meta-avaliao (avaliao da avaliao). A anlise
demonstrou que h divergncia entre os principais atores envolvidos no processo
editorial das revistas em relao aos critrios adotados pelas comisses avaliadoras
da CAPES. No entanto, h o reconhecimento das melhorias das publicaes aps a
implantao do processo. A recomendao dos autores que, uma vez
considerado esse processo de avaliao como contribuio para o progresso
cientfico, h que construir alternativas para um modelo capaz de fornecer respostas
adequadas s demandas da comunidade cientfica (p. 13). Concluram ainda que
...a Comisso de Avaliao CAPES/ANPEPP atendeu aos objetivos estipulados: os peridicos cientficos esto sendo classificados continuamente, desde a primeira edio; os editores, agora, so capazes de visualizar os parmetros exigidos para os ttulos da rea, e, apesar de no haver um mecanismo formal voltado exclusivamente para a manuteno dos peridicos melhor avaliados, este aspecto pode ser considerado operacionalizado pelo prprio consumo de tais peridicos por parte da comunidade cientfica (Costa & Yamamoto, 2008, p. 23).
O processo de avaliao de peridicos Qualis analisa as revistas e no os
artigos. Claro, seria humanamente impossvel avaliar os artigos em decorrncia do
grande nmero de revistas nas quais a rea de Psicologia, aqui no Brasil, publica.
-
41
No ano de 2012, foram avaliados 2058 ttulos de peridicos que receberam a
contribuio de autores brasileiros dos diversos programas de ps-graduao. A
alternativa encontrada para ampliar o processo foi considerar a indexao em bases
de dados, que desde sua implantao provocou a reao dos editores.
Esse novo modelo de avaliao passou, desde logo, a receber crticas de diferentes setores da comunidade cientfica brasileira. Marques (20092), no texto A escala da discrdia, informa que pesquisadores de reas diferentes fazem crticas que vo desde apontar como perigoso o peso exagerado dado, nessa escala de avaliao, ao fator de impacto (FI) at a falta de critrio na poltica de avaliao da Capes. (Barone, 2011, p. 88)
As crticas ao novo modelo de avaliao, focado no FI, foram feitas porque a
indexao em bases de dados passa a ter uma valorizao excessiva da visibilidade
e da insero internacional, j que as bases de dados mais valorizadas, ou seja,
aquelas que classificam a revista no melhor extrato da avaliao, A1, so duas
norte-americanas: WOK e PsycInfo. A importncia da avaliao reconhecida como
elemento essencial para a elevao da qualidade do ensino, mas declara a editora
do Jornal de Psicanlise (Barone, 2011, p. 89) a Capes deveria desenvolver
critrios de avaliao mais sofisticados e complexos, j que fator de impacto no
constitui, efetivamente, uma medida absoluta de qualidade.
Com o objetivo de oferecer um instrumento de apoio aos processos de
avaliao utilizados pelas agncias de cincia e de tecnologia e pelas prprias
bases de dados, Castro (2011) desenvolveu um protocolo para avaliar as bases de
dados em relao ao mbito, cobertura e pblico-alvo, mrito cientfico, qualidade
editorial, qualidade grfica, tipo de contedo, idioma e cobertura geogrfica. Com a
aplicao dos critrios de avaliao definidos no protocolo possvel conhecer os
graus de complexidade e as restries das bases de dados e categoriz-las, de
acordo com esses quesitos, considerando a qualidade do contedo indexado
(Castro, 2011). Quanto mais exigentes forem os critrios de seleo das revistas
indexadas em uma determinada base de dados, maior ser a qualidade dos artigos
publicados. Avaliar as bases de dados, com critrios igualitrios e validados por
especialistas, um excelente caminho para enquadr-las no mbito temtico,
cobertura do tipo de documentos e pblico-alvo ao qual a base dirigida.
2 Marques, F. (2009). A escala da discrdia. Pesquisa Fapesp Online, (160). Recuperado de http://revistapesquisa.fapesp.br/2009/06/01/a-escala-da-discordia/
-
42
A produo cientfica ganhou uma condio de suma importncia na
avaliao de docentes, alunos, profissionais de universidade e centros de pesquisa.
Dessa maneira, fundamental a criao de estratgias para avaliao da qualidade
dos artigos publicados por essa comunidade. Incentivar autores a revisitarem os
artigos cientficos em busca de evidncias e, neste processo, incluir a avaliao
pode ser uma alternativa vlida, ainda que o caminho seja rduo e longo. Afinal,
estamos falando de um volume imenso de artigos publicados em diversas revistas
cientficas que necessitam ser sistematizados por alguns requisitos para, ento,
serem oferecidos como provas para a comunidade.
Uma alternativa para avaliar a qualidade dos artigos e das revistas,
denominada ndice de Qualidade, foi apresentada por Buela-Casal (2003). Esta
justifica a criao dos itens de avaliao por achar lgico que a qualidade dos
artigos muito mais que o nmero de citaes que ele recebe. Em colaborao com
Robert Sternberg, presidente da APA em 2003, o autor aponta quinze motivos para
dar mais importncia ao artigo, propriamente dito, que revista que o publica; ele
faz duras crticas ao processo de reviso por pares e ao conservadorismo de
algumas revistas prestigiosas, ou seja, com fator de impacto alto. Seu ndice de
Qualidade relaciona uma srie de critrios para avaliar o contedo de artigos em
Psicologia e em outras reas do conhecimento, da qual traduzimos e destacamos
uma sntese em forma de perguntas.
1) Os resultados so novos, inditos, relevantes e fazem sentido em um contexto
terico e prtico?
2) As ideias interessantes e trazem um novo enfoque para tratar velhos problemas?
3) Os dados so interpretados sem equvocos?
4) apresentado um marco novo e mais simples para casos mais confusos e
complexos?
5) Ideias que pareciam irrefutveis so questionadas?
6) A pesquisa tem validade interna e utiliza um desenho metodolgico adequado?
7) A pesquisa tem validade externa suficiente para que os resultados sejam
generalizados?
8) O mtodo e os procedimentos so bem descritos e passveis de replicao?
9) Os resultados tericos e prticos tm um alto grau de aplicao?
10) Os resultados tericos e prticos so teis sociedade?
-
43
11) O tipo de estudo nomeado com clareza?
12) As hipteses possuem formulaes e interpretaes adequadas?
13) Os instrumentos de avaliao utilizados tm qualidade e garantia cientfica?
14) Os estudos seguem normas adequadas para a apresentao de casos?
15) Os estudos para construes e validao de instrumentos seguem a
metodologia adequada?