Fundação CAPESFundação CAPESCoordenação da Área de PsicologiaCoordenação da Área de Psicologia

Emmanuel Zagury Tourinho e Emmanuel Zagury Tourinho e Antonio Virgílio Bittencourt BastosAntonio Virgílio Bittencourt Bastos

Livros constituem parte importante da produção científica na área da Psicologia› No triênio 2004/2006 – artigos (41,58%); › Livros/capítulos (33,71%) – aproximadamente 1200 títulos

A Psicologia: diversas subáreas, diferentes perspectivas teórico-metodológicas/abordagens

Comunidades pequenas – dificuldade de avaliadores ‘isentos’

DECISÃO: buscar indicadores diretos e indiretos prescindindo da leitura por consultores

Foram avaliados livros, não capítulos separadamente.

Para cada obra publicada, os Programas preencheram uma ficha e enviaram um exemplar para a Biblioteca do IPUSP.

Com base nas fichas remetidas foi construída uma planilha com todas as obras publicadas.

Ponto de partida: taxonomia do tipo de obra

A. Aspectos Formais: › Tipo de autoria › Editoria› Características adicionais

B. Características de Obra:› Tipo da Obra› Natureza do texto› Origem do texto› Público – Alvo

C. Indicadores de Qualidade Diferencial da Obra

Tipo de publicação Pontuação de partida

I Livros com texto integral de um autor (ou de co-autores) 2,002,00

II Livros com texto integral de um autor (resultado de tese de doutorado)

1,201,20

III Obra didática visando atendimento de ensino de graduação. Obra constituída de verbetes temáticos, biográficos, históricos

1,001,00

IV Livros com texto integral de um autor (resultado de dissertação de mestrado). Obras que expressam pontos de vista do autor.

0,800,80

V Coletâneas em que os organizadores aparecem como autores em até 2 capítulos.

2,402,40

VI Coletâneas em que os organizadores aparecem como autores em mais de 2 capítulos.

2,002,00

VII Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida a vários públicos

0,800,80

VIII Obra individual ou coletiva com contribuição restrita à seleção dos textos originais ou reunião de textos já publicados

0,400,40

IX Relatos de experiências , Obras artísticas, Obras religiosas. 0,000,00

Grupo I (texto integral)I a Relato e discussão de pesquisa original desenvolvida por

docente do programa (texto completo de um mesmo autor ou em co-autoria)

I b Apresentação e discussão de proposição teórica original desenvolvida por docente do programa (texto completo de um mesmo autor ou em co-autoria)

I c Apresentação e discussão de proposição metodológica original desenvolvida por docente do programa (texto completo de um mesmo autor ou em co-autoria)

I d Revisão crítica da literatura sobre um ou mais temas desenvolvida por docente do programa (texto completo de um mesmo autor ou em co-autoria)

Grupo II (texto integral)II a Relato e discussão de pesquisa original desenvolvida

como tese de doutorado (texto completo de um mesmo autor ou em co-autoria com orientador)

II b Apresentação e discussão de proposição teórica original desenvolvida como tese de doutorado (texto completo de um mesmo autor ou em co-autoria com orientador)

II c Apresentação e discussão de proposição metodológica original desenvolvida como tese de doutorado (texto completo de um mesmo autor ou em co-autoria com orientador)

Grupo III (texto integral)III a Texto integral de obra didática visando atendimento de

ensino de graduação ou de pós-graduação (texto completo de um mesmo autor ou em co-autoria)

III b Obra constituída de verbetes temáticos, biográficos, históricos ou de outra natureza (obra individual ou em co-autoria abrangendo apenas o grupo de organizadores)

III c Manuais de instruções sobre contextos de utilização, aplicação (quando for o caso), instalação (quando for o caso), e interpretação de testes ou softwares desenvolvidos pelo autor, que discutam os fundamentos da construção e validação (quando for o caso) do produto desenvolvido. No caso dos testes, desde que exista aprovação pelo CFP

III d Biografia comentada de autor ou profissional relevante para a Psicologia ou áreas afins

III e História de alguma instituição de importância histórica para a Psicologia ou áreas afins (obra individual ou em co-autoria abrangendo apenas o grupo de organizadores)

Grupo IV (texto integral)IV a Apresentação de obra de um autor, com seleção de seus

textos, e discussão crítica de suas contribuiçõesIV b Revisão, discussão e pontos de vista pessoais sobre

política científica, educacional, de saúde, ou outras modalidades de políticas públicas (texto completo de um mesmo autor ou em co-autoria)

IV c Relato e discussão de pesquisa original desenvolvida como dissertação de mestrado (texto completo de um mesmo autor ou em co-autoria com orientador)

IV d Apresentação e discussão de proposição metodológica original desenvolvida como dissertação de mestrado (texto completo de um mesmo autor ou em co-autoria com orientador)

IV e Qualquer um dos tipos de livro previstos no Grupo I com autor(es) discente(s) (mestrandos ou doutorandos), desde que não possam ser enquadrados no Grupo II ou nos itens IVc e IVd

2,00 1,20

0,801,00

Grupo V (coletânea)V a Relatos e discussões de pesquisas originais (obra

organizada, com textos de diferentes autores, com ou sem foco em uma temática específica – desde que um mesmo nome não apareça como autor ou co-autor em mais do que dois capítulos)

V b Apresentação e discussão de proposições teóricas originais (obra organizada, com textos de diferentes autores - desde que um mesmo nome não apareça como autor ou co-autor em mais do que dois capítulos)

V c Apresentação e discussão de proposições metodológicas originais (obra organizada, com textos de diferentes autores - desde que um mesmo nome não apareça como autor ou co-autor em mais do que dois capítulos)

V d Revisão crítica da literatura sobre alguns temas (obra organizada, com textos de diferentes autores - desde que um mesmo nome não apareça como autor ou co-autor em mais do que dois capítulos)

V e Obra didática com capítulos de diferentes autores visando atendimento de ensino de graduação ou de pós-graduação (desde que um mesmo nome não apareça como autor ou co-autor em mais de dois capítulos)

V f Obra constituída de verbetes temáticos, biográficos, históricos ou de outra natureza (obra coletiva, com colaboradores diversos)

OBS: Quando o livro incluir quinze ou mais capítulos, passa a ser utilizado, no lugar do número de capítulos de um mesmo autor, o percentual de capítulos. No Grupo V são incluídos livros com quinze ou mais capítulos em que um mesmo pesquisador/docente/discente não figure como autor ou co-autor em mais de que 35% dos capítulos

Grupo VI (coletânea)VI a Relatos e discussões de pesquisas originais (obra

organizada, com textos de diferentes autores, com ou sem foco em uma temática específica – com um mesmo nome figurando como autor ou co-autor em três ou quatro capítulos)

VI b Apresentação e discussão de proposições teóricas originais (obra organizada, com textos de diferentes autores - com um mesmo nome figurando como autor ou co-autor em três ou quatro capítulos)

VI c Apresentação e discussão de proposições metodológicas originais (obra organizada, com textos de diferentes autores - com um mesmo nome figurando como autor ou co-autor em três ou quatro capítulos)

VI d Revisão crítica da literatura sobre alguns temas (obra organizada, com textos de diferentes autores - com um mesmo nome figurando como autor ou co-autor em três ou quatro capítulos)

VI e Obra didática com capítulos de diferentes autores visando atendimento de ensino de graduação ou de pós-graduação (com um mesmo nome figurando como autor ou co-autor em três ou quatro capítulos)

OBS: Quando o livro incluir quinze ou mais capítulos, passa a ser utilizado, no lugar do número de capítulos de um mesmo autor, o percentual de capítulos. No Grupo VI são incluídos livros com quinze ou mais capítulos em que um mesmo pesquisador/docente/discente figure como autor ou co-autor em 35% a 50% dos capítulos

2,40 2,00

Grupo VII (texto integral ou coletânea)VII a Obra individual ou coletiva visando difusão de conhecimento (divulgação,

vulgarização), dirigida à população adulta em geral

VII b Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida a algum grupo específico da população: deficientes visuais, deficientes auditivos, mães de crianças portadoras de deficiências, portadores do vírus HIV, homossexuais, interessados em adoção, professores de creche, entre outros

VII c Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida à população adolescente

VII d Obra individual ou coletiva visando difusão de conhecimento (divulgação, vulgarização), dirigida à população infantil

VII e Revisão, discussão e pontos de vista pessoais sobre política científica, educacional, de saúde, ou outras modalidades de políticas públicas (obra organizada)

VII f Anais de Congressos com textos completos (organização)VII g Anais de congressos com resumos (organização)VII h Organização de qualquer um dos tipos de livro previstos no Grupo V realizada

por discente(s) (mestrandos ou doutorandos), ou realizada por docente, mas com capítulos elaborados por discentes

VII i Relatos e discussões de pesquisas originais (obra organizada, com textos de diferentes autores, com ou sem foco em uma temática específica – com um mesmo nome figurando como autor ou co-autor em cinco ou mais capítulos)

VII j Apresentação e discussão de proposições teóricas originais (obra organizada, com textos de diferentes autores - com um mesmo nome figurando como autor ou co-autor em cinco ou mais capítulos)

VII l Apresentação e discussão de proposições metodológicas originais (obra organizada, com textos de diferentes autores - com um mesmo nome figurando como autor ou co-autor em cinco ou mais capítulos)

VII m

Revisão crítica da literatura sobre alguns temas (obra organizada, com textos de diferentes autores - com um mesmo nome figurando como autor ou co-autor em cinco ou mais capítulos)

VII n Obra didática com capítulos de diferentes autores visando atendimento de ensino de graduação ou de pós-graduação (com um mesmo nome figurando como autor ou co-autor em cinco ou mais capítulos)

OBS: Quando o livro incluir quinze ou mais capítulos, passa a ser utilizado, no lugar do número de capítulos de um mesmo autor, o percentual de capítulos. No Grupo VII são incluídos livros com quinze ou mais capítulos em que um mesmo pesquisador/docente/discente figure como autor ou co-autor em mais de 50% dos capítulos.

Grupo VIII (texto integral ou coletânea)VIII a

Apresentação da obra de um autor, com contribuição restrita à seleção dos textos originais

VIII b

Reunião de textos de um mesmo autor já publicados anteriormente (podendo alguns textos terem sido produzidos em co-autoria)

VIII c

Reunião de textos produzidos para apresentações de alunos em seminários internos dos Programas de Pós-Graduação

VIII d

Reedições de livros publicados em triênios anteriores àquele abrangido pela avalia

Grupo IX (texto integral ou coletânea)

IX a Relatos de experiências (relatos de viagem, relatos de experiências especiais vividas, ou similares)

IX b Obras artísticas

IX c Obras religiosas

IX d Manuais sobre normatização, busca na internet, ou produções similares

IX e Autoria ou organização feita por discente em livro que não possa ser enquadrado em qualquer dos Grupos anteriores

0,80 0,40

0,00

aa1

Autores ou organizadores de livros de dois (ou mais) diferentes programas ou instituições (esforço de cooperação) 0,2

a2 Autores ou organizadores de livros brasileiros e estrangeiros (cooperação que extrapola a produção nacional) 0,3

b

b1Autores e co-autores de capítulos de pelo menos quatro diferentes programas ou instituições (esforço de cooperação / redução de endogenia) 0,2

b2Autores e co-autores de capítulos de pelo menos quatro diferentes programas ou instituições e autores e co-autores estrangeiros – pelo menos dois (esforço de cooperação e redução de endogenia que extrapola a produção nacional)

0,3

c

Importância e tradição da editora na área da PsicologiaObs: Deve ficar claro que muitas editoras não geram pontos de acréscimo

c1Editoras universitárias filiadas à ABEU ou editoras comerciais com distribuição nacional e edições freqüentes de livros da área 0,2

c2Outras editoras universitárias ou editoras comerciais com distribuição nacional e edições regulares, embora não freqüentes, de livros na área 0,1

d Premiação em âmbito nacional ou internacional anterior à publicação (Capes, Anpocs, por exemplo) 0,3e Premiação em âmbito nacional ou internacional posterior à publicação, se for possível constatá-la no triênio 0,3

fApoio de agências de fomento específico para a publicação do livro (CNPq, Fapesp, Faperj, por exemplo), supondo avaliação 0,2

gObra relacionada a uma das linhas de pesquisa do ProgramaObs: Trata-se de informação a ser fornecida pelo Coordenador no relatório do Programa ou mediante solicitação específica

0,1

hObra relacionada a grupo de trabalho da AnpeppOBS: Estando disponíveis os Anais da Anpepp, será possível aferir tal condição, mesmo que ela não seja informada na apresentação do livro

0,2

iReedição, se for possível constatá-la no triênioObs: No caso de reedição de livro publicado originalmente no triênio anterior o livro deve ser classificado no Grupo VIII

0,1

j Publicação em país estrangeiro (originalmente, ou em tradução) 0,2

l

Esforço editorial (tamanho do livro)i1 entre 100 e 200 págs. 0,1i2 entre 201 e 300 págs. 0,2i3 entre 301 e 400 págs. 0,3i4 mais de 400 págs. 0,4

mQualidade da edição (outras características do livro – planejamento gráfico, ilustrações, formatos especiais de páginas, edição em papéis especiais, reproduções fotográficas, capa dura, entre outras)Obs.: Atribuição de 0,1 ou 02 dependendo da característica presente e de sua qualidade

0,1 ou 0,2

n Publicação de informações sobre o(s) autor(es) 0,1

oPresença de ficha catalográfica, título na lombada, ISBN (ou ISSN no caso de obra seriadaObs.: Presença de todos os itens. 0,1

LIVROS CAPÍTULOS ARTIGOS TCA

mínimo máximo mínimo máximo Classificação Pontuação Classificação Pontuação

I 2,00 3,50* INT A 2,70

II 1,20 2,70* INT B 2,40

III 1,00 2,50* INT C 2,10

IV 0,80 2,30* NAC A 2,40

V 2,40 4,30* 1,20 2,15** NAC B 2,10

VI 2,00 3,90* 1,00 1,95** NAC C 1,80

VII 0,80 2,70* 0,40 1,35** LOC A 0,90

VIII 0,40 2,30* 0,20 1,15** LOC B 0,60

IX 0,00 1,90* 0,00 0,95** LOC C 0,30

Nacional Internacional

0,20

Local/Regional 0,10

O trabalho introduziu uma avaliação mais cuidadosa de parcela importante da produção da pós-graduação em Psicologia.

Contribuiu de forma mais significativa para a composição do escore geral de produtividade dos programas

Valorizou a produção em livros, discriminando títulos de maior qualidade, embora a produção em periódicos continue sendo a mais importante.

O trabalho se revelou maior e mais complexo. Serviu como experiência piloto.

Estratos Pontuação da obra

Estrato 4 - L4 ≥90

Estrato 3 - L3 71 - 89

Estrato 2 - L2 51 - 70

Estrato 1 - L1 21 - 50

Estrato - LNC - Não classificados 0 - 20

n=1.142 obras

Em dezembro, foram avaliadas 511 obras, de um total de pouco mais de 700 inseridas no sistema. A ausência dos livros na Biblioteca da USP impediu que todas fossem auditadas.

Ao longo e após o período de avaliação, mais títulos foram inseridos no sistema. Hoje temos 838 itens cadastrados.

O processo mostrou-se bastante ágil quando se dispunha do livro para examinar as informações. As dificuldades surgiam quando se tinha apenas cópias de partes do livro.

A informatização e a regras estabelecidas permitiram racionalizar o processo, evitando multiplicação de dados iguais vindos de diferentes Programas, principal dificuldade da avaliação no triênio passado.

Uma regra do processo terminou não sendo seguida por alguns Programas, gerando dúvidas e questionamentos: a inserção apenas dos títulos que foram produzidos e/ou organizados por seus docentes.

Há evidências de que alguns dados dos livros não foram preenchidos pelos autores.

Nas informações das fichas, os problemas mais frequentes diziam respeito a:› Editora comercial com ou sem tradição na área.› Natureza do texto:

B.2.1 – Sistematização de resultados de um programa abrangente de pesquisa conduzido pelo próprio autor.

› Indicadores de qualidade adicional da obra: C.5 – Obra relacionada a programas de pesquisa

multicêntricos financiados por instituições de fomento