cpa em questao.ler

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 3, p. 573-601, nov. 2011 573

AVALIAO INSTITUCIONAL NO CONTEXTO DO SINAES: A CPA EM QUESTO


Assis Leo dA siLvA*ALfredo MAcedo GoMes**

Recebido: 23 dez. 2010 Aprovado: 04 abr. 2011

*Doutorando do Programa de Ps-Graduao em Educao da Universidade Federal de Pernambuco e professor do Instituto Federal de Educao, Cincia e Tecnologia de Pernambuco (IFPE). Recife, Brasil. E-mail: [email protected]

**Doutor em Educao pela University of Bristol, Professor do Departamento de Fundamentos da Educa-o e do Programa de Ps-Graduao em Educao da UFPE. Bolsista PQ CNPq, Recife, Brasil. E-mail: [email protected]

Resumo: O estudo trata da poltica de avaliao da educao superior, o SINAES, com nfase especial sobre a atuao das Comisses Prprias de Avaliao (CPA) no processo de implementao de avaliao institucional nas universidades federais. Parte-se do pressuposto de que as indefinies acerca da dinmica de implementao do SINAES tm dificultado a adoo de uma concepo de avaliao mais prxima de seus princpios e pressupostos terico-metodolgicos. Analisa-se as atividades desenvolvidas pela CPA com o objetivo de problematizar a dinmica de implementao do SINAES no que se refere ao processo de avaliao interna. Os dados foram levantados por meio de entrevistas com os membros da CPA em duas Universidades Federais situadas na regio Nordeste do Brasil. Foram tambm levantados a legislao pertinente e documentos junto as IFES. A anlise dos dados revela, entre outras coisas, que o SINAES, por meio da auto-avaliao, no tem conseguido instituir a prtica da avaliao sistmica baseada no paradigma subjetivista.

Palavras-chave: Educao superior. Auto-avaliao. SINAES. CPA. Universidades Federais.

INSTITUTIONAL EVALUATION IN THE CONTEXT OF SINAES: THE CPA IN QUESTION

Abstract: This paper analyses the higher education evaluation policy, the SINAES, with special emphasis on the action and role of the Evaluation Commissions (CPA) in relation to the implementation process of institutional evaluation in the federal universities. The CPAs activities are analysed in order to problematise the SINAES dynamic of implementation of institutional evaluation. The assumption is that the lack of familiarity by the academic community with theories, methodologies and practices of assessment has been detrimental to the adoption of a concept of evaluation closer to the principles and theoretical and methodological assumptions of Sinaes. Data collection was carried out through interview with CPAs components in two federal universities situated in the Northeast of Brazil. Policy documents and higher education legislation were also examined. The conclusion reveals that the SINAES has not succeeded to institute the practice of system evaluation based on the subjectivist paradigm.

Key words: Higher education. Self-evaluation. SINAES. CPA. Federal universities.

INTRODUONas duas ltimas dcadas a avaliao da educao superior adquiriu enorme

relevncia acadmica e social, particularmente porque as polticas pblicas de

Avaliao, Campinas; Sorocaba, SP, v. 16, n. 3, p. 573-601, nov. 2011574

Assis Leo dA siLvA; ALfredo MAcedo GoMes

educao tm lhe conferido grande visibilidade, criando sistemas avaliativos compreensivos e pungentes e investindo somas considerveis de recursos. A avaliao, ou a prtica discursiva da avaliao, passou a compor a agenda pblica da educao brasileira, como tem feito em outras formaes sociais. Como conseqncia o nmero de estudos e pesquisas sobre o tema, centrado nos pressupostos terico-metodolgicos, nos modelos de avaliao e nas polti-cas pblicas de avaliao da educao superior, aumentou significativamente. (DIAS; HORIGUELA; MARCHELLI, 2006; CATANI; OLIVEIRA; DOU-RADO, 2004; SGUISSARDI, 1997, DIAS SOBRINHO, 1996, PEIXOTO, 2004, 2009; LEITE, 2008).

A partir deste cenrio, a avaliao consolida-se na agenda das polticas de educao superior, por um lado, devido importncia que alcanou na comu-nidade acadmica como fator de legitimao das prticas das instituies de educao superior e, por outro, pela reestruturao do Estado brasileiro a partir de meados de 1995. (RISTOFF, 2000; MENEGHEL; ROLB; SILVA, 2006). Essa tendncia de consolidao tende a permanecer uma vez que a criao do Sistema Nacional de Avaliao da Educao Superior (SINAES) (BRASIL.MEC, 2003) fortaleceu o vetor de institucionalidade do projeto estatal de aval-iao introduzido desde o Exame Nacional de Cursos (ENC) (BRASIL, 1995) e da Lei de Diretrizes e Bases (BRASIL, 1996).

Esse cenrio, debatido amplamente pela literatura (GREGO, 1997; SILVA JR, SGUISSARDI, 1997; GOMES, 2002, 2003a; DIAS SOBRINHO, 2000, 2004; VERHINE; DANTAS; SOARES, 2006; GIOLO, RISTOFF, 2006; dentre outros), revela o crescente interesse pelo estudo da avaliao da educao supe-rior e, tambm, pela avaliao institucional, entendidos como processos condi-cionantes da gesto sistmica e da gesto das instituies da educao superior (IES) tanto em relao aos aspectos macro-polticos, quanto aos pressupostos terico-metodolgicos, curriculares, pedaggicos, administrativo e materiais. Nesta perspectiva, ressaltamos que, no contexto dos estudos sobre o processo de implementao da avaliao institucional, maior nfase tem sido dada a analise das polticas e programas em seus aspectos mais gerais, o que indica a relevncia de estudos sobre a micro poltica da avaliao. Isso constitui uma das lacunas na produo acadmica sobre o tema, o que demanda a realizao de pesquisas empricas que contribuam para o melhor entendimento da temtica.

Tomando como referncia o cenrio apresentado, o presente estudo trata da poltica de avaliao da educao superior, o SINAES, com nfase especial sobre a atuao das Comisses Prprias de Avaliao (CPA) no processo de avaliao institucional de duas universidades federais, a saber, as Universidades



Federais do Rio Grande do Norte e de Pernambuco. A relevncia de estudos com este recorte consiste na interlocuo com o debate sobre o processo de avaliao da educao superior, no que se refere reflexo sobre as possibi-lidades, problemas e dificuldades de atuao da CPA no interior das universi-dades federais, no sentido de criar e consolidar um processo de avaliao na perspectiva do paradigma da avaliao sistmica. (DIAS SOBRINHO, 2000; RISTOFF, 2000; PEIXOTO, 2004).

No presente trabalho so analisadas as atividades desenvolvidas por duas CPA com o objetivo de problematizar a dinmica de implementao do SINAES no tocante ao processo de avaliao interna. Partimos da hiptese de que a ausncia de familiaridade da comunidade acadmica com teorias, metodolgicas e prticas de avaliao favorece o desencontro entre objetivos propostos, estratgias metodolgicas empregadas e resultados alcanados pela CPA. Argumentamos que as indefinies acerca da dinmica de implementao do SINAES tm tambm dificultado a adoo de uma concepo de avaliao mais prxima dos princpios e pressupostos terico-metodolgicos descritos no marco legal, nas diretrizes e nos documentos do SINAES. A questo que nos motiva nesse estudo examinar como as polticas de avaliao institucionais coordenadas pelas CPA vm sendo desenvolvidas nas Universidades Federais do Rio Grande do Norte e de Pernambuco. Os dados analisados neste trabalho foram levantados atravs do acompanhamento dos trabalhos das duas CPA e da realizao de entrevistas semi-estruturadas, assim como tambm por meio da anlise dos documentos relevantes e do levantamento de dados nos sites das respectivas instituies, do Ministrio da Educao (MEC) e da Comisso Nacional de Avaliao da Educao Superior (CONAES). O trabalho est estruturado em quatro partes. Na primeira, apresentamos o debate terico que explicita o contexto de formulao e implementao do SINAES. No segundo momento, analisamos aspectos referentes avaliao interna nas universidades federais pesquisadas, a dinmica de implementao do SINAES, buscando, por meio dos documentos oficiais e da literatura acadmica, desvelar e problema-tizar o papel atribudo a CPA. Na terceira parte, so analisados documentos e extratos das entrevistas dos atores sociais envolvidos no processo de auto-avaliao (CPA), com a inteno de caracterizar o processo de constituio de-stas Comisses em duas Universidades Federais, de analisar comparativamente dimenses e processos de avaliao, assim como os procedimentos e as formas de operacionalizao da avaliao institucional. Por ltimo, apresentamos as consideraes finais, destacando que o SINAES, particularmente por meio das IFES estudadas, no tem conseguido instituir a prtica da avaliao sistmica



baseada no paradigma emancipatrio e subjetivista, e que vem se distanciando de seus princpios e proposies.

1 SINAES: CONTEXTO DE FORMULAO E MARCO LEGALNesta parte trataremos do contexto de formulao e implementao do

SINAES. O objetivo descrever e caracterizar a atual poltica de avaliao da educao superior no Brasil. Entendemos que a sua implantao desvela o pano de fundo da modernizao da educao superior face aos desafios postos pelos governos e pela sociedade, no sentido de elucidar questes-chave, tais como a modernizao do sistema, o aprimoramento da qualidade e a de-mocratizao do ensino (MACEDO et al, 2005).

O cenrio histrico delineado, na dcada de 1990, atravs da formulao e implementao mais ou menos visvel e impactante de duas propostas de polticas de avaliao, o Programa de Avaliao Institucional das Universidades Brasileiras (PAIUB) e o Exame Nacional de Cursos (ENC) (GOMES, 2003b) e a necessidade de respostas concretas a questes concernentes a capacidade de financiamento do processo de crescimento e de ampliao do acesso (AMARAL, 2003), assim como do incremento da pesquisa nas vrias reas de conheci-mento, gerou na comunidade acadmica, nas instituies e nos diversos atores vinculadas educao superior uma expectativa de mudanas na orientao das polticas pblicas a partir do incio do governo do presidente Luis Incio Lula da Silva (doravante Governo Lula).

Com o objetivo de debater e propor respostas s demandas da educao superior, o governo Lula instalou, em outubro de 2003, o Grupo de Trabalho Interministerial (GTI) visando reestruturar, desenvolver e democratizar as IFES. (OTRANTO, 2006). O GTI elaborou documento (BRASIL, 2003) reconhecendo a crise na educao superior brasileira, em particular, no setor federal, atribuindo o problema crise fiscal do Estado, como havia feito o gov-erno Fernando Henrique Cardoso. (GOMES, 2003b; DOURADO, 2002). Neste caso, para o GTI, a reforma mais profunda passa(va) pela reposio do quadro docente, ampliao de vagas para estudantes, educao distncia, autonomia universitria e financiamento (OTRANTO, 2006, p. 44), diagnstico que pode ser considerado como importante passo para encaminhar as principais deman-das do setor federal da educao superior brasileira. O documento elaborado pelo GTI tornou-se referncia importante para outros documentos gerados pelo governo, orientando as aes do Estado na educao superior. A avaliao da educao superior teria papel de destaque nesse processo, uma vez que o governo realiza mudanas considerveis na poltica de avaliao implementada a partir



de 1995, particularmente porque o SINAES fundamenta-se, segundo Polidori, Marinho-Araujo e Barreyro (2006), no imperativo de melhoria da qualidade da educao superior.

Como poltica de avaliao da educao superior no governo Lula, o SINAES foi formulado pela Comisso Especial de Avaliao da Educao Superior1 (CEA), no ano de 2003. A proposta apresentada pela CEA, resultado de con-sultas e audincias pblicas, evidenciou tenses e disputas entre os defensores de paradigmas avaliativos no necessariamente antagnicos, mas conflitantes: de um lado, a avaliao emancipatria e formativa, e de outro, a avaliao de resultados e de controle externo s IES. Tais tenses refletem o embate histrico no campo da educao superior, herdeiro das disputas entre projetos e modelos de avaliao (PAIUB e ENC/Provo) implementados na dcada de 1990.

O documento produzido pela CEA (BRASIL.MEC, 2003) assinala que so princpios do SINAES: integrao, participao, promoo de valores democrticos, respeito diversidade, busca da autonomia, afirmao da identidade e dimenso formativa. Tais princpios so encontrados na Lei n 10.861 (BRASIL, 2004), como se verifica no artigo 1 ( 1). Segundo Rothen (2006), no documento produzido pela CEA, avaliao e regulao aparecem dissociadas, enquanto na Lei n 10.861/04 elas esto articuladas. De fato, pa-rece pertinente a primeira parte do argumento do autor, entendendo a avaliao como distinta da regulao, como destaca o relatrio da CEA. (BRASIL.MEC, 2003, p. 123). No entanto, o argumento da associao entre avaliao e regu-lao no nos parece provvel, uma vez que na Lei n 10.861/04 encontra-se (artigos 1, 2, 3 e 10) a nfase na autonomia para que cada IES realize sua avaliao respeitando as diretrizes (e princpios) estabelecidas pelo SINAES. Destacamos tambm que os artigos 3, 4 e 6 ressaltam a colaborao entre as IES e os rgos responsveis pelo SINAES, e em nenhum momento salienta a associao entre regulao e avaliao, pois o papel de cada agente envolvido est bem definido e as aes de regulao so a posteriori. Portanto, parece no encontrar base de sustentao a hiptese de que a auto-avaliao no est presente na Lei n 10.861/04.

Tambm parece no encontrar sustentao emprica o argumento de que as tenses paradigmticas emancipatria/formativa versus regulao/controle materializem-se em dois documentos da CONAES: Diretrizes para a Avaliao das Instituies de Educao Superior (BRA-

1 Comisso composta por membros da Secretaria da Educao Superior (SESu), do Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira (INEP) e onze (11) especialistas ligados s universidades pblicas e privadas.



SIL.MEC, 2004a) e o Roteiro para a Avaliao Interna (BRASIL.MEC, 2004b). preciso entender que esses documentos buscam resgatar para o contexto da prtica institucional os princpios que esto contidos tanto no documento produzido pela CEA quanto na Lei n 10.861/04, dando nfase ao processo da auto-avaliao, determinando que cada IES crie sua CPA, orientada pelas dez dimenses avaliativas do SINAES.

Portanto, no nos parece provvel, a partir destas leituras, que a hiptese formulada sobre a formao de um sistema hbrido (ROTHEN, 2006) de avaliao da educao superior, por meio da anlise do documento produzido pela CEA e da Lei n 10.861/04, revele-se coerente. Na realidade, o provvel hibridismo, referente ciso que separa a auto-avaliao e a avaliao externa, implicando em distintos conceitos de regulao ou de controle, no ocorre entre o documento produzido pela CEA e a Lei n 10.861/04, mas en-tre estes e a realidade das IES. Como veremos adiante, na anlise dos dados, talvez nos parea ser mais provvel atribuir a visibilidade deste hibridismo no aos aspectos postos nos documentos, mas na prpria prtica, na dinmica de implementao do SINAES, no interior das IES, e no caso aqui estudado, nas duas IFES. Por essa razo, a indefinio paradigmtica destacada por Rothen (2006), nos bastidores do governo Lula, talvez possa apresentar outro sentido no processo de implementao desta poltica pblica.

Diante destes impasses, o governo Lula baixou, em fevereiro de 2006, o De-creto n 5.773 (BRASIL, 2006), que trata das funes de regulao, superviso e avaliao de instituies de educao superior e cursos superiores de graduao e seqenciais no sistema federal de ensino. O aspecto mais importante deste decreto a orientao de que a avaliao e a regulao ocorrem em trs etapas, a saber: a) avaliao pelo poder pblico nas etapas iniciais da autorizao e credenciamento, b) avaliao das instituies de educao superior, dos cursos e do desempenho dos estudantes realizada no mbito do SINAES; c) aplicao pelo poder pblico dos efeitos regulatrios da avaliao. Desse modo, o Decreto sinaliza, de uma vez, a distino entre avaliao e a regulao, evidenciando, por um lado, a auto-avaliao como processo articulado avaliao externa e a re-avaliao e, por outro, o propsito de disseminar uma cultura da avaliao nas IES, a partir da institucionalizao das CPA, na tentativa de promover um paradigma avaliativo na perspectiva da emancipao.

O SINAES formado por trs grupos de aes avaliativas: Avaliao dos Cursos de Graduao (ACG), Exame Nacional do Desempenho dos Estudantes (ENADE) e a Avaliao das Instituies de Educao Superior (AVALIES). O Exame Nacional de Desempenho dos Estudantes (ENADE), as Condies



de Ensino dos Cursos de Graduao (ACG) e os instrumentos de informao (censo e cadastro) so coordenados pelo Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira, conforme estabelece o art. 8 da Lei n 10.861/04. O rgo responsvel pela formulao e coordenao de todo o SINAES, e tambm da parte referente ao AVALIES, a CONAES, que formula diretrizes, critrios e estratgias de ao. Formalmente, a CONAES coordena trs processos avaliativos: Auto-avaliao, Avaliao Externa e Reavaliao (Meta-avaliao). Desses trs processos avaliativos, destacaremos a auto-avaliao por ser o foco de anlise do presente texto.

Segundo o MEC (BRASIL.MEC, 2004b, p. 9), os principais objetivos da auto-avaliao so:

produzir conhecimentos, pr em questo os sentidos do conjunto de atividades e finalidades cumpridas pela instituio, identificar as causas dos problemas e deficincias, aumentar a conscincia pedaggica e capacidade profissional do corpo docente e tcnico-administrativo, fortalecer as relaes de cooperao entre os diversos atores institucionais, tornar mais efetiva a vinculao da instituio com a comunidade, julgar acerca da relevncia cientfica e social de suas atividades e produtos, alm de prestar contas sociedade.

A auto-avaliao e a avaliao externa so articuladas pelo AVALIES em duas etapas: a auto-avaliao coordenada pelas CPA e a avaliao externa pelas comisses de especialistas designados pelo INEP. Em relao s CPA, a Lei n 10.861/04, no seu Art. 11, registra a obrigatoriedade de institu-las nas IES, com prazo determinado para o incio dos trabalhos, e o respectivo cadastramento destas junto ao INEP. Aps as IES realizarem a auto-avaliao, inicia-se o ciclo de avaliao externa. O relatrio da auto-avaliao deve ser enviado CONAES, que o encaminha Comisso Externa, tendo-o como guia da visita in loco IES, conforme os procedimentos destacados no artigo 3, da Lei n 10.861/04. O processo de avaliao externa decomposto em duas fases: a pesquisa exploratria anlise do relatrio da CPA, documentos da IES, informaes, entrevistas e o relatrio da avaliao institucional. Na avaliao externa, alm da anlise do relatrio produzido pela CPA, leva-se em considerao a avaliao de desempenho dos estudantes atravs dos resultados do ENADE, conforme os artigos 4 e 5 da Lei n 10.861/04, conduzidos em dois perodos do curso do estudante, no primeiro e no ltimo semestre. Os cursos so avaliados tambm atravs da Avaliao das Condies de Ensino (ACE). Este processo desenvolvido por meio das visitas das comisses de



especialistas das respectivas reas de conhecimento, considerando as dimenses: instalaes, corpo docente e organizao didtico-pedaggica. Ao trmino do processo, as concluses dos relatrios produzidos pela CONAES subsidiaro os processos de regulao: credenciamento e renovao de credenciamento das IES e autorizao e reconhecimento de cursos. Caso os resultados no sejam satisfatrios, firma-se um compromisso entre a IES e o MEC estabelecendo aes no sentido de corrigir as distores em prazos determinados e por m-todos pr-estabelecidos.

2 AUTO-AVALIAO: CPA NO PROCESSO DE IMPLEMENTAO DO SINAES

Trataremos a seguir, de forma mais especfica, da auto-avaliao institucio-nal. O objetivo caracterizar a auto-avaliao com o intuito de construir uma base coerente para analisarmos a implementao das CPA em relao sua lgica de trabalho, resultados e aes institucionais. Para desenvolvermos tal tarefa, delineamos os princpios e os pressupostos terico-metodolgicos que nortearam a formao da CPA. Cabe esclarecer que o debate proposto aqui se deu por meio dos documentos das comisses, que formularam as propostas de avaliao interna do SINAES e da literatura acadmica que trata diretamente da temtica. Entendemos que mesmo com a adoo do SINAES e as expectativas da comunidade acadmica em torno do processo avaliativo, o SINAES no implicou, como se argumenta em relao ao PAIUB, na centralidade da auto-avaliao. Este um dos instrumentos articuladores da avaliao institucional, constituindo-se em base de informaes e de disseminao da cultura da avalia-o nas IES, mas que visa tambm subsidiar os trabalhos de avaliao externa.

De acordo com Augusto e Balzan (2007, p. 608), a CONAES concebe a auto-avaliao como

um processo contnuo em que a instituio busca se autoconhecer com vistas ao aperfeioamento de suas atividades acadmicas, obje-tivando melhorar a qualidade educativa e alcanar relevncia social [...] [a] instituio faz uma anlise interna sobre o que deseja ser, o que de fato realiza, como se organiza, administra e age [...] procura identificar prticas exitosas, bem como a percepo de omisses e equvocos [...]

O objetivo da auto-avaliao avaliar a IES de maneira global, buscando identificar a coerncia entre a misso e as polticas institucionais realizadas,



visando melhoria da qualidade institucional. Objetiva tambm promover a auto-avaliao como prtica institucional e a participao da comunidade acadmica. Observando as orientaes da CONAES e os documentos do SINAES, as IES esto livres para elaborar a metodologia de trabalho, os pro-cedimentos e os objetivos de seu processo de auto-avaliao. Claro que devem seguir as diretrizes e princpios estabelecidos pela CONAES nos documentos Diretrizes para a Avaliao das Instituies de Educao Superior (BRASIL.MEC, 2004a) e o Roteiro de Auto-avaliao institucional (BRASIL.MEC, 2004b). Os trabalhos desenvolvidos pela CPA devero ser efetuados em trs etapas. A primeira etapa, denominada de preparao, consiste no processo de constituio da CPA, planejamento dos trabalhos e sensibilizao interna. No tocante ao processo de planejamento, coordena a elaborao do projeto de auto-avaliao, define objetivos, metodologias, estratgias, recursos necessrios e o cronograma de aes. No que se refere sensibilizao, busca-se o envolvimento da comunidade acadmica, atravs de seminrios, reunies e outras formas de participao para elaborao da proposta de auto-avaliao institucional.

A segunda etapa desenvolve as seguintes tarefas (BRASIL.MEC, 2004b, p. 26):

[Implementao] dos procedimentos de coleta e anlise das informa-es, conforme definidos no Projeto de Avaliao, em consonncia com as propostas (dimenses?) contidas no documento Orientaes Gerais;

[Elaborao dos] relatrios parciais relativos s diferentes etapas de auto-avaliao e avaliao externa, definidas no projeto de avaliao do SINAES da IES;

[Integrao] com os demais instrumentos de avaliao do SINAES;

[Detalhamento] da avaliao externa, em sintonia com as orientaes da CONAES;

[Elaborao dos] relatrios parciais ou finais da avaliao interna e externa2;

2 A CPA responsvel por realizar relatrios parciais e finais da avaliao interna, submet-los s comisses externas de avaliao no sentido de completar o ciclo avaliativo sistmico avaliao interna, avaliao externa e meta-avaliao. Assim, a CPA tambm responsvel por discutir a avaliao externa com a prpria comunidade acadmica, processo denominado de meta-avaliao.



[Reviso do] Projeto de Avaliao SINAES da IES e [re-planeja-mento] das atividades para a continuidade do processo de avaliao SINAES.

A terceira etapa dedica-se ao processo de consolidao da avaliao interna, na qual os resultados das atividades realizadas devem ganhar solidez com a preparao de relatrio e divulgao, criando um espao para o processo crtico da auto-avaliao. uma fase de grande importncia, pois nesta que acontecem as articulaes com os outros instrumentos avaliativos do SINAES, bem como se promove o debate com a comunidade acadmica (docentes, estudantes e pessoal tcnico-administrativo) e a sociedade em torno dos resul-tados, propondo aes que visem melhoria institucional e, tambm, criando as condies para o processo de avaliao externa.

A CPA deve ser formada por representantes dos diversos segmentos da comunidade acadmica e da sociedade civil organizada. Suas atribuies esto estabelecidas na Lei n 10.861/04 e a sua constituio e composio, esto estabelecidas na Portaria n 2051/04, no artigo 7 e 2, segundo o qual:

A forma de composio, a durao do mandato de seus membros, a dinmica de funcionamento e a especificao de atribuies da CPA dever ser objeto de regulamentao prpria, a ser aprovada pelo rgo colegiado mximo de cada instituio de educao superior, observando-se as seguintes diretrizes: I necessria participao de todos os segmentos da comunidade acadmica (docente, discente e tcnico administrativo) e de representantes da sociedade civil orga-nizada, ficando vedada existncia de maioria absoluta por parte de qualquer um dos segmentos representados; II ampla divulgao de sua composio e de todas as suas atividades.

O delineamento apresentado, a partir da legislao citada, suscita uma srie de questes acerca do papel desempenhado pela CPA no processo de auto-avaliao nas duas universidades pesquisadas. Este aspecto possibilitou-nos in-dagar quais seriam os principais problemas destacados pela literatura acadmica sobre a prtica e dinmica da auto-avaliao no interior das IFES, no contexto do SINAES. Dentre estes, Dias, Horiguela e Marchelli (2006) sinalizam para a impotncia do SINAES de gerar e instituir uma cultura da auto-avaliao, tendo em vista que, entre outras razes, o INEP tem privilegiado o treinamento das comisses externas de avaliao e no vem promovendo a formao dos integrantes da CPA de forma a garantir maior eficcia scio-institucional da auto-avaliao. Os autores acrescentam que o SINAES tem assumido um



carter regulatrio em detrimento do formativo, em conseqncia de uma srie de fragilidades do roteiro de auto-avaliao.

Zainko (2008) aponta uma srie de vcios do SINAES a insuficincia de pessoal capacitado, problemas polticos na composio e desenvolvimento dos trabalhos da CPA, escassez de pessoal familiarizado com a auto-avaliao, insuficincia de discusses internas (comunidade acadmica) e sinaliza para a fragmentao da cultura de avaliao, no interior das IFES.

Alm desses pontos crticos, h autores (POLIDORO; MARINHO-ARAUJO; BARREYRO, 2006) que entendem que o SINAES constitui-se em avano importante por causa do paradigma emancipatrio/formativo que o orienta, em detrimento do paradigma regulatrio, promotor de rankings e da competitividade entre as IES. Meneghel, Rolb e Silva (2006) consideram o SINAES como iniciativa relevante por promover a avaliao compreensiva, pedaggica e horizontal.

Essas consideraes corroboram com o nosso entendimento de que h uma srie de indefinies sobre o processo de implementao do SINAES, que tm dificultado a adoo de uma concepo de avaliao prxima de seus princpios e pressupostos terico-metodolgicos, sobretudo, no que toca ao processo de auto-avaliao. Nesta perspectiva, iremos analisar o papel desempenhado pela CPA em relao ao processo de formao, sua lgica de trabalho, resultados e aes. Tais aspectos so pertinentes uma vez que sinalizam, no atual contexto de implementao da avaliao institucional, como as indefinies relativas ao corte poltico-paradigmtico da avaliao predominante no SINAES vem levando o mesmo a se posicionar mais no eixo regulao-controle, o que pe em risco, a dimenso formativa, o processo de auto-avaliao no mbito das IES e compromete a instalao de uma cultura institucional de avaliao que de fato contribua para a melhoria da qualidade.

3 AVALIAO INTERNA: O CASO DAS CPA NAS UNIVERSIDADES FEDERAISA seguir so analisados os dados obtidos junto aos sujeitos que compem as

CPA das Universidades Federal de Pernambuco (CPA/UFPE) e do Rio Grande do Norte (CPA/UFRN) atravs da realizao de entrevistas semi-estruturadas e da anlise dos documentos oficiais, referentes ao processo de auto-avaliao formulado por cada uma destas IFES. A escolha das IFES citadas se deveu, entre outras razes, por percursos distintos em relao construo histrica do processo de auto-avaliao desde a dcada de 1990. Parte dos resultados



da pesquisa so apresentados a seguir, com o objetivo de desvelar a dinmica do processo de implementao do SINAES, nestas duas IFES no tocante ao processo de avaliao interna desenvolvido pela CPA.

3.1 A constituio das CPA: o processo de preparaoO atual processo de auto-avaliao institucional baseado em trs peas da

legislao que o organiza e o orienta no mbito do SINAES: Lei n 10.861/04, a Portaria n 2.051/04 e a Lei n 5.773/06. Dentre estes, o que trata especifica-mente da auto-avaliao a Portaria n 2.051/04: versa sobre a composio, natureza e funo da CPA. A referida Portaria define que a CPA autnoma, estando a cargo das prprias IES o estabelecimento do estatuto que regulamenta as formas de composio, a dinmica de funcionamento e a especificao das atribuies, assegurando a participao da comunidade acadmica e a divulgao dos resultados. Analisamos a seguir o processo de auto-avaliao nas referidas universidades federais, no tocante fase de preparao da CPA, tratando dos seguintes aspectos: formao, vnculo e apoio institucional CPA, processo de escolha dos membros da CPA e apropriao, pelos membros da CPA, dos princpios, diretrizes e pressupostos terico-metodolgicos do SINAES.

O aspecto a ser considerado ao analisarmos comparativamente a formao das duas CPA que no se verifica, a partir das falas dos entrevistados, coern-cia entre o realizado no processo de composio das CPA com a legislao e os documentos formulados pelo SINAES. Uma das evidncias que comprovam esta observao que as IFES estudadas no asseguram a participao de todos os segmentos da comunidade acadmica no processo de auto-avaliao, inclusive conforme determina a regulamentao prpria de cada IFES. Este ponto revela-se problemtico. O princpio da adeso voluntria (RISTOFF, 2000): faz-se necessrio para a realizao do processo de avaliao institucio-nal a intensa participao dos agentes envolvidos, seja no que diz respeito formulao dos procedimentos ou implementao e utilizao dos resultados.

Quanto formao da CPA na UFPE e na UFRN, verificamos que estas comisses possuem formalmente distintas composies, mas que delineiam o mesmo padro de representatividade. Neste caso, no tem sido assegurado a representao discente e da sociedade civil. Alm disso, verificou-se que a representao realizada a partir de indicao, ao sabor das alianas poltico-institucionais. No h registro de formas ou critrios transparentes que seriam importantes para promover a institucionalidade e legitimidade auto-aval-iao. Nesta perspectiva, o processo de implementao da auto-avaliao no



constitui somente desafio s IES privadas (POLIDORI; MARINHO-ARAUJO; BARREYRO, 2006), mas tambm para as IFES, como evidenciamos a seguir:

Acho que todos foram indicados pelos diretores de centro, pelo menos aqui no [Cen-tro] foi assim, por uma indicao do prprio diretor. Agora nos outros centros eu no sei, deve ter feito convite, porque para participar de comisso em universidade sempre complicado, muitas atividades, a manda as comisses [...] (Entrevista realizada em 07/10/2008, com componente (C) da CPA/UFPE, representante dos docentes)

A gente faz, no processo eleitoral, no processo assim com escolha dos pares, a gente faz, a gente solicita que a direo de centro, a gente tem at algumas vises, de algumas pessoas que normalmente no sistema, a gente percebe pessoas preocupadas, como avaliar, como contribuir para melhora. (Entrevista realizada em 10/10/2008, com componente (H) da CPA/UFRN, representante dos docen-tes).

Nos depoimentos acima, este aspecto provavelmente parece impactar negativamente na participao e no envolvimento da comunidade acadmica na auto-avaliao. E este ponto fator proeminente na implementao de uma prtica avaliativa baseada no paradigma emancipatrio e sistmico, como res-salta um conjunto de autores (SGUISSARDI, 1997; GREGO, 1997; RISTOFF, 1999, 2000; DIAS SOBRINHO; BALZAN, 2000; DIAS SOBRINHO, 2000, 2004; PEIXOTO, 2004).

Os dados referentes tanto ao vnculo quanto ao apoio institucional s CPA nas IFES estudadas corroboram com a hiptese levantada por Zainko (2008) de que o processo de formao da CPA esbarra em problemas polticos e na insuficincia de discusses internas mais intensas e constantes na construo de regulamentao prpria3.

Eu entendo que ela est vinculada diretamente ao reitor, porque ela comeou vincu-lada Pr-reitoria de graduao, mas a gente identificou no incio isso como uma coisa j um pouco equivocada. Ela tem que ser independente, acima de qualquer coisa, mas ela deve ficar no [...] geral, porque ela vai avaliar a administrao, vai avaliar tudo... Fisicamente, ela est muito ligada a PROPLAN. (Entrevista real-izada em 18/09/2008, com o componente (B), representante docente da CPA/UFPE)Eu vejo mais como uma vinculao com a pr-reitoria do que com o Conselho Universitrio (Entrevista realizada em 07/10/2008, com o componente (I), repre-sentante docente da CPA/UFRN).

3 No caso da UFRN, a CPA foi organizada por meio de subcomisses em torno de cada dimenso do processo de auto-avaliao; enquanto que na UFPE, a CPA foi organizada a partir de uma comisso geral formada por representantes de cada centro acadmico da universidade.



Acho que existe um apoio... eu acho que no existe ainda muito, quando a gente pensa na parte dos resultados da avaliao, uma cultura de trabalhar esses resul-tados. (Entrevista realizada em 14/10/2008, com componente (H), representante docente da CPA/UFRN).

Nestes fragmentos percebe-se que no ocorreu, nos espaos institucionais pesquisados, um processo poltico mais aberto e consistente que propiciasse aos segmentos da comunidade acadmica definir procedimentos para assegurar a autonomia da CPA em relao s reitorias e as pr-reitorias e tambm no trabalhar os dados obtidos com a auto-avaliao em relao prpria gesto da universidade, ou seja, pouco tem sido feito com os resultados da avaliao. possvel inferir, a partir dos dados, que a auto-avaliao no vem sendo implementada em perspectiva horizontal. Ao contrrio, predominou uma prtica de verticalizao, e isso tem contribudo para que membros da comunidade acadmica visualizem a avaliao pela dimenso punitiva, constituindo-se umas das maiores fragilidades da CPA no mbito do SINAES.

Aprofundando a anlise dos aspectos relacionados escolha dos membros da CPA, observamos, em um primeiro momento, que a forma de composio da CPA de regulamentao prpria das IFES. Esta composio tem que ser conforme a legislao especfica, marcada pela participao equilibrada dos segmentos da comunidade acadmica. Partindo do pressuposto de que o pro-cesso de escolha marca profundamente a composio da CPA e a sua forma de funcionamento (DIAS SOBRINHO, 2000), a avaliao constituda por um procedimento intencional de permanente negociao consensual, constitu-indo-se como um processo pedaggico (RISTOFF, 2000).

Como salientado anteriormente, o processo de escolha dos membros das CPA tem se dado predominantemente por indicao, seja da reitoria ou dos diretores dos centros acadmicos, o que pode contribuir para a falta de par-ticipao e envolvimento da comunidade acadmica no processo, assim como pode colaborar para a ausncia de um debate mais profundo e articulado sobre as principais questes e problemas que marcam a vida (misso, princpios e organizao) das universidades estudadas. Os dados analisados no confirmam o pressuposto levantado por Meneghel, Rolb e Silva (2006) de que a avaliao desenvolvida pelo SINAES seja compreensiva e pedaggica. Ela o como inteno, mas a prtica nas instituies no tem se relevado assim. Alm disso, os dados oferecem evidencias para fundamentar a hiptese sobre a impotncia e fragilizao da capacidade das CPA para instituir e promover a cultura da auto-avaliao, conforme o paradigma emancipatrio e sistmico de avaliao.



(SGUISSARDI, 1997; GREGO, 1997; DIAS SOBRINHO, 2000, 2004; RIST-OFF, 2000; PEIXOTO, 2004).

A apropriao dos princpios, diretrizes e pressupostos metodolgicos do SINAES, por parte da CPA, fundamental para a implementao e consolidao do SINAES e da cultura de avaliao no interior das IFES. A questo inicial reside no fato do MEC focalizar o processo de formao nas comisses exter-nas (BRASIL.MEC, 2004, art. 6) deixando em segundo plano o processo de formao dos membros das CPA, uma vez que, apesar de se ter definido vrios encontros de capacitao com os membros das CPA em formato semelhante s comisses externas, a maioria dos entrevistados registravam que isso no vem acontecendo de maneira sistemtica, como aconteceu nos primeiros dois anos do SINAES.

Ns fizemos vrias reunies direcionadas em cima do documento, como que eles estavam trabalhando o SINAES e a CPA dentro da instituio, convidamos algu-mas pessoas para dar palestras aqui, por exemplo, no nosso primeiro relatrio, ns convidamos as pessoas que tinham as dimenses, e convidvamos uma pessoa que tinha participado do processo do SINAES e que era importante nesse processo naquela dimenso especfica, para vir trazer os elementos para discusso, que a poderiam ser contestadas em cima do relatrio que a gente estava apresentando. [O processo de apropriao] no tem sido suficiente porque o SINAES no t terminado, ele vive com novidade, ele vive com novidade. [...] S que o SINAES t sendo atropelado pelo Conceito Preliminar do Curso, agora pelo conceito das instituies. (Entrevista realizada em 17/09/2008, com o componente (A), repre-sentante docente da CPA/UFPE).

Ns fizemos um encontro, samos da universidade e fomos ficar num lugar imerso, aonde a gente foi estudar as leis dos SINAES, aonde a gente foi olhar a biblio-grafia que a gente j tinha desde o PAIUB, do que avaliao institucional... a gente tentou fazer uma capacitao da equipe para saber qual era o nosso papel, o que a gente deveria fazer... [...] Quando foi no PAIUB a gente tinha toda uma capacitao [...] agora teve um tempo, quando comeou o SINAES que foi muito bom, tinha encontro e discusso, mas agora t parado, tem mais de dois anos, a gente j mandou e-mail reclamando, sugerindo encontro, porque o encontro que a gente est sugerindo era o que foi feito dos resultados... (Entrevista realizada em 29/09/2008, com o componente (D), representante docente da CPA/UFRN)

Observa-se, conforme os depoimentos, que a CONAES no tem demonstrado capacidade nem formas de acompanhamento da auto-avaliao institucional. Isso no pode ser confundido com o envio puro e simples de documentos e relatrios s CPA e das CPA CONAES. justamente sobre este aspecto que iremos direcionar nossa anlise: como as CPA, das IFES estudadas, se apro-



priaram dos princpios, diretrizes e pressupostos metodolgicos do SINAES? A formao dos membros das CPA pesquisadas adotou o mesmo percurso quanto ao processo de apropriao dos princpios, diretrizes e pressupostos metodolgicos do SINAES. Este processo ocorreu de maneira muito autnoma em relao ao prprio Sistema. Ao lado disso, no foram criados mecanismos sistemticos de apropriao ao longo do desenvolvimento dos trabalhos da CPA, fragilizando a formao continuada em face de um Sistema que sofreu ao longo do perodo uma srie de modificaes, o que veio a contribuir para a ocorrncia de certa ausncia de familiaridade dos agentes envolvidos na avalia-o interna com os princpios, diretrizes e pressupostos terico-metodolgicos. Esses fatores levantados corroboram a hiptese levantada sobre os desvios do INEP e da CONAES no processo de formao e apropriao por parte das CPA dos princpios e pressupostos terico-metodolgicos do SINAES (DIAS; HORIGUELA; MARCHELLI, 2006). Finalmente, tambm existe a ocor-rncia de dficit de pessoal tcnico habilitado (ZAINKO, 2008) para anlise dos relatrios da auto-avaliao, no caso da avaliao externa, e o desconhe-cimento por parte dos membros das CPA sobre princpios e metodologias de auto-avaliao.

3.2 A lgica de trabalho da CPA: o processo de desenvolvimento

Em relao etapa de desenvolvimento da CPA, relevante observar a articulao entre o proposto/planejado, as metodologias utilizadas e o desen-volvimento do processo de auto-avaliao dentro dos prazos estabelecidos. Cabe as IFES estabelecerem as formas de trabalho da CPA, desde que obser-vadas s orientaes da CONAES e do MEC para garantir a coerncia entre os instrumentos de avaliao do SINAES. A Portaria n 2.051/04 assinala, no Art. 7, 2, a forma de composio, a dinmica de funcionamento e a especificao das atribuies. Todas estas questes so da responsabilidade das IFES mediante a aprovao de seu rgo colegiado mximo, desde que asseguradas a participao da comunidade acadmica e a ampla divulgao do processo avaliativo. A mesma Portaria (BRASIL.MEC, 2004) tambm regula que a auto-avaliao constitui uma das etapas do processo avaliativo e ser coordenada pela CPA (Art. 10).

Por essas razes, no regimento interno da UFPE (2004) e no projeto de auto-avaliao da UFRN (2006), foram definidas vrias atividades que podem ser desempenhadas pela CPA durante o desenvolvimento da auto-avaliao:



promoo de reunies ou debates de sensibilizao, seminrios internos, definio da composio dos grupos de trabalho, construo de instrumentos para coleta de dados (entrevistas, questionrios, grupos focais), definio de metodologias e interpretao dos dados, definio do formato do relatrio da auto-avaliao e elaborao de relatrios.

importante esclarecer que os instrumentos e critrios utilizados podem variar conforme a IFES estudada, uma vez que as CPA tm autonomia para criar e propor meios e processos especficos de avaliao em consonncia com o princpio mais amplo de respeito identidade institucional (BRASIL, 2004). Portanto, nesta sesso, propomo-nos analisar o desenvolvimento da CPA em trs dimenses com o intuito de compreender as formas de operacionalizao da auto-avaliao, a saber: funcionamento e organizao dos trabalhos; ar-ticulao entre a avaliao interna e a avaliao externa; e as dificuldades para realizao do trabalho.

Quanto rotina de funcionamento e organizao dos trabalhos da CPA nas IFES pesquisadas, tornou-se evidente que a maneira como ocorreu regulamen-tao prpria de funcionamento da CPA foi decisiva para a rotina de funciona-mento e organizao dos trabalhos. A maneira como as CPA conduziram seus trabalhos teve implicao distinta nas formas de participao da comunidade acadmica, assim como no conhecimento e apropriao das dimenses da auto-avaliao, mesmo considerando o fato de que as duas universidades pesquisadas tenham dado nfase avaliao dos cursos de graduao, abordando questes tais como processos pedaggicos, curriculares e estrutura, em detrimento de uma avaliao mais ampla.

Quando analisado o aspecto referente CPA e a articulao entre a avaliao interna e a avaliao externa, percebeu-se que, no modelo avaliativo adotado, a articulao entre os instrumentos muito importante para o sucesso do processo de avaliao institucional. imprescindvel a interdependncia entre a avalia-o interna e a externa, pois a primeira representa a base, enquanto a segunda a culminncia para o incio do processo de meta-avaliao. Na construo do SINAES, a legislao (Lei n 10.861/04, art. 3, 2, e a Portaria n 2.051/04) aponta para a questo da articulao, constituindo-se um dos pilares para o processo avaliativo que se orienta pelo paradigma emancipatrio e formativo. ntida, na legislao citada, a preocupao em definir instrumentos, sistem-atizar etapas, direcionar os relatrios produzidos, na perspectiva de produzir diagnsticos para subsidiar o processo de avaliao institucional das IES e estabelecer o equilbrio entre os instrumentos avaliativos, como demonstra a Portaria Ministerial n 2.051/04, nos artigos 11 e 12.



Os dados levantados nas IFES estudadas apontam respostas semelhantes, bastante distintos da inteno contida na legislao.

No incio havia uma falta de informao mesmo, quer dizer, a informao que a gente tinha era diferente do pessoal que chegava aqui. Eles vinham pedindo coisas que a gente no tinha sido prevenido [...] No incio havia um pouco de distancia-mento, at que as primeiras avaliaes comearam a chegar e naturalmente a CPA ficou sendo exigida, porque sempre que vinha algum da avaliao externa, [...] do MEC.... mas era curioso que no havia um fluxo de informaes diretamente para CPA na universidade, que poderia acho que haver. Ento as pessoas na uni-versidade eram chamadas independentes para participar de capacitaes, depois elas eram enviadas para participar de avaliaes, isso no era informado para prpria instituio, porque se a CPA fosse informada podia se beneficiar disso... (Entrevista realizada em 18/09/2008, com componente B, representante docente da CPA/UFPE).

No, o que eu reclamei foi que no processo de avaliao da instituio a gente teve encontros em Recife, encontros em Braslia, para a gente discutir e eles ori-entarem como a gente deveria fazer a avaliao e apresentar resultados [...] o que aconteceu que nunca mais a gente teve esses encontros pelo INEP ou MEC, mesmo a CONAES, nunca mais. Porque a gente esperava que ao terminar, que ns terminamos em 2006, tivesse um encontro para dizer os resultados, se serviu para instituio, se ela tomou medida, isso a gente no t tendo no. (Entrevista realizada em 14/10/2008, com componente F, representante docente da CPA/UFRN).

Na perspectiva de anlise adotada, constatou-se que ocorreu uma desarticula-o entre as agencias de coordenao do processo de avaliao: IFES, CONAES e MEC/INEP. Desta maneira, as prprias aes da CONAES e do INEP vm descaracterizando a articulao entre a avaliao interna e a avaliao externa. Por essa razo, a avaliao externa atualmente vem sendo realizada de maneira pontual, no sentido de apenas realizar reconhecimento de cursos de graduao, e a CONAES no vem promovendo o retorno das discusses levantadas pelas CPA. Esses aspectos comprometem seriamente a concepo de avaliao insti-tucional do SINAES, defendida pela CONAES. Tambm prejudica o objetivo da avaliao interna no sentido da institucionalizao de uma cultura de avaliao participativa e legitimada, alm de no atender aos requisitos de transparncia, ao carter pblico da universidade e da avaliao. Destaca-se ainda a questo da impossibilidade da realizao de uma sntese articulando a auto-avaliao, avaliao externa e a meta-avaliao. (DIAS SOBRINHO, 2000). Para autores como Grego (1997), Ristoff (2000) e Dias Sobrinho (2000), na articulao entre estas etapas que reside a fora da avaliao sistmica. Os dados analisa-dos indicam a fragilidade desse aspecto na implementao do SINAES, assim



como as dissonncias e distores na realizao da auto-avaliao nas IFES no tocante a sensibilizao da comunidade, a adeso voluntria e ampla e a constituio dos agentes dotados de funo pblica.

Os dados analisados relativos articulao entre os instrumentos de avaliao em implementao vai de encontro a concepo de que o SINAES compreende diferentes procedimentos integrados em um nico sistema (avaliao interna, externa, discente e de cursos de graduao) e orientado por uma concepo metodolgica nica.

Quanto s dificuldades para a realizao das atividades, os membros das CPA estudadas apontaram os seguintes problemas/dificuldades:

a) de dilogo das CPA com as estruturas centrais do SINAES, materia lizado na CONAES e INEP, no que se refere obteno de informaes, divulgao e anlise dos resultados, como fica claro numa fala-sntese das entrevistas realizadas:

Falta dilogo entre a CPA e o INEP. Se voc faz s isso timo. Se voc faz milhes de outras coisas, voc no visita a pgina todo dia. Eu achei essa portaria que eu estou falando, por acaso, porque eu estava atrs, meu Deus do cu... o que que t acontecendo, eu tenho que saber sobre as avaliaes externas, a nossa insti-tuio vai ser avaliada, e a gente no sabe de nada. Percebemos que no existe engajamento para uma avaliao geral da instituio das pessoas, voc no pode esperar isso numa instituio como a UFPE. (Entrevista realizada em 17/09/2008, com o componente (A), representante dos docentes da CPA/UFPE).

b) de acompanhar as novidades do SINAES;

c) de falta de assistncia tcnica para trabalhar com os dados levantados, tendo em vista a ausncia de qualificao de pessoal e infra-estrutura nas etapas de coleta e interpretao dos dados, dentro dos prazos estabelecidos;

d) de persistncia de dvidas e questionamentos sobre o papel efetivo da CPA;e) de incapacidade acentuada de mobilizao da universidade, de promoo

da participao e envolvimento dos professores, estudantes e funcionrios no processo de auto-avaliao;

f) de trabalhar e se apropriar da totalidade da documentao exigida pelo SINAES. A poca do levantamento dos dados, UFPE ainda no tinha PDI nem PPI;

g) de engajamento dos prprios membros da CPA nas diversas etapas da avaliao, mas em especial no processo de anlise dos dados, a qual foi



reportada por muitos dos entrevistados das duas IFES como a parte mais problemtica do trabalho das CPA.

h) de falta de espao fsico, estrutura e material de expediente adequados, bem como melhores condies para o trabalho das CPA, j que foi comumente indicado o excesso de atividades por parte dos membros das CPA.

Observamos tambm problemas relacionados resistncia dos docentes e

ao entendimento da comunidade acadmica sobre o paradigma de avaliao adotado no processo. Em destaque neste caso, o que se evidenciou foi o receio, principalmente dos professores, da punio como conseqncia do processo avaliativo.

Contudo, diante dos problemas/dificuldades apresentadas no desenvolvi-mento do processo de auto-avaliao, possvel indicar, no conjunto dos el-ementos levantados tanto a partir do campo emprico quanto terico-conceitual (SGUISSARDI, 1997; CUNHA, 1999; DOURADO, 2002; GOMES, 2003; DIAS; HORIGUELA; MARCHELLI, 2006; MENEGHEL; ROLB; SILVA, 2006) a persistncia da lgica de centralidade da avaliao no sentido do governo tender a ampliar o controle sobre as IFES, em face das lacunas da avaliao sistmica como fator organizacional das IFES (DIAS SOBRINHO, 2000; MOROSINI, 1997).

3.3 Os resultados e aes da CPA: o processo de consolidao

A etapa de consolidao refere-se fase-trmino dos trabalhos da CPA, na qual se elabora o relatrio final, tendo em vista o incio de um novo ciclo. Objetivamos fazer um balano da avaliao realizada nas IFES e discutirmos os resultados e suas contribuies para a melhoria da qualidade institucional. Para tanto elegemos duas dimenses: as contribuies da CPA ao processo de avaliao institucional e o impacto do trabalho da CPA em relao mobilizao da comunidade e gesto universitria. Optamos por estas duas dimenses por serem fundamentais ao processo de consolidao da auto-avaliao realizada pela CPA. Para trabalharmos sobre as contribuies da CPA ao processo de avaliao institucional, focalizamos a questo em dois aspectos: as contribuies e a capacidade de produo de indicadores utilizados no processo.

Na UFPE, verificamos que as maiores contribuies da CPA residiram na questo da sensibilizao dos coordenadores dos cursos de graduao e na tentativa de organizao sistemtica dos dados, coletados junto instituio:



Olha, ela tentou organizar os dados. Acho que para mim seria, acho que a maior contribuio dela seria essa. Eu sou muito pragmtico, entendeu? Ento, orga-nizao dos dados, ter dados uma coisa muito boa para voc tratar. Voc ter os dados organizados fundamental para tirar concluso em cima disso. (Entrevista realizada em 07/10/2008, com o componente (C), representante docente da CPA/UFPE).

possvel inferir, acerca das contribuies da CPA/UFPE, que os resultados ficam muito aqum das expectativas e objetivos previamente estabelecidos, no sendo suficientemente promissor na implantao de processos, prticas e rotinas de avaliao interna que permita o reconhecimento institucionalmente amplo e legitimado da prtica de auto-avaliao da UFPE. Quando analisado o potencial de criao ou produo de indicadores institucionais, a contribuio foi ainda mais inconsistente, uma vez que a CPA apresentou o que podemos denominar de baixa operacionalidade poltico-tcnica. Tal entendimento torna evidente que a CPA/UFPE tem se restringido apenas a preencher os indicadores e requerimentos estabelecidos pelo SINAES, de forma que no criou processos e instrumentos especficos tendo em vista as especificidades da UFPE. Esses aspectos levantados no combinam com a perspectiva da avaliao sistmica/subjetivista. Por outro lado, desvela tambm a tenso paradigmtica da avaliao no contexto das relaes sociais no interior das IFES.

As maiores contribuies da CPA/UFRN materializam-se tanto no processo de sensibilizao dos professores em torno da busca de resultados, como na organizao sistemtica dos dados coletados junto aos diferentes centros da Instituio, no diagnstico dos problemas estruturais dos cursos, relacionados aos currculos, aos docentes e ao Projeto Poltico Pedaggico. Concentrou-se tambm no desenvolvimento da capacidade de realizao de estudos sobre a Instituio como um todo.

Aqui eu acho que a contribuio foi, primeiro, a capacidade da comisso de fazer estudos macro, porque a gente conhece muito a instituio pontualmente, mas ns avaliamos as 10 (dez) dimenses, ter idia de como est a universidade, a grande contribuio foi que a gente localizou os pontos fracos dela, localizamos pontos fortes. (Entrevista realizada em 29/09/2008, com o componente (D), representante docente da CPA/UFRN). Os dados nos possibilitam afirmar que o potencial de criao ou produo

de indicadores institucionais, por parte da CPA/UFRN, uma contribuio que aconteceu de maneira consistente, apresentando operacionalidade poltico-tcnica nos trabalhos desenvolvidos, inclusive criando instrumentos de coleta de



dados, estabelecendo rotinas e as institucionalizando. Essa rotina aparentemente tende a ir ao encontro da perspectiva de avaliao construda a partir de um processo social que visa constituir uma qualidade baseada no carter formativo, desenvolvendo a princpio um conceito de avaliao institucional mais amplo.

Contudo, destaca-se que na CPA/UFRN o equilbrio da representao dos segmentos da comunidade acadmica no foi assegurado como demanda a leg-islao do SINAES. Talvez seja por essa razo que os critrios orientadores da criao de indicadores na UFRN tenham sido debatidos mais ao nvel da CPA e das instncias de gesto da instituio (Pr-reitorias, Centros acadmicos, Coordenaes de cursos) sem a incorporao da comunidade acadmica (seg-mentos discente, docente e tcnico administrativo, assim como representao da sociedade civil organizada).

Isso pode sugerir, por outro lado, que o SINAES e particularmente seus formuladores, no levaram em considerao as dificuldades de operacional-izao cotidiana das CPA tendo em vista o grande nmero de participantes, os aspectos polticos e tcnicos e a diversidade (quando no a falta) de interesse dos diversos segmentos no processo de avaliao. Essa dimenso merece ser estudada profundamente. Por exemplo, ao analisar as CPA UFPE e UFRN per-cebemos nveis e perspectivas distintas na capacidade de articulao poltica, de mobilizao e sensibilizao da comunidade acadmica. Contudo, essa mobilizao, em ambas as CPA, confronta-se com limitaes concretas, tanto em relao aos segmentos docentes e discentes, mas, sobretudo, em relao participao da sociedade civil.

Quando verificado possveis impactos do trabalho da CPA, observamos posies contraditrias. possvel afirmar que a CPA/UFPE no foi incorpo-rada lgica da gesto institucional, enquanto a CPA/UFRN foi incorporada e incorporou-se fortemente lgica da gesto institucional. Neste caso, possvel afirmar que a possibilidade de impacto do trabalho da CPA materializa-se muito mais na UFRN do que na UFPE.

Esses aspectos acenam para certas limitaes do trabalho desempenhado pela CPA na auto-avaliao e questiona fortemente a premissa da promoo e instalao da cultura da auto-avaliao. Alm disso, questiona o propalado conflito entre avaliao e regulao.

CONSIDERAES FINAISAnalisamos as Comisses Prprias de Avaliao no contexto de imple-

mentao do SINAES em duas universidades federais, atravs do processo de



constituio das CPA, analisando comparativamente dimenses e processos, identificando procedimentos, instrumentos e as formas de operacionalizao da avaliao institucional. As IFES estudadas criaram suas CPA no sentido de responder ao processo de implementao da avaliao institucional proposta pelo SINAES. Esta realidade promoveu uma srie de possibilidades e desafios para a avaliao institucional, em especial para o processo de auto-avaliao.

A anlise realizada aponta para ocorrncia de certos obstculos que fra-gilizam a perspectiva sistmica da avaliao no processo da auto-avaliao realizado pela CPA, no que diz respeito s dez (10) dimenses e participao dos atores da comunidade acadmica. De maneira geral, os dados analisados corroboram com a hiptese de que a ausncia de familiaridade com a teoria e a prtica da avaliao favorece o desencontro entre os objetivos propostos e os resultados alcanados.

Ao analisarmos o processo de preparao a formao da CPA , constatou-se que estas Comisses exercem uma tarefa complexa, pois tm de desenvolver um ambiente propcio a implantao da cultura da auto-avaliao enquanto deve respeitar a identidade institucional. Dessa forma, mesmo possuindo formalmente distintas composies, as CPA estudadas delinearam a mesma lgica de formao e de representao formal. Entendemos que essa lgica contribuiu para fragilizao da participao da comunidade acadmica no pro-cesso de auto-avaliao. Por outro lado, gostaramos de sugerir que preciso estudar e problematizar o principio do respeito identidade institucional; a legislao e os documentos, assim como vrios autores-defensores do SINAES, herdeiros do PAIUB, falam de uma identidade institucional que no sabemos realmente o que . Se a avaliao um processo de autoconhecimento, ela necessariamente transformadora. Portanto, sob o manto e mito da identidade institucional pode ser que se deixe de realizar transformaes relevantes e necessrias s universidades.

Entendemos que os processos de auto-avaliao desenvolvidos pelas CPA estudadas foram limitados pela dinmica de implementao do SINAES, j que a CONAES e o INEP no tem estimulado no nvel desejado o trabalho das CPA, impactando negativamente na instalao de um processo de avaliao sistmico e sistemtico. Por outro lado, a posio da CONAES e INEP pode ser indicativa de uma mudana de rota e prioridade na poltica de avaliao por parte do MEC, questo no explorada no presente texto, mas que per-cebida pela importncia que o ENADE vem ganhando no SINAES, com a criao, em 2008, do Conceito Preliminar de Cursos (CPC) e do ndice Geral de Cursos (IGC).



No seio das CPA, no existe reflexo aprofundada sobre o processo da produo dos dados, sobre os resultados alcanados e seus impactos. Consid-eramos tambm que o processo de escolha dos membros destas Comisses e a proposta de participao equilibrada dos segmentos da comunidade acadmica, precisam ser estudados. Na prtica, em funo das condies estruturais, h uma evidente predominncia dos docentes na composio das CPAs das IFES pesquisadas, no havendo uma participao sistemtica nem dos estudantes, nem dos tcnico-adminstrativos e muito menos da sociedade civil. Do nosso ponto de vista, preciso questionar se este seria o modelo mais recomendvel de gesto da auto-avaliao institucional.

Tudo isso nos leva destacar os aspectos relacionados ao processo de apro-priao dos princpios, diretrizes e pressupostos metodolgicos do SINAES. Nesta perspectiva, o MEC, a CONAES e o INEP tm focalizado o processo de formao dos membros das comisses externas. Por essa razo, evidenciamos a precariedade na formao continuada e no acompanhamento das CPA.

Observamos tambm que o SINAES, em sua legislao, vela pelo equilbrio entre os processos avaliativos da avaliao institucional. Contudo, esse equil-brio no existe na prtica, face ao distanciamento entre a CPA e as Comisses Externas. Essa constatao desvela uma srie de dificuldades e entraves para a realizao das atividades da CPA no processo de auto-avaliao, base da avaliao institucional. importante finalizar destacando que a CPA/SINAES no tem conseguido instituir a prtica da avaliao sistmica baseada no para-digma subjetivista e emanciptorio, alm de crescentemente distanciar-se de seus princpios e proposies.

REFERNCIAS

AMARAL, N. C. Financiamento da educao superior: estado x mercado. So Paulo e Piracicaba: Cortez e Editora UNIMEP, 2003.

AUGUSTO, Rosana; BALZAN, Newton Cezar. A vez e a voz dos coordenadores das CPAs das IES de Campinas que integram o SINAES. Avaliao, Campinas; Sorocaba, SP, v. 12, n. 4, p. 597-622, dez. 2007.

BRASIL. Decreto n 5.773, de 09 de maio de 2006. Dispe sobre o exerccio das funes de regulao, superviso e avaliao de instituies de educao superior e cursos superiores de graduao e seqenciais no sistema federal de ensino. Braslia, 2006.



BRASIL. Lei n 10.861, de 14 de abril de 2004. Institui o Sistema Nacional de Avaliao da Educao Superior SINAES e d outras proficincias. Braslia, 2004.

BRASIL. Lei n 9.131, de 24 de novembro de 1995. Altera dispositivos da Lei n 4.042, de 20 de dezembro de 1961, e d outras providncias. Braslia, 1995.

BRASIL. Lei n 9.394, de 20 de dezembro de 1996. Estabelece as Diretrizes e Bases da Educao Nacional. Braslia, 1996.

BRASIL. Presidncia da Repblica Grupo de Trabalho Interministerial. Bases para o enfrentamento da crise emergencial das universidades brasileiras e roteiro para a reforma da universidade brasileira. Braslia, 2003.

BRASIL.MEC. Portaria n 2.051, de 9 de julho de 2004. (Publicada no DOU n 132, de 17.07.2004, Seo 1, pgina 12). Regulamenta os procedimentos de avaliao do Sistema Nacional de Avaliao da Educao Superior (SINAES), institudo na Lei n 10.861, de 14 de abril. Braslia, 2004.

BRASIL.MEC. Portaria Normativa de n 12, 05 de setembro de 2008. Institui o ndice Geral de Cursos da Instituio de Educao Superior, tendo em vista o disposto no art. 209 da Constituio Federal, na Lei no 9.394, de 20 de dezembro de 1996, na Lei no 10.861, de 14 de abril de 2004, e no Decreto n 5.773 de 09 de maio de 2006.

BRASIL.MEC. Portaria Normativa de n 4, 05 de agosto de 2008. Regulamenta a aplicao do conceito preliminar de cursos superiores, para fins dos processos de renovao de reconhecimento respectivos, no mbito do ciclo avaliativo do SINAES instaurado pela Portaria Normativa n 1, de 2007.

BRASIL.MEC. Diretrizes para avaliao das instituies de educao superior. Comisso Nacional de Avaliao da Educao Superior. CONAES. Braslia, 2004a.

BRASIL.MEC. Sistema Nacional de Avaliao da Educao Superior (SINAES). Bases para uma nova proposta de Avaliao da Educao Superior Brasileira. Comisso Especial de Avaliao (CEA). Braslia, 2003.



BRASIL.MEC. Sistema Nacional de Avaliao da Educao Superior (SINAES). Roteiro de Auto-avaliao Institucional: orientaes geais. Instituto Nacional de Estudos e Pesquisas Educacionais Ansio Teixeira - INEP. Comisso Nacional de Avaliao da Educao Superior - CONAES. Braslia, 2004b.

CATANI, Afrnio Mendes; OLIVEIRA, Joo Ferreira; DOURADO, Luiz Fernandes. As polticas de gesto e de avaliao acadmica no contexto da reforma da educao superior. In: MANCEBO, Deise; FVERO, Maria de Lourdes de Albuquerque. (Orgs.). Universidade: polticas, avaliao e trabalho docente. So Paulo: Cortez, 2004.

CUNHA, Luiz Antonio. Reforma universitria em crise: gesto, estrutura e territrio. In: TRINDADE, Hlgio. (Org.). Universidade em runas: na repblica dos professores. Petrpolis: Vozes, Rio Grande do Sul: CIDEPES, 1999.

DIAS SOBRINHO, Jos. Avaliao tica e poltica em funo da educao como direito pblico ou como mercadoria? Educao & Sociedade, Campinas, v. 25, n. 88, p. 703-725, Especial Out. 2004. Disponvel em . Acesso em: 5 jun. 2010.

DIAS SOBRINHO, Jos. Avaliao institucional: das perspectivas tecnolgicas s polticas e sociais. In: DIAS SOBRINHO, Jos. Avaliao da educao superior. Petrpolis, RJ: Vozes, 2000.

DIAS SOBRINHO, Jos. Avaliao institucional: marcos tericos e polticos. Avaliao, Campinas, v. 1, n. 1, p. 15-24, jul. 1996.

DIAS SOBRINHO, Jos; BALZAN, Newton Csar. (Orgs.). Avaliao institucional: teoria e experincias. 2. ed. So Paulo: Cortez, 2000.

DIAS, Carmem Lcia; HORIGUELA, Maria de Lourdes Morales; MARCHELLI, Paulo Srgio. Polticas para avaliao da qualidade do ensino superior no Brasil: um balano crtico. Educao & Pesquisa, So Paulo, v. 32, n. 3, p. 435-464, set./dez. 2006.

DOURADO, Luiz Fernandes. Reforma do Estado e as polticas para a educao superior no Brasil nos anos 90. Educao & Sociedade, Campinas, v. 23, n. 80, p. 234-252, set. 2002. Disponvel em . Acesso em: 1 jun. 2010.



GIOLO, Jaime; RISTOFF, Dilvo. O SINAES como sistema. Revista Brasileira de Ps-graduao, CAPES, Braslia, v. 3 n. 6, dez. 2006.

GOMES, Alfredo Macedo. Estado, mercado e educao superior no Brasil: um modelo analtico. Educao & Sociedade, Campinas, v. 24, n. 84, set.(2003a). Disponvel em: . Acesso em: 29 maio 2010.

GOMES, Alfredo Macedo. Poltica de avaliao da educao superior: controle e massificao. Educao & Sociedade, Campinas, v. 23, n. 80, p. 275-298, set. 2002, Disponvel em . Acesso em: 12 jun. 2010.

GOMES, Alfredo Macedo. Exame Nacional de Cursos e Poltica de Regulao Estatal do Ensino Superior. Cadernos de Pesquisa, So Paulo, n. 120, p. 129-149, nov. (2003b).

GREGO, Snia Maria Duarte. A meta-avaliao como referencial de anlise e de reflexo. In: SGUISSARDI, Valdemar. (Org.). Avaliao universitria em questo: reformas do estado e da educao superior. Campinas, SP: Autores Associados, 1997. Coleo educao contempornea.

LEITE, Denise. Ameaas ps-rankings sobrevivncia das CPAS e da auto-avaliao. Avaliao, Campinas; Sorocaba, v. 13, n. 3, p. 833-840, nov. 2008.

MACEDO, Arthur Roquete de; TREVISAN, Ligia Maria Vettorato; TREVISAN, Pricles; MACEDO, Caio Sperandeo de. Educao superior no sculo XXI e a reforma universitria brasileira. Ensaio: Avaliao. Poltica Pblica. Educao, Rio de Janeiro, v. 13, n. 47, p. 127-148, abr./jun. 2005

MENEGHEL, Stela M.; ROLB, Fabiene; SILVA, Tattiana T. Freitas da. A relao entre avaliao e regulao na Educao Superior: elementos para o debate. Educar, Curitiba, n. 28, p. 89 106, 2006.

MOROSINI, Marlia Costa. Avaliao institucional como um organizador qualificado: na prtica, possvel repensar a universidade? In: SGUISSARDI, Valdemar. (Org.) Avaliao universitria em questo: reformas do estado e da educao superior. Campinas: Autores Associados, 1997. (Coleo educao contempornea).



OTRANTO, Celia Regina. A reforma da educao superior do Governo Lula: da inspirao implantao. In: SILVA JR, Joo dos Reis; OLIVEIRA, Joo Ferreia; MANCEBO, Deise. (Orgs.). Reforma universitria: dimenses e perspectivas. Campinas: Alnea, 2006. (Coleo polticas universitrias)

PEIXOTO, Maria do Carmo de Lacerda. O debate sobre avaliao da educao superior: regulao ou democratizao? In: MANCEBO, Daise; FVERO, Maria de Lourdes de Albuquerque. (Org.). Universidade: polticas, avaliao e trabalho docente. So Paulo: Cortez, 2004.

PEIXOTO, Maria do Carmo de Lacerda. Avaliao institucional nas universidades federais e as comisses prprias de avaliao. Avaliao. Campinas; Sorocaba, SP, v. 14, n.1, p. 9-28, mar. 2009.

POLIDORI, Marlis Morossini, MARINHO-ARAUJO, Claisy M., BARREYRO, Gladys Beatriz. SINAES: Perspectivas e desafios na avaliao da educao superior brasileira. Ensaio: Avaliao. Poltica Pblica. Educao, Rio de Janeiro, v. 14, n. 53, p. 425-436. Out.\dez., 2006.

RISTOFF, Dilvo. A trplice crise da universidade brasileira. In: TRINDADE, Hlgio. (Org.). Universidade em runas: na repblica dos professores. Petrpolis, RJ: Vozes, Rio Grande do Sul: CIDEPES, 1999.

RISTOFF, Dilvo. Avaliao institucional: pensando princpios. In: DIAS SOBRINHO, Jos; BALZAN, Newton Csar. (Org.). Avaliao Institucional: teoria e experincias. 2. ed. So Paulo: Cortez, 2000.

ROTHEN, Jos Carlos. Ponto e Contra ponto na Avaliao Institucional: anlise dos documentos de implementao do SINAES. In: SILVA JR, Joo dos Reis; OLIVEIRA, Joo Ferreira de; MANCEBO, Daise (Org.). Reforma Universitria: dimenses e perspectivas. Campinas, So Paulo: Editora Alnea, 2006. (Coleo polticas universitrias).

SGUISSARDI, Valdemar. (Org.). Avaliao universitria em questo: reformas do Estado e da Educao Superior. Campinas: Autores Associados, 1997.

SILVA JR, Joo dos Reis; SGUISSARDI, Valdemar. A reforma da educao superior diante da reforma do estado reformas educacionais, mudana social e epistemologia. In: SGUISSARDI, Valdemar (Org.). Avaliao universitria em questo: reformas do estado e da educao superior. Campinas: Autores Associados, 1997.



VERHINE, Robert Evan; DANTAS, Lys Maria Vinhaes; SOARES, Jos Francisco. Do Provo ao ENADE: uma anlise comparativa dos exames nacionais utilizados no Ensino Superior Brasileiro. Ensaio: Avaliao. Poltica Pblica. Educao, Rio de Janeiro, v. 14, n. 52, p. 291-310, jul./set. 2006.

ZAINKO, Maria Amlia Sabbag. Avaliao da educao superior no Brasil: processo de construo histria. Avaliao, Campinas; Sorocaba, v. 13, p. 827-831, nov. 2008.

cpa em questao.ler

Documents