av. qualitativa e indicadores sociais

Upload: maristela-rodrigues

Post on 08-Jul-2015

18 views

Category:

Documents


0 download

TRANSCRIPT

AVALIAO QUALITATIVA E A CONSTRUO DE INDICADORES SOCIAIS: CAMINHOS DE UMA PESQUISA/INTERVENO EM UM PROJETO EDUCACIONAL1Angela Maria Dias Fernandes # Adriana Rozenowicz Joseane Pessanha FerreiraRESUMO. Este texto pretende promover reflexes a respeito de uma proposta de formao de educadores organizada a partir da definio de Indicadores de Qualidade Social em Educao. Ganha importncia a perspectiva de redimensionar as formulaes sobre qualidade rechaando a mediao das leis de mercado assumidas no capitalismo contemporneo. A metodologia pautada nas formulaes da Anlise Institucional, constituindo-se um campo de investigao/interveno que buscou articular o trabalho pedaggico, a avaliao dos efeitos dessa ao nos alunos e o planejamento cotidiano, com base em um projeto geral. Esse processo reafirma um questionamento do aspecto meramente tecnicista presente nas propostas hegemnicas de formao de educadores. O projeto de pesquisa se realizou no espao de prticas educativas de um programa social na rea da Mar/RJ, que organizava oficinas de arte em escolas pblicas onde, atravs das propostas desenvolvidas, ganharam visibilidade as relaes que ali se instituam e as foras presentes em um processo atravessado pelas instituies do saber/poder. Palavras-chave: avaliao qualitativa, metodologia de pesquisa, educao pblica.*

QUALITATIVE EVALUATION AND THE CONSTRUCTION OF SOCIAL INDICATORS: THE RESEARCH/INTERVENTION WAYS IN AN EDUCATIONAL PROJECTABSTRACT. This study intends to promote a reflection about a proposition on teachers formation organized from the definition of Social Quality Indicators in Education. The perspective of revision of the formulations about quality, repelling the market law intervention of contemporary capitalism gains space. The methodology is based on the formulations of Institutional Analysis, consisting of an investigation/ intervention field that has searched to articulate pedagogic work, the evaluation of the effects of this experience in the students and the daily planning, anchored in a general project. This process reaffirms a questioning on the mere technicality present in the hegemonic propositions of teachers formation. The research project was carried out in a space for educational practices of a social program in rea da Mar/RJ, that used to organize art workshops in public schools. Key words: qualitative evaluation, research methodology, public education.

1

Apoio Programa Institucional de Apoio a Bolsas de Iniciao Cientfica PIBIC/CNPq UFF. Psicloga, Doutora em Psicologia Escolar pela Universidade de So Paulo. Professora Adjunta do Departamento de Psicologia da Universidade Federal da Paraba. Psicloga pelo Departamento de Psicologia da Universidade Federal Fluminense. Universidade Federal Fluminense. Especializao em Clnica Transdisciplinar e Instituies Pblicas (cursando - 2003/2004). Psicloga pelo Departamento de Psicologia da Universidade Federal Fluminense. Bolsista de Aperfeioamento/Fundao Oswaldo Cruz/2003-2005.

*#

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

244

Fernandes e cols.

Neste texto pretende-se fazer uma reflexo a respeito da metodologia e dos resultados alcanados a partir de uma pesquisa realizada em escolas pblicas em uma rea de favela, no Rio de Janeiro. Essa pesquisa2 tinha como principais objetivos investigar os efeitos de um projeto social (Programa de Criana3) no cotidiano das escolas, no desempenho escolar e na rede de relaes estabelecidas pelas crianas e adolescentes inseridos no referido projeto. No perodo de execuo dessa pesquisa (agosto de 2001 a julho de 2002) tal programa era caracterizado pela realizao de treze modalidades de oficina de artes4 que se desenvolviam nas dependncias das escolas, em horrios extraclasse, sendo ministradas por educadores contratados pela ONG. Alm dessas atividades, diretamente ligadas arte, eram tambm organizadas por estagirios de psicologia da UFF as oficinas chamadas de grupos de debates - com adolescentes - e vivncias de grupalizao - com crianas5. Alm de responder a uma possibilidade de orientar as aes do Programa a partir da sistematizao dos efeitos que vinha produzindo, essa pesquisa inseria-se na perspectiva de melhor orientar o projeto de formao permanente dos educadores de arte. O Programa mantinha desde 1999, ano de incio de suas atividades, uma reunio semanal da equipe, cujo objetivo era avaliar as aes cotidianas, planejar os caminhos seguintes e trabalhar aspectos das2

3

4

5

A pesquisa A escola pblica e a psicologia a produo de um olhar sobre as estratgias de ao de diferentes atores na trama da excluso social, integrou o Programa de Incentivo a Bolsas de Iniciao Cientfica da Universidade Federal Fluminense/CNPq, e desenvolveu-se no perodo de agosto de 2001 a julho de 2002, contando com duas bolsistas, alunas do curso de graduao em psicologia, sob a orientao da Prof. Dra. ngela M. D. Fernandes, ento docente do Dep. de Psicologia da UFF. O Programa de Criana era gerenciado por uma ONG local e financiado pela Petrobrs, a partir de um convnio firmado em agosto de 1999. As oficinas, desenvolvidas em sete escolas pblicas da rea, eram as seguintes: artes plsticas, teatro, dana, msica, orquestra de flautas, capoeira, desenho em quadrinhos, produo de texto, educao ambiental, hip hop, vivncias de grupalizao, grupo de debates, multilinguagens. Alm da pesquisa, essa parceria com a Universidade Federal Fluminense contou, tambm, com o desenvolvimento de um projeto de estgio em psicologia, ligado ao Servio de Psicologia Aplicada/UFF, intitulado Aes da psicologia em escolas pblicas da Mar. Esse projeto realizou atividades junto ao Programa de Criana no perodo de maro de 2000 a maro de 2002.

relaes sociais que se estabeleciam naquele campo. Nos dois anos de parceria com a Universidade Federal Fluminense6 observou-se uma expanso gradativa do programa, que contava no primeiro ano com doze educadores, atendendo a cento e vinte alunos, e j em fins de 2001 atendia a seiscentos alunos, a partir da atuao de vinte e dois educadores e nove estagirios de psicologia. Essa realidade impunha constantes mudanas apontando para a necessidade de construo de um projeto mais sistemtico de avaliao do Programa. A definio de indicadores foi uma estratgia desse projeto de pesquisa implementado em agosto de 2001, que desenvolveu atividades a partir do espao coletivo das reunies semanais da equipe, articulando trs temas fundamentais: formao permanente de educadores; avaliao da ao educativa e planejamento pedaggico. O que se pretendia era promover uma reflexo sobre o trabalho proposto nas oficinas e a partir de ento organizar uma forma de avaliar os efeitos da ao pedaggica nos alunos, com vistas a promover um estreitamento da relao entre o planejamento pedaggico cotidiano, ancorado em um projeto geral, e os resultados alcanados. Essa proposta passava necessariamente pela observao sistemtica da prpria prtica por parte de cada profissional e pela capacidade de enfrentar os mecanismos que se instituam nas relaes produzidas nas organizaes escolares onde o Programa vinha atuando. A relao entre esse projeto social e as escolas havia sido objeto de investigao durante a pesquisa7 que se desenvolveu no perodo anterior (agosto de 2000 a julho de 2001), sendo ento especificamente focalizados os efeitos da parceria ONG/escola no cotidiano escolar. O que surgiu de forma marcante nas duas unidades escolares que fizeram parte da primeira pesquisa foi a diferena de olhares entre a equipe do6

7

No perodo de agosto de 1999 a maro de 2002, o Programa de Criana contou com a participao da orientadora dessa pesquisa, que desenvolveu atividades de coordenao, enquanto assessora da ONG, tendo como principal interesse a investigao a respeito de questes ligadas formao de educadores. Com o rompimento dessa parceria ambos os projetos (de pesquisa e de estgio) encerraram as atividades de campo. A pesquisa continuou, j que estava em fase de anlise de dados, at que os resultados pudessem ser restitudos. Trata-se da pesquisa A escola pblica e a psicologia investigaes sobre as estratgias de ao de diferentes atores, apoiada pelo Programa de Incentivo a Bolsas de Iniciao Cientfica da Universidade Federal Fluminense/CNPq, que contou com a participao de duas bolsistas, alunas de graduao em psicologia.

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

Avaliao qualitativa e indicadores sociais

245

Programa e as escolas no que se refere a alguns pontos que envolvem a relao ensino-aprendizagem. A msica, a dana, o teatro, a capoeira e as demais atividades artsticas traziam para a escola possibilidades diferentes da rotina escolar no que diz respeito relao professor/aluno e a prtica pedaggica. O que ganhou visibilidade atravs daquela pesquisa foram os mecanismos disciplinares que as escolas acionavam e a forma como eles eram justificados em contraposio ao sentido mais criativo que os educadores do Programa vinham dando ao seu trabalho com as crianas e adolescentes. A disciplina X indisciplina, o ldico X acadmico, autoridade X autoritarismo, autonomia X submetimento foram os temas que se fizeram presentes na anlise dos efeitos do projeto social nas escolas. Foi possvel, assim, focalizar impresses das relaes de trabalho de professores e educadores, ganhando visibilidade o processo de institucionalizao onde prticas e foras instituintes mostraram sua dinmica. A restituio do material dessa pesquisa atravs da costura coletiva dos dados produziu estranhamentos dando transparncia aos conflitos que aquela parceria instaurava8. Em decorrncia dos procedimentos que viabilizaram esse olhar coletivo sobre os efeitos do Programa surgiu, como demanda de um grupo de professores de uma das escolas includas no primeiro perodo da pesquisa, a necessidade de examinar, tambm, seus efeitos, especificamente nos alunos, focalizando o desempenho escolar. Essa demanda foi confrontada com uma outra, fruto de implicaes dos coordenadores da pesquisa, e ampliada no sentido de escapar de uma avaliao quantitativa apontando para uma reflexo sobre a qualidade do ensino no Brasil e o impacto do trabalho com a arte na formao do sujeito. Como passos para compreenso do campo de investigao que aqui se constituiu ser realizada, inicialmente, uma reflexo sobre qualidade em educao que fundamenta a idia de trabalhar com indicadores. Em seguida ser focalizada a linha metodolgica adotada, ressaltando a perspectiva de interveno e apontando as ferramentas aqui acionadas que fundamentam os procedimentos construdos, como reunies gerais, entrevistas e questionrios. Finalmente, a anlise do desenvolvimento da pesquisa ir abordar, alm dos8

resultados, os limites e possibilidades da metodologia, apontando caminhos no sentido da constituio de projetos na rea de formao de educadores. Apesar da relao entre a UFF e a ONG ter sido interrompida antes da restituio dos dados finais, a metodologia para a definio dos indicadores, construindo procedimentos de participao dos educadores, e a experincia de auto-avaliao por parte dos alunos, merecem o relevo que esse estudo pretende dar. A anlise do prprio encerramento da parceria tambm objeto desse estudo, dado que fala a respeito das foras que se instituem nas prticas pedaggicas e de pesquisa.

QUALIDADE DO SOCIAL OU QUALIDADE SOCIAL DA EDUCAO? UM BREVE OLHAR PARA A EDUCAO PBLICA BRASILEIRAQUALIDADE Propriedade, atributo ou condio das coisas ou das pessoas capaz de distingui-las das outras e de lhes determinar a natureza (Ferreira, 1975, p.1165).

Ver: Fernandes, A .M. D., Rozenovicz, A & Pessanha, J. F. (2004). Perspectivas em psicologia institucional: investigao/interveno em escolas pblicas da Mar. Em Revista Psicologia: Cincia e Profisso, Conselho Federal de Psicologia, 23 (4).

A definio acima fornece algumas pistas para as reflexes que sero feitas nesse estudo. A qualidade seria algo que permitiria reconhecer diferenas. Ainda segundo essa definio, a qualidade teria a capacidade de determinar a natureza daquilo que est sendo qualificado. Em se tratando de educao poderia estar referida proposta em si - mtodos, tcnicas, materiais, contedos - e aos sujeitos ou grupos aos quais se dirige. Vrios pesquisadores, como Gentili (1995 a, 1995 b, 1996, 2001) e Enguita (1995), ao analisarem as condies de funcionamento da educao pblica, ressaltam a qualidade como um tema de extrema importncia. Da forma como apreendem esse conceito, os autores investigam a relao entre o modelo educacional vigente, traado a partir de princpios polticos, e a populao qual dirigido. Segundo Gentili (1996), no sistema capitalista neoliberal a educao regida pela lgica mercantilista, ou seja, sai da esfera poltica para esfera de mercado, reduzindo seu carter de direito ao princpio de propriedade. A qualidade da educao estaria referida ao poder de compra do educando. Retomando a definio acima, tanto a qualidade da educao quanto a qualidade daquele que a adquire estabeleceriam uma relao capaz de distinguir produtos oferecidos ao nvel do mercado. Nesse contexto a noo de cidadania revista, atravs da revalorizao do indivduo enquanto

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

246

Fernandes e cols.

proprietrio, tendo que lutar para comprar propriedades/mercadorias, inclusive a educao. assim que os indivduos, na medida em que introjetam o valor mercantil e as relaes mercantis como padro dominante de interpretao dos mundos possveis, aceitam e confiam no mercado como o mbito em que, naturalmente, podem e devem desenvolver-se como pessoas humanas. No capitalismo histrico, tudo se mercantiliza, tudo se transforma em valor mercantil (Gentili, 1995 b, p.228).

O princpio do mrito ir reger essa lgica instaurando espaos de competitividade, dando desigualdade social um sentido naturalizado. A cada homem de acordo com suas possibilidades, aptides e fora de vontade uma lei que se instaura procurando constantemente novos mecanismos de reafirmao e legitimidade para um modelo dualista de sociedade. No campo da psicologia podem-se, tambm, buscar elementos para a compreenso desse processo. A psicologia, atravs de histricas alianas (Patto, 2000 e Carvalho, 1997), investiu a pedagogia de rigor cientfico, forjou instrumentos, sustentou a idia de uma sociedade meritocrtica. Nesse movimento produziu e continua produzindo uma viso onde o preconceito, a descriminao de classes sociais e raas, a construo de uma aliana sobre as diferenas, falam de uma viso articulada de homem, de sociedade, de histria, de cincia e finalmente de educao, fazendo funcionar um ideal de mundo. Inscrito em um modelo capitalista, onde reinam a competio entre os homens; a subalternidade imposta pela expropriao e a alienao do trabalho, esse mundo se considera ideal e sntese de todas as possibilidades. A educao se constitui como uma instituio que atravessa a sociedade dualizada produzindo espaos e prticas escolares com qualidades diferentes e, a um s tempo, aciona mecanismos que definem seus usurios e expande essas equivalncias para toda a sociedade. Como resultado transparece um quadro onde o apartheid escolar, que se traduz na existncia de uma escola para ricos e outra para pobres, legitimado pela idia de merecimento e de possveis escolhas sociais (Gentili, 2001). O sentido mercadolgico que vem sendo aqui apontado e que determina lugares e d qualidade a mercadorias e compradores promove o que vem sendo tratado como excluso.

Como nos diz Arroyo (2000), a instituio escolar excludente na medida em que no foi estruturada para permitir uma experincia educativa e cultural para a infncia pobre. O sistema escolar (...) se limita a ensinar suas prprias produes e a aprovar ou reprovar com base em critrios de precedncia que ela mesma definiu como mnimos(...) (p. 21). A escola que atende as classes populares alimenta-se de preconceitos sociais, que vem nas crianas pobres uma incapacidade de aprender e uma menor valorizao dos estudos em suas vidas. Isso se reflete no mtodo de ensino adotado para esses alunos, pautado em baixa exigncia de instruo, na organizao de classes especiais e em um currculo adaptado s suas condies. No entanto, como mostra Forrester (1997), esse processo contm uma perspectiva includente.Entre esses despossudos e seus contemporneos, ergue-se uma espcie de vidraa cada vez menos transparente. E como so cada vez menos vistos, como alguns os querem ainda mais apagados, riscados, escamoteados dessa sociedade, eles so chamados de excludos. Mas, ao contrrio eles esto l, apertados, encarcerados, includos at a medula (grifos da autora) (Forrester, 1997, p. 15).

Associando esse processo de excluso/incluso inexistncia de postos de trabalho e ao desemprego, Forrester (1997) ir identificar um processo de responsabilizao forjado pela sociedade contempornea e da mesma forma atravessado pelo princpio do mrito. Mais ainda, Gentili (1996) ir apontar a necessidade, contida nos projetos neoliberais, de estabelecer uma articulao e uma subordinao do sistema educacional s necessidades do mercado de trabalho. A qualidade da insero escolar definir, portanto, a qualidade da insero no mundo do trabalho. Atravessado pela lgica mercantilista neoliberal, o conceito de qualidade toma o significado de privilgio, exercido pelos grupos que mantenham uma relao de supremacia junto ao mercado de bens, dentre eles o da educao.Tem como base a dualidade social, que se afirma e justifica pelas diferenas (sociais) entre os homens. Ao assumir a diferena como potncia podem-se abrir caminhos para uma outra interpretao do conceito de qualidade que rompa com o sentido dualizante a ele imputado, apontando para novas formas de distinguir os homens e as coisas.

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

Avaliao qualitativa e indicadores sociais

247

Nos movimentos sociais, a luta por esse outro significado para o conceito que vimos investigando tem marcado caminhos, expressos, principalmente, na redao do Plano Nacional de Educao Proposta da Sociedade Brasileira9, que reafirma a educao como um direito fundamental. A Carta do 4 CONED Congresso Nacional de Educao10 aponta que cabe ao Estado assegurar o exerccio desse direito e a cada cidado exigir educao de qualidade social, igualitria e justa.A qualidade social, conceito originrio do Plano Nacional de Educao Proposta da Sociedade Brasileira, implica educao com padres de excelncia e adequao aos interesses da maioria da populao, tendo como valores fundamentais a solidariedade, a justia, a honestidade, o conhecimento, a autonomia, a liberdade e a ampliao da cidadania (Bollmann, 2002, p.7).

A qualidade ganha, assim, um sentido relacional, de multiplicidades, abrindo-se para alm das perspectivas totalizantes, inquestionveis, presentes, por exemplo, nas bandeiras da qualidade total e em outras modalidades que visam a eficincia e produtividade. Redimensionar o conceito de qualidade passa por rechaar a idia determinista de sociedade, instaurando o princpio da igualdade e da justia social. A diferena entre os homens se afirma qualificando a educao como um espao de prticas capazes de produzir sujeitos singulares, com a possibilidade de questionar os mecanismos que instauram a primazia das leis de mercado. A tarefa que se coloca fazer com que esse conceito assim redimensionado atravesse as prticas pedaggicas produzindo compromissos com a constituio de um outro homem.

ALGUMAS CONSIDERAES SOBRE A METODOLOGIA DA INVESTIGAO/INTERVENO

importante assinalar que esta pesquisa se inscreve em uma perspectiva metodolgica que valoriza os processos de transformao social, de enfrentamento de conflitos e de participao social.9

O Plano Nacional de Educao-Proposta da Sociedade Brasileira, foi consolidado no II CONED (Congresso Nacional de Educao), realizado em Belo Horizonte, em novembro de 1997. O 4o. CONED (Congresso Nacional de Educao) foi realizado em So Paulo, em abril de 2002.

10

Tomando as ferramentas da Anlise Institucional e os indicativos formulados por Ren Lourau (1993) que fundamentam o investimento terico/metodolgico aqui assumido, essa pesquisa se assenta em trs bases fundamentais. Inicialmente valoriza a perspectiva da investigao/interveno, apontando para a construo de um campo de mltiplos atravessamentos onde, sujeitos e objetos se criam. Colocar em foco, iluminar certos processos institucionais significa, nessa vertente de pesquisa, assumir que a prpria investigao produz efeitos, inclusive em si mesma. Essa idia est assentada na concepo de instituio enquanto conjunto de relaes sociais que se instrumentalizam nas organizaes e nas tcnicas, sendo nelas produzidas, reproduzidas, transformadas e/ou subvertidas (Rodrigues & Souza, 1987). A constituio de um campo de interveno se afirma na perspectiva de compreenso daquilo que invisvel, ou seja, a instituio, que atravessa, cria e forma os grupos. Nessa perspectiva se pode pensar em uma pesquisa que, inserida em certas prticas, se faz atravessada por elas. As prticas pedaggicas e a relao professor/aluno que mediavam o cotidiano sobre o qual se colocava o foco da pesquisa eram igualmente atravessadas pelas relaes de saber/poder que se instauravam em todos os cantos escolas, comunidades, ONG, Universidade. Decorre dessa afirmativa a segunda base metodolgica, que diz respeito ao questionamento da neutralidade cientfica. Segundo Lourau (1993), (...) a Anlise Institucional tenta no fazer um isolamento entre o ato de pesquisar e o momento em que a pesquisa acontece na construo do conhecimento (p.16). Isto significa afirmar que sujeito e objeto ganham uma proximidade que deve ser analisada todo o tempo. Capaz de implicar-se com o campo e com os objetos da investigao, o pesquisador assume ser apreendido pelo prprio questionamento, assim como todos os atores sociais envolvidos. Afirma-se, assim, a impossibilidade da objetividade cientfica positivista. A terceira base metodolgica diz respeito ao que Lourau (1993) chama de maximizar a anlise coletiva. Tarefa nem sempre fcil, a coletivizao deve envolver todos os atores na apropriao, no s de resultados frios, mas da dinmica das relaes sociais, que se tornam visveis. Ressalta-se a importncia da criao de dispositivos que permitam que a restituio seja na verdade um processo de discusso sobre a encomenda para a investigao/interveno e das demandas que surgem a partir do interesse dos diversos grupos.

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

248

Fernandes e cols.

Esse suporte metodolgico tambm influenciado pelos questionamentos de Boaventura Santos (2000) a respeito da revoluo cientfica que atravessamos. Aponta a construo de um novo paradigma, que no pode ser apenas cientfico, mas tem que ser tambm um paradigma social. Indica a necessidade de superao das dicotomias cincias naturais/cincias sociais, revalorizando os estudos humansticos, e conclui que o sujeito (...) regressa investido da tarefa de fazer erguer sobre si uma nova ordem cientfica (p.43). No paradigma emergente o conhecimento total, mas tambm local, trabalhando com um objeto que se amplia em busca de novas interfaces, em um caminho que chama de composio transdisciplinar, capaz de funcionar com uma pluralidade metodolgica que tem a tarefa de encurtar a distncia entre sujeito e objeto. Para Santos, a cincia no descobre, cria.A incerteza do conhecimento, que a cincia moderna sempre viu como limitao tcnica destinada a sucessivas superaes, transforma-se na chave do entendimento de um mundo que mais do que controlado tem de ser contemplado (Santos, 2000, p.54).

A CONSTRUO DE INDICADORES SOCIAIS DE QUALIDADE COMO PROJETO COLETIVO: O DESENVOLVIMENTO DA PESQUISA, SEUS LIMITES E POSSIBILIDADES A pesquisa, passo a passo

A pesquisa, iniciada em agosto de 2001, se desenvolveu em trs momentos. Inicialmente, durante a primeira fase (agosto a dezembro de 2001), foi possvel levantar e sistematizar informaes realtivas aos objetivos do trabalho pedaggico e apontar alguns elementos que poderiam ser utilizados para avaliao de cada atividade realizada nas oficinas do Programa de Criana. Esse levantamento foi realizado atravs de um questionrio, dirigido aos educadores e estagirios, composto de questes abertas, abordando os seguintes temas: 1- o objetivo geral do trabalho de cada educador no Programa; 2- o objetivo especfico de cada oficina; 3- como entendida a aprendizagem no contexto das oficinas; 4 - quais os indicadores de aprendizagem por parte do aluno; e por fim, 5 sugestes para avaliao dos efeitos da insero dos alunos no Programa de Criana. O Programa contava, no momento da pesquisa, com 22 educadores e 9 estagirios de psicologia da UFF, que atuavam diretamente com as crianas e adolescentes. Alm da aplicao desses questionrios, foram feitas

observaes nas oficinas no sentido de melhor contribuir na sistematizao dos dados. Tambm foram utilizados, como material de anlise, documentos do Programa que tratavam dos objetivos e metas de cada oficina. A partir do mapeamento das respostas dos educadores foi organizada uma reunio com a equipe de profissionais do Programa de Criana, onde todos puderam se apropriar do material compilado, atravs de um documento contendo todas as respostas reunidas por temtica. Esse primeiro procedimento Lourau (1993) chama de restituio e nessa pesquisa considerado como uma costura coletiva de todas as falas. Essa reunio se constituiu em um dispositivo de anlise da diversidade de opinies, que demonstravam implicaes diferentes, conflitos e pontos de convergncia com relao ao trabalho nas oficinas e seu efeito nos alunos. Como resultado desse processo, chegou-se definio dos indicadores considerados importantes como fator de aprendizagem nas oficinas, os quais foram assim sintetizados: interesse na tarefa realizada; percepo de alteraes positivas no prprio comportamento; estreitamento na relao com a escola e maior implicao no processo educacional; contribuies das oficinas no processo de desenvolvimento do aluno; contribuies nas perspectivas em relao ao futuro; relaes com a ONG. O processo de definio desses indicadores operou uma interveno na equipe que vislumbrou a existncia de diferenas de concepes com relao ao seu prprio trabalho. O sentido aqui colocado no era o de resoluo dessas diferenas, mas de abertura para novas aprendizagens, o que fundamenta essa metodologia e a insere na perspectiva da formao de educadores que escapa de um sentido puramente tecnicista. Esses indicadores foram sendo incorporados como elementos norteadores no planejamento cotidiano das atividades de acordo com as interrogaes de cada profissional. Com base nesses indicadores foram construdos instrumentos de avaliao na forma de dois questionrios, sendo um dirigido a alunos do primeiro segmento do ensino fundamental e o outro dirigido a alunos das escolas municipais onde o Programa atendia ao segundo segmento do ensino fundamental. O questionrio voltado para os alunos do primeiro segmento (1 ano do Ciclo a 4 srie) investigou esses

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

Avaliao qualitativa e indicadores sociais

249

indicadores abordados em 18 questes fechadas. O instrumento respondido pelos alunos do segundo segmento era composto de 19 questes semi-abertas. Os modelos de questionrio foram submetidos equipe em uma de suas reunies semanais. A aplicao dos dois questionrios constituiu a segunda etapa dessa fase da pesquisa. Foram escolhidas diferentes abordagens, em funo dos nveis de escolaridade, pois foi entendido que um aluno de 5 a 8 srie teria maior facilidade na leitura, escrita e compreenso do que um aluno de ciclo ou de 4 srie, o que se confirmou no momento da aplicao. Esse instrumento colocou as crianas e jovens diante de outra situao peculiar em sua vida escolar. Responder ao questionrio significava fazer uma auto-avaliao. Refletir sobre sua relao com a escola, com a famlia e com seu futuro no uma prtica corrente nas organizaes educativas que se baseiam na avaliao unilateral. Foram abordadas as sete escolas onde o Programa estava inserido, totalizando 501 questionrios respondidos. Todas as turmas responderam aos questionrios, sendo que a defasagem em relao ao universo inicial de 600 alunos se deveu a problemas de evaso dos inscritos, alunos faltosos ou que no estavam presentes no momento de aplicao. Os alunos com mais de 80% de freqncia nas oficinas responderam aos questionrios. Na segunda fase da pesquisa (janeiro a julho de 2002) foi realizada a compilao e a anlise dos dados, a partir de um levantamento estatstico. Os questionrios respondidos correspondiam a um total de 501 alunos ou ao percentual de 82% do universo. Esse material foi objeto de um novo olhar, que pretendeu uma maior compreenso sobre os indicadores utilizados para avaliao do projeto social em questo, tomando como elementos os produtos da investigao terica realizada ao longo da pesquisa. Foram priorizados temas relativos poltica educacional e questes atuais da educao associados s anlises das formas especficas de avano do neoliberalismo no Brasil e sua repercusso no campo da educao; pesquisas oficiais que trabalham com indicadores de qualidade de vida (IDH), como o documento do IPEA; anlises sobre textos que questionam a utilizao de indicadores de qualidade e, por fim, abordagens no campo da psicologia que contriburam para o fortalecimento dos princpios metodolgicos no s da investigao/interveno como da insero da psicologia na escola. A ltima etapa refere-se ao encaminhamento do resultado da pesquisa equipe do Programa de Criana, que deveria se constituir na segunda

restituio. A expectativa era tomar os resultados dessa pesquisa como mais um dispositivo de interveno, sendo colocada uma perspectiva de avaliao do trabalho de cada educador e do Programa a partir da fala do aluno. Essa etapa sofreu uma alterao, em funo de contingncias de trabalho daquela equipe e da ONG, a qual culminou com o fechamento do campo de pesquisa e o afastamento da orientadora, que at ento fazia parte da coordenao do Programa. A dvida ento instalada dizia respeito forma como essa devoluo se daria, dado que no foi possvel a realizao de um processo coletivo coordenado pela equipe da pesquisa. A apropriao dos resultados finais atravs de um processo de coletivizao escapou do mbito desse trabalho. A realizao ou no de um debate, dado que o material foi encaminhado equipe em agosto de 2002, e os procedimentos adotados para tal, passaram a ser de responsabilidade daqueles profissionais. O rompimento do vnculo institucional entre a ONG e a universidade pode ser analisado do ponto de vista de algumas peculiaridades do cotidiano, mas tambm fala, conforme reflexes que sero feitas adiante, de um forte atravessamento da instituio saber/poder que escapou, inicialmente, do foco da anlise, tendo relao direta com a realizao dessa pesquisa e com os limites institucionais que se colocaram em evidncia.A pesquisa e seus resultados

A partir da tabulao dos questionrios foram organizados alguns cruzamentos entre as informaes, a partir das tabelas e de acordo com as indagaes apontadas pelos prprios indicadores. O texto a seguir trar esses resultados, apontando questes para a anlise. Com relao s caractersticas dos alunos atendidos pelo Programa, podemos dizer que o maior contingente (429 ou 85,63%) est cursando o primeiro segmento do ensino fundamental, com maior concentrao na 3 srie (202 ou 40,32%). A maioria dos alunos inscritos (359 ou 71,66% do total) iniciou sua participao no ano de 2001, com pequena diferena entre o primeiro (188) e o segundo semestre (171), devido ao fato de o Programa ter se expandido bastante neste ano, passando a atender mais duas escolas e incorporando mais turmas nas escolas em que j estava inserido. Dos inscritos no ano de 1999, somente 40 alunos (7,98%) continuavam inscritos ao final de 2001. Os ingressos no ano de 2000 totalizam (88) 17,56% do grupo de sujeitos abordados pelo questionrio.

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

250

Fernandes e cols.

Investigando o comportamento dos alunos, a maioria destes percebe que, desde que entrou para o Programa, pode fazer coisas que no fazia antes (191 ou 38,12%). Este dado mais relevante se forem tomados somente os 40 alunos que ingressaram no Programa no 2 semestre de 1999, quando este se inicia, e que continuam participando, totalizando 17 alunos em um percentual de 42,5%. Isto nos permite pensar que o ingresso no Programa, pela diversidade apresentada a eles por meio das oficinas em que se inseriam, modifica o modo como estes alunos se percebem frente s novas possibilidades de atuao, o que seria, tambm, influenciado pelo tempo de participao no Programa. Esse dado possibilita, ainda, uma reflexo a respeito do processo de autoavaliao pelo qual passou o aluno ao ser convidado a responder ao questionrio, prtica pouco usual nas escolas pblicas. No que se refere ao processo de ensinoaprendizagem, a grande maioria dos alunos (432 ou 86,23%) acusa a ocorrncia de melhorias em relao participao nas aulas, e este dado se confirma com maior relevncia entre os 40 alunos que ingressaram no Programa em 1999, j que 37 alunos, ou 92,5% deles, dizem ter aumentado sua atuao nas aulas. Na relao com os colegas da escola, 284 alunos (56,68%) dizem ter mudado para melhor. A relao com os professores foi considerada melhor por 324 alunos (64,67%) do total que respondeu aos questionrios. A escola passa a ser vista como mais interessante por 345 alunos (68,86%), e a maioria (387 ou 77,24%) diz ter maior facilidade para expor suas opinies. Com relao ao aprendizado nas aulas, 446 (89,02%) dos inscritos no Programa acusam melhorias. Buscando investigar a influncia do Programa fora do mbito escolar, observa-se que 82,03% (411) dos alunos dizem que o que aprendem nas oficinas contribui para sua vida fora da escola, e 408 (81,44%) dizem terem acontecido modificaes nos planos para o futuro. Estas mudanas de comportamento so observadas pelos familiares destes alunos em mais da metade dos casos (334 ou 66,66%). Buscou-se tambm investigar o grau de conhecimento e o sentimento de integrao ONG que coordena o Programa, e se observou que, de um total de 429 alunos, a maioria (331 ou 77,15%) se considera como sujeitos que fazem parte desta ONG. Este sentimento de pertena pode ser explicado, alm de outros fatores, pela grande legitimidade que a ONG tem nesta comunidade, sendo bastante reconhecida e comentada nas escolas como a principal responsvel

pela implantao deste Programa, se tornando assim, ao menos, no estranha a estes alunos. Desta forma, pode-se dizer que o questionrio construdo conseguiu avaliar a influncia deste Programa junto aos alunos nele inscritos, constituindose assim como um importante instrumento deste projeto social. Como as respostas positivas se concentram na populao que ingressou em 1999 e 2000, podemos inferir que o tempo de participao no Programa interfere no desempenho do aluno. Outra hiptese a ocorrncia de alguma alterao que possa ter repercutido negativamente sobre a qualidade do trabalho oferecido no ano de 2001, como, por exemplo, a grande expanso do quantitativo de participantes, sendo inscritos 359 (188 no primeiro semestre e 171 no segundo) ou 71,66% do total de alunos. Outro acontecimento que pode ter influenciado os resultados a restrio de modalidades de oficina que passaram a ser oferecidas a cada aluno, modificando o formato do Programa, principalmente a partir de agosto de 2001, com o objetivo de promover um aumento na cobertura do projeto, por solicitao das escolas e da organizao financiadora em consonncia com as orientaes da ONG. Essas hipteses poderiam ser melhor investigadas atravs da implantao de um processo continuado de avaliao e do aprimoramento dos instrumentos de captao e restituio das informaes. A continuao da pesquisa previa uma associao desses procedimentos a outros, como reunies com os alunos e com os profissionais (professores das escolas e educadores), sendo pautadas em dispositivos/dinmicas, conforme j realizados em outros momentos da histria do Programa. Esse processo a princpio era idealizado como o principal efeito da pesquisa e o que daria sentido insero da orientadora na equipe de coordenao do Programa.A pesquisa, seus limites e possibilidades.

O modelo de avaliao que foi possvel traar atravs desta pesquisa se constituiu na construo de indicadores de aprendizagem e desenvolvimento dos alunos baseada no trabalho pedaggico realizado pelos educadores, possibilitando um olhar mais sistemtico desses profissionais sobre sua prtica e construindo uma avaliao coletiva e singular. A importncia da construo coletiva dos questionrios a serem respondidos pelos alunos reside no fato de a avaliao no ser externa, verticalizada, o que acabaria por torn-la redutora e atendendo a interesses diversos

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

Avaliao qualitativa e indicadores sociais

251

daquele grupo particular, pois no seriam levadas em conta suas especificidades. A partir da aplicao dos questionrios foi possvel mapear a insero do aluno no projeto e as melhoras e mudanas realizveis a partir da. Os resultados obtidos possibilitaram uma avaliao positiva da influncia desse projeto social no desempenho escolar dos alunos, havendo uma grande repercusso sobre a relao desses com suas famlias e com a escola. A pesquisa contribuiu tambm como objeto de reflexo sobre a atual prtica da Psicologia na escola. Historicamente o lugar do psiclogo escolar foi se construindo como aquele que diagnostica problemas de aprendizagem, de comportamento, subjetivando, individualizando problemas de ordem social. Dessa forma, acabou-se estigmatizando tanto o aluno como o prprio psiclogo, que se v preso em seu prprio discurso, sendo empurrado para esse lugar de diagnosticar, j que a escola se percebe isenta de qualquer responsabilidade. Na busca de novos sentidos no trabalho do psiclogo, tem-se apontado na direo da desnaturalizao desses lugares, procurando analisar as relaes que se do naquele espao e fazendo emergir as questes que atravessam o cotidiano escolar, acarretando desencanto e desmobilizao para o novo. Como demonstra Rocha (2001), na discusso e na articulao entre as dimenses pedaggica e poltico-institucional da prtica do magistrio que podemos pensar as lutas pela sade na educao. Se o esvaziamento do trabalho do professor o responsvel pelo tdio na escola sensao de impotncia de criar alternativas construdo ao longo da sociedade moderna, na anlise das condies histricas, interveno micropoltica, e na proposio consistente de caminhos que se dar a preservao da sade (p. 269).

nesse contexto que o psiclogo pode e deve atuar, colocando luz sobre essas questes, buscando promover o que, em Anlise Institucional, denominado de anlise das implicaes. Essa uma ferramenta fundamental, que diz respeito anlise dos vnculos (afetivos, profissionais e polticos) com todo o sistema institucional. Foi justamente com essa funo que, no decorrer da pesquisa, todos os sujeitos foram convidados a participar do processo, sendo criados dispositivos de anlise coletiva. No campo da investigao/interveno aqui instalado importante analisar o lugar ocupado pela orientadora da pesquisa, que mantinha uma

dupla insero, fazendo parte, tambm, da coordenao do Programa. Esse lugar era atravessado pela instituio saber acadmico marcado pela crtica viso mercadolgica e meritocrtica da educao e por uma luta constante contra os mecanismos disciplinares institudos nas escolas, o que significa afirmar que a pesquisa era atravessada por certos compromissos ticopolticos. A pesquisa no visava somente levantar opinies e criar condies para um clima harmnico. Apontava-se para a possibilidade de operar mudanas a partir das novas relaes que estavam sendo travadas, mediadas pelas oficinas de arte, que se configuravam como uma novidade no sentido da criao, e pela perspectiva que se instaurava de trabalhar com as diferenas. O lugar de coordenador era marcado pela via administrativo/burocrtica horrios de educadores, planilhas de atendimento, uniformes, eram os temas geradores do trabalho. Isto , continha a marca de coordenao de tarefas, em um campo de previsibilidades e naturalizado enquanto tal. Assim como acontecia com os demais projetos da ONG, algumas definies eram tomadas pela diretoria, como, por exemplo, as planilhas de pagamento, que, como em qualquer espao de trabalho, pode configurar-se como um campo de tenses. Mesmo que frgil do ponto de vista do poder na relao com a diretoria da ONG, esse lugar foi produzido por linhas duras, sendo atravessado pelas orientaes da organizao financiadora e pelo modo centralizador da prpria ONG. Pode-se dizer que as foras presentes na equipe de educadores apontavam para uma linha de ao criativa, identificvel, principalmente, no trabalho nas oficinas, ao mesmo tempo em que assumiam laos mais endurecidos, provenientes da estrutura hierrquico-administrativa. Como apontam Deleuze e Parnet (1998), h trs espcies de linha que atravessam os indivduos ou grupos. A primeira de segmentaridade dura, que fraciona, recorta. O segundo tipo de linha mais flexvel, permitindo pequenos desvios. Uma profisso , por exemplo, um segmento duro, mas, como indagam os autores, "o que se passa l embaixo, que conexes, que atraes e repulses que no coincidem com os segmentos (...)?" (p. 146). J o terceiro tipo os autores chamam de linha de fuga, aberta a devires, que leva os indivduos atravs dos segmentos e, tambm, dos limiares, em direes desconhecidas (146). Essas linhas se fizeram presentes nesta pesquisa, tanto promovendo fixaes quanto abrindo caminhos mais flexveis.

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

252

Fernandes e cols.

Nesse caminho de anlise fundamental considerar que o campo de investigao/interveno aqui configurado era tambm atravessado pelas tecnologias de poder, constitutivas da instituio escolar. Docilizar os corpos, disciplin-los e fix-los a determinados esquemas de funcionamento fazem parte das funes do aparato escolar em consonncia com as necessidades do mercado de trabalho. So foras que se constituem na sociedade e, naquele caso especfico, atravessavam a equipe de educadores e confrontavam o sentido de criao apontado, a princpio, como prprio das oficinas de arte. Nesta pesquisa , principalmente no momento de seu encerramento, ficou claro que o processo de formao profissional extrapola um espao configurado pelo simples aprendizado de tcnicas. Esteve aqui presente, constituindo relaes e prticas, um conjunto de foras que ganhou visibilidade, principalmente no momento de definio dos indicadores de qualidade. O aprendizado que essa pesquisa fornece tem o sentido de redimensionar a idia de formao de educadores. O planejamento pedaggico cotidiano deve ser referido a um projeto geral construdo no coletivo, dado que diz respeito a todas as foras que constituem a prtica pedaggica e se fazem presentes, por mltiplos atravessamentos, na organizao escolar. A formao de educadores no deve ser focalizada como um rol de atividades a serem aprendidas e executadas, mas como um conjunto de prticas atravessadas por relaes de poder a serem coletivamente analisadas. Benevides de Barros (2001) aponta para a importncia de tomar o grupo como estratgia de formao, opondo-se simples utilizao do grupo como uma tcnica. Focalizando o grupo de educadores, dentre os diversos grupos que se constituram nessa pesquisa, se poderia concluir queTemos a desenhada outra concepo de formao onde no mais a forma / ao o que se prioriza, mas as foras que instituem tais formas. O que ganha lugar de destaque a processualidade, o inventar modos de aprender, o poder olhar o texto, o contexto e o fora do texto como fluxos que se atravessam constituindo formas (p. 86).

prticas do ensinar/aprender, no sentido colocado pelo movimento dos trabalhadores em educao, explicitado no Plano Nacional de Educao, que aponta para a solidariedade, a justia, a honestidade, o conhecimento, a autonomia, a liberdade e a ampliao da cidadania.

REFERNCIASArroyo, M. G. (2000) Fracasso-sucesso: o peso da cultura escolar e do ordenamento da educao bsica. Em A. Abramowicz, & J. Moll (Org.), Para alm do fracasso escolar. So Paulo: Papirus. Benevides de Barros, R. (2001). Grupo: estratgia na produo. Em J. Brito, M. E. Barros, M. Y. Neves & M. Athayde (Orgs.). Trabalhar na escola? S inventando o prazer. Rio de Janeiro: Edies IPUB. Bollmann, M. da G., (2002, agosto) 4 CONED: alternativas poltico-pedaggicas poltica de educao do (s) governo(s) neoliberais. Jornal ADUNICANP, 6-11. Carvalho, M. M. C. (1997) Quando a histria da educao a histria da disciplina e da higienizao das pessoas. Em M. C. Freitas (Org.), Histria social da infncia no Brasil. So Paulo: Ed. Cortez. Deleuze, G. & Parnet, C. (1998) Dilogos. So Paulo: Escuta. Enguita, M. F (1995). O discurso da qualidade e a qualidade do discurso. Em P. Gentili & T. T. da Silva (Orgs.). Neoliberalismo, qualidade total e educao. Petrpolis, RJ: Vozes. Ferreira, A. B. de H. (1975). Novo dicionrio da lngua portuguesa. Rio de Janeiro: Ed. Nova Fronteira. Forrester, V. (1997). O horror econmico. So Paulo: Ed. Unesp. Gentili, P. (1995a). O discurso da qualidade como nova retrica conservadora no campo educacional. Em P. Gentili & T. T. da Silva (Orgs.). Neoliberalismo, qualidade total e educao. Petrpolis: Vozes. Gentili, P. (1995b). Adeus escola pblica: a desordem neoliberal, a violncia do mercado e o destino da educao das maiorias. Em P. Gentili. Pedagogia da excluso: crtica ao neoliberalismo em educao. Petrpolis: Vozes. Gentili, P. (1996). Neoliberalismo e Educao: manual do usurio. Em T. T. da Silva & P. Gentili (Orgs.), Escola S.A.: quem ganha e quem perde no mercado educacional do neoliberalismo. Braslia: Ed. CNTE. Gentili, P. (2001) A excluso e a escola: o "apartheid" educacional como poltica de ocultao. Em P. Gentili & R. Alencar. Educar na esperana em tempos de desencanto. Petrpolis: Ed. Vozes. Lourau, R. (1993). Anlise Institucional e prticas de pesquisa. Rio de Janeiro: UERJ. Patto, M. H. S. (2000). Para uma crtica da razo psicomtrica. Em M. H. S. Patto. Mutaes do cativeiro: escritos de psicologia e poltica. So Paulo: EDUSP/Hacker Editores.

justamente nessa concepo de formao que se afirma o processo de definio de indicadores como estratgia para focalizar as relaes de poder, buscando, no confronto de foras, incrementar a reflexo sobre as aes pedaggicas. Dessa forma, se estariam produzindo condies para fazer avanar as

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004

Avaliao qualitativa e indicadores sociais

253

Rocha, M. (2001). Sade e trabalho: a educao em questo. Em M. Athayde, M. E. Barros, J. Brito & M. Y. Neves (Orgs.). Trabalhar na escola? S inventando o prazer. Rio de Janeiro: Ed. IPUB/CUCA. Rodrigues, H. de B. C. & Souza, V. L. B. (1987). A Anlise Institucional e a profissionalizao do psiclogo. Em Saidon & V. Kamknagi (Orgs.), Anlise Institucional no

Brasil: favela, hospcio, escola, FUNABEM. Janeiro: Espao e Tempo.

Rio de

Santos, B. de S. (2000) Um discurso sobre as cincias. Portugal: E. Afrontamentos. (Originalmente publicado em 1987).

Recebido em 18/12/2003 Aceito em 18/04/2004

Endereo para correspondncia:

Angela Maria Dias Fernandes. Rua Golfo de Botinia 94, apt.101- Ed. Residencial Grafite/Intermares, Cabedelo-Paraba. CEP -58130-000. E-mail: angeladfernandes@yahoo com.br

Psicologia em Estudo, Maring, v. 9, n. 2, p. 243-253, mai./ago. 2004