avaliação de políticas públicas: conceitos básicos: o caso...

VIII Congreso Internacional del CLAD sobre la Reforma del Estado y de la Administración Pública, Panamá, 28-31 Oct. 2003

Avaliação de políticas públicas : conceitos básicos, o caso do ProInfo e a experiência brasileira1

Antonio NILSON Craveiro HOLANDA

(da Universidade de Brasília)

O presente texto faz parte de um conjunto de três documentos que explora o tema da avaliação de políticas públicas do Brasil, tendo como referência a experiência de avaliação do ProInfo – Programa Nacional de Informática na Educação do Ministério da Educação (MEC) do Brasil. O primeiro documento (este) define conceitos básicos de avaliação e analisa a experiência brasileira de avaliação “ex post” de programas e projetos. O segundo documento (de responsabilidade de Waldyr Viegas) expõe os procedimentos metodológicos e o processo de execução da avaliação do ProInfo e o terceiro (escrito por Gileno Marcelino) apresenta os resultados e conclusões básicas dos estudos.

Este documento se divide em duas partes. Na primeira parte são apresentados alguns

conceitos básicos de avaliação “ex post” e apresentadas as características do ProInfo – programa do governo brasileiro que busca introduzir na escola fundamental e no ensino médio as modernas tecnologias da informática e da comunicação e cujos resultados se vem tentando avaliar, á luz desses conceitos. Na segunda parte é feita uma sumária revisão da experiência brasileira de avaliação “ex post”, no contexto do sistema de planejamento do país e da sua prática de implementação do programas e projetos sociais.

PRIMEIRA PARTE:

CONCEITOS BÁSICOS DE AVALIAÇÃO E SUA APLICAÇÃO AO PROINFO

1. Antecedentes

O ProInfo começou a ser implantado pelo Ministério da Educação (MEC) do Brasil a partir de 19972 e tem por objetivo introduzir a telemática3 nas escolas públicas, como ferramenta de apoio ao processo de ensino-aprendizagem. É, portanto, em essência e concepção, um programa de educação, antes que um projeto de modernização tecnológica. Até abril de 2002 o programa já havia sido implantado em 2.881 escolas em todo o Brasil, com a aquisição de 55.000 computadores e periféricos (servidores, impressores, scanners), a estruturação de 263 Núcleos de Tecnologia Educacional – NTE (unidades vinculadas às Secretarias Estaduais ou Municipais de Educação que foram criadas para dar suporte ao ProInfo, com capacitação, assistência técnica e apoio pedagógico), além da capacitação de 302 técnicos, 1.409 professores-multiplicadores dos NTE e 20.905 professores das escolas beneficiadas pelo Programa.

1 O Resumo deste texto foi incluído ao seu final. 2 O Programa foi criado pela Portaria no. 522 de 9 de abril de 1997 3 Essa palavra tem sido utilizada para designar a reunião das tecnologias de informática e telecomunicações Esse conjunto de técnicas é também referido, freqüentemente, como Tecnologias de Informação, Educação e Comunicação (ou IECTs – Information, Education and Communication Technologies) ou ainda TIC – Tecnologia de Informação e Comunicação


2

Ao final de 2001, o MEC julgou conveniente promover uma primeira avaliação do

programa, de natureza qualitativa, “ad hoc” e externa, e compreendendo a) uma pesquisa amostral (“survey”) do universo de escolas beneficiadas e b) um conjunto de 40 estudos de casos (sendo 20 do ProInfo propriamente dito e 20 do projeto Integrar, que busca avaliar a integração entre o ProInfo e a TV Escola, um programa de televisão educativa também mantido pelo MEC).

Essas pesquisas e estudos tinham em vista responder a três questões fundamentais:

1) Qual a situação da infra-estrutura que foi montada? 2) Como ela está sendo utilizada? e 3) Que resultados ou impactos produziu? Os trabalhos de avaliação externa foram contratados com equipe da Universidade de Brasília, que desenvolveu todas as pesquisas entre o final de 2002 e o primeiro semestre de 20034.

2. Conceito básicos sobre avaliação

Em um sentido lato, avaliar significa julgar, estimar, medir, classificar, ordenar, ponderar, aferir ou analisar criticamente o mérito, o valor, a importância, a relevância ou a utilidade5 de algo ou alguém. Em um sentido estrito – como é o caso da abordagem adotada neste documento – avaliar é determinar o mérito e a prioridade de um projeto de investimento ou de uma programa social, geralmente financiado com recursos públicos e voltado para resolver um determinado problema econômico ou social. Por isso aquilo que chamamos avaliação é geralmente caracterizado, na literatura especializada, como avaliação de programas (“program evaluation”) 6.

Para Rossi a avaliação de programas corresponde à “utilização de metodologias de pesquisa social para investigar, de forma sistemática, a efetividade de programas de intervenção social que foram adaptados ao seu ambiente político e organizacional e planejados para conformar a ação social numa maneira que contribua para a melhoria das condições sociais” 7 Essa avaliação pode abarcar os mais variados aspectos do projeto ou programa, que

vão de sua concepção original e do seu planejamento ao seu processo de implementação e à aferição dos seus efeitos e resultados de curto, médio e longo prazo. Quando todos esses aspectos são considerados de forma integrada diz-se que a avaliação é compreensiva ou abrangente, 4 Ver MEC/SEED/UnB, ProInfo: Perspectivas e Desafios, Relatório de Avaliação, Universidade de Brasília, 2003 5 Em inglês, os termos mais usados são os verbos “evaluate”, “assess”, “appraise” e “judge” e os substantivos correlatos – “evaluation”, “assessment”, “appraisal” e “judgment”. 6 Alguns autores fazem um distinção entre pesquisa de avaliação (“evaluation research”) e avaliação de programas (“program evaluation”). A primeira seria de natureza predominantemente acadêmica, caracterizada pela aplicação de métodos científicos mais rigorosos com objetivo de desenvolver ou testar teorias e hipóteses. A segunda seria de natureza mais empírica, limitando-se à simples prática de avaliação, a partir de teorias e métodos conhecidos, sem maiores pretensões inovadoras. Uma seria assemelhada à chamada pesquisa básica; outra, à pesquisa aplicada 7 Rossi, Peter, Freeman, Howard e Lipsey, Mark, in Evaluation: a systematic approach, 6ª ed. Sage Publications, Thousand Oaks, California, 1999, p.2


3

Para Carol Weiss, “avaliação é uma análise ponderada e sistemática (“sistematic assessment”) da operação e/ou dos resultados de uma política ou um programa, em confronto com um conjunto de padrões implícitos ou explícitos, tendo como objetivo contribuir para o aperfeiçoamento desse programa ou política” 8 .

Muitos autores enfatizam o processo de avaliação (levantamento sistemático de dados e sua comparação com padrões predefinidos), enquanto outros se concentram nos usos da avaliação (auxiliar o processo decisório). Mas em geral todos reconhecem que a avaliação é basicamente um instrumento para maximizar a eficácia (em termos de fins alcançados) e a eficiência (do ponto de vista da economicidade dos meios) dos programas governamentais, numa conjuntura de recursos cada vez mais escassos.

Para os propósitos deste trabalho, adotou-se uma definição operacional de avaliação,

entendendo-a como um procedimento sistemático de levantamento e análise de dados visando a identificar os resultados, efeitos ou impactos de um programa ou projeto e a aferir a sua relevância, sustentabilidade, eficiência e eficácia, em confronto com os objetivos estabelecidos quando de sua concepção ou formulação.

O objetivo básico de qualquer avaliação é obter informações úteis e críveis sobre o

desempenho desses programas, identificando problemas e limitações, potencialidades e alternativas, levantando práticas mais eficientes (“best practices”) e recolhendo lições e subsídios que possam ser retroalimentados no processo de planejamento e formulação de políticas públicas, de modo a aumentar a sua efetividade, eficiência e eficácia 9.

O objeto da avaliação, pode ser identificado a partir da lista dos 5 Ps: 1) produto, 2)

pessoal, 3) performance ou desempenho, 4) projeto ou proposta , 5) programa (ou plano) e 6) política.

Os dois primeiros constituem práticas muito antigas – a avaliação de produto, no setor

empresarial, e a avaliação de pessoal nos setores público e privado. Alguns entendem que a avaliação de produto remonta ao homem pré-histórico, desde que ele chegou ao estágio de homo habilis e passou a selecionar armas e ferramentas, a partir das alternativas disponíveis. Com a formação dos primeiros grupos sociais, algum tipo de avaliação de pessoal certamente começou a ser praticada. E o sistema do mérito que ainda hoje estamos tentando implantar em nossos governos remonta, na realidade, aos ensinamentos de Confúcio (552-479 a. c.), que começaram a ser incorporados à administração chinesa durante a dinastia Han (206 a.c. – 220 d.c.) 10. Esses dois tipos de avaliação não serão considerados neste documento, onde o nosso objeto de avaliação será um programa social.

8 In Evaluation, 2nd. edition, Prentice-Hall, New Jersey, 1998, p. 4. Itálicos no original 9 Cf. Holanda, Nilson, Monitoramento e Avaliação: Conceitos Básicos, Universidade de Brasília, 2002 10 Cf. Wren, Daniel A ., The Evolution of Management Thought, 2nd edition, p.17. John Wiley and Sons, New York, 1979


4

Parafraseando Rossi11, podemos caracterizar um programa social ou intervenção social como um esforço planejado e organizado que tem em vista a atenuação ou melhora de condições sociais julgadas insatisfatórias. Parte-se do pressuposto de que o programa já existe e está em andamento (o que exclui a avaliação “ex ante”). Daí porque a avaliação de que tratamos aqui é a chamada avaliação “ex post”.

Os programas sociais aqui considerados são aqueles voltados para a melhoria da

condição humana, nas áreas de saúde, educação e assistência social, além de segurança pública e apoio a atividades econômicas das classes de baixa renda, executados pelo governo ou por organizações do terceiro setor, que não tem fim de lucro. Esses programas são os mais variados possíveis, envolvendo alimentação e nutrição, formação de mão de obra, geração de emprego e renda, habitação popular, melhoria de condições sanitárias de áreas periféricas aos grandes centros urbanos, renovação de áreas urbanas degradadas, reforma educacional, vacinação em massa, assistência médica, preventiva ou curativa, apoio a clínicas de saúde mental, de tratamento de excepcionais, assistência para a preservação das famílias, proteção à criança e ao adolescente, apoio a menores abandonados ou delinquentes, tratamento de viciados em drogas etc.

Os instrumentos utilizados para viabilizar as intervenções também são os mais

variados possíveis, como a entrega direta de alimentos (cestas básicas) e medicamentos, os programas de “renda mínima” (um tipo de imposto de renda negativo), a venda subsidiada de alimentos ou insumos considerados básicos para as populações pobres (como aconteceu no passado, no Brasil, com pão, leite e gás de cozinha), os “tíquetes” para refeições e os “vouchers” para matrículas em escolas privadas, a capacitação profissional, o aconselhamento especializado, o micro-crédito, a reforma agrária, a construção de infra-estrutura de saneamento e drenagem, o apoio a programas de irrigação para pequenos agricultores e assim por diante.

O Proinfo é um programa social da área de educação, voltado para a melhoria da

qualidade do ensino fundamental e médio e para a inclusão digital, utilizando como instrumentos a montagem de uma infra-estrutura tecnológica e a criação de condições para sua adequada utilização, via capacitação de pessoal e apoio técnico-pedagógico. 3. O modelo de avaliação

O processo de avaliação pode ser desenvolvido em diversos níveis e sob diferentes enfoques mas sempre pressupõe a explicitação de um modelo de avaliação, ou seja, de um quadro de referência que busca resgatar a lógica interna ou a teoria que está subjacente à intervenção, programa ou projeto que é objeto da avaliação.

Os modelos ou enfoques de avaliação são variados. Combinando as opiniões de diversos autores como John BULMETTIS e Phyllis DUTWIN12 , Joan L. Herman et alii 13 e Blaine Worthen et alii 14 podemos identificar, pelo menos, seis modelos15;

11 Rossi, Peter, Freeman, Howard e Lipsey, Mark, op. cit. p. 2 12 In The ABCs of Evaluation, Jossey-Bass Publishers, San Francisco, 2000, p. 71 13 In Evaluator´s Handbook, Sage Publications, 1987, Newbury Park, p. 10 14 In Program Evaluation, Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New York, 1997, p.78


5

1) o modelo baseado em objetivos, quando estes estão claramente definidos e

constituem parâmetros explícitos para o trabalho de avaliação;

2) O modelo voltado para a tomada de decisão (ou orientado para a gestão) ou seja, para obter informações que permitam a tomada de decisões em relação ao futuro do programa ;

3) O modelo livre de objetivos (“goal free model) quando o avaliador se debruça sobre os resultados efetivamente alcançados, independentemente do que estabeleciam os objetivos iniciais;

4) O modelo transacional ou orientado para os participantes, dentro do qual o avaliador é um observador participante e se estabelece uma interação entre avaliador e avaliados; esse modelo é usado principalmente em monitoramento e avaliação de processo;

5) O modelo do contraditório (“adversary oriented” ou “advocacy oriented)”,

quando deliberadamente se pretende chegar à avaliação contrastando pontos de vistas divergentes, como em um júri;

6) O modelo de discrepâncias, utilizado em programas e projetos que se realizam em ambientes complexos, quando não se pode estabelecer previamente relações de causa e efeito entre variáveis; neste caso a avaliação tem por objetivo exatamente definir essas relações, comparando os resultados obtidos com os padrões temporários e tentativos estabelecidos inicialmente.

O modelo utilizado para avaliação do ProInfo foi aquele voltados para os objetivos. Por

isso a equipe de avaliação tentou resgatar a teoria subjacente ao programa, a partir dos seus objetivos e da lógica interna que define as inter-relações entre os diferentes fatores que podem ser considerados essenciais para a realização desses objetivos.

Esse arcabouço conceitual está apresentado na Figura 1, adiante, onde, estão

ressaltados os elementos mais importantes do sistema ProInfo: infra-estrutura, uso da infra-estrutura e resultados esperados desse uso, além do papel estratégico que se espera seja desempenhado pelos NTE.

Esse resgate da lógica interna do programa implica a adoção de uma abordagem

sistêmica, O ProInfo é caracterizado como um conjunto de elementos dinamicamente inter-relacionados de modo a constituir um todo orgânico, cujos elementos constitutivos podem ser agrupados em insumos, processos e saídas. Para efeito de avaliação, são considerados insumos ou entradas: o projeto pedagógico, a infra-estrutura física e os recursos humanos. O processamento se dá com as ações gerenciais, consideradas do ponto de vista do desempenho dos atores. As saídas são os efeitos e impactos na escola, aqui materializados

15 Excluindo o modelo voltado para a utilização (“utilization focused”) associado à contribuição de Michael Patton em seu livro Utilization Focused Evaluation, Newbbury Park, CA, Sage Publications, 1986, por considerarmos que isso se confunde com os modelos 1 e 2 ou ainda porque a utilidade da avaliação é um requisito comum a qualquer enfoque avaliativo.


6

na sala de aula, na comunidade escolar, que compreende professores e alunos

FIGURA 1 PROINFO: TEORIA SUBJACENTE E INDICAÇÕES PARA AVALIAÇÃO

Critérios

UNIDADES DE AVALIAÇÃO

Referências para a avaliação

1 NTE Qualidade do

planejamento inicial

1.1Atividades de apoio pedagógico

1.2 Desempenho dos

multiplicadores

Forma de implementação

1.3 Cursos para

professores 1.4 Suporte técnico

2 ESCOLA EFICIÊNCIA

EFICÁCIA 2.1 Infra-estrutura física

e de computação e comunicação

2.2 Uso da infra-

estrutura

Objetivos: ensino, pesquisa e gestão

Intensidade de uso

SUSTENTABILID

ADE

QUALIDADE Melhoria do processo

de ensino aprendizagem

Resultados e impactos

Equidade: acesso à informação

EFEITOS

Capacitação do PROFESSOR

Capacitação do

ALUNO

Alfabetização tecnológica (ecologia

cognitiva) Cidadania

IMPACTOS

(mudança social)

Mudança na gestão da escola

Mudança de currículos, da estrutura e da

qualidade do ensino

Mudança nas relações com a

comunidade


7

O objetivo instrumental do programa é colocar à disposição da escola uma infra-estrutura moderna de informática e comunicações e criar todas as condições – técnicas, pedagógicas e organizacionais - para que essa infra-estrutura seja utilizada de forma adequada, eficiente e eficaz. O objetivo final é a melhoria do processo de ensino-aprendizado, pelo aproveitamento do potencial da telemática como um instrumento ou, como alguns preferem, um instrumental, conjunto de instrumentos ou caixa de ferramentas (“toolbox”)16 para a melhoria da qualidade da educação. Essa melhoria pode ser obtida a partir dos efeitos ou impactos positivos sobre:

melhoria do aprendizado dos estudantes; desenvolvimento profissional dos professores. gestão da escola; organização do trabalho pedagógico; formação de parcerias com a comunidade; fortalecimento dos movimentos de reforma do sistema educacional17.

16 Eric Rusten, Learnlink, AED – Academy for Educational Development, Computers in School, p. 6 17 Cfr. Rusten, op. cit., p. 8/9


8

A Figura 2 busca tornar mais objetiva a imagem dos efeitos e impactos que se poderia esperar do Programa

FIGURA 2 :EFEITOS E IMPACTOS DO PROINFO

Articulação com NTE Modernização de currículos

AVANÇOS

PEDAGÓGICOS OBJETIVO

INTERMEDIÁRIO Projeto Pedagógico Integração com outros

programas do MEC como TV Escola

MELHORIA DO

ENSINO APRENDIZADO

OBJETIVO FINAL

HABILIDADES COMPETÊNCIAS COGNITIVAS

DESENVOLVIMENTO HUMANO E SOCIAL

Aprender a aprender Domínio de códigos

culturais básicos Valores e Ética

Aprendizagem

autônoma Raciocínio matemático Responsabilidade

Criatividade e

flexibilidade Auto-expressão e

interlocução Auto-estima

solução de problemas Manejo de signos e

representações Interatividade e Solidariedade

Questionamento,

criticidade

MEIOS DE VERIFICAÇÃO

Uso de processador de texto

Trabalhos em equipe Uso da internet

Uso e planilha

eletrônica Projetos

interdisciplinares e transversais

Uso de softwares educativos

Utilização do power

point Projetos e cooperação

com outras escolas Uso de outros

softwares de desenho, projeto etc. (não

educativos)


9

4. Estudos de Casos Além de uma pesquisa amostral, de natureza qualitativa, o ProInfo patrocinou também a elaboração de 40 estudos de casos de escolas beneficiados com o programa. Os detalhes sobre os procedimentos metodológicos da avaliação são apresentados no segundo documento deste Painel (de Waldyr Viegas), Neste tópico analisaremos apenas os aspectos conceituais.

O estudo de caso é uma pesquisa empírica que utiliza múltiplas fontes de informações (o que se define como triangulação) e uma variedade de processos de investigação (pesquisa documental, entrevistas formais e informais etc.) com o objetivo de identificar a estrutura e a dinâmica de um sistema complexo cujas fronteiras e elementos integrantes não estão perfeitamente definidos. Ele implica uma visão holística e busca identificar as inter-relações entre fatores técnicos, organizacionais, humanos e culturais que explicam o funcionamento do sistema. Dessa forma tenta captar informações que nem sempre podem ser coletadas através de metodologias quantitativas.

Na definição de Robert K. YIN, o estudo de caso tem por objetivo “investigar um

fenômeno contemporâneo, no contexto da vida real, especialmente quando as fronteiras entre o fenômeno e o contexto não estão perfeitamente delimitadas”18. YIN acrescenta duas outras condições:

a) consideradas as clássicas questões de o que, quem, por que, como, quando e quanto,

o estudo de caso é mais apropriado para responder perguntas por que ? e como ? e b) nos estudos de casos são tratadas questões contemporâneas e não há controle sobre

os eventos. Assim ele se diferencia da história (que trata de fenômenos passados), do experimento (quando há controle sobre os eventos) e do “survey” (que raramente pode levar em conta o contexto) O estudo de caso permite uma análise abrangente e em profundidade, ao invés de

limitar-se a aspectos muito restritos ou selecionados como ocorre com avaliações quantitativas. Um conjunto de estudos de casos permite estabelecer padrões de similaridades e diferenças que propiciam um entendimento mais completo dos fenômenos observados.

Os estudos de casos podem ser descritivos, exploratórios ou explanatórios (ou

explicativos, ou, ainda, avaliativos). Em termos gerais podemos dizer que os estudos descritivos são aqueles que não tem por objetivo formular ou testar uma teoria, mas basicamente descrever a natureza, ocorrência ou seqüência dos fenômenos que caracterizam uma realidade social, na plenitude de suas múltiplas e complexas manifestações. Os estudos exploratórios vão mais adiante, buscando levantar hipóteses e proposições relevantes que possam orientar futuros esforços de pesquisa. Já os estudos explanatórios ou explicativos (ou avaliativos) procuram identificar aquelas hipóteses – dentre diferentes teorias alternativas – que melhor explicam a realidade ou conjunto de eventos pesquisados. Em síntese, um descreve, outro teoriza e o terceiro testa a teoria. Se considerado nesta última alternativa o estudo de caso se assemelha à pesquisa 18 Op. cit. p. 13


10

experimental, mas dela se diferencia porque mais indicado para a análise de situações em que a complexidade dos fenômenos e de suas relações causais dificilmente pode ser captada por uma pesquisa experimental 19.

Para definir a natureza e os objetivos dos estudos de casos, precisamos adotar uma

estratégia de aproximações sucessivas que leva em conta, primeiro, o quadro de referência (“theoretical framework”) teórico ou conceptual da pesquisa, depois o enunciado do problema central (“problem statement”) a ser investigado e, finalmente, o objetivo específico, exato ou preciso do estudo, em termos de suas questões prioritárias, como sugerido na Figura 3.

FIGURA 3

ETAPAS PARA DEFINIÇÃO DOS OBJETIVOS DOS ESTUDOS DE CASOS

QUADRO DE REFERÊNCIA

ENUNCIADO DO PROBLEMA CENTRAL

OBJETIVO DO ESTUDO

Questões prioritárias

O QUADRO DE REFERÊNCIA CONCEITUAL corresponde à base teórica que define

a natureza do estudo e sua orientação disciplinar e filosófica, identifica o problema central a ser investigado, especifica os conceitos a serem utilizados como ferramentas da pesquisa e condiciona a forma como será conduzida a pesquisa. Corresponde ao Modelo de Avaliação do ProInfo, que se tentou definir no tópicos precedentes.

Do ponto de vista de sua orientação disciplinar, por exemplo, os estudos de casos

podem ser etnográficos, psicológicos, sociológicos, históricos, educacionais etc. No que diz respeito ao ProInfo, os estudos de casos são predominantemente de natureza educacional, mas incluem também um forte componente de avaliação de políticas públicas. Vale dizer: procura analisar o impacto da introdução de inovações tecnológicas no processo educacional e, ao mesmo tempo, busca identificar os aspectos de formulação e implementação de políticas que podem ampliar ou neutralizar esse impacto.

19


11

No que diz respeito à sua base filosófica, os estudos de casos de educação, segundo Carr e Kemmis20, podem seguir três orientações:

a) positivista, quando se identifica a educação como o fenômeno ou objeto a ser

pesquisado, de preferência utilizando métodos dedutivos ou quantitativos e pesquisas experimentais;

b) interpretativa, que considera a educação um processo complexo que precisa ser

entendido, na sua estrutura e na sua dinâmica, utilizando métodos indutivos para levantar hipóteses e construir teorias;

c) de pesquisa crítica, que parte do pressuposto que a educação é uma instituição

social, concebida para a reprodução e transformação social e cultural. Esse é um enfoque que tem fortes raízes marxistas ou radicais (esquerdismo, feminismo, black power etc.)

Na avaliação do ProInfo os estudos de casos do ProInfo se enquadram na categoria

de pesquisas interpretativas (com um forte conteúdo descritivo) O PROBLEMA CENTRAL do estudo sintetiza a dúvida ou questão principal que nos

preocupa ou que é objeto de nossa curiosidade. Identifica o ganho de conhecimento que se pretende obter com a realização da pesquisa. No caso do ProInfo podemos caracterizar como problema principal a busca de meios e processos para obter a melhoria da eficiência e da qualidade do ensino, particularmente mediante a introdução de uma inovação tecnológica (o uso da informática). O conceito de eficiência – relação entre insumos e resultados – é conhecido mas a noção de qualidade se presta a muitas interpretações. Numa primeira aproximação podemos definir como qualidade – no caso vertente - a progressiva construção dos quatro pilares da educação identificados pela Unesco em seu Relatório da Comissão Internacional da Educação para o Século XXI ,a saber21 :

• aprender a conhecer (que pressupõe o aprender a aprender) • aprender a fazer • aprender a conviver (ou, como diz a Unesco, aprender a viver juntos) • aprender a ser (que integra todas as demais aprendizagens)

Como assinala o relatório referido: “Dado que oferecerá meios, nunca antes disponíveis, para a circulação e o armazenamento de informações e para a comunicação, o próximo [atual] século submeterá a educação a uma dura obrigação que pode parecer, à primeira vista, quase contraditória. A educação deve transmitir, de forma maciça e eficaz, cada vez mais saberes, e saber-fazer evolutivos, adaptados à civilização cognitiva, pois são as bases das competências do futuro. Simultaneamente compete-lhe encontrar e

20 Carr, W. and Kemmis, S. Becoming Critical:Education, Knowledge and Action Research, London, Falmer Press, 1986, apud Merriam, Sharan, Qualitative Research and Case Study Applications in Education, San Francisco, Jossey-Bass Publishers. 1998, p. 4 21 Delors, Jacques, Coordenador, Educação – Um Tesouro a Descobrir, Unesco, MEC, Cortez Editora, 6ª edição, São Paulo, 2001


12

assinalar as referências que impeçam as pessoas de ficarem submergidas nas ondas de informações, mais ou menos efêmeras, que invadem os espaços públicos e privados e as levem a orientar-se para projetos de desenvolvimento individuais e coletivos. À educação cabe fornecer, de algum modo, os mapas de um mundo complexo e constantemente agitado e, ao mesmo tempo, a bússola que permita navegar através dele. Nesta visão prospectiva, uma resposta puramente quantitativa à necessidade insaciável de educação já não é possível nem mesmo adequada ...”22 . Para atingir esse objetivo de qualidade três aspectos são cruciais, na opinião de

Amagi: 1) a competência, qualificação e desempenho dos professores, 2) o nível e a natureza dos programas e métodos de ensino e 3) a gestão da escola23. Poderíamos incluir ainda um quarto aspecto ou elemento: 4) a infra-estrutura física e tecnológica posta à disposição da escola.

José Libâneo propõe substituir a concepção economicista, empresarial e pragmática

da qualidade – e em particular a visão neoliberal de qualidade total que, supostamente, pretender-se-ia transpor do chão das fábricas para o ambiente das escolas - pela noção de qualidade social, assim entendida a educação para todos24. A educação com qualidade social teria como atributos principais “promover, para todos [grifo no original], o domínio de conhecimentos e o desenvolvimento de capacidades cognitivas, operativas e sociais necessárias: ao atendimento das necessidades individuais e sociais dos alunos; à inserção no mercado ou no mundo do trabalho e à constituição da cidadania”. O objetivo seria sempre a “construção de uma sociedade mais justa e igualitária”, caracterizando-se a educação por seu “alto grau de inclusividade” e pela “interrelação entre qualidade formal e qualidade política”25.

No caso da avaliação do ProInfo a equipe de avaliação adotou uma postura menos

ambiciosa, definindo-se como educação de qualidade aquela que efetivamente propicia o desenvolvimento de habilidades cognitivas, operativas e sociais que asseguram aos alunos a plena realização de suas potencialidades, como indivíduos, trabalhadores e cidadãos.

Com esse objetivo, ela deve prover adequado domínio de conteúdos escolares

(conceitos, procedimentos, valores) e harmoniosa integração das varias dimensões da cultura moderna (ciência, técnica, linguagem, estética e ética). Nesse sentido muitos aspectos precisam ser considerados – infra-estrutura, organização, gestão, capacitação de professores etc. - mas o eixo central da avaliação é o currículo e os processos de ensino e aprendizagem. Como diz Libâneo, “o centro de referência dos critérios e estratégias de qualidade é o que os estudantes aprendem, como aprendem e em que grau são capazes de pensar e atuar com o que aprendem” [grifo no original] 26

A partir desse problema central podemos tentar identificar o OBJETIVO da pesquisa,

22 UNESCO, op. cit. p. 89 23 Amagi, Isao, Melhorar a Qualidade do Ensino Escolar, in Unesco, op. cit. p. 218 24 Libâneo, José Carlos, Organização e Gestão da Escola – Teoria e Prática, 4ª edição, Editora Alternativa, Goiânia, 2001, p.54. 25 Idem, ibidem, p. 54 26 Op. Cit. p. 57


13

que seria o de avaliar se, como e por que o ProInfo contribui ou poderia contribuir para a consecução de uma educação de qualidade. E desse objetivo foram derivadas as duas QUESTÕES PRIORITÁRIAS a serem respondidas pelos estudos de casos:

a) Qual o efeito ou resultado da incorporação de novas tecnologias ao processo

de ensino-aprendizado das escolas beneficiadas com o ProInfo e quais as condições que asseguram a obtenção desses resultados ?

b) Que situações e evidências importantes foram identificadas (ou não o foram) no

“survey” de modo a suscitar questões que podem e devem ser aprofundadas no estudo de caso ?

Obviamente essas questões suscitam muitas outras, desdobrando-se em múltiplas

abordagens e dimensões que podem tornar a pesquisa excessivamente longa, complexa e difícil de administrar. Por isso, para ordenar o processo de investigação precisamos ter presente a tentativa de conceptualização do modelo de avaliação do ProInfo, que foi indicado na Figura 1, anterior.

Todos esses aspectos conceituais foram incorporados a um Protocolo dos Estudos de Casos27, preparado para orientar o treinamento e as ações dos pesquisadores que seriam envolvidos nesses estudos

SEGUNDA PARTE: A EXPERIÊNCIA BRASILEIRA DE AVALIAÇÃO

Observa-se no Brasil uma grande variedade de conceitos e abordagens em relação ao

que se entende por acompanhamento e avaliação, no contexto de sua experiência de planejamento e gestão governamental. A experiência brasileira nesse campo é ampla e diversificada, mas ainda não está consolidada. As tentativas de avaliar programas de governo nesse país tem-se caracterizado pela dispersão e descontinuidade e as evidências e resultados dessas experiências raramente foram documentadas e sistematizadas.

Isso se deve em parte ao fato de que, no prática do planejamento governamental

brasileiro se, de um lado, sempre se deu muita ênfase ao processo de formulação de planos e elaboração de projetos, de outro, freqüentemente foram negligenciadas as etapas de acompanhamento e avaliação.

Ainda assim podem ser identificadas muitas experiências dispersas, heterogêneas e

freqüentemente descontinuadas de acompanhamento e avaliação da ação do governo, nos mais diversos níveis da administração pública 28. 27 Protocolo e não Manual porque os especialistas no assunto entendem que os estudos de casos, por sua própria natureza, não comportam a definição prévia de procedimentos detalhados, a exemplo de outras pesquisas experimentais ou não experimentais. Cada caso é um caso e o pesquisador é que define o rumo e a orientação de sua investigação. Ver UnB, Projeto de Avaliação Externa do ProInfo, Protocolo dos Estudos de Casos. Documento Técnico para Orientação dos Pesquisadores, (1ª versão/janeiro de 2002; 2a versão: julho de 2002) 28 Ver Holanda, Nilson, IPEA/BID, Projeto de Fortalecimento da Função Avaliação na América Latina, Relatório sobre a Experiência Brasileira e o Caso do “Brasil em Ação”, Brasília, outubro de 1999. A é apresentada uma sumária análise da experiência brasileira, desdobrada em cinco níveis de planejamento: 1) planos nacionais; 2) planos e programas regionais; 3) programas setoriais; 4) projetos financiados por bancos de desenvolvimento e 5) planos estaduais.


14

5. Planejamento global e nacional

Desde os anos 70 buscou-se aperfeiçoar e integrar os mecanismos de planejamento, orçamentação, monitoramento e avaliação referenciados aos Planos Nacionais de Desenvolvimento. Para dar uma idéia das dificuldades enfrentadas basta mencionar que até o final dos anos 80, a programação financeira do governo federal estava dividida em quatro orçamentos: o orçamento fiscal, o orçamento da previdência, o orçamento monetário e o orçamento das estatais.

A nova Constituição de 1988 definiu um sistema renovado de elaboração de Planos Plurianuais (PPA), integrado com uma programação orçamentária unificada. A Constituição estabeleceu também a obrigatoriedade de encaminhamento ao Congresso de relatórios sobre a execução dos planos de governo (art. 49, inciso IX) e de manutenção, de forma integrada, pelos diferentes poderes da República, de “sistema de controle interno com a finalidade de: “avaliar o cumprimento das metas previstas no plano plurianual e a execução dos programas de governo e dos orçamentos da União” (art. 74). Para viabilizar o acompanhamento, o Ministério do Planejamento estavam tentando implantar, no final de 1998, o SIAPPA - Sistema Integrado de Acompanhamento do PPA, conectando todos os órgãos da administração federal que fornecem as informações para o relatório de acompanhamento

O Decreto no. 2.829, de 29 de outubro de 1998, estabeleceu normas para a elaboração do PPA que foi preparado em 1999 para cobrir o período de 2000 a 2003. Aí foram especificados os requisitos básicos para a definição e redefinição dos programas a serem incluídos no PPA e as fases mais importantes do processo de planejamento.

O art.5O. do Decreto estabelece que

“será realizada avaliação anual da consecução dos objetivos estratégicos do Governo Federal e do resultado dos Programas, para subsidiar a elaboração da lei de diretrizes orçamentárias de cada exercício”.

O art. 6o. , por sua vez, diz que

“a avaliação física e financeira dos Programas e dos projetos e atividades que os constituem é inerente às responsabilidades da unidade responsável (sic) e tem por finalidade: I – aferir o seu resultado, tendo como referência os objetivos e metas fixadas; II – subsidiar o processo de alocação de recursos públicos, a política de gastos públicos e a coordenação das ações do governo; III – evitar a dispersão e o desperdício de recursos públicos”.

Especifica-se, ainda, no art. 7o. que

“para fins de gestão de qualidade, as unidades responsáveis pela execução dos programas manterão, quando couber, sistema de avaliação do grau de satisfação da


15

sociedade quanto aos bens e serviços ofertados pelo poder público”

Posteriormente, 42 projetos do PPA foram selecionados para integrar o chamado Brasil em Ação. O objetivo era dar a esses projetos – considerados os mais importantes e prioritários, no contexto da nova estratégia de desenvolvimento do governo, particularmente em termos de reforma do estado, inserção internacional e melhoria da competitividade e desenvolvimento social - um tratamento especial em termos de acompanhamento e gerenciamento, de modo a:

a) orientar o processo orçamentário, sinalizando claramente as prioridades de investimento do governo; b) detectar, de forma tempestiva, eventuais problemas de implementação e induzir a adoção imediata de medidas corretivas, de modo a garantir que os projetos selecionados serão efetivamente executados; c) criar uma base de dados e informações para atrair investidores nacionais e estrangeiros e facilitar a formação de parcerias entre o governo e o setor privado.

Para cada projeto foi designado um gerente que, juntamente o com seu executor,

tinha à sua disposição um poderoso instrumento de gestão, sob a forma de um sistema informatizado de informações que torna possível:

a) acompanhar e avaliar a execução dos projetos; b) atualizar e revisar o planejamento inicial; c) elaborar, de forma sistemática e tempestiva, relatórios atualizados sobre o andamento dos projetos; d) disseminar informações e interagir com órgãos, instituições e pessoas, dentro e fora do governo, que tenham responsabilidades específicas (um parceiro privado) ou gerais (o Secretário de Orçamento do seu Ministério ou do Ministério do Planejamento) em relação ao projeto; e) identificar caminhos críticos, pontos de estrangulamento e marcos importantes (“milestones” 29) no processo de execução do projeto; f) antecipar problemas e dificuldades e adotar ou propor medidas preventivas ou corretivas para a sua superação

O sistema informatizado, que era coordenado pelo Ministério do Orçamento e Gestão

(anterior e atual Ministério do Planejamento), permitia recuperar, trabalhar e sistematizar uma massa de dados que, de outra forma, seria inadministrável. Um dos módulos do programa, por exemplo, possibilitava editar a programação física, de modo a avaliar o cumprimento de 29 Termo utilizado em administração de projetos para caracterizar quando é alcançado um “marco” importante – tanto do ponto de vista quantitativo como qualitativo – de sua execução, como seria, por exemplo, o fechamento das comportas de uma barragem.


16

cronogramas e os progressos obtidos na execução do projeto. Outros módulos viabilizavam a edição dos tópicos de marcos críticos, realização espacial das metas, realização global de metas, empreendimentos complementares etc. Um correio eletrônico e um tópico de agenda também contribuiam para economizar o tempo e aumentar a produtividade do trabalho de gerenciamento dos projetos.

Em 2003 estava sendo elaborado o novo Plano Plurianual (PPA) para o período

2004-2007 . A proposta do governo era implementar as seguintes “estratégias de longo prazo: inclusão social e desconcentração da renda com crescimento do produto e do emprego; crescimento ambientalmente sustentável, redutor das disparidades regionais, dinamizado pelo mercado de consumo de massa, por investimentos e pela elevação da produtividade; e redução da vulnerabilidade externa por meio da expansão de atividades competitivas que viabilizem esse crescimento sustentado. As políticas e programas que darão substância a essa estratégia estavam sendo desdobradas em cinco dimensões: social, econômica, regional, ambiental e democrática” 30

6. Planejamento regional

Uma área que tem sido submetida a constantes avaliações no Brasil é a relacionada com o desenvolvimento regional, em função de um complexo e poderoso sistema de incentivos fiscais, criado, nos anos 60, para promover o desenvolvimento das regiões mais atrasadas do país. A partir dessas avaliações, profundas reformas foram introduzidas nesse sistema, em 1976 e 198631. Muitos projetos de desenvolvimento regional ou sub-regional foram também objeto de avaliações “ad hoc”32, elaboradas por institutos de pesquisa do governo ou contratadas com Universidades e consultores independentes33. Mais recentemente, tem aumentado de importância o trabalho desenvolvido pelo Tribunal de Contas da União (TCU) na avaliação de determinados aspectos da política regional, em especial no que concerne aos incentivos fiscais. Ressalte-se que se, no passado, o trabalho do TCU estava mais relacionado estritamente com o controle formal dos gastos públicos, nos últimos anos o Tribunal tem mostrado uma preocupação com a eficiência do gasto público, ampliando o escopo de sua ação para incluir investigações e estudos relacionados com a eficiência desse gasto e com a avaliação dos resultados e dos problemas operacionais de programas do governo.

30 Ministério do Planejamento, Orçamento e Gestão, Plano Brasil de Todos, site do MPO, julho de 2002 31 A crise fiscal dos anos 80 levou ao progressivo esvaziamento desse sistema, culminando com a extinção da principal agência regional – a Sudene – no primeiro ano do segundo mandato do Presidente Fernando Henrique. No dia 27 de julho de 2003, o Presidente Lula apresentou em Fortaleza o projeto de recriação da Sudene, com uma nova estrutura. 32 Expressão latina muita usada tanto no Brasil como nos Estados Unidos. Significa “com esse fim” ou “para esse fim específico”, como no caso de uma Comissão “ad hoc” criada para investigar ou analisar um determinado problema. No caso a avaliação “ad hoc” corresponde àquela que não é permanente, mas realizada com um objetivo definido e, portanto, limitada na sua duração e nos seus propósitos. 33 Como exemplos podem ser citados os trabalhos realizados pela Universidade de São Paulo/FIPE sobre os Programas de Desenvolvimento do Centro-Oeste (POLOCENTRO), do Noroeste (POLONOROESTE), da Região Geoconômica de Brasília (PERGEB) e do Grande Carajás. Ver Claudio Afonso Vieira, Análise do Programa de Desenvolvimento do Noroeste do Brasil: POLONOROESTE, São Paulo, FIPE,1984 e Análise dos Impactos do Programa Grande Carajás, São Paulo, FIPE, 1985; Cornélia Nogueira Porto, Análise dos Impactos dos Programas Especiais: POLOCENTRO, São Paulo, FIPE, 1984 e Análise dos Impactos dos Programas Especiais: PERGEB, São Paulo, FIPE, 1984


17

7. Programação setorial No campo da avaliação de políticas e programas tem sido intenso o trabalho desenvolvido pelo IPEA, instituto de pesquisas vinculado ao Ministério do Planejamento, não apenas em relação a questões macroeconômicas e regionais de interesse mais geral como também no que diz respeito a políticas setoriais específicas, em áreas como agricultura, indústria, energia, saúde, saneamento, educação, previdência, assistência social etc. 34. Esses trabalhos dizem respeito tanto a políticas ou programas em execução como a propostas de políticas a serem implementadas, a exemplo da projetada reforma da previdência ou de um planejado programa de renda mínima. Os bancos de desenvolvimento nacionais ou regionais – sendo de destacar as experiências do Banco do Nordeste do Brasil (BNB) e do Banco Nacional de Desenvolvimento Econômico e Social (BNDES) - durante muito tempo enfatizaram basicamente a avaliação “ante”. Em anos recentes tem procurado também avaliar resultados “ex post”, seja por iniciativa própria, seja por indução dos exemplos dos bancos multilaterais como o Banco Mundial (BIRD)35 e o Banco Interamericano (BID) No âmbito dos Ministérios muitas experiências de avaliação tem sido implementadas seja como uma rotina normal de trabalho, com o objetivo de melhorar a eficiência da gestão pública, seja de forma tópica e isolada, visando a oferecer subsídios para o planejamento do setor (geralmente na oportunidade de elaboração de planos plurianuais). Em alguns setores, pela própria natureza da atividade, a avaliação é uma preocupação constante. Este é o caso da educação, onde, por exemplo, foram estruturados ao longo dos anos alguns importantes sistemas permanentes de avaliação como:

a) o da avaliação e classificação dos cursos universitários de pós-

graduação, que vem sendo implementado há vários anos pela CAPES - Fundação Coordenação de Aperfeiçoamento do Pessoal de Nível Superior; utilizando um conjunto de critérios e indicadores a CAPES monitora permanentemente os cursos, classificando-os com notas que vão de 1 a 5; os cursos que tiverem nota inferior a 3 terão “canceladas as autorizações de funcionamento e o reconhecimento dos cursos de mestrado e/ou doutorado por ele oferecidos” 36 e, por isso, não poderão matricular novos alunos em tais cursos, preservados os direitos dos alunos graduados ou matriculados

34 O acervo de estudos e pesquisas realizadas e publicadas pelo IPEA, ao longo dos últimos 30 anos, é extremamente vasto e rico. À guisa de exemplos, referimos a seguir alguns trabalhos mais recentes: André Cesar Médice, Perfil da Saúde no Brasil, abril 1997, Maria Elizabeth Barros et alii., Política de Saúde no Brasil; Diagnóstico e Perspectivas, IPEA, fevereiro 1996; Guilherme Delgado, Previdência Rural: Relatório de Avaliação Sócioeconômica - Projeto IPEA/MPAS, maio, 1997; Francisco Eduardo Barreto de Oliveira et alii. Reforma da Previdência, IPEA, agosto, 1997; Guilherme Delgado, Estoques Governamentais de Alimentos e Preços Públicos (Relatório de Avaliação do Sistema), IPEA, Dezembro, 1995; Eduardo Augusto Guimarães, A Experiência Recente da Política Industrial no Brasil: uma avaliação, IPEA, abril, 1997. Vem também o conjunto de 8 estudos do PMSS (Projeto de Modernização do Setor de Saneamento) publicados em 1995 pelo IPEA e Secretaria de Desenvolvimento Urbano/MPO 35 Ver Alencar Soares de FREITAS e Pedro Ribeiro SOARES (organizadores), Aspectos Ambientais de Projetos Co-financiados pelo Banco Mundial, Lições para o Futuro, Série IPEA, no. 143, Brasília, 1994 36 MEC/CAPES, Portaria nº 013, de 01 de abril de 2002.


18

até então; b) o da Avaliação da Educação Superior (Graduação), organizado em um

complexo sistema que é integrado pelo Exame Nacional de Cursos (Provão), pelo Censo da Educação Superior, pela Avaliação das Condições de Ensino e pela Avaliação Institucional. O Exame Nacional de Cursos (ENC-Provão) é um exame aplicado aos formandos com o objetivo de avaliar os cursos de graduação da Educação Superior, no que tange aos resultados do processo de ensino-aprendizagem. Foi aplicado pela primeira vez em 1996. No corrente ano (2003), deverão participar do Exame mais de 470 mil formandos de 6,5 mil cursos de 26 áreas profissionais. A Avaliação das Condições de Ensino é feita por uma Comissão externa de Professores que verifica, in loco, a situação dos cursos de graduação, levando em conta três grandes dimensões: a qualificação do corpo docente, a organização didático-pedagógica e as instalações físicas, com ênfase na biblioteca. A avaliação institucional segue um processo muito semelhante para subsidiar as decisões do Ministérios nos processos de credenciamento e recredenciamento de Instituições de Educação Superior (IES)37;

c) o da avaliação do Ensino Médio, com a realização do Exame Nacional do Ensino Médio – Enem, processo implantado em 1998 que tem por objetivo verificar o nível de conhecimentos adquiridos pelos alunos que estão concluindo ou que já terminaram o ensino médio. O Exame avalia as competências e habilidades desenvolvidas em 11 anos de escolarização básica. Desde o seu primeiro ano de realização do Exame, diversas Instituições de Ensino Superior vem utilizando os seus resultados como instrumento para ingresso na Universidade, em substituição ao tradicional “vestibular”.

Além disso o Ministério da Educação tem patrocinado frequentemente avaliações

externas “ad hoc” de alguns dos seus programas mais importantes como o da Merenda Escolar, o da TV Escola e do ProInfo (Programa de Informatização das Escolas, ao qual este “paper” se refere de forma mais específica. 8. Conclusão

Esses avanços ainda são insuficientes e há um consenso de que o Brasil precisa

progredir muito mais no campo da avaliação de programas e projetos sociais. Todos concordam em que o problema do Brasil não é o de ampliar os gastos sociais,

mas o de aumentar a sua eficiência e efetividade, o que pressupõe a institucionalização de processos de avaliação de programas e projetos.

Em 2002, os gastos sociais representaram 66,3 % do total das receitas totais do

governo central, embora esse número esteja muito influenciado pelo peso da previdência social, que consome o equivalente a 42 % dessas receitas totais (seguidos de saúde, com 9,4 % e educação e cultura com 8 %). 37 Ver INEP/DAES – Departamento de Estatísticas e Avaliação da Educação Superior, Manual de Avaliação Institucional, Centros Universitários, setembro de 2002


19

O total dos gastos sociais representa 16 % do PIB (só a previdência representa 10 %

desse agregado), um percentual não desprezível. Mas o seu impacto para a redução da pobreza no Brasil tem sido negligível.

Um documento básico de definição da política econômica do atual governo, dá

ênfase ao fato de que “uma política social deve ser sempre avaliada por sua capacidade de reduzir a pobreza, e não pelo volume de recursos que consome ou mesmo pelo volume de benefícios que distribui. A efetividade de uma política social é dada pela sua capacidade de transformar o quadro de pobreza de um país. Essa efetividade depende de três fatores, quais sejam, seus graus de (i) eficiência, (ii) eficácia e (iii) focalização.....para que uma política social seja efetiva em reduzir a pobreza, é necessário (i) que os recursos disponíveis sejam eficientemente traduzidos em bens e serviços; (ii) que estes bens e serviços sejam eficazes em transformar as condições de vida das famílias mais pobres; e (iii) que os segmentos pobres da população tenham total prioridade no atendimento (boa focalização)”.

E termina por reconhecer que

“a despeito da diversidade e amplitude da política social brasileira e de alguns esforços isolados de avaliação de impacto, o País continua carente de um sistema de avaliação dos impactos de seus programas e políticas sociais. [grifo nosso] A fim de tornar efetiva uma política social tão diversa como a nossa, é necessário um esforço permanente de avaliação [grifo nosso], o qual permitirá, por sua vez, a concentração de recursos em um espectro menor de programas com maior efetividade. Em suma, o problema fundamental a ser enfrentado para melhorar o impacto da política governamental sobre os indicadores sociais é tornar o gasto social mais eficiente, eficaz e focalizado. Para tanto, é necessário direcionar esforços para a sistematização de informações e o aperfeiçoamento de sistemas de avaliação [grifo nosso] que permitam identificar as políticas com maior potencial para reduzir a desigualdade e a pobreza no Brasil”38.

BIBLIOGRAFIA Brasil, MEC/INEP/DAES – Departamento de Estatísticas e Avaliação da Educação Superior,

Setembro de 2002, Manual de Avaliação Institucional, Centros Universitários, setembro de 2002 (internet)

Brasil, Mec/Seed (julho de 1997) ProInfo, Brasília (mimeo) Brasil, Mec/Seed/UnB, 2003, ProInfo: Perspectivas e Desafios, Relatório de Avaliação,

Brasília, Brasil/MEC/UnB, 2002, Projeto de Avaliação Externa do ProInfo, Protocolo dos Estudos de

Casos. Documento Técnico para Orientação dos Pesquisadores, (1ª versão/janeiro de 2002; 2a versão: julho de 2002), Brasília

Brasil, Ministério da Fazenda, abril de 2003, Política Econômica e Reformas Estruturais 38 Brasil, Ministério da Fazenda, Política Econômica e Reformas Estruturais, Brasília, abril de 2003 (mimeo), p. 50-52


20

(mimeo), Brasília. Bulmettis, John e Dutwin, Phyllis, 2000, The ABCs of Evaluation, Jossey-Bass Publishers,

San Francisco. Carr, W. and Kemmis, S. 1986, Becoming Critical:Education, Knowledge and Action

Research, Falmer Press, London. Freitas, Alencar Soares de e Soares, Pedro Ribeiro (organizadores, 1994, Aspectos

Ambientais de Projetos Co-financiados pelo Banco Mundial, Lições para o Futuro, IPEA, Série IPEA, no. 143, Brasília.

Herman, Joan L., Morris, Lynn Lyons, Fitz-Gibbon, Carol Taylor, 1987, Evaluator´s Handbook, Sage Publications, Newbury Park, CA.

Holanda, Nilson, set/2001, Um Modelo de Avaliação para o ProInfo, UnB, Brasília mimeo); 2002, Monitoramento e Avaliação: Conceitos Básicos (mimeo), UnB, Brasília, 2003, Planejamento e Avaliação, UnB, Brasília (mimeo); outubro de 1999, IPEA/BID, Projeto de Fortalecimento da Função Avaliação na América Latina, Relatório sobre a Experiência Brasileira e o Caso do “Brasil em Ação” (mimeo) , Brasília

Imagi, Isao, 2001, Melhorar a Qualidade do Ensino Escolar, in Delors, Jacques, Coordenador, Educação – Um Tesouro a Descobrir, Unesco/MEC, Cortez Editora, 6ª edição, São Paulo,

Jóia, Luiz Antonio, 2001 “Uso do capital intelectual para avaliação de projetos de tecnologia educacional: o caso ProInfo”, in Revista de Administração Pública, Rio de Janeiro, março-abril,/dezembro de 2001

Libâneo, José Carlos, 2001, Organização e Gestão da Escola – Teoria e Prática, 4ª edição, Editora Alternativa, Goiânia.

Merriam, Sharan, 1998, Qualitative Research and Case Study Applications in Education, Jossey-Bass Publishers, San Francisco,

Patton, Michael 1986, Utilization Focused Evaluation, Sage Publications, Newbbury Park, CA.

Rossi, Peter, Freeman, Howard e Lipsey, Mark, 1999, Evaluation: a systematic approach, 6ª ed. Sage Publications, Thousand Oaks, California,

Rusten, Eric , Learnlink, AED – Academy for Educational Development, Computers in School,

Unesco/Mec, 2001, Educação – Um Tesouro a Descobrir, Cortez Editora, 6ª edição, São Paulo,

Viegas, Waldyr, 2001 Estudo de Caso, Plano Logístico de Execução (mimeo), Brasília. Weiss, Carol, 1998, Evaluation, 2nd. edition, Prentice-Hall, New Jersey. Worthen, Blaine R., Sanders, James R., Fitzpatrick, Jody L., 1997, Program Evaluation,

Alternative Approaches and Practical Guidelines, Addison Wesley Longman, New York,.

Wren, Daniel A ., 1979, The Evolution of Management Thought, 2nd edition, John Wiley and Sons, New York,

Venezky, Richard L. e Davis, Cassandra, March,. 2002, Quo Vademus ? The Transformation of Schooling in a Networked World. OECD/CERI

YIN, Robert R, 1994, Case Study Research – Designs and Methods, 2nd. Edition, Sage Publications, Thousand Oaks


21

RESENHA BIOGRÁFICA Antonio NILSON Craveiro HOLANDA Residência e Escritório: QL 14, Conjunto 6, Casa 17, Lago Sul Brasília, DF CEP 71640-065 Fones: (55 61) 248.33.73 e 248.64.30 Fax: (55 61) 248.24.63 E mail: [email protected] Nilson Holanda é graduado como Bacharel em Ciências Jurídicas e Sociais pela Universidade Federal do Ceará (1957) e possui os títulos de Master of Arts (Economia) pela Stanford University (1961) e Master of Public Administration pela Harvard University (1969). Foi professor de Economia da Universidade Federal do Ceará e desde 1987 é professor da Universidade de Brasília (federal). Antes de dedicar-se em tempo integral ao ensino universitário, teve uma longa carreira profissional como especialista em projetos e executivo do Banco do Nordeste do Brasil; Superintendente, Diretor Executivo e Presidente do IPEA – Instituto de Pesquisa Econômica Aplicada do Ministério do Planejamento; Presidente do Banco do Nordeste do Brasil; fundador e primeiro Diretor Geral da Escola Nacional de Administração Pública, Diretor Nacional do Projeto Integrado de Desenvolvimento da Bacia do Araguaia-Tocantins (PRODIAT), projeto de cooperação técnica entre o Governo brasileiro e a OEA e Secretário Adjunto da Secretaria Especial de Políticas Regionais do Ministério do Planejamento. Exerceu também múltiplas atividades de consultor para instituições públicas brasileiras, organismos internacionais e empresas privadas. Entre outros, tem os seguintes livros publicados: 1987, Planejamento e Projetos, 13a. edição, Imprensa Universitária do Ceará, Fortaleza (edições anteriores patrocinadas pelo Instituto Nacional do Livro, Brasília, e APEC Editora, Rio de Janeiro) (Esgotado); 2003, Introdução à Economia, 8a. edição , Editora Vozes, Rio de Janeiro. LISTA DE FIGURAS FIGURA 1: PROINFO: TEORIA SUBJACENTE E INDICAÇÕES PARA AVALIAÇÃO FIGURA 2 :EFEITOS E IMPACTOS DO PROINFO FIGURA 3: ETAPAS PARA DEFINIÇÃO DOS OBJETIVOS DOS ESTUDOS DE CASOS

avaliação de políticas públicas: conceitos básicos: o caso...

Documents