avaliação e monitoramento de projetos...

Avaliação e Monitoramentode Projetos Sociais

Edgilson Tavares de AraújoRosana de Freitas Boullosa

2009

© 2009 – IESDE Brasil S.A. É proibida a reprodução, mesmo parcial, por qualquer processo, sem autorização por escrito dos autores e do detentor dos direitos autorais.

Capa: IESDE Brasil S.A.

Imagem da capa: Jupiter Images/DPI Images

IESDE Brasil S.A. Al. Dr. Carlos de Carvalho, 1.482. CEP: 80730-200 Batel – Curitiba – PR 0800 708 88 88 – www.iesde.com.br

Todos os direitos reservados.

B764 Boullosa, Rosana ; Tavares, Edgilson / Avaliação e monitoramento de projetos sociais. / Rosana Boullosa ; Edgilson Tavares — Curitiba : IESDE

Brasil S.A., 2009.264 p.

ISBN: 978-85-387-0385-3

1.Pesquisa de avaliação (Programas de Ação social). 2.Programas sociais – Desenvolvimento. 3.Política social. I.Título. II.Tavares, Edgilson.

CDD 361

Doutora em Políticas Públicas pela Università IUAV di Venezia, em Veneza (Itália) – venceu o prêmio Giovanni Ferraro, edição 2007, de melhor tese italiana em sua área de pesquisa. Mestre em Planejamento pela mesma Univer-sidade e graduada em Arquitetura e Urbanismo pela Uni-versidade Federal da Bahia. Atualmente é professora ad-junta da Escola de Administração da Universidade Federal da Bahia (UFBA), coordena um grupo de estudo e pesquisa sobre avaliação de políticas públicas, além de coordenar o Programa de Residência Social do Centro Interdisciplinar de Desenvolvimento e Gestão Social (CIAGS/UFBA).

Rosana de Freitas Boullosa

Doutorando e Mestre em Serviço Social pela Ponti-fícia Universidade Católica de São Paulo, Especialista em Estratégias de Mobilização e Marketing Social pela Univer-sidade de Brasília-Unicef. Bacharel em Administração pela Universidade Federal da Paraíba. Atualmente é Coordena-dor dos Cursos de Administração do Centro Universitário Jorge Amado (UNIJORGE); Professor da Escola de Adminis-tração da Universidade Federal da Bahia (EA-UFBA); Pes-quisador e professor colaborador do Centro Interdiscipli-nar de Desenvolvimento e Gestão Social da Universidade Federal da Bahia (CIAGS/UFBA).

Edgilson Tavares de Araújo

SumárioIntrodução à avaliação e monitoramento de projetos sociais .............11

Introdução à avaliação e monitoramento .......................................................................................11Avaliação como campo de práticas e de conhecimento ...........................................................12Encontrando uma definição-guia para avaliação .........................................................................16Especificidades das avaliações de intervenções sociais .............................................................20Alguns limites entre avaliação e monitoramento ........................................................................22Conclusão ....................................................................................................................................................25

Avaliação de políticas e programas sociais no Brasil ...............................29

Introdução ..................................................................................................................................................29Avaliação e reforma do Estado ............................................................................................................29Evolução das experiências de avaliação no setor público do país .........................................33Conclusão ....................................................................................................................................................35

Avaliação, pesquisa avaliativa e valores ........................................................41

Introdução ..................................................................................................................................................41Pesquisa avaliativa X avaliação ............................................................................................................41Valores e avaliação ...................................................................................................................................43Avaliação como uma atividade política ...........................................................................................46Avaliação formativa X avaliação somativa ......................................................................................46Avaliação interna X avaliação externa ..............................................................................................48Conclusão ....................................................................................................................................................49

Avaliação, ciclo do projeto e usos ...................................................................57

Introdução ..................................................................................................................................................57Timing da avaliação .................................................................................................................................57Usos da avaliação .....................................................................................................................................61Conclusão ....................................................................................................................................................64

O desenho da pesquisa avaliatória .................................................................69

Introdução ..................................................................................................................................................69Níveis de desenho ....................................................................................................................................70A lógica avaliatória ...................................................................................................................................71A construção do desenho de avaliação (conjunto orgânico) ...................................................73Conclusão ....................................................................................................................................................82

Abordagens e metodologias de avaliação de programas e projetos sociais ......................................................................91

Introdução ..................................................................................................................................................91Compreendendo as diferenças de abordagens em avaliação .................................................92Metodologias-chave para a avaliação de programas e projetos sociais ..............................95Conclusão ..................................................................................................................................................102

Critérios de avaliação para projetos sociais ..............................................111

Introdução ................................................................................................................................................111Abrangência e componentes da avaliação no nível de projetos ..........................................112Abordagens de análise e definição de critérios na avaliação dos projetos sociais ........115Dilemas e desafios na definição de critérios para a avaliação de projetos sociais .........123

Indicadores sociais ............................................................................................133

Introdução ................................................................................................................................................133Definições sobre indicadores sociais ..............................................................................................134Classificação e tipologia de indicadores de projetos sociais ..................................................136Caracterização e utilização de indicadores ...................................................................................138Formulação de indicadores ................................................................................................................141Principais fontes de informação e indicadores no Brasil ..........................................................143

Agregação de indicadores e índices de desenvolvimento .................157

Introdução ................................................................................................................................................157Índices de desenvolvimento econômico .......................................................................................158Conclusão ..................................................................................................................................................168

Monitoramento de projetos sociais ............................................................179

Introdução ................................................................................................................................................179Monitoramento e acompanhamento: conceitos e distinções ...............................................180Monitoramento como processo de gestão de projetos sociais ............................................183Tipos ou modelos de monitoramento ............................................................................................185Sistemas de informação e sistemas de monitoramento ..........................................................187Instrumentos de gestão e monitoramento ..................................................................................192Desafios para implantação de sistemas de monitoramento ..................................................193

Técnicas e instrumentos de avaliação de programas e projetos sociais ................................................................................................205

Introdução ................................................................................................................................................205Análise da literatura ou análise bibliográfica ...............................................................................206Pesquisa de arquivo...............................................................................................................................207Observação in loco .................................................................................................................................207Pesquisa de survey .................................................................................................................................208Entrevistas .................................................................................................................................................210Opinião de especialistas ......................................................................................................................215Técnica delphi ...........................................................................................................................................216Análise de conteúdo .............................................................................................................................217Testes ..........................................................................................................................................................218Conclusão ..................................................................................................................................................218

Avaliação e aprendizagem .............................................................................225

Introdução ................................................................................................................................................225As principais dificuldades de retroalimentação ..........................................................................226Aprendendo com a avaliação ............................................................................................................227Limitações da avaliação .......................................................................................................................233Conclusão ..................................................................................................................................................235

Gabarito .................................................................................................................241

Referências ...........................................................................................................255

Apresentação

Avaliar é uma atividade intrínseca ao ser humano, carregada de subjetividade e relacionada tanto ao campo da decisão, quanto ao campo da aprendizagem individual e social. Avaliamos continuamente informações, situações, alternativas, decisões, posicionamentos, organizações, tudo aquilo que nos chama atenção ou pode trazer im-plicações para as nossas vidas. Assim, emitimos juízos de valor, acumulando experiência e construindo uma certa cultura de avaliação, mesmo que informal e intuitiva. Em outras palavras, podemos afirmar, sem muito exagero, que somos todos experientes avaliadores informais. Mas qual a fronteira entre estas avaliações informais e intuitivas e as avaliações consideradas formais? Como utilizar a nossa experiência em processos formais de avaliação? Ainda, como ultrapassar a barreira da informalidade, de um certo “achismo”, e construir processos de avaliação que sejam efetivamente úteis para os “objetos” avaliados? Essas são algumas das perguntas que este livro procura responder ao apresentar e explorar o campo do conhecimento de avaliação e monitoramento de uma classe especial de ob-jetos de avaliação: as políticas sociais e os seus instrumen-tos (sobretudo programas e projetos), compreendidos como “estratégias de ação” (públicas e/ou privadas) que buscam mudar ou transformar realidades consideradas socialmente problemáticas.

Avaliações formais não são simples juízos de valor emitidos por atores que se consideram avaliadores ou que são legitimados como tal. Pelo contrário, tratam-se de um processo complexo, multiatorial, cujo juízo de valor resul-tante deve ser argumentado e fundamentado em procedi-mentos de pesquisa avaliatória. Este livro procura apresen-tar ao leitor o complexo universo das avaliações formais de

políticas sociais e dos seus instrumentos. Para isso, propõe uma releitura da (não tão recente) história da avaliação no país, observando os seus desafios e potencialidades, que nos leva a compreendê-la como parte integrante do ciclo de vida dos próprios objetos de estudo. Essa interpretação explora a dimensão cívico-dialógica da avaliação, compre-endendo-a como um processo de aprendizagem que pro-cura explorar as dimensões prático-organizacional e cívica.

Os 12 capítulos do livro procuram, assim, apresentar ao aluno como a avaliação implica sempre um procedi-mento reflexivo, baseado na exposição de determinados juízos, construídos preferencialmente de forma coletiva por todos os interessados, e orientados para os fins espe-cíficos das diversas ações, projetos ou programas sociais. Os conteúdos tratados buscam fornecer ao aluno as fer-ramentas elementares não apenas para implementar os processos avaliativos adequados às variadas necessidades sociais, mas também e principalmente permitir e estimu-lar a reflexão sobre as implicações sociais e políticas da avaliação, que vem se tornando cada vez mais necessária e utilizada em empresas, políticas públicas e ações do Ter-ceiro Setor.

11

Introdução à avaliação e monitoramento de projetos sociais

Rosana de Freitas Boullosa

Introdução à avaliação e monitoramentoAvaliamos e monitoramos continuamente, mesmo sem nos darmos conta. Essas

atividades complementares nos ajudam a construir a realidade em que vivemos. A re-alidade, como nos lembram Berger e Luckmann (1980), é um construto social e, por-tanto, possui uma boa dose de subjetividade1. Parte de tal subjetividade se revela nas entrelinhas das avaliações e observações que fazemos, pois modelam decisões, traçam diretrizes e juízos, abrem e constroem diferentes caminhos para a nossa existência. Avaliação e monitoramento são, assim, atividades intrinsecamente relacionadas ao campo da decisão, mas também da aprendizagem social e individual, que se utiliza de um ferramental também desenvolvido e amadurecido, validado no tempo, de acordo com a variedade das experiências que vivemos. Esse ferramental avaliatório, mesmo contendo fortes traços culturais, é próprio de cada ser humano, pois também se rela-ciona dialeticamente com sua própria experiência. Em outras palavras, quase nunca validamos coletivamente ou socialmente as verdades que balizam ou modelam as nossas avaliações; tampouco refletimos ou explicitamos nossas verdades ou nossos construtos avaliatórios. No entanto, continuamos a avaliar e a monitorar as ações que nos envolvem de modo direto ou indireto. De alguma forma, portanto, podemos afir-mar que somos todos, uns mais outros menos, avaliadores experientes.

Grande parte de tal experiência, todavia, foi desenvolvida de modo intuitivo e in-formal, com pouca ou nenhuma sistemática de avaliação. Em outras palavras, emitimos juízos de valor sem nos preocuparmos em explicar a sua lógica, impossibilitando outras pessoas de reconstruírem e/ou compartilharem o percurso que nos levou a emitir tais juízos de valor. Por juízo de valor entendemos a instituição de relações significativas afirmativas entre o sujeito do juízo e o atributo ou predicado do juízo. O juízo de valor

1 Peter L. Berger, sociólogo estadunidense, e Thomas Luckmann, sociólogo alemão, publicaram em 1966 o livro A construção Social da Realidade, introduzindo a expressão construção social nas ciências sociais. Para esses autores, a realidade não é um dado objetivo, mas sim algo construído socialmente, a partir de rela-ções sociais que estabelecem significados. Esses significados são compartilhados e validados continuamente pela própria sociedade que o construiu.

12

ao qual nos referimos se refere quase sempre à qualidade ou ao mérito do sujeito do juízo (no nosso caso, uma política, plano, programa, projeto ou ação social). E mesmo tratando-se de avaliações informais, essas são extremamente importantes na constru-ção do nosso comportamento, interesses e preferências no nosso agir social. Em outras palavras, os juízos de valor que fazemos sobre tudo o que nos está entorno influenciam as nossas ações.

A compreensão das dimensões subjetiva, intuitiva e informal da avaliação é, por-tanto, extremamente importante para quem deseja estudar formalmente o campo do conhecimento de avaliação e monitoramento de uma classe especial de objetos de avaliação que são os programas sociais, compreendidos como programas que buscam mudar ou transformar uma dada realidade considerada socialmente problemática. Tais dimensões nos auxiliam ainda a perceber que estamos nos aproximando de um campo estruturado de conhecimento com o qual já temos uma certa familiaridade. E essa fami-liaridade se dá justamente pela nossa experiência em emitir juízos de valor, mesmo que frequentemente não argumentados, beirando o que na linguagem popular se traduz no neologismo “achismo” (quando achamos algo de alguma coisa, mas não consegui-mos elencar argumentos capazes de justificar perante os outros o nosso juízo).

Avaliações formais não são simples juízos emitidos. Pelo contrário, trata-se de juízos argumentados emitidos após procedimentos de pesquisa que possam ser com-partilhados por diferentes pessoas e não restritos a quem emitiu o tal juízo. Como discutiremos mais adiante, avaliações formais de programas sociais “são processos de pesquisa aplicada que objetivam a determinação de juízos argumentados, cuja lógica avaliatória pode ser reconstruída e discutida pelas coletividades interessadas em seus resultados ou impactos, incluindo eventuais padrões ou modelos de comparação” (BOULLOSA, 2006, p. 89).

Avaliação como campo de práticas e de conhecimento

Avaliar é atribuir valor. Essa é a clássica definição de avaliação, endossada por um dos seus maiores teóricos, o britânico Michael Scriven2, que conceitua avaliação como uma atividade formal de atribuição de valor material (worth), valor simbólico (value) e mérito (merit) a uma entidade – podendo essa entidade assumir diferentes complexi-dades, tais como planos, programas, projetos e/ou ações. Quando Scriven propôs tal definição, em 1967, a avaliação de programas já se apresentava como um campo de

2 Michael Scriven é um acadêmico estadunidense, nascido na Grã-Betanha em 1928, cofundador e editor do Journal of Multidisciplinary Evaluation, considerado um dos maiores teóricos de avaliação de programas (sobretudo educacionais). Apesar da idade avançada, Scriven ainda escreve para importantes jornais sobre o tema e é diretor associado do The Evaluation Center na Western Michigan University, além de titular do Departamento de Filosofia.Av

alia

ção

e M

onito

ram

ento

de

Proj

etos

Soc

iais

13

Introdução à avaliação e monitoram

ento de projetos sociais

práticas e conhecimentos relativamente estruturado, assim como já esboçava os seus contornos como área de atuação profissional, sobretudo nos países de língua anglo- -saxônica. Afinal, quase seis décadas haviam sido transcorridas desde as primeiras ex-periências registradas de avaliação de intervenções governamentais no campo social. Rossi e Freeman (1993) identificaram e estudaram alguns esforços sistemáticos de ava-liação de programas de alfabetização e de programas de redução da mortalidade e morbidade causadas por doenças infecciosas, nos Estados Unidos, que aconteceram antes da Primeira Guerra Mundial (1914-1918). Esses esforços de avaliação buscavam conhecer a efetividade dos programas em estudo em vista do seu aperfeiçoamento.

Nessa mesma perspectiva, seguiram-se novos estudos de abordagem quantita-tiva3 que resultaram no desenvolvimento de novas técnicas para a avaliação de pro-gramas sociais, construindo, já nos anos 1930, um primeiro arcabouço de saberes re-lacionados ao tema, ainda que restritos aos países mais ricos, sobretudo àqueles de língua anglo-saxônica. Nos EUA, o programa New Deal, implantado entre 1933 e 1936, pelo então presidente Franklin Roosevelt (1882-1945), para enfrentar a Grande Depres-são4 exigiu grandes esforços de avaliação, sobretudo na fase de implementação e no juízo dos resultados. O conservadorismo fiscal e a escassez de recursos deram ainda um novo impulso à avaliação imputando-lhe papel decisório na alocação de recursos públicos. Assim, durante os anos 1930 e 1940, a avaliação de programas assumiu um viés mais técnico, ou tecnicista, orientado quase que exclusivamente às exigências de informação por parte dos agentes decisores, sobretudo dos agentes governamentais.

A propagação da cultura de avaliação aos chamados países periféricos ainda tardou um pouco, pois se deu somente com os programas de cooperação internacio-nal empreendidos após a Segunda Guerra Mundial (1939-1945). Alguns desses pro-gramas, como o Plano Marshall e o Programa Aliança para o Progresso5, passaram a exigir a prática da avaliação como condição indispensável para a efetivação das ajudas econômicas prometidas. A crença de que melhores e maiores informações determi-nariam a qualidade das decisões somada à demanda de controle externo das ações e dos investimentos em andamento impulsionaram o desenvolvimento de métodos estatísticos e de pesquisas aplicáveis ao estudo e tratamento dos problemas sociais considerados relevantes (sobretudo para os financiadores). A esse ponto, a cultura

3 A abordagem quantitativa busca descrever atributos e significados considerados inerentes ao objeto de avaliação e, por isso, também é chamada de abor-dagem objetiva. Além disso, esse tipo de abordagem se caracteriza pelo uso de quantitativos (que podem ser quantificados e facilmente comparados) e por técnicas de análise predominantemente dedutivas, orientada aos resultados. Diversamente, a abordagem qualitativa busca descrever significados socialmente atribuídos ao objeto de avaliação e, por isso, também é chamada de abordagem subjetiva, pois é orientada ao processo, com técnicas de análise predominan-temente indutiva e uso de dados qualitativos.4 Também chamada de Crise de 29, um dos mais problemáticos períodos de recessão econômica da história mundial, que durou toda a década de 1930. Nos Estados Unidos, onde a crise tomou proporções mundiais com a quebra da bolsa de Nova York, em 24 de outubro de 1929, o presidente Roosevelt apresentou um exitoso plano para combater os avanços da crise, chamado New Deal. A partir das ideias do New Deal, três anos mais tarde, o economista inglês John M. Keynes publicou o célebre livro The General Theory of Employment, Interest, and Money, lançando as bases do keynesianismo, que defende o papel do Estado como agente controlador da economia.5 O Plano Marshall foi como ficou conhecido o Plano para a Recuperação da Europa, formulado, em homenagem ao Secretário de Estado dos EUA, George Mar-shall, financiado e implementado pelo Governo dos Estado Unidos para a reconstrução dos Países Aliados da Europa após o final da Segunda Guerra Mundial. Já o Programa Aliança para o Progresso (1961-1970) foi uma versão do Plano Marshall para a América Latina, também formulado, financiado e implementado pelo Governo dos Estados Unidos a fim de contrastar a influência de Cuba e do socialismo.

14

da avaliação já havia conquistado o mercado, não somente a esfera governamental. Nesta última, buscava-se compreender realidades sociais problemáticas e complexas, mas buscavam-se também bases científicas para a averiguação e o juízo do desenvol-vimento dos esforços empreendidos para transformar positivamente tais realidades problemáticas e complexas.

Tudo isso gerou uma miríade de metodologias, modelos, matrizes e propostas conceituais, resultando ainda, como lembram Rossi e Freeman (1993), na sofisticação das técnicas de pesquisa e no desenvolvimento de computadores capazes de exami-nar analiticamente grande número de variáveis estatísticas. No início dos anos 1960, os avaliadores já não acreditavam mais nas teorias que preconizavam que o homem seria dotado de uma racionalidade ilimitada, capaz de prever e fazer cálculos perfeitos; também já começavam a duvidar da concepção gerencialista que dominava o campo da avaliação e do monitoramento. Pelo contrário, começavam a perceber o quanto uma visão gerencialista da avaliação estava relacionada com uma abordagem top-down6 que imperava nos processos decisórios das intervenções sociais daquele período. De fato, acreditava-se que a sequência de uma (correta) tomada de decisão era linear ou sequencial: começava com a problematização, seguida da correta e compreensiva vi-sualização de todas as alternativas possíveis, da avaliação de tais alternativas, concluin-do-se com a decisão pela melhor alternativa, em um hipotético contexto de simetria informacional. Assim, o avaliador passa a ser visto como agente de decisão ou analista de decisão, ou seja, aquele agente que realiza cálculos, juízos de valor, ordena as pre-ferências etc. ou até mesmo administra a estruturação do problema, analisando-o e produzindo recomendações ao tomador de decisões (também chamado de agente tomador de decisão). Em ambos os casos, os agentes de decisão informam o agente tomador de decisão.

Nos anos 1960 acontece o que muitos autores definem como o boom da ava-liação nos Estados Unidos (GUBA; LINCON, 1989; ALBAEK, 1998), como as polêmicas avaliações dos programas Great Society (Grande Sociedade, voltado à eliminação da pobreza e justiça racial) e War on Poverty (Guerra à Pobreza, parte do Great Society), ambos partem da reforma social promovida pelo então presidente Johnson (1908-1973) em um contexto histórico de grande prosperidade econômica. A avaliação passa a ser usada predominantemente como ferramenta de planejamento gover-namental, particularmente dos agentes com maior poder de decisão. Faria (2005) recorda que o aumento recorde do gasto público, somado ao desconhecimento dos impactos das ações de governo e da necessidade crescente de controle da burocra-cia (e dos seus burocratas)7 acabaram por institucionalizar aquela visão top-down

6 Uma abordagem decisional de tipo top-down pressupõe que as decisões devem acontecer de cima para baixo, respeitando a hierarquia do sistema orga-nizacional que implementa qualquer decisão. Do lado oposto, encontra-se a abordagem decisional de tipo bottom-up, que defende que as decisões devem acontecer no sentido oposto da pirâmide hierárquica, ou seja, de baixo para cima.7 Em sociologia, a burocracia é uma estrutura organizacional caracterizada por procedimentos e rotinas regulares e por um sistema hierárquico, com alta divi-são de responsabilidade, onde seus membros executam invariavelmente regras e procedimentos padrões, como engrenagens de uma máquina. Max Weber (1864-1920) foi um dos precursores da Teoria da Burocracia, para quem os seus principais atributos eram a impessoalidade, a concentração dos meios da admi-nistração, um efeito de nivelamento entre as diferenças sociais e econômicas e a execução de um sistema da autoridade que é praticamente indestrutível.Av

alia

ção

e M

onito

ram

ento

de

Proj

etos

Soc

iais

15



que já se entrevia um ou dois séculos antes, consolidando também a ideia de que a avaliação aumentaria ou garantiria a racionalidade dos processos decisórios, além de legitimar a intervenção pública.

Não por acaso, Rossi e Wright (1984) consideram tal período como a era de ouro da avaliação de programas (golden age of evaluation), caracterizado, segundo Oakley (1998, p. 95), pelo “randomised, controlled experimental paradigm”, ou paradigma ex-perimental controlado aleatório, apoiado sobremaneira no trabalho que Campbell e Stanley publicam em 1966, intitulado Experimental and Quasi-Experimental Designs for Research (Desenhos Experimentais e Quase-Experimentais de Pesquisa). Em poucas palavras, segundo tal paradigma originário do campo da Biologia, é possível avaliar políticas e programas sociais através de estudos comparativos entre grupos que foram submetidos a tais políticas ou programas e grupos que não foram submetidos a tais es-forços (chamados de grupos de controle). Também contribui para o sucesso da idade de ouro da avaliação nos EUA, a obrigatoriedade da destinação de pelo menos 1% do gasto com programas sociais ao quesito avaliação.

A idade de ouro da avaliação começa a apresentar os primeiros sinais de satura-ção no começo dos anos 1980, em particular em relação aos chamados programas ex-perimentais. A literatura especializada em avaliação elencou muitos motivos para que tal saturação ocorresse, dando origem a buscas por novas alternativas de avaliação. Entre os motivos, destacamos alguns:

perplexidade e desencanto com a ineficácia das próprias intervenções avaliadas;

excesso de otimismo em acreditar que as avaliações poderiam gerar decisões perfeitas;

impaciência dos gestores com os tempos exigidos por esse tipo de avaliação, pois cada processo de avaliação deveria acompanhar os resultados e efeitos de cada projeto sobre um grupo de beneficiários e um grupo de não benefici-ários (grupo de controle);

dificuldade em descobrir se os efeitos eram realmente causados pelo projeto avaliado ou não, diante da impossibilidade de se construir grupos de controle idênticos aos grupos de beneficiários.

Em contraposição a esse tipo de abordagem, durante o Governo de Reagan (1981-1989) na presidência dos EUA, emergem novas abordagens de avaliação que privilegiam uma visão mais bottom-up dos processos de avaliação de políticas e pro-gramas sociais. Dessas novas abordagens surgem diferentes e múltiplas metodologias de avaliação voltadas à avaliação e monitoramento de programas, projetos e ações de transformação social, tanto públicos, quanto privados e mistos. Os autores Guba

16

e Lincon (1998) chamam esse período de Reativo, por considerá-lo como uma certa reação às abordagens top-down que predominavam no período anterior (o período da “era de ouro”). Outro autor, Derlien (2001), que também se dedica a compreender a evolução e estruturação da avaliação como campo de práticas e de conhecimentos, associa essa última fase da avaliação (a partir dos anos 1990) à função de realocação do gasto público. De fato, com a crise fiscal difundiu-se também a ideia de que boas ava-liações poderiam indicar objetivamente quais as melhores respostas para os problemas sociais, maximizando o escasso investimento público. Essa ideia ganhou força no con-texto do paradigma do Estado mínimo, quando a avaliação passou a ser instrumento específico de gestão voltado para a Reforma do Estado, implementada pelo Governo Brasileiro que buscava, entre outras coisas, responsabilização (ou accountability) dos políticos, burocratas e gestores públicos em geral e privatização de alguns bens e ser-viços sociais que antes eram providos pelo Estado.

Encontrando uma definição-guia para avaliaçãoEssa breve revisão da evolução da avaliação como um campo de práticas e de

conhecimento nos permite vislumbrar a grande variedade de definições acerca dos significados, usos e limites da avaliação de programas e projetos sociais. Neste livro, buscaremos adotar uma definição que chamaremos de definição-guia para a avaliação (BOULLOSA, 2006), que nos ajudará a enfrentar com coerência os conteúdos que per-passam e estruturam o campo da avaliação.

Vamos começar retomando o conceito clássico de avaliação de Scriven (1967), para quem avaliar é julgar o valor ou o mérito de uma entidade, sendo essa entida-de portadora de diferentes graus de complexidade (planos, programas, projetos etc.). Scriven deposita todo o peso da sua conceituação sobre o objetivo intrínseco da ava-liação que está, para o autor, em julgar algo de alguma coisa. Scriven dá voz, assim, aos chamados modelos com atribuição de valor, ou seja, modelos de avaliação que emitem um juízo de valor. O juízo de valor se constitui como uma sorte de recomen-dação ao tomador de decisão. Em contracorrente, outra grande linha reúne modelos sem atribuição de valor, ou seja, modelos que não emitem um juízo de valor e que se restringem a apresentar informações parciais ao tomador de decisão, deixando ao mesmo a tarefa de conectar informações e extrair ou construir juízos de valor, como as avaliações de modelo mínimo.

O quadro a seguir reúne algumas das mais importantes definições de avaliação. Observe como alguns autores preferem acreditar que a avaliação é uma atividade que deve mostrar a realidade sem emitir um juízo de valor. Para esses autores, quem deve emitir o juízo de valor não é o avaliador, mas, sim, quem solicitou a avaliação. A maioria dos autores, entretanto, é enfática em afirmar que não há avaliações sem juízo de valor Av

alia

ção

e M

onito

ram

ento

de

Proj

etos

Soc

iais

17



e que até mesmo as que não o fazem de modo direto, acabam emitindo juízos quando, por exemplo, selecionam os critérios de avaliação. Cada uma delas carrega consigo aspectos metodológicos e epistemológicos importantes, além de indicar qual o papel do profissional em avaliação.

Quadro 1 – Algumas definições sobre avaliação

Autor(es) / (obra) Definição de avaliação Observação

Scriven(1967)

“Julgamento do valor ou o mérito de uma ‘entidade’.” Com juízo de valor, sobretudo.

Rossi, Freeman e Lipsey(1999, p. 62 e 80)

“Essencialmente um esforço de colheita e interpretação de informações que procura responder a uma determinada sé-rie de perguntas sobre o comportamento e sobre a eficácia de um programa.”“Fundamentalmente um esforço para colher e interpretar informações sobre o andamento de programas, para respon-der a perguntas relevantes do tomador de decisão ou, pelo menos, de qualquer interesse para um ou mais atores sociais envolvidos.”

Sem juízo de valor.

Patton(1998, p. 23)

“A avaliação é a coleta sistemática de informações sobre ati-vidades, características e resultados para a formulação de ju-ízos sobre programas, de modo a melhorar a sua eficácia ou direcionar decisões sobre a sua programação futura.”

Com juízo de valor, mas não deixa claro quem emite tal juízo.

Carol Weiss(1998, p. 4)

“Análise sistemática do processo e ou do resultado de um programa ou de uma política, comparado a um conjunto de valores (standard) implícito ou explícito, a fim de contribuir para o melhoramento do programa ou da política”.

Com juízo de valor, mas com maior peso à dimensão proces-sual da avaliação e a sua contribuição ao próprio ciclo do objeto avaliado.

Means Collection (União Europeia)(1999, v. 1, p. 17)

“Consiste no juízo do seu valor em relação a critérios explíci-tos, e sobre bases de informação especificadamente coleta-das e analisadas.”

Com juízo de valor, mas com ênfase na cientificidade de tal juízo.

Worthen, Sanders e Fitzpatrick(2004)

“Avaliação é a identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor (ou mérito), a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação a estes critérios.”

Com juízo de valor, releitura de Scriven.

Bezzi(2007)

“Conjunto de atividades úteis para exprimir um juízo direcio-nado a um fim – juízo argumentado através de procedimen-tos de pesquisa avaliativa. Tal pesquisa constitui-se como o elemento essencial e imprescindível para dar confiança aos procedimentos e para garantir a fidelidade das informações utilizadas para exprimir aquele juízo”.

Com juízo de valor, mas ressaltando os aspectos de pesqui-sa que propiciariam o que o autor bem define como argu-mentação do juízo.

A última das definições presente no quadro 1, proposta por Bezzi (2007), ree-xamina a aproximação entre avaliação e pesquisa avaliatória, já discutida por Rossi e Wright no trabalho intitulado Evaluation Reseach (Pesquisa avaliativa), publicado em 1984, no qual propõe que a avaliação deve empregar uma rigorosa metodologia das

O a

utor

.

18

ciências sociais. Nessa mesma perspectiva, outros autores buscaram resgatar a relação entre avaliação e pesquisa, ressaltando a dimensão processual e coletiva das avalia-ções. Neste texto, adotaremos uma definição-guia de avaliação que também explora a dimensão investigativa e processual da avaliação de políticas e programas sociais, proposta por Boullosa, em 2006 (p. 112):

Avaliação é o conjunto de atividades, nem sempre solidamente correlacionadas, voltado para a expressão de um juízo ou síntese avaliatória, direcionado a um fim, nem sempre claro e/ou explícito, empreendido por um conjunto de agentes, nem sempre definidos ou etiquetados como avaliadores. Este juízo deve ser o máximo possível argumentado através de instrumentos e procedimentos de pesquisa avaliatória (não somente pesquisa social aplicada), de modo a possibilitar a sua reconstrução analítica e discussão dos resultados, juízo ou síntese avaliatória, pelas coletividades interessadas em tal avaliação, desencadeando um processo de aprendizagem prático-institucional (relativo ao objeto de avaliação) e social (relativo à dimensão dialógico-cívica da sociedade em geral).

A definição proposta por Boullosa (2006) interpreta claramente a avaliação como um juízo explicitado em uma síntese avaliatória. Esse juízo é, ao mesmo tempo, um juízo direcionado a um fim, admitindo diferentes usos da avaliação, inclusive o seu caráter de subjetividade, e um juízo argumentado, admitindo a dimensão dialógica e novamente subjetiva da avaliação. A avaliação é um processo que envolve diferentes atores, direta e/ou indiretamente, através de entrevistas, opiniões, leituras, reuniões e outros tipos de troca. Além disso, os atores envolvidos na atividade da avaliação, sobretudo o ator que assume a coordenação do processo de avaliação, possuem as suas crenças, valores, pre-conceitos e outras subjetividades que influenciam no processo. A figura abaixo procura aprofundar o conteúdo da definição adotada como definição-guia para esta disciplina.

Problematiza os objetivos deste juízo

Admite a subjetividade do objetivo deste juízo

Admite um senso científico, mas sobretudo profissional

Explicita os elementos de avaliação e promove simetria informacional

Admite a incerteza, pois reconhece a dimensão dialógica da avaliação

Assume-se como parte de um processo de aprendizagem

prático-institucional e sociocívico

Juízo ou síntese avaliatória

direcionado(a) a um fim

Juízo ou síntese avaliatória

argumentado(a)

A pesquisa avaliativa é o núcleo

mais importante da avaliação,

dando solidez à argumentação do juízo ou da síntese avaliatória. Através

dela é possível reconstruir o juízo,

compartilhar os resultados

e desencadear o processo de aprendizagem

prático-institucional e sociocívicos

PESQ

UIS

A A

VALI

AD

A

(BO

ULL

OSA

, 200

7)

Figura 1 – Esquema conceitual proposto pela definição de avaliação de Boullosa (2007).

Aval

iaçã

o e

Mon

itora

men

to d

e Pr

ojet

os S

ocia

is

19



Considerar a avaliação como uma atividade próxima à pesquisa social aplicada significa assumir que, além de uma dimensão metodológica, a avaliação exige refle-xões teóricas, epistemológicas e deontológicas (relacionada aos deveres profissionais da categoria do avaliador, mesmo que ainda não contemplada por um código espe-cífico aqui no Brasil). Além disso, a avaliação nunca é uma atividade isolada, realizada por um único avaliador. Pelo contrário, uma avaliação é um processo complexo, na qual se relacionam diferentes atores que se expressam implícita ou explicitamente por diferentes fontes de informação, além de ser voltada para um público que em última instância é a própria sociedade.

A avaliação pressupõe ainda um exercício de reconstrução, pois não avaliamos algo objetivo e natural, mas, sim, um conjunto complexo e incerto de ações voltadas à transformação social. Por isso, uma das primeiras atividades da avaliação é justamen-te a reconstrução do objeto a ser avaliado, compreendendo a sua natureza e limites. Essa reconstrução é incessante, pois a própria avaliação altera progressivamente a compreensão do seu objeto, assim como do seu próprio fim ou objetivo da avaliação. Nessa perspectiva, o processo de avaliação também pode ser visto como um processo de construção de significados ou de significâncias, onde cada sujeito avaliador ou avalia-do (diferentes atores com múltiplas realidades) deve enfrentar um problema semân-tico relacionado à compreensão do significado da avaliação e dos seus processos. O processo de avaliação pode, portanto, ser também compreendido como processo de construção de uma lógica compartilhada de avaliação que compreenda as múltiplas tramas de significado formadas pela sobreposição nem sempre pacífica de diferentes realidades, construídas por diferentes atores (BOULLOSA, 2007).

A natureza da realidade é significativa (SCHUTZ, 1962)

Realidade avaliada

Problema semântico

O significado é uma categoria do sujeito (portanto, é intrínse-co a quem o problematiza)

Diferentes atores =

múltiplas realidades =

múltiplas tramas de significados

Processo de construção de uma lógica de avaliação é um processo

compartilhado de significação

“A realidade é uma construção social”

(BERGER; LUCKMAN, 1966)

Quem observa, portanto, faz parte dela.(B

OU

LLO

SA, 2

007)

Figura 2 – Avaliação como processo de construção de significados e significâncias.

20

A construção de uma lógica compartilhada de avaliação colabora para a redução da complexidade decisional que envolve a avaliação e os seus objetos, sejam eles polí-ticas, planos, programas, projetos e/ou ações. Por isso, a avaliação não pode deixar de enfrentar o desafio da promoção do diálogo entre os diferentes planos conceituais e metodológicos dos atores envolvidos direta ou indiretamente na avaliação, de modo a construir uma lógica avaliatória compreensível a todos, bem como uma síntese avalia-tória útil ao objeto avaliado. Nesse sentido, é possível afirmar que a avaliação carrega consigo o papel de instrumento coletivo de juízo de ações socialmente relevantes, so-bretudo quando relacionadas às intervenções de transformação social.

Especificidades das avaliações de intervenções sociais

As intervenções voltadas à transformação ou maximização do bem-estar social estão quase sempre protegidas sob a alcunha das chamadas políticas sociais, que têm se revelado como um “invólucro” suficientemente elástico para acolher desde progra-mas de redistribuição de renda a programas de promoção da segurança urbana, entre tantos outros. Dada a complexidade dos grandes “invólucros” das ações sociais organi-zadas, sobretudo aquelas de governo, tais como políticas econômicas, sociais, culturais etc., vamos tentar compreender quais os conteúdos possíveis do que chamamos de avaliação de políticas e programas sociais através da compreensão da natureza dos bens e serviços promovidos ou preservados pelas intervenções sociais.

Para os nossos objetivos, os bens e serviços podem ser divididos em quatro gran-des categorias: bens privados, bens públicos, bens semipúblicos e bens coletivos; todos eles podem ser produzidos e ofertados pelo mercado, Estado e/ou Terceiro Setor8. Todavia, nas economias modernas observa-se uma clara especialização na produção e preservação das diferentes classes de bens. Os bens privados, por exemplo, são produ-zidos sobretudo pelo mercado, enquanto que os demais, sobretudo os bens públicos, são em grande parte produzidos e preservados pelo Estado. Além dessa diferença, os bens públicos se caracterizam por serem indivisíveis (os de mercado são divisíveis e autoexcludentes) e pela baixa ou inexistente reciprocidade de exclusão do consumo, assim como pelo princípio da não exclusão. Em outras palavras, os bens públicos não se deterioram pelo uso, o seu consumo por um indivíduo não prejudica as possibilida-des de consumo dos demais indivíduos (SAMUELSON, 1966).

Já os bens semipúblicos ou meritórios são frequentemente explicados como bens que possuem características de mercado e de público, vistos, portanto, como intermediários.

8 Terceiro Setor (Third Sector) é uma terminologia sociológica que abriga todas as iniciativas privadas de utilidade pública, desde que com origem na sociedade civil, sem vínculos diretos com o Primeiro Setor (Público, o Estado), nem com o Segundo Setor (Privado, o Mercado).Av

alia

ção

e M

onito

ram

ento

de

Proj

etos

Soc

iais

21



Eles são perfeitamente divisíveis, mas os benefícios da sua produção e consumo recaem sobre toda a sociedade. É o caso, por exemplo, da educação, que pode ser produzida tanto pelo mercado quanto pelo Estado, total ou parcialmente, mas que, dado os benefícios so-ciais dispersos que produz (externalidades positivas), não pode ser considerada exclusiva-mente como bem de mercado. O mesmo acontece com os bens e serviços de saúde, que contribuem para o bem-estar geral da sociedade. Em outra categoria se encontram os bens chamados de coletivos, os quais, segundo uma pequena parte da literatura especializada, são bens que pertencem à sociedade, mas que são cedidos pelo Estado a terceiros (priva-dos). Tal cessão gera entradas para o Estado que deveriam, a princípio, ser aplicadas na pre-servação de bens públicos ou outros semipúblicos.

Quadro 2 – Tipologia de bens

Rivalidade na fruição

ALTA BAIXA

Recí

proc

a ex

clus

ão d

o co

nsum

o

ALT

A Bens privados

MERCADO

Bens semipúblicos(toll good)

Mercado / Estado / Terceiro Setor

BAIX

A

Bens coletivos

ESTADO através de concessões

Bens públicos

ESTADO(Terceiro Setor)

As intervenções compreendidas no contexto do que chamamos de políticas so-ciais tratam da promoção ou preservação de bens públicos ou semipúblicos, produzi-dos pelo Estado, pelo mercado ou mesmo pelo chamado Terceiro Setor. Como recorda Contador (2000), o fato de não ser destruído no ato do consumo traz algumas difi-culdades para a mensuração dos benefícios do consumo desses bens. Além disso, é bastante complicado, quando não impossível, mensurar o quanto esse bem foi ou não consumido pelos seus potenciais beneficiários e o quanto ele foi realmente útil à trans-formação da sua realidade social. A avaliação se complica ainda quando pensamos que

O a

utor

.

22

alguns desses bens não são usados de forma voluntária ou pontual (como a segurança nacional) e que os seus fruidores tendem a subestimar os seus benefícios, atribuindo- -lhes pouco ou nenhum valor. E para complicar mais ainda, o uso privatizado de um bem público pode provocar, paradoxalmente, a degradação do próprio bem.

Assim, a avaliação de programas sociais tem se deparado desde o princípio com os problemas relativos às especificidades das classes de bens que busca fomentar ou preservar. Avaliar programas sociais é de certa forma avaliar estratégias de investimen-tos voltados à produção de bens públicos e semipúblicos, seja pelo Estado, mercado ou Terceiro Setor, em separado ou em parcerias. Ao longo da disciplina, nós vamos tentar compreender as complexidades e incertezas que estruturam os principais desa-fios da avaliação de programas sociais como campo de práticas e de conhecimento.

Alguns limites entre avaliação e monitoramentoPara concluir este capítulo, é necessário ainda compreendermos alguns limites

entre avaliação e monitoramento. Segundo a literatura especializada, há duas grandes linhas para se compreender a relação entre avaliação e monitoramento: para a primei-ra, monitoramento e a avaliação são atividades coincidentes e ambas formulam juízo de valor sobre o objeto avaliado; para a segunda, o monitoramento é uma das ativida-des da avaliação e limita-se ao processo de coleta de informações. Neste livro, abraça-mos a primeira das grandes linhas, assumindo, porém, que avaliação e monitoramento são duas atividades complementares.

Nessa perspectiva, compreende-se por monitoramento o conjunto de atividades de acompanhamento sistemático do desenvolvimento e/ou desempenho do progra-ma, com fins quase sempre de aperfeiçoamento do mesmo. É importante compreender que trata-se de um processo rotineiro de acúmulo de observação e análise. Em outras palavras, trata-se de uma atividade de registro regular de um programa, projeto ou ação. É preciso ainda considerar que o monitoramento também pode ser voltado para a verificação da continuidade da validade da hipótese sobre a qual o programa foi cons-truído. Além desse objetivo de monitoramento, podemos também direcionar a nossa observação continuada e sistemática para outros aspectos do programa, tais como:

Aval

iaçã

o e

Mon

itora

men

to d

e Pr

ojet

os S

ocia

is

23



acompanhar o desempenho de um programa;

acompanhar se os investimentos feitos em um programa/projeto estão sendo bem utilizados;

verificar se o programa se mantém na rota dos seus objetivos;

identificar os pontos críticos na implementação do programa/projeto/ação a fim de sugerir mudanças;

verificar a validade da hipótese sobre a qual se baseia o programa ao longo da sua implementação;

garantir que todas as atividades sejam executadas corretamente pelas pesso-as certas no tempo certo;

acompanhar o alcance parcial dos objetivos levando ou não em consideração parâmetros e valores de projetos/programas semelhantes.

Além disso, é importante distinguir avaliação e monitoramento de outras ativida-des de análise de dados, tais como benchmarking, pesquisa de base, social audit e certi-ficação. Benchmarking é o processo de confronto do próprio desempenho e resultados com outros desempenhos e resultados possivelmente similares, podendo ser interno (entre unidades de uma mesma organização ou programa), competitiva (em relação a organizações ou programas considerados excelentes), funcional (em relação às best practicies, mesmo que em outros setores de intervenção) ou genérica (em relação ao inteiro processo organizacional); já o social audit busca identificar as diferenças entre as metas propostas e aquelas alcançadas, eventualmente propondo reparações pontuais, sem problematizar a validade das hipóteses ou dos objetivos propostos pelo programa em questão. A pesquisa de base busca construir teorias gerais, independentemente da utilidade direta e imediata para a produção de transformação social. A certificação, por sua vez, admite procedimentos de avaliação, mas é voltada ao completo preenchi-mento dos padrões mínimos (standard) para que uma determinada experiência possa receber uma garantia externa de qualidade. Cada uma dessas atividades possui um equilíbrio próprio entre propensão à reflexão e à crítica e propensão à intervenção, como mostra o gráfico 1.

24

Gráfico 1 – Relação entre avaliação e outras atividades

Pesquisa de base

CertificaçãoSocial Audit

MA

IOR

prop

ensã

o

à in

terv

ençã

o

MAIOR propensão à reflexão, à crítica

Menor propensão à análise, MAIOR propensão ao registro, à informação

MEN

OR propensão

à intervenção

Avaliação

Benchmarking

Monitoramento?

(BEZ

ZI, 2

007.

Ada

ptad

o.)

Como você pode notar, avaliação e monitoramento estão presentes no gráfico em posições separadas. Entretanto, são atividades complementares, que estão pro-fundamente relacionadas. Essa divisão é somente analítica, pois refere-se aos eixos propostos para a compreensão dos equilíbrios que cada uma das atividades descritas. Nessa perspectiva de análise, a avaliação aparece como uma atividade muito propen-sa à reflexão e à análise, pois não são atividades automatizadas, que se restringem ao simples registro de informações. A avaliação, ainda, está localizada quase que comple-tamente no quadrante relativo à maior propensão à intervenção. De fato, a avaliação tem sido cada vez mais solicitada como instrumento de gestão, relacionado ao desejo de intervenção no objeto de avaliação.

No que diz respeito ao monitoramento, o mesmo é apresentado com uma forma irregular, evidenciando as diferentes interpretações que podemos ter do mesmo. No gráfico, ele encontra-se dentro dos dois quadrantes inferiores, ou seja, naqueles rela-tivos à menor propensão à análise e maior propensão ao registro de informação, des-tituído de desejo analítico. Infelizmente, ainda temos muitos processos de monitora-mento que se recusam a “pensar”, ou seja, que se limitam a registrar dados e evidenciar possíveis distorções na curva de parâmetros considerados normais. Quanto ao eixo de maior ou menor propensão à intervenção (eixo horizontal), note que a avaliação encontra-se bastante equilibrada pois depende do seu propósito. Alguns processos de Av

alia

ção

e M

onito

ram

ento

de

Proj

etos

Soc

iais

25



monitoramento estão relacionados com um pequeno sistema de correções de eixo do projeto, outros não.

ConclusãoComo você pôde perceber, nesta disciplina nós vamos aprender um pouco mais

sobre atividades que não nos são estranhas: avaliação e monitoramento. Vimos que ambas as atividades estão relacionadas ao campo da decisão, bem como aos campos da aprendizagem social e individual. Dessa vez, porém, vamos passar do âmbito das avaliações informais para aquele das avaliações formais. Além disso, das avaliações for-mais de um tipo muito particular de objeto de avaliação que são as intervenções de cunho social, agrupadas em conjuntos aos quais damos os nomes de políticas, planos, programas, projeto ou ações.

Com esse panorama geral sobre avaliação e monitoramento de projetos sociais concluímos a nossa primeira aula. Mas sugiro que você não fique por aqui. Pelo con-trário, que vá adiante e pesquise sobre o tema. Mesmo ainda não tendo uma grande tradição em avaliação, cada vez são produzidos no país estudos relativos a esse campo de práticas e conhecimentos. Sobretudo na internet/web, você encontrará uma abun-dância de informações, teses, estudos de caso e, sobretudo, relatórios de avaliação. Leia-os e comece a se ambientar com o linguajar específico do mundo da avaliação. Você perceberá também que cada vez mais a figura profissional do avaliador de proje-tos sociais se faz presente dentro das diferentes esferas de governo, em decorrência de um mercado profissional em ascensão.

Texto complementar

Limitações potenciais da avaliação(WORTHEN; SANDRS; FITZPATRICK, 2004)

A utilidade da avaliação levou algumas pessoas a considerá-la uma panaceia para todos os males de nossa sociedade. Mas, sozinha, a avaliação não tem condi-ções de resolver todos os problemas da sociedade. Um dos maiores erros dos avalia-dores é prometer resultados que não podem ser alcançados. Até mesmo fervorosos defensores da avaliação são obrigados a admitir que muitos estudos de avaliação

26

não conseguem levar a melhorias significativas dos programas que julgam. Por quê? Em parte é uma questão de compreender mal outros fatores que afetam o uso das informações da avaliação, mesmo em estudos que têm boas definições conceituais e são bem conduzidos. Além disso, tanto avaliadores quanto seus clientes podem ter sido limitados pela tendência infeliz de ver a avaliação como uma série de estudos separados entre si em vez de considerá-la um sistema contínuo de autorrenovação.

A existência de avaliações mal planejadas, mal executadas ou impropriamente ignoradas não deve nos surpreender: esses fracassos ocorrem em todos os campos da atividade humana. O verdadeiro problema é a sua frequência e magnitude. Muitas avaliações-chave foram tão decepcionantes ou tiveram tão pouco impacto que até alguns defensores da avaliação mostraram reserva quanto à possibilidade de a ava-liação estar à altura de seu elevado potencial. Na verdade, a menos que as práticas de avaliação melhorem significativamente nos próximos anos1, seu potencial pode nunca se realizar. Isso não precisa acontecer. [...]

Há um problema paralelo quando aqueles que precisam da avaliação supõem ingenuamente que basta tocar um empreendimento com sua varinha de condão para corrigir todas as disfunções e inadequações. Embora a avaliação possa ser imensamente útil, é em geral contraproducente que os avaliadores ou aqueles que dependem do seu trabalho proponham a avaliação como o último recurso de todo problema ou, na verdade, de qualquer tipo de solução porque a avaliação em si não cria uma solução – embora possa sugeri-la. A avaliação serve para identificar pontos fortes ou fracos, destacar o que é bom e expor defeitos, mas não pode, sozinha, cor-rigir problemas, pois este é o papel da administração e de outros responsáveis, que podem usar as conclusões da avaliação como instrumento de ajuda nesse processo.

A avaliação tem um papel a cumprir no sentido de esclarecer seus consumido-res e pode ser usada para muitas outras coisas. Mas é somente uma entre muitas in-fluências voltadas para a melhoria das políticas, práticas e decisões das instituições importantes para nós.1 É importante lembrar que o texto foi publicado em 2004.

Atividades

Você já participou de algum estudo de avaliação ou conhece alguma experi-1. ência desse tipo? Procure um estudo de avaliação e identifique cinco aspectos que o diferenciam de uma avaliação informal.Av

alia

ção

e M

onito

ram

ento

de

Proj

etos

Soc

iais

27



Faça uma lista com dez avaliações informais que você efetuou nas últimas 24 2. horas. Dessas dez, selecione as duas mais complexas e procure desvendar qual o percurso de avaliação que você percorreu para chegar a tais juízos. Escreva ambos os percursos e identifique quais os aspectos subjetivos (crenças, valores, simpatias, preconceitos, relações causais pessoais) neles presentes.

Você concorda que toda avaliação emite sempre um juízo de valor? Justifique.3.

Explique por que o juízo da avaliação deve ser argumentado e quais as prerro-4. gativas desse juízo.

avaliação e monitoramento de projetos...

Documents