Marcia Paterno Joppert 06.12.11

Pesquisa sobre Oferta e Demanda por Serviços de

Monitoramento e Avaliação e a prática no Setor

Público Federal: O Caso Brasileiro

Panorama

2

Crescente relevância do tema avaliação: gestores, órgãos de controle, financiadores, pesquisadores e acadêmicos, consultores, escolas – segmentos público e privado.

Diversidade de usos (aprendizado, legitimação de políticas e programas, controle, usos políticos)

Órgãos de controle modernizando-se no sentido de enfocar resultados (evolução)

Entendimento da importância do papel de avaliadores externos aos processos trabalhando em conjunto com as equipes de implementação

Tendência a um aumento da demanda por serviços e necessidade de identificar e desenvolver oferta

O dilema da Avaliação de Políticas

Públicas

Objetivos:

Responsabilização: descobrir se a organização encarregada de

uma intervenção fez o melhor trabalho possível sob suas

circunstâncias, ou seja, em que extensão foram utilizados os

recursos e alcançados os resultados esperados: conformidade.

Geralmente realizada por entes externos

Promover o aprendizado: descobrir se uma intervenção foi

bem sucedida ou não e o porquê; participação intensa dos

implementadores; divulgação cuidadosa para transformar

conhecimento em melhores práticas: grande valor

3

O aprendizado em diferentes níveis

4

Avaliação segundo o ciclo de vida das

intervenções

5

Contexto

6

O Banco Interamericano de Desenvolvimento – Programa

PRODEV (Programa de Implementacion del Pilar Externo

de Accio n a Mediana Plazo para la Efectividad en el

Desarrollo) promoveu o estudo sobre Demanda de serviços

de Monitormaento e Avaliação no setor público na América

Latina

15 países, incluindo o Brasil, foram pesquisados e os

resultados apresentados ao Banco em julho de 2010

Objetivo da Pesquisa

Contribuir com elementos que permitissem

desenhar uma estratégia de fortalecimento das

capacidades institucionais e dos sistemas de M&A

7

Objetos investigados

Demanda e oferta de serviços correlatos a

monitoramento e avaliação

Prática de M&A: Programas do Governo

Federal do Brasil PPA 2008-2011

8

Metodologias empregadas

Pesquisa exploratória com enfoque misto

(qualitativo e quantitativo): estudos documentais,

aplicação de um questionário a 10 atores chave;

levantamento junto aos sistemas de informações e

internet

9

Itens pesquisados

10

Demanda (Contratação e uso de serviços correlatos a

M&A): especialistas, assistência técnica e capacitação

Frequência

Modo de contratação

Grau de facilidade em conseguir os serviços

Qualidade dos serviços

Temas mais demandados

Demanda por parte da sociedade civil

Reivindicação da avaliação como mecanismo de transparência e

responsabilização social

Itens pesquisados

11

Oferta (Prestação de serviços: pessoal, assistência

técnica, capacitação ou recursos financeiros)

Provedores mais frequentes

Oferta acadêmica de cursos de pós-graduação

Qualidade da oferta

Déficit Metodológico / técnico recorrente

Itens pesquisados (outros)

12

Grau de institucionalização no sistema político-

administrativo

Maiores restrições políticas, institucionais, econômicas e

culturais

Produtos que contribuiriam mais para o fortalecimento

dos sistemas de M&A no Brasil

A prática de M&A em Programas do PPA

Hipóteses

13

a prática de avaliação de programas no governo federal restringe-se em geral aos atos normativos de auto-avaliação. Avaliações de resultados e impactos, em especial as realizadas por agentes externos não ocorrem com freqüência;

por conseqüência, a demanda por avaliação, seja na forma de assistência técnica, serviços de especialistas ou capacitação, é baixa;

a oferta de especialistas, assistência técnica e capacitação também é baixa, tanto em termos quantitativos como qualitativos, por ser um campo novo no Brasil e por haver restrições culturais e institucionais, por parte do setor público, à contratação de serviços.

Perfil dos Entrevistados

14

Origem No. de entrevistados

Setor Público 5

Organismos Internacionais 3

ONGs 2

Universidade / Escola de

Governo 1

Consultores Autônomos 1

TOTAL 12

Caracterização da Demanda - Frequência

15

Demanda – Modo de contratação

16

Setor Público:

Licitações Públicas

Seleção pública segundo procedimentos

próprios (Bancos internacionais e agências

multilaterais de crédito)

Setor Privado:

Contratação Direta

Demanda – Facilidade em Conseguir

Serviços no Mercado

17

Demanda: Temas mais Importantes

18

Demanda por parte da sociedade civil

19

80% dos entrevistados do setor público: sim

Mencionaram congresso nacional (mecanismos legais)

Organizações representativas (confederações)

Sociedade em geral que “com certeza” recebe informações divulgadas

pelas diversas áreas governamentais

Conselhos de política – algum grau de demanda

57% dos entrevistados dos demais setores: sim

Grande demanda para demonstrar real impacto dos investimentos do

setor privado e das OSC para o desenvolvimento

Demanda dos próprios governos (MG)

Demanda cada vez maior por parte da sociedade (Rio Como Vamos)

Avaliação reinvidicada como mecanismo de

transparência e responsabilização social

20

Setor público: sim:

reivindicação relacionada aos mecanismos legais, princípios constitucionais e atuação de órgãos de controle;

gestores e conselhos

mídia

Demais setores: não:

despreparo da sociedade (reivindicações relacionadas a um melhor nível educacional);

mídia como único meio reconhecido pela sociedade, porém de forma despreparada;

financiadores como importante indutores;

OSC executoras são partes interessadas em interferir na realidade

Oferta – Provedores mais frequentes

21

Universidades:

Facilidade de contratação

(direta)

Expertise estabelecida

Consultores Individuais

Facilidade de identificação em setores específicos

Facilidade de acesso (em especial, universidades privadas)

Não oferta privada

Oferta de Pós Graduação em M&A

22

…. maioria dos entrevistados não sabia citar as 3

melhores ofertas…..

Oferta de pós-graduação

23

Curso Avaliação Econômica de Projetos Sociais – Fundação

Itau Social (72 horas)

Mestrado Profissional em Avaliação – Fundação

CESGRANRIO/RJ e Univ Federal do Ceará

Mestrado em Gestão e Avaliação da Educação Pública –

Universidade Federal de Juiz de For a

FIOCRUZ – limitado a gestores públicos da saúde

Oferta: qualidade

24

Oferta: déficits metodológicos ou

técnicos recorrentes

25

A avaliação de políticas no país está

organizada e institucionalizada no sistema

político-administrativo?

26

Não (100%)

Governo Federal: avanços diferenciados, sujeitos às

características de cada liderança setorial (MDS, MS, MEC)

Governos sub-nacionais: mais atrasados com raras exceções

(MG)

Tendência positiva, mas muito uso político da informação e

baixo interesse em dar real transparência.. Deveria estar

blindada e ancorada nas demandas da sociedade

Iniciativas esporádicas

Alta resistência por parte do poder público em

institucionalizar / avaliação associada a controle

Produtos que contribuiriam para o

fortalecimento dos sistemas de M&A no

Brasil

27

Mestrados nacionais

Cursos de capacitação não universitários

Assistência Técnica Nacional

Intercâmbio de experiências com outros países

Mestrados Internacionais

Assistência Técnica Internacional

Cursos e diplomas virtuais

Conclusões – pesquisa oferta e

demanda

Demanda:

Órgãos públicos demandam poucos serviços de M&A

Organismos internacionais exercem papel indutor em seus acordos de cooperação

Setor Público: Assistências Técnicas Especialistas Capacitação

Demais setores: Especialistas Capacitação Assistências Técnicas

Modo de contratação mais comum: seleção pública ou procedimentos próprios

Facilidade: capacitação assistência técnica especialistas

Difícil encontrar profissionais experientes

28

Conclusões – pesquisa oferta e

demanda

Oferta:

Principais provedores de AT e capacitação: para o setor público,

universidades e para os demais setores, consultores individuais

Oferta acadêmica de cursos de pós-graduação em M&A:

insuficiente para os dois grupos

Qualidade da oferta: regular

Déficits metodológicos: modelos e métodos, baixo valor

agregado da avaliação na geração de aprendizado, limitação da

dimensão da avaliação em apenas resultados (deixando de lado

processos e impactos) e falta de avaliação ex-ante de projetos

Institucionalização do M&A: não alcançou o sistema político

administrativo de forma definitiva

29

A prática de M&A nos Programas

Federais

30

Recomendações Estratégicas Desenvolver capacidades e fortalecer os sistemas de M&A no

Brasil depende, basicamente, de:

Conscientizar gestores públicos sobre a importância e utilidade do M&A no ciclo de políticas, em especial, na fase de formulação

Conscientizar os órgãos de controle sobre o valor do enfoque em resultados

Conscientizar o poder legislativo sobre a importância do uso de avaliações de resultados e impactos das ações do poder executivo para a melhoria na qualidade das políticas

Formular uma estratégia de desenvolvimento de capacidades

31

Recomendações Estratégicas (cont)

Organizar o conhecimento existente e trazer o conhecimento de outros países com a criação de instrumentos como: uma biblioteca virtual e um banco de experiências relacionado a um banco de currículos e de portfolios

Estimular pesquisas na área de M&A

Apoiar o desenvolvimento da demanda

Adequar o marco regulatório para contratação de serviços

Organizar a oferta existente e desenvolver novas possibilidades

Aprimorar os instrumentos de comunicação e disseminação do conhecimento (redes)

Articular Oferta e Demanda

32

OBRIGADA!!!!

33

MÁRCIA P JOPPERT

marciapaterno@agenciadeavaliacao.org.br

+55 61 8186-2306

PARTICIPE DA REDE BRASILEIRA DE MONITORAMENTO E AVALIAÇÃO

http://redebrasileirademea.ning.com