Universidade Federal do ABCCurso: Políticas Públicas

Disciplina: Avaliação e Monitoramento de Políticas PúblicasProfa. Maria Luiza Levi

Aula 3 – Avaliação & Monitoramento: panorama geral e principais conceitos (1ª. Parte)

Pontos a serem abordados

1) Monitoramento x avaliação

2) Objetos da avaliação: o que se avalia?

3) Finalidades da avaliação: para quê se avalia?

4) Tipos de avaliação

5) Perguntas, critérios e abordagens de avaliação

Avaliação é ..... “identificação, esclarecimento e aplicação de critérios defensáveis para determinar o valor (valor ou

mérito), a qualidade, a utilidade, a eficácia ou a importância do objeto avaliado em relação a esses

critérios” (Worthen, R. et. al., 2004)

Retomando e especificando o conceito de avaliação

Exame sistemático das políticas públicas como objetos de conhecimento, ou seja, com base em procedimentos científicos (alguns autores diriam “reconhecidos”) de coleta e análise de

informações, do conteúdo, da estrutura, do processo de implementação e dos resultados e impactos das políticas

Avaliação formal

Monitoramento x Avaliação

Ferramenta de gestão por excelência, atividade gerencial interna e cotidiana de acompanhamento de ações e indicadores de uma determinada intervenção

Um processo de monitoramento bem estruturado é um importante subsídio a uma pesquisa avaliativa

Monitoramento

Feito basicamente por meio de indicadores, busca produzir informações sintéticas e tempestivas (“termômetros”)

Não deve se restringir a intervenções específicas, mas, sim, envolver o acompanhamento contínuo de grandes temas da área (expertise interna)

É atividade contínua, ao contrário da avaliação (“um momento de ‘parada’ no tempo”), e interna aos órgãos de gestão de políticas públicas

Objeto dos estudos de Avaliação de Políticas Públicas

Política

Programa

Projeto

Programa

Projeto

Projeto

Projeto

Hierarquia: política, programas, projetos

Políticas públicas se materializam através de Programas e Projetos,

que são os objetos mais frequentes de avaliação

Política = princípios orientadores gerais de determinada área de

atuação do Estado

Programa = grandes intervenções ou conjunto de intervenções

relacionadas

Projeto = intervenção (ou ação) específica

Constituição (capítulos: educação, saúde, assistência etc.), leis orgânicas, consensos (academia, corporações profissionais), planos nacionais de longo

prazo

Frequentemente por meio de leis específicas (quando alteram leis existentes)

Objetivos, metas e recursos financeiros constam das leis do “ciclo de planejamento e orçamento” da ação pública no Brasil:

PPA, LDO e LOA

+Documentação/divulgação institucional de governos

Referências básicas

Política

Programa

Projeto

Objeto dos estudos de Avaliação de Políticas Públicas

Exemplos: política, programas, projetos em âmbito federal

Educação

“É dever do Estado garantir educação básica dos 4 aos 17

anos”Política

Programa

Projeto

Garantia de merenda escolar

Incentivo para implantação de infra estrutura para merenda nas escolas

Capacitação para formação de merendeiros

Saúde

“A saúde é direito de todos e dever do Estado”

Programa Mais Médicos

Contratação de médicos brasileiros e estrangeiros para atuação em locais específicos

Abertura de vagas para graduação e residência médica em determinadas especialidades

Assistência Social

“A assistência social será prestada a quem dela necessitar,

independentemente de contribuição à seguridade social”

Programa Bolsa Família

Incentivo financeiro para a capacitação de funcionários para o cadastramento e acompanhamento das famílias

Transferência financeira para pagamento de benefícios do Bolsa Família

Objeto dos estudos de Avaliação de Políticas Públicas

Política

Programa

Projeto

Princípios fundantes, ações gerais e perenes

Ações/intervenções específicas, com prazos,

recursos, objetivos, parcerias e população alvo definidos,

responsabilidades delimitadas

Ou seja: referências mais precisas para balizar avaliações

Importante: as intervenções objeto de avaliação podem ser de tempo determinado ou de médio prazo/permanentes

Objeto dos estudos de Avaliação de Políticas Públicas

Objeto de estudo avaliativo e questão federativa

Adoção do formato político-

administrativo federativo

Diferenças (regionais, geográficas, étnicas,

culturais)

resposta objetiva

Preservar a unidade respeitando as diferenças, repartindo competências

entre os entes federados (e esferas de tributação)

Em qualquer avaliação de políticas públicas

É necessário mapear:1) Responsabilidades definidas no arcabouço legal

2) O desenho específico de determinada política em termos de atribuições dos diferentes entes, incluindo possíveis sobreposições ou “vazios de responsabilidade”

Objeto dos estudos de Avaliação de Políticas Públicas

Elementos mapeados na literatura

Finalidades da avaliação

1) Avaliação diagnóstica de políticas públicas

2) Subsídio à gestão de políticas públicas

3) Produção de conhecimento científico

4) Accountability

4.1) Avaliação de conformidade

4.2) Avaliação de adequabilidade das ações de gestão (economicidade, conteúdo)

4.3) Avaliação institucionalizada em órgãos gestores

5) Empoderamento

6) Advocacy

7) Outras formas de uso político

8) A avaliação como um substituto do processo de precificação via mercado

Finalidades da avaliação

1) Diagnóstico

Determinantes de um problema ou necessidade:

principais causas, contexto em que

ocorre, caracterização dos

grupos populacionais atingidos

Avaliação quanto

+

No Brasil, pouco comum enquanto pesquisa avaliativa sistemática; Capacidade de diagnóstico interna aos órgãos públicos muito heterogênea (ministérios, secretarias e níveis de

governo); Exigência relativamente comum de órgãos centrais no processo de formulação/implementação de políticas

públicas (Ministérios/Secretarias ligadas ao Planejamento, Fazenda/Finanças, Casa Civil); Particularmente enfatizada por órgãos financiadores multilaterais (Banco Mundial, BIRD, Banco

Interamericano de Desenvolvimento, BID).

À adequabilidade de diferentes alternativas (de política, de desenho, de estratégia)

Aos recursos necessários (financeiros, parcerias, ações etc.)

Ao público-alvo candidato a se beneficiar da intervenção

2) Subsídio à gestão de políticas públicas

A avaliação como “modalidade de pesquisa que visa a atender às demandas informacionais dos

‘administradores de programas’”

Apoio à identificação do público-alvo

Identificação do cumprimento de padrões mínimos de qualidade (de um serviço, um processo)

Identificação de erros de concepção, problemas de desenho da estratégia ou de condução da intervenção

Fornecimento de elementos para fundamentar a adoção de medidas corretivas;

Finalidades da avaliação

2) Subsídio à gestão de políticas públicas (continuação)

Controle do cumprimento de metas

Identificação / mensuração de resultados obtidos e de impactos junto à população

Aprimoramento da gestão dos programas/projetos via aprendizado institucional;

Apoio à tomada de decisão quanto à continuidade do programa/projeto;

Finalidades da avaliação

O subsídio à gestão pública é a justificativa mais frequentemente apontada como finalidade da avaliação de políticas públicas. A

produção de conhecimento “sem aplicabilidade prática” é apontada como o risco do trabalho dos pesquisadores avaliadores

Discussão específica a partir do texto do

Jannuzzi

2) Subsídio à gestão de políticas públicas (continuação)

Avaliação para melhorar a eficiência do gasto público (mapeamento de desperdícios, possibilidade de ganhos: Desafio: adaptar a lógica privada aos constrangimentos da gestão pública

Avaliação de qualidade dos produtos/serviços. Exemplo: mistery shopping

Finalidades da avaliação

3) Produção de conhecimento científico

É comum um pesquisador ou uma

entidade ter uma visão sobre um tema de

política pública

Pesquisa avaliativa = pesquisa aplicada que pode gerar conhecimento científico

“programas de transferência de renda, tipo Bolsa Família, criam comportamentos de acomodação e dependência”

Ou, “programas de transferência de renda vinculados à mulher chefe de família contribuem para a emancipação feminina”

Ou, “a prestação de serviços públicos por entidades privadas é mais eficiente do que em órgãos geridos pelo Estado”

Muito frequentemente pesquisas avaliativas são

realizadas para responder a esse tipo de questão “finalística” das políticas públicas, ou a identificar problemas

típicos da gestão pública

Finalidades da avaliação

4.1) Avaliação de conformidade dos atos da gestão pública em relação a regras jurídicas e contábeis (órgãos de controle)

Formal legal

Formal contábil

Fiscal (p. ex. Lei de Responsabilidade Fiscal)

Processo de implementação das

políticas públicas

Obs.: Tipo pouco explorado nos manuais de avaliação de políticas públicas.Formato da avaliação: auditoria

Posteriormente os órgãos de controle

verificam a conformidade

(Tribunais de Contas e órgãos de

Controle Interno)

4) Accountability É um princípio orientador da gestão pública que envolve prestação de contas, transparência e responsabilização

(elemento de exercício do controle social)

Finalidades da avaliação

Recomendações obrigatórias (não

simplesmente sugestivas)

4.2) Avaliação da adequabilidade da ação dos governos em relação às políticas públicas (órgãos de controle)

Qualidade, celeridade, menor custo na prestação

de serviços/trato com bens públicos

4) Accountability (continuação)

Economicidade

Forma e conteúdo da

política pública

Coerência da intervenção, análise da adequabilidade

dos mecanismos utilizados (cadastros, critérios, parcerias),

adequação ao espírito geral da política

Critérios, referências de avaliação

Finalidades da avaliação

Como elemento de transparência / divulgação institucional de governos

Avaliações “positivas” tendem a ser mais

comuns

Divulgação institucional da ação de governo

Sistemas institucionalizados de avaliação (“termômetros”

controversos)

Educação, Saúde: indicadores avaliativos que

sintetizam e ranqueiam

Avaliação em processo de institucionalização

Ministério do Desenvolvimento Social:

inovação institucional

4.3) Avaliação institucionalizada em órgãos gestores de políticas

Finalidades da avaliação

4) Accountability (continuação)

5) Empoderamento Avaliação como processo que dá voz a indivíduos envolvidos

com uma política pública específica

Da expressão em inglês “empowerment”: capacidade de indivíduos ou grupos de escolher, definir, reivindicar cursos de ação (no caso pública) que interfiram

em suas vidas

Burocracia de médio escalão

Burocracia do “nível da rua”

Usuários

Parceiros privados

Finalidades da avaliação

6) Advocacy

Grupos de interesses variados, incluindo entidades de defesa

de direitos, grupos de usuários, atividade de lobby (influência em espaços decisórios) para

empresas, ONGs

7) Outras formas de uso político

Propaganda política, instrumentalização de

posicionamentos políticos, discussões no legislativo etc.

Usos raramente mencionados nos

manuais de Avaliação de Políticas Públicas

A explicitação da noção de interesse se choca com a pretensa

neutralidade da avaliação

Finalidades da avaliação

8) Avaliação como um substituto do processo de precificação de mercado

Visão de que os serviços públicos não contam com um mercado competitivo de oferta de

similares, que fornece informação sobre qualidade e eficiência

Costa & Castanhar (2003). Avaliação de programas públicos: desafios conceituais e

metodológicos

Finalidades da avaliação