11

Avaliação de Resultados –

A Experiência do Governo Federal

Avaliação de Resultados –

A Experiência do Governo Federal

Pedro Antonio Bertone Ataide

Programa Avançado Em Gestão Pública ContemporâneaGOVERNO DO ESTADO DE SÃO PAULO

CASA CIVIL – EGAP/FUNDAP

São Paulo – Novembro/04

Pedro Antonio Bertone Ataide

Programa Avançado Em Gestão Pública ContemporâneaGOVERNO DO ESTADO DE SÃO PAULO

CASA CIVIL – EGAP/FUNDAP

São Paulo – Novembro/04

22

Avaliação - Avaliação - ContextualizaçãoContextualização

Debate sobre a Reforma do Estado intensificado nos anos 70 Debate sobre a Reforma do Estado intensificado nos anos 70 nos países desenvolvidos e a partir dos anos 90 no Brasilnos países desenvolvidos e a partir dos anos 90 no Brasil

Princípios Gerais – Aumento da eficiência, melhoria da Princípios Gerais – Aumento da eficiência, melhoria da qualidade na prestação de serviços, aumento do controle qualidade na prestação de serviços, aumento do controle social e da transparência, combate ao patrimonialismo, social e da transparência, combate ao patrimonialismo, ao clientelismo e à corrupção.ao clientelismo e à corrupção.

Avaliação na experiência internacional - tendência à Avaliação na experiência internacional - tendência à incorporação, ainda que em ritmo lento, da integração incorporação, ainda que em ritmo lento, da integração dos resultados da avaliação às práticas de gestão e ao dos resultados da avaliação às práticas de gestão e ao processo de tomada de decisão. (Morgan processo de tomada de decisão. (Morgan et alet al).).

Experiência brasileira nos anos 90 - incorporação de Experiência brasileira nos anos 90 - incorporação de diversas modalidades e experiências de avaliação, sem a diversas modalidades e experiências de avaliação, sem a efetiva integração às práticas de gestão e ao processo efetiva integração às práticas de gestão e ao processo decisório nas organizações.decisório nas organizações.

33

Avaliação – Conceitos e Avaliação – Conceitos e TipologiasTipologiasAvaliação - Definições e abrangência

diferenciadas4 grandes tipos, classificáveis, segundo Cohen

e Franco:• Quanto ao momento em que se realiza

• Quanto aos seus propósitos/finalidades;

• Quanto aos avaliadores

• Quanto ao objeto da avaliação

44

Avaliar Para quê?Avaliar Para quê?

• Apoiar decisões sobre alocações de recursos

• Promover a melhoria da gestão

• Contribuir para o processo de aprendizagem organizacional

• Melhorar a qualidade dos serviços públicos

• Aumentar a accountability

• Auxiliar no controle

55

Desafios a serem enfrentados na Desafios a serem enfrentados na concepção de modelos de concepção de modelos de avaliação (OCDE/PUMA)avaliação (OCDE/PUMA)

1) Obtenção do apoio dos dirigentes;

2) Geração de demanda efetiva por avaliação;

3) Estabelecimento de expectativas realistas;

4) Sistematização das atividades de avaliação;

5) Articulação entre a avaliação e o processo orçamentário;

6) Escolha do(s) avaliador(res) correto(s);

7) Planejamento das atividades de avaliação;

8) Realização com timing adequado;

66

Desafios a serem enfrentados na Desafios a serem enfrentados na concepção de modelos de concepção de modelos de avaliação (OCDE/PUMA)avaliação (OCDE/PUMA)

9) Orientação para a satisfação das necessidades dos usuários da avaliação;

10) Busca da garantia de sua relevância;11) Envolvimento dos interessados;12) Garantia da qualidade metodológica;13) Emissão de juízos e recomendações;14) Divulgação adequada de seus resultados;15) Monitoramento adequado de seu processo;16) Identificação das necessidades das equipes em

capacitação e suporte.

77

Descentralizada

Por responsabilidades

Contratualizada com metas de desempenho

Orientada para resultados na sociedade

Porque Monitorar e Avaliar ?Porque Monitorar e Avaliar ?

Parte Integrante da nova Gestão Pública

88

Avaliação subsidiando a alocação de recursos Avaliação subsidiando a alocação de recursos

Passar do orçamento incremental para o orçamento por desempenho:

• Sair de uma cultura orientada pelo gasto para uma cultura orientada pelo resultado (gastar com qualidade e eficiência)

O problema central nos orçamentos não é o conflito distributivo e sim a forma de arbitragem (importância do Plano Plurianual e da avaliação)

99

MonitoramentoMonitoramento

Gerente de programa

SIGPLAN

Registro do desempenho físico

Gestão de restrições

SAM e SPI

Gerenciamento em rede

2000 2001 2002 2003

Registro de desempenho

físico37% 49% 68% 59%

1010

Desafios da AvaliaçãoDesafios da Avaliação

Criar um sistema de monitoramento e avaliação que:

Gere conseqüências

Admita a diversidade de avaliações, considerando diretrizes gerais

1111

Desafios do sistema de monitoramento e avaliaçãoDesafios do sistema de monitoramento e avaliação

Elevar o valor da avaliação para a gestão

Adaptar a avaliação às expectativas dos decisores

Focalizar a comunicação dos resultados

Compromissar o avaliador e o gestor com a mudança

Reduzir resistências: informação riscos/oportunidades

1212

Desafios do sistema de monitoramento e avaliação do PPADesafios do sistema de monitoramento e avaliação do PPA

Aumentar o grau de participação – avaliação como instrumento de diálogo com a sociedade civil - escuta

Elevar a capacidade de avaliar

• Formação de avaliadores

• Certificação de avaliadores

• Fortalecimento da capacidade institucional dos entes subnacionais

1313

Sistema de Monitoramento Avaliação do Plano Plurianual:Sistema de Monitoramento Avaliação do Plano Plurianual:

Várias modalidades de avaliação integradas

ao ciclo de gestão do gasto

Comissão de Monitoramento e Avaliação

•Representantes de órgãos do Poder Executivo

•Definição de regras gerais

Unidade de Monitoramento e Avaliação

•Apoio à avaliação e ao monitoramento dos

programas

•Definição de regras específicas

Abordagem participativa da Avaliação

1414

Eficiência, Eficácia e

Efetividade da Gestão Pública

Eficiência, Eficácia e

Efetividade da Gestão Pública

Organizações

OrganizaçõesProgra

mas

Progra

mas

R

Humanos

R

Humanos

Objetos do sistema de monitoramento e avaliação

Objetos do sistema de monitoramento e avaliação

1515

Sistema de Monitoramento Avaliação do Plano Plurianual:Sistema de Monitoramento Avaliação do Plano Plurianual:

COMISSÃOCOMISSÃO

Comitê de

Avaliação do

Programa

Comitê de

Avaliação do

Programa

Comitê de

Avaliação do

Programa

Comitê de

Avaliação do

Programa

Avaliação CONVIVER (Grupo Coordenador:

S. Civil; MI; Academia)

Comitê de

Avaliação do

Programa

1616

Processo de aferição periódica dos resultados e da aplicação dos recursos;

Princípio de auto-avaliação conjugado à análise da Comissão de Avaliação;

Avaliação Anual: nível mínimo de avaliação;

Avaliação de programas selecionados - complementar ao processo de avaliação anual;

Processo Participativo: Construção coletiva das soluções;

Prestação de contas à sociedade;

Avaliação do PPAAvaliação do PPA

1717

Etapas e Instâncias da Avaliação Etapas e Instâncias da Avaliação

Avaliação doPrograma:• Resultados • Concepção • Implementação

Avaliação Setorial:

• Resultados• Concepção do conjunto de programas• Gestão

Avaliação do Plano: • Cenário Macroeconômico• Desafios do Plano• Gestão do Plano

RELATÓRIO ANUAL DE AVALIAÇÃO DO PPA

Gerente Ministério SetorialMinistério do Planejamento

Avaliação anual do PPAAvaliação anual do PPA

1818

Avaliação de Programas SelecionadosAvaliação de Programas Selecionados

Características Gerais:

Avalia processo e impactos dos programas;

Avaliação externa, com participação do

grupo coordenador e das equipes dos

programas.

1919

Melhoria da qualidade das informações

Aumentar o grau de controle social

Aumentar a efetividade dos programas

Avaliação ParticipativaAvaliação Participativa

FinalidadeFinalidade

Implantação gradual

Grupo seleto de programas

Multidimensional: setorial e territorial

Como ?Como ?

2020

Planos de AvaliaçãoPlanos de Avaliação

O Plano de Avaliação reflete a estratégia

de avaliação adotada para o programa,

definindo no mínimo:

Quais avaliações serão realizadas; Financiamento; Periodicidade; Informações necessárias; Canais de participação social; Aplicação dos resultados.

2121

Ciclo de Planejamento Ciclo de Planejamento

Impacto nana Sociedade

Revisão dos

Programas Monitoramento

Execução

dos Programa

Planejamento

expresso em Programas

Problema ou Demanda daSociedade

Avaliação

21

Participação

Participação

2222

Monitoramento e Monitoramento e ArticulaçãoArticulaçãoGestão de Programas Estratégicos – Metas Presidenciais.Processo de definição das metas presidenciais

• A pedido do PR foram definidas em processo participativo, sob a coordenação conjunta da CC/PR e do MP

• Definição das metas prioritárias dos órgãos setoriais considerou as orientações das Câmaras de Governo, a preocupação com a geração de empregos e com impactos espacialmente distribuídos

• Metas de duas naturezas – com impacto orçamentário ou de natureza político/institucional

• De uma primeira relação de iniciativas prioritárias (273) foram selecionados um conjunto de prioridades máximas para 2004 (45) nas áreas de desenvolvimento sustentável e emprego, combate à pobreza, inclusão social, infra-estrutura, inserção soberana, gestão do Estado, combate à corrupção e democracia e diálogo.

2323

Monitoramento e Monitoramento e ArticulaçãoArticulaçãoGestão de Programas Estratégicos – Metas Presidenciais.

Processo de monitoramento das metas presidenciais - Tem o objetivo de acompanhar os resultados e apoiar no equacionamento dos entraves

• Monitoramento em 2 fases – Na 1ª fase o monitoramento das metas prioritárias, incluindo numa 2ª fase as demais metas presidenciais

• Monitoramento integrado Casa Civil/MP evitando redundâncias, pactuado por meio de oficinas com a participação de todas as áreas envolvidas na implementação da meta

• Tem como instrumento o “SIGSAM” e como usuários a Presidência da República, a Coordenação de Governo, Ministros e gerentes das Metas Presidenciais

• Uso intensivo das Câmaras de Governo como espaço de identificação de entraves e oportunidades na implementação das Metas

• Integração à Junta de Execução Orçamentária-Financeira, garantindo tomada de decisão de natureza alocativa baseada na efetividade do gasto