secretaria de estado do meio ambiente –sema-mt -em defesa ... · instituto brasileiro de...

Secretaria de Estado do Meio Ambiente – SEMA-MT

- Em defesa da meio ambiente –

Instituto Brasileiro de Administração para o Desenvolvimento – IBRAD

Curso de Avaliação e Monitoramento de Políticas Públicas

01-12/12/2008 – Cuiabá - MT

Monitoramento de Políticas PúblicasMonitoramento de Políticas Públicas

A civilização de um povo é medida pela forma como este trata suas fontes de vida: a terra, a água e o ar”

Elias Araújo

Planejamento, Monitoramento e Planejamento, Monitoramento e Avaliação de Políticas PúblicasAvaliação de Políticas PúblicasFerramentas e Metodologia:O Planejamento Situacional: Carlo MatusConceito: É uma iniciativa e atribuição de quem governa (gerencia) que busca organizar as ações, de forma lógica e sistêmica, orientada por e para uma visão de futuro.

Premissa: a) Considera as mudanças: O planejamento é um processo dinâmico de mediação entre o conhecimento e a ação, e deve ser continuamente reconstruído, de modo a responder às mudanças da realidade, sem perder o foco no futuro desejado, pelo uso permanente dos mecanismos de acompanhamento e controle.

Planejamento PúblicoPlanejamento Público

Planejamento Situacional – Carlos MatusPremissas:

b) Incorpora dimensão política: o planejamento situacional propõe que, entre as condições para se mudar uma realidade, além dos recursos técnicos, financeiros, propõe que, entre as condições para se mudar uma realidade, além dos recursos técnicos, financeiros, materiais e institucionais, é preciso considerar as diferentes interesses específicos, visões da realidade e perspectivas dos atores envolvidos, bem como os espaços e relações de poder, naquilo que possa representar resistência ou apoio às ações e à construção do futuro.

Planejamento PúblicoPlanejamento PúblicoPlanejamento Situacional – Carlos Matus“Momentos” não seqüenciais do Planejamento Matusiano:� Explicativo: foco no que é, nas causas e origens de uma realidade para

identificar oportunidades e soluções; (pressão, estado)� Normativo: foco no devir, pela definição formal dos problemas e das

ações que, considerando diferentes cenários, possam promover as mudanças desejadas da situação inicial à situação-objetivo (estado-mudanças desejadas da situação inicial à situação-objetivo (estado-resposta)

� Estratégico: foco nos obstáculos econômicos, políticos e institucionais-orgnizacionais que precisam ser superados, de modo que as mudanças se efetivem; (forças motrizes-pressão-estado-respostas)

� Tático-Operacional: foco na quantificação do que é e do que se pretende mudar, com o dimensionamento das ações , e da capacidade de avaliar e corrigir continuamente a linha de atuação, bem como pelo emprego dos recursos disponíveis. (resposta-pressão-estado-resposta)

Planejamento PúblicoPlanejamento PúblicoDificuldades no estabelecimento dos parâmetros e modelos de planejamento público:

� Complexidade das questões envolvidas;

� O grau de subjetividade, envolvendo valores, princípios, � O grau de subjetividade, envolvendo valores, princípios, crenças e culturas diferentes

� A diversidade de atores sociais, econômicos e políticos que interagem na implementação das políticas públicas

� O caráter multidisciplinar das ações de políticas públicas

Planejamento PúblicoPlanejamento Público

Desafios do Planejamento Público:� Como avaliar diferentes programas, com diferentes atores (públicos e privados), com diferenciados objetivos?

� Como os gerentes de governo e a sociedade usuário � Como os gerentes de governo e a sociedade usuário final podem avaliar o impacto dos programas?

� Como preparar e motivar os servidores envolvidos no planejamento e execução para produzirem informações úteis sobre o andamento dos programas?

� Como selecionas as informações que sirvam para avaliar e mudar a realidade?

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoPERIODO OCORRÊNCIA/FOCO INSTRUMENTO/

PROCESSOSINSTITUCIONALIDADE

1950/1960 Suécia e Alemanha – avaliação voltada ao planejamento e programação

Avaliações prévias ad hoc,Relatórios

Governo:Comissões, órgãos de pesquisa e agências

1970/1980 Noruega,Holanda, Reino Unido, Suécia – foco na distribuição dos recursos e nos resultados,

Avaliação/processo orçamentário/ relatório anual de desempenho e resultado/

Governos e Parlamentos

dos recursos e nos resultados, sem ênfase nos impactos

de desempenho e resultado/ revisão

1980/1990 Holanda – Finlândia: foco em processos e resultados e reformas do setor público

Avaliações ex ante, intermediárias e ex-post, internas e externas , no nível dos ministérios

Ministério da Fazenda e Tribunal de Contas

União Européia – difusão dos instrumentos , foco no orçamento, e resultados (desempenho)

Avaliações ex-ante, ex-post . Plano anual de avaliação, Demonstrativos financeiros e avaliativos, manuais, Structural Funds, periódicas plurianuais

Ministérios, gerências, órgãos executoresÓrgão de controle e avaliação interna e externa

1990/2000 Inglaterra, OCDE – foco gerencial em produtos e resultados, reformas da administração pública

Taylorismo, toyotismo e Balanced Scorecad, Planos, relatórios.

Ministérios, agências, gerências equipes

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública GerencialContexto: Desmoronamento do Bloco Soviético, Fim da Guerra Fria, crise do Welfare State, revolução tecnológica (informatização/robotização), nova era de globalização, marcada pela transnacionalização dos capitais e empresas, e pela virtualização da comunicação em escala planetária (aldeia global).

Precedentes: Thatcherismo – InglaterraPrecedentes: Thatcherismo – InglaterraParadigma: Estado Mínimo (regulação e controle), neoliberalismo e fundamentalismo de mercadoPressupostos: reforma do Estado, privatização, agencificação, clientelizaçãodos cidadãos; redução dos direitos à bens e serviços; separação (físico e funcional) entre política e administração, entre processo de tomada de decisão (ministérios) e execução administrativa das decisões (agências não subordinadas a ministérios e terceirização). O estado não é mais o garantidor de direitos (que se flexibilizam e precarizam),porém um prestador de serviços que o mercado não tiver interesse em ofertar.

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública GerencialReforma da Administração PúblicaModelo Westminster de reformas: Inglaterra (Reino Unido, Canadá, Nova Zelândia e Austrália)– Inglaterra (Tatcherismo), principais dimensões:� redução do poder do serviço público civil para que o aparato estatal � redução do poder do serviço público civil para que o aparato estatal responda mais rapidamente às decisões políticas;� adoção das prática gerenciais do setor privado para promover a economia e a eficiência no governo;� cidadãos, como clientes, passam a ter mais liberdade quanto a entrega dos serviços públicos, em contraposição ao controle e dominação do Estado (orçamento participativo)� substituição do modelo burocrático (hierarquia, controle, cautela e normatização), pelo modelo pós-burocrático (inovação, flexibilidade, menos controle estatal, competição, aprendizagem contínua, qualidade de serviços e orientação para os resultados

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública GerencialModelo Westminster de reformas: Nova Zelândia (Reino Unido, Canadá e Austrália)

Estágios:1. (1978/1985) – introdução das práticas gerenciais privadas na

administração pública;

2. (1986/1991) – abordagem de livre mercado à gerência do governo: contratualização, competição e estímulo a interesses individuais);

3. (1992/1996) – adoção de abordagem estratégica, para promover a visão ampla dos programas e fazer face a fragmentação advinda da etapa anterior;

4. (1997/........) – prioridade em desenvolver potencialidades, em especial dos recursos humanos.

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública GerencialModelo Westminster de reformas: Austrália (Canadá,Reino Unido e Nova Zelândia)Principais características:� (1980 – 1990) - a estratégia de avaliação integrada à gestão e o � (1980 – 1990) - a estratégia de avaliação integrada à gestão e o planejamento das organizações e programas foram integrados à reforma da administração pública;

� Avaliação dos programas a cada 3 ou cinco anos;� Avaliações conduzidas pelo próprios gerentes de programas, orientadas à gestão de desempenho, e sob a coordenação dos pelos responsáveis pela alocação dos recursos;

� Avaliação associado ao processo orçamentário, sendo eficácia dos programas o critério para a alocação dos recursos;

� Ministério da Fazenda coordena os órgãos de governo no processo de avaliação e Auditoria Geral interfere nas atividades.

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública GerencialModelo Westminster de reformas: Austrália (Canadá,Reino Unido e Nova Zelândia)Razões do sucesso da avaliação:� Reformas no setor público voltada aos resultados finais;� Reformas no setor público voltada aos resultados finais;� Exigência de avaliação adotada pelo primeiro escalão;� Apoio de ministérios-chave;� Redes de avaliadores e unidades centrais de avaliadores nos ministérios; e

� Planejamento, coordenação, qualidade e bons sistemas de informação sobre o desempenho.

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública Gerencial

Experiência dos Estados Unidos:Governo implementa e Congresso legisla sobre a realização de avaliação em larga escala

General Accounting Office (GAO): órgão assessor do Congresso, realiza General Accounting Office (GAO): órgão assessor do Congresso, realiza auditorias de desempenho e avaliações de programas

Government Performance and Results Act (GPRA,1993): planejamento estratégico e mediação de desempenho – ênfase nos resultados e não nos impactos, tendendo a avaliar instituições ao invés dos programas – planos anuais e plurianuais.

National Performance Review (NPR): ato do governo, visando o melhor funcionamento da máquina pública, visando um menor custo, é focado mais no comportamento da burocracia, do que nas mudanças de estrutura e processos

Best Practices in Performance Measurement: princípios de avaliação –utilidade no processo decisório; tempestividade, relevância e concisão.

Evolução Histórica da AvaliaçãoEvolução Histórica da Avaliação

Nova Administração Pública ou Administração Pública Gerencial

Experiência Latino-Americana

Colômbia (1991): Sistema Nacional de Avaliação da Gestão e Resultados (SINERGIA) – acompanhamento e avaliação de planos nacionais de (SINERGIA) – acompanhamento e avaliação de planos nacionais de desenvolvimento

Argentina (1995): Sistema de Informação, Avaliação e Monitoramento de Programas Sociais (SIEMPRO) – avalia gastos relativamente altos na área social, porém com baixa eficiência e efetividade

Chile (1997): Programa de Avaliação de Projetos Governamentais (PAPG), originado em função de demanda do Congresso, é conduzido pelo Ministério do Planejamento e Secretaria Geral da Presidência da República

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública GerencialA experiência brasileira:Antecedentes:� Decreto-Lei 579/1938 - DASP - Departamento Administrativo do Serviço Público (1938) – primeiro processo de planejamento da reforma administrativa no Brasil, baseado nos princípios da Administração Científica (Taylor, Gant, Ford) e no modelo Weberiano Administração Científica (Taylor, Gant, Ford) e no modelo Weberiano de burocracia.

� Decreto-Lei 200, de 25 de fevereiro de 1967 - “Estatuto da Reforma Administrativa” – define a administração pública direta e indireta; cria o conceito de empresa pública; autoriza a instituição do IPEA; estabelece os princípios da administração pública: 1) Planejamento; II) Coordenação; III) Descentralização; IV) Delegação de competência; e V) Controle; e distingue os níveis de direção e execução.

� Lei 8.031, de 12 de abril de 1990 – Institui o Programa Nacional de Desestatização – PND: autoriza a privatização de empresa de modo a “permitir que a administração pública concentre seus esforços nas atividades em que a presença do Estado seja fundamental para a consecução das prioridades nacionais”.

Evolução Histórica da AvaliaçãoEvolução Histórica da AvaliaçãoNova Administração Pública ou Administração Pública GerencialA experiência brasileira:Constituição Federal de 1988: “A administração pública direta e indireta de qualquer dos Poderes da União, dos Estados, do Distrito Federal e dos Municípios obedecerá aos princípios de legalidade, impessoalidade, moralidade, publicidade e eficiência...” (Art.37)- assegura: “O controle externo, a cargo do Congresso Nacional, será exercido com o auxílio - “O controle externo, a cargo do Congresso Nacional, será exercido com o auxílio do Tribunal de Contas da União” (Art. 71)

- “a manutenção de serviços de atendimento ao usuário e a avaliação periódica, externa e interna, da qualidade dos serviço”. (Art. 37, XXI, § 3.º)

- “A autonomia gerencial, orçamentária e financeira dos órgãos e entidades da administração direta e indireta poderá ser ampliada mediante contrato, a ser firmado entre seus administradores e o poder público, que tenha por objeto a fixação de metas de desempenho para o órgão ou entidade” (Art. 37, XXI, § 8.º)“Leis de iniciativa do Poder Executivo estabelecerão: “I - o plano plurianual; “II - as diretrizes orçamentárias; “III - os orçamentos anuais. (Art. 165)

Nova Administração PúblicaNova Administração PúblicaExperiência BrasileiraMinistério da Administração Federal e Reforma do Estado –MARE- Plano Diretor da Reforma do Estado - PDRAE(1995)� a)"orientação do Estado para o cidadão usuário ou cidadão-cliente;� b)ênfase no controle dos resultados, através de contratos de gestão (ao invés de controle de procedimentos);

� c)fortalecimento e aumento da autonomia da burocracia estatal, organizada em carreiras ou "corpos" de Estado, e valorização de seu trabalho técnico e político de participar, ou "corpos" de Estado, e valorização de seu trabalho técnico e político de participar, juntamente com os políticos e a sociedade, da formulação das políticas públicas;

� d)separação entre as secretarias formuladoras de políticas públicas, de caráter centralizado, e as unidades descentralizadas, executoras dessas políticas;

� e)distinção entre dois tipos de unidades descentralizadas: as agências executivas, que realizam atividades exclusivas do Estado, por definição monopolistas, e os serviços sociais e científicos de caráter competitivo, em que o poder do Estado não está envolvido;

� f)transferência para o setor público não-estatal dos serviços sociais e científicos competitivos;

� g)adoção cumulativa, para controlar as unidades descentralizadas, dos mecanismos (1) de controle social direto, (2) do contrato de gestão em que os indicadores de desempenho sejam claramente definidos e os resultados medidos, e (3) da formação de quase-mercados em que ocorre a competição administrativa;

� h)terceirização das atividades auxiliares ou de apoio, que passam a ser licitadas competitivamente no mercado".

Nova Administração PúblicaNova Administração PúblicaExperiência BrasileiraLei de Responsabilidade Fiscal (Lei Complementar n.º 101 de 04.05.2000)

Art. 1o Esta Lei Complementar estabelece normas de finanças públicas voltadas para a responsabilidade na gestão fiscal, com amparo no Capítulo II do Título VI da Constituição.

§ 1oA responsabilidade na gestão fiscal pressupõe a ação planejada e § 1oA responsabilidade na gestão fiscal pressupõe a ação planejada e transparente, em que se previnem riscos e corrigem desvios capazes de afetar o equilíbrio das contas públicas, mediante o cumprimento de metas de resultados entre receitas e despesas e a obediência a limites e condições no que tange a renúncia de receita, geração de despesas com pessoal, da seguridade social e outras, dívidas consolidada e mobiliária, operações de crédito, inclusive por antecipação de receita, concessão de garantia e inscrição em Restos a Pagar.

Nova Administração PúblicaNova Administração PúblicaExperiência Brasileira

PPA 2000/2003 –Avança Brasil:� Diretrizes Estratégicas da Presidência da República;

� Plano Plurianual

� Orçamento Geral da UniãoOrçamento Geral da União

Programas – Unidade de Gestão:

�Objetivos

�Público-alvo

�Valores

�Prazos

�Metas físicas

� Indicadores

• SIGPLAN – Sistema de Informações Gerenciais e de Planejamento

Nova Administração PúblicaNova Administração PúblicaExperiência BrasileiraPPA 2000/2003 –Avança BrasilEtapas de avaliação:

1 – identificação dos resultados junto à sociedade; análise do

desempenho físico/financeiro; adequação da concepção/execução aos desempenho físico/financeiro; adequação da concepção/execução aos

objetivos do programa – nível gerencial

II – análise dos resultados dos programas à luz das Diretrizes Estratégicas

– ministérios: responsáveis pelo planejamento e gestão das políticas

setoriais

III - análise do conjuntos dos programas à luz das Diretrizes Estratégicas,

a cargo da coordenação do MPOG

Administração Pública Profissional e Administração Pública Profissional e a Serviço do Cidadão a Serviço do Cidadão -- GESPÚBLICAGESPÚBLICA

Decreto 5.378, de 23/02/2005 – institui o Programa Nacional de Gestão Pública e Desburocratização – GESPÚBLICA, com a finalidade de contribuir para a melhoria da qualidade dos serviços públicos prestados aos cidadãos e para o aumento da competitividade do País.

Os instrumentos e abordagens devem:I - eliminar o déficit institucional, visando ao integral atendimento das competências constitucionais do

Poder Executivo Federal;II - promover a governança, aumentando a capacidade de formulação, implementação e avaliação das

políticas públicas;III - promover a eficiência, por meio de melhor aproveitamento dos recursos, relativamente aos

resultados da ação pública;resultados da ação pública;IV - assegurar a eficácia e efetividade da ação governamental, promovendo a adequação entre meios,

ações, impactos e resultados; e V - promover a gestão democrática, participativa, transparente e ética.Art. 3o Para consecução do disposto nos arts. 1o e 2o, o GESPÚBLICA, por meio do Comitê Gestor de

que trata o art. 7o, deverá:I - mobilizar os órgãos e entidades da administração pública para a melhoria da gestão e para a

desburocratização;II - apoiar tecnicamente os órgãos e entidades da administração pública na melhoria do atendimento ao

cidadão e na simplificação de procedimentos e normas;III - orientar e capacitar os órgãos e entidades da administração publica para a implantação de ciclos

contínuos de avaliação e de melhoria da gestão; eIV - desenvolver modelo de excelência em gestão pública, fixando parâmetros e critérios para a

avaliação e melhoria da qualidade da gestão pública, da capacidade de atendimento ao cidadão e da eficiência e eficácia dos atos da administração pública federal.

Administração Pública Profissional e Administração Pública Profissional e a Serviço do Cidadão a Serviço do Cidadão -- GESPÚBLICAGESPÚBLICA

PPA 2004/2007 – Decreto 5.233 de 06/10/2004. Foram mantidos o modelos de gestão, a organização dos programas, as instâncias e o sistema de informações, acrescido de:

� Estratégia participativa na formulação do plano: consultas públicas e Validação pelos 26 Estados e Distrito Federal.

� O titular da Unidade Administrativa à qual se vincula o programa � O titular da Unidade Administrativa à qual se vincula o programa tornou-se o seu gerente, e o titular da unidade a que se vinculam a ação tornou-se seu coordenador

� Criação do Sistema de Monitoramento e Avaliação do Plano Plurianual (SMA), com estrutura integrada ao modelo de gestão:

� Comissão de Monitoramento e Avaliação (UMA), em cada ministério e secretaria especial, com o papel de integrar as várias iniciativas de avaliação, inclusive externa, o sistema de monitoramento.

� PPA 2008/2011 – Decreto 11.623, de 07/04/2008, Decreto 6.60, de 10/10/2008 (Gestão

Administração Pública Profissional e Administração Pública Profissional e a Serviço do Cidadão a Serviço do Cidadão -- GESPÚBLICAGESPÚBLICAPrincípios Básicos da Gestão Governamental

Plano – Diagrama 1:

Situação Problema - Sp Situação Objetivo - So

Intervenção do Estado

Onde a Situação Objetivo (So) final deverá ser melhor

que a Situação Problema inicial (Sp), antes da

intervenção estatal (IE)

IE = Sp < So

Administração Pública Administração Pública -- MTMT

Princípios Básicos da Gestão Governamental

Plano

Quadro 1Relação entre Plano, Programas e Ações

Ação n.m

Programa 1

Ação 1.1 Ação 1.n

Programa n

Ação n.1 Ação n.1


Quadro 2Relação entre os beneficiários

População de Referência

População afetada por um problema específico

Público Alvo População beneficiária postergada

População não afetada

Administração Pública Administração Pública -- MTMTDefinições das Unidades de Planejamento e Avaliação

Política: estágio onde as propostas ganham forma e estatuto, com a

definição de metas, objetivos e recursos. Se transforma em programa

quando a autoridade define uma estratégia de implementação, bem como as

condições iniciais desta.

Plano: Conjunto de programas que buscam objetivos gerais comuns,

ordenando-os e desagregando-os em objetivos específicos, que serão, por

sua vez objetivos gerais ou estratégicos para os programas. O Plano

organiza as ações programáticas em uma seqüência temporal, de acordo

com a racionalidades técnica e as prioridades de atendimento.


Programa: é um instrumento de organização da ação governamental que articula um conjunto de ações que concorrem para um objetivo comum pré-estabelecido, mensurado por indicadores, visando a solução de um problema ou o atendimento a uma necessidade ou demanda da um problema ou o atendimento a uma necessidade ou demanda da sociedade, ou ainda da própria manutenção das atividades do gestão e execução do Estado (programas finalísticos, programas de gestão de políticas públicas e programas de apoio administrativo).


Ações: instrumento de programação que contribui para atender ao objetivo de um programa, podendo ser orçamentária ou não-orçamentária, sendo a orçamentária classificada, conforme a sua natureza, em:

a) Projeto: instrumento de programação para alcançar o objetivo de um programa, envolvendo um conjunto de operações, limitadas no tempo, programa, envolvendo um conjunto de operações, limitadas no tempo, das quais resulta um produto que concorre para a expansão ou aperfeiçoamento da ação de governo;

b) Atividade: instrumento de programação para alcançar o objetivo de um programa, envolvendo um conjunto de operações que se realizam de modo contínuo e permanente, das quais resulta um produto necessário à manutenção da ação de governo;

c) Operação Especial: despesas que não contribuem para a manutenção, expansão ou aperfeiçoamento das ações do governo federal, das quais não resulta um produto, e não gera contraprestação direta sob a forma de bens ou serviços.


Meta: é a dimensão quantitativa, temporal e especial do objetivo, aquilo que efetivamente se quer alcançar com a realização das ações previstas.

Produto: é o resultado concreto das atividades Produto: é o resultado concreto das atividades desenvolvidas pelo programa, podendo ser tanto bens quanto serviços.

Efeito: é o que decorre da influência do programa, estando localizado temporalmente antes do início do programa. Os efeitos são resultados das ações do programa, e podem ser intermediários, ocorrendo durante o programa, ou finais, que são os que perduram após o programa.


Impacto: é o resultado do programa, que pode ser atribuído exclusivamente às suas ações, após a eliminação dos efeitos externos. É o resultado líquido do programa.

Avaliação: é o processo pelo qual se examina, de forma sistemática e Avaliação: é o processo pelo qual se examina, de forma sistemática e objetiva, o programa ou projeto finalizado ou em curso, quanto a sua implementação, desempenho e resultados, com vistas a determinar sua eficiência e eficácia, efetividade (impacto), sustentabilidade e relevância, considerando critérios previamente estabelecidos, e cujas conclusões e recomendações possam servir à prestação de contas junto aos poderes públicos e à sociedade, contribuindo para a melhoria da intervenção do Estado.

Administração Pública Administração Pública -- MTMTAvaliação – Critérios:Eficiência: termo originado nas ciências econômicas, que significa a menor relação custo/benefício para o alcance dos objetivos estabelecidos no programa ou projeto

Eficácia: medida do grau em que o programa ou projeto atinge os objetivos e metas estabelecidos

Impacto: indica se o programa ou projeto tem efeitos (positivos) no ambiente Impacto: indica se o programa ou projeto tem efeitos (positivos) no ambiente externo em que interveio, em termos técnico, econômicos, socioculturais, institucionais e ambientais;

Análise custo/efetividade: similar à análise de custo de oportunidade e ao conceito de pertinência: é feita a comparação de formas alternativas para a obtenção de determinados impactos, para ser selecionada aquela que atenda aos objetivos com menor custo.

Satisfação do beneficiário: avalia a atitude do usuário em relação à qualidade do atendimento que está obtendo do programa ou projeto.

Equidade: procura avaliar o grau em que os benefícios de um programa estão sendo distribuídos de maneira justa e compatível com as necessidades do usuários

Administração Pública Administração Pública -- MTMTAvaliação – padrões de referência:Absolutos: quando as metas estabelecidas por um programa são consideradas como um padrão a ser alcançado e os desvios são registrados e analisados;

Históricos: quando se comparam os resultados de um período com o os obtidos em períodos anteriores;obtidos em períodos anteriores;

Normativos quando é feita comparação de um programa com outros similares ou com programas semelhantes realizados em outros níveis de governo, região ou no exterior;

Teóricos: são os estabelecidos na própria elaboração do programa, sob hipótese dos resultados esperados, dado os recursos disponíveis

Negociados: ou de compromisso, são aqueles que se baseiam em procedimento específico para sua fixação, geralmente decorrendo de acordo entre as partes envolvidas na gestão do programa.


Avaliação – metodologia:

Avaliação de impacto: procura identificar os efeitos produzidos sobre os beneficiários de um programa ou projeto.

Avaliação de metas: (realização de produção ou produto) tem como propósito avaliar o êxito de um programa ou projeto em como propósito avaliar o êxito de um programa ou projeto em relação ao alcance e desempenho de metas previamente estabelecidas;

Avaliação de processos: é uma modalidade que investiga de forma sistemática o desenvolvimento do programa, com o propósito de medir a sua cobertura estabelecer o grau em que está alcançando os beneficiários e, principalmente, acompanhar os seus processo internos.

Administração Pública Administração Pública -- MTMTAvaliação:

Quanto ao tempo: somativa (resultados e impactos – ex-post), formativa (processos - durante) e de marco zero (referência – ex-ante);

Quanto iniciativa ou personalidade quem avalia: interna, Quanto iniciativa ou personalidade quem avalia: interna, externa mista;

Quanto ao envolvimento do público: participativas, particularmente para pequenos projetos, nos quais se prevê a participação dos beneficiários em todas as etapas do programa, que têm, entre outros objetivos, o empoderamento da comunidade.


ConceitosMonitoramento: é um processo contínuo de acompanhamento de variáveis selecionadas para avaliar se o programa está sendo executado como planejado.

� Está focado nos resultados e implica no acompanhamento dos avanços, com vistas a consecução das metas.vistas a consecução das metas.

� É muitas vezes realizada em tempo real, contando com ferramentas computacionais que permitam a coleta e a análise dos indicadores, ou apoiado por entidades externas.

� Sua visão é essencialmente operacional, devendo contribuir para a construção de indicadores táticos e estratégicos, normalmente visualizados no decorrer do programa e suas ações, que dependem da construção de um base estatística confiável.

Revisão: é feita ocasionalmente, para verificar se as ações, medidas e tarefas de um programa contribuem para a sua execução de forma encadeada, com vista correção de rumos e ajustes de recursos.

Administração Pública Administração Pública -- MTMTMonitoramento Revisão Avaliação

Quando é feita?

Continuamente, durante execução

Ocasionalmente, prevista (millestones) ou indicada pelo monitoramento

Ocasionalmente.Na elaboração, de forma periódica, ou após a clonclusão

O que é medido?

Eficiência: uso dos recursos, atividades, resultados e prazos

Eficácia, relevância e impacto imediatoAlcance de propósito

Impacto de longo prazo (sutentabilidade)

Alcance de propósito

Pessoal envolvido

Servidores da organização executora

Servidores de organizaçõesConsultores

Servidores externos à unidade executora ou pessoas externas ao governo

Fontes de informação

Documentos internos –informações e dados gerenciais, relatórios mensais, registros de viagem, atas de reunião

Documento internos e externos

Documentos internos e externos

Usuário do resultado

Gestores, Gerentes,supervisores

Gestores, Gerentes e beneficiários

Gestores, gerentes, público, fiscalizadores

Uso dos resultados

Pequenas mudanças no programa

Mudanças de rumo Alteração nas políticas públicas

Administração Pública Administração Pública -- MTMTO processo de avaliação – Árvore de Problemas

1 Conhecendo os problemas

Descentralização do licenciamento ambiental

Aferição deficiente do impacto das atividades poluidoras

Pouca efetividade do licenciamento, monitoramento e fiscalização

Recurso Humanos Insuficientes

Maioria dos municípios não habilitados para

licenciar

Déficit no licenciamento e monitoramento de empreendimentos

Baixa capacidade de atendimento de emergências com produtos perigosos

Quadro permanente sem capacitação continuada

licenciamento ambiental


A&M – Passo a PassoMetodologia do Planejamento de Projetos por Objetivos - MPPO

Passo 1- Definindo o problema-chave ou a Situação-Problema que se quer mudarSituação-Problema que se quer mudarPrincípio de Pareto: 80% dos fenômenos se originam em 20% das causas, enquanto que as outras causas restantes geram apenas 20% dos fenômenos.

O problema é dado pelo ponto de convergência onde 20% das causas se concentram e voltam a ser dispersar em 80% de efeitos.


A&M – MPPO: Passo a Passo

Passo 1- Caracterização e Hierarquia dos das causas e seus efeitoscausas e seus efeitos

Brainstorm� Princípio de Pareto� árvore de problemas � hierarquização, classificação e encadeamento dos problemas �diagrama de Ishikawa� seleção do problema central


A&M – MPPO: Passo a Passo

Passo 2 – Definindo o objetivo e público alvo

Brainstorm�Árvore de Problemas �Problema central �Brainstorm�Árvore de Problemas �Problema central �identificação, classificação e ordenamento hierárquico dos efeitos � diagrama de Ishikawa� formulação de hipótese � fluxograma/Pareto� definição do objetivo � Árvore de Objetivos � público relevante.


A&M – MPPO: Passo a Passo – Árvore de Problemas

Baixo nível de renda

Baixo nível de produtividade

Altos índices de delinqüência

Baixa inserção no mercado de trabalho

Desagregação familiar

Alta incidência no uso de drogas

Efeitos

Baixo nível educacional dos jovens

Insuficiência do Sistema Educacional

Professores

preparados

Professores mal

preparados

Currículo Inadequado

Baixa oferta Baixa oferta de vagas

Ambiente Familiar não incentivador ao Estudo

importância dada Pouca

importância dada à Educação

Necessidade de trabalhar

precocemente

mercado de trabalho familiar uso de drogas

Problema central

Causas

Árvore de ObjetivoÁrvore de Objetivo

Administração Pública Administração Pública -- MTMTA&M – MPPO: Passo a Passo

Passo 4 – Definindo e Organizando a açãoPrograma: 0177 - CONTROLE DE ATIVIDADES POLUIDORAS

PPA-MT 2008/2011

Ferramenta: 5W1H – Diagrama de Gantt

O quê? Por quê ? Quem? Como? Onde? Quando? Quanto?O quê? Por quê ? Quem? Como? Onde? Quando? Quanto?1528 -Descentralizacãodo licenciamento ambiental de atividadespoluidoras(ação)

Forte centralização das ações de licenciamento, todas realizadas na sede da sema(problema)

Municípios/Prefeituras(público)

Ampliar a capacidade de gestão ambiental dos municípios, partir da descentralização das atividades poluidoras de pequeno porte(objetivo específico da ação), via consórcios

Região VII –Sudoeste(beneficiário direto)

2009?2010?2011?(cronograma)

150.000(recursosdisponíveis)


Passo 5 – Definindo e planejando o monitoramento

Conceito: Indicadores de resultado: definem o sentido e o alcance de um programa (avaliação ex-ante) e medem o sucesso dos objetivos de cada programa (avaliação ex-ante) e medem o sucesso dos objetivos de cada uma de suas etapas (avaliação somativa ex-post)

Indicadores de processo: possibilitam o acompanhamento do desenrolar dos programas e projetos, concentrado no como fazer, visando garantir a eficácia das ações (avaliação formativa durante)

Indicadores de monitoramento: se relacionam com o cumprimento das medidas e tarefas das ações, assumindo uma postura mais operacional



Exemplos:Indicadores de resultado: % de licenciamentos realizados pelos consórcios, em relação ao realizado pelo estado, por ano, considerando consórcios, em relação ao realizado pelo estado, por ano, considerando como referência, os licenciamentos de atividades de pequeno porte realizadas em 2007.

Indicadores de processo: % licenciamentos anual feito pelo consórcio, em relação, às realizadas pelo estado, no mesmo ano.

Indicadores de monitoramento: número de protocolos e termos de cooperação efetivados e com assistência em curso pela SEMA, por ano.



Atribuições dos indicadores

Confiabilidade: distintos avaliadores devem obter os mesmos resultados ao analisar o mesmo programa com os mesmos resultados ao analisar o mesmo programa com os indicadores propostos

Validade: para medir precisamente aquilo que se deseja medir

Adequação: mensurar mudanças quer possam ser atribuídas aos resultados da execução das ações e do programa

Clareza: suficientemente simples e utilizáveis pelos diversos atores

Administração Pública Administração Pública -- MTMTA&M – MPPO: Passo a PassoPasso 5 – Definindo e organizando os indicadoresDescrição: denominação do indicador selecionado

Unidade de medida: padrão escolhido pra mensurar a quantidade ou relação adotada

Índice: valor da apuração de um indicador em determinado momentoÍndice: valor da apuração de um indicador em determinado momento

Data de apuração: data mais recente ou relacionada ao índice

Índice (meta) desejado ao término: valor que se deseja atingir com a execução do programa ou projeto, expresso pelo indicador, ao final do período

Fonte de apuração: setor ou instituição responsável pela apuração e acompanhamento do indicador escolhido

Base geográfica de apuração: menor nível de agregação geográfica de apuração do índice

Periodicidade: frequência com que o índice é apurado e divulgado

Fórmula de cálculo: fórmula matemática e outros esclarecimentos necessários


A&M – MPPO: Passo a PassoPasso 6 – Definindo e organizando os indicadores

Produto: é o bem ou serviço que resulta da ação e se destina ao público alvo.O produto de uma ação orçamentária (projeto ou atividade) deverá ser desagregado em tantos produtos quantos sejam necessários para um bom gerenciamento .gerenciamento .

Meta: é a quantidade de produto que se pretende alcançar com realização de uma ação.

� que produto ou serviço será entregue?

� Quantos produtos ou serviços serão entregues?

� Quem será beneficiado pelos produtos ou serviços?

Meta física: é a quantidade do produto que se deseja obter em um determinado horizonte temporal (cronograma) , expressa na unidade de medida absoluta


A&M – MPPO: Passo a PassoPasso 6 – Definindo e organizando os indicadores

Programa: 0177 - CONTROLE DE ATIVIDADES POLUIDORAS

Objetivo: Realizar o monitoramento e o ordenamento do espaço, licenciando, vistoriando e fiscalizando os empreendimentos com potencial poluidor.poluidor.

Objetivo Estratégico: conservação do meio ambiente e da biodiversidade com o uso e manejo sustentável dos recursos naturais e com diminuição das pressões antrópicas, especialmente sobre a floresta.

Indicador do Programa: 246 - Municípios atendidos pelo licenciamentoAção: 1528 - Descentralização do licenciamento ambiental de atividades poluidoras

Índice Início do PPA: 69 Índice Final do PPA: 139

Data de apuração (22/04/2005) Periodicidade: quadrimestral

Fonte: SUAD/SEPLAN-MT

Base Geográfica: - Fórmula de cálculo

Administração Pública Administração Pública -- MTMTA&M – MPPO: Passo a PassoAção: 1528 – Descentralização do licenciamento ambiental de atividades poluidoras

Objetivo específico: ampliar a capacidade de gestão ambiental dos municípios ,a partir da descentralização das atividades de licenciamentos ambientais das atividades poluidoras de pequeno porte.

Responsável pela ação: Sildemar Ziezkowski

Fonte: PTA 2008 – FIPLAN/SEPLAN/MT

Produtos/serviço Unidade de Medida Meta Física

Consórcio habilitado (ação) Unidade 3

Protocolo de intenções firmado (medida)

Unidade 3

Projeto de descentralizaçãoapresentado aos consórcios (tarefa)

Reuniões ?

Administração Pública Administração Pública -- MTMTPasso 6 – Definindo e organizando os indicadores

Conceitos:

Regionalização das ações: critério para atribuição das metas focado nos beneficiáriosmetas focado nos beneficiários

No caso da Ação 1528 – Descentralização do licenciamento ambiental de atividades poluidoras, a região definida é a Região VII – Sudoeste. Ou seja, abrange os municípios e consórcios desta Unidade de planejamento e gestão no Estado de Mato Grosso.

Administração Pública Administração Pública -- MTMTPasso 7 – O processo de avaliação

Conceitos: Estimativa de custos: de um programa ou projeto consiste no cálculo das despesas em que se irá incorrer quando da execução das ações e na previsão dos valores e datas dos aportes de recursos financeiros que deverão sustentar as despesas. Inclui todas as despesas diretas e deverão sustentar as despesas. Inclui todas as despesas diretas e indiretas.

Análise Custo X Benefício: metodologia permite verificar a pertinência do programa, projeto ou ação, comparando-se os custos com os benefícios econômicos e/ou socais gerados, considerando outros programas, projetos ou ações similares. Pode ser feita ex-ante, para a tomada de decisão, e ex-post, para compor a avaliação.


Passo 7 – O processo de avaliaçãoConceitos: Estimativa de custo mínimo: essa metodologia compara os custos monetários com a possibilidade de alcance eficiente dos objetivos. Não avalias os aspectos qualitativos. Verifica apenas eficiência, sem avaliar a eficácia (resultado ou impacto).eficácia (resultado ou impacto).

Análise Custo X Efetividade (impacto): esta metodologia compara, da mesma forma que a de a de Custo X Benefício, os custos com a possibilidade de alcance efetivo da ação, incluindo balanço da eficiência e eficácia no alcance do objetivo, incluindo os efeitos sobre o público-alvo. É adequada para o exame ex-ante e ex-post.

Administração Pública Administração Pública -- MTMTPasso 7 – O processo de avaliaçãoQuadro 3 – Comparação entre Análise de Custo x Benefício, Análise de Custo Mínimo e Análise de Custo Efetividade

ACB ACM ACE

Termos de Comparação Custos e benefícios Custos (unidades Custos do bem ou Termos de Comparação Custos e benefícios (unidades monetárias)

Custos (unidadesmonetárias)

Custos do bem ou serviço e o impacto produzido

Avaliação do Impacto Sobre a sociedade em seu conjunto

Não considera Sobre o público-alvo e com os objtivos

Quando se aplica ex-ante e ex-post ex-ante ex-ante e ex-post

Critérios de Decisão Relação entre os custos e os benefícios financeiros

Custos do Programaou Projeto

Relação entre os custos e os impactos


Passo 7 – O processo de avaliação – Balancing Scorecard

O BSC estrutura a Organização em quatro perspectivas:

1 – Financeira – trata da gestão dos custos, dos lucros e daaplicação.No Setor Público é a gestão do orçamento.1 – Financeira – trata da gestão dos custos, dos lucros e daaplicação.No Setor Público é a gestão do orçamento.aplicação.No Setor Público é a gestão do orçamento.

2 – Cliente – identifica os segmentos de clientes onde quercompetir e avalia o nível de atendimento e satisfação do cliente.No Setor Público é o atendimento ao cidadão.

3 – Processos Internos– mapeia e prioriza os processos maisimportantes para atingir os objetivos e metas do cliente efinanceira.

4 – Aprendizado e Crescimento – desenvolve a estratégia para oaprendizado e crescimento da equipe para que se possa cumprir osobjetivos das outras perspectivas.

aplicação.No Setor Público é a gestão do orçamento.


Matriz Lógica: este método tem como propósito oferecer uma estrutura lógica comum e possibilitar uma síntese das informações sobre os programas, de seus elementos centrais, e mostrando as relações de causa-efeito entre atividades e resultados. Objetiva, ainda, auxiliar os gestores a definir com maior clareza os objetivos e parâmetros gestores a definir com maior clareza os objetivos e parâmetros necessários para monitorar e avaliar programas e projetos.

O uso deste método visa:

� Analisar a consistência do Programa, pela verificação da lógica entres atividades e objetivos;

� Determinar alcance da responsabilidade dos gestores no caso de insucesso; e

� Evitar falta de clareza na definição dos resultados, que dificulte a possibilidade de comparação e avaliação.


Matriz Lógica ou Marco Lógico: deve ser preenchida de “baixo para cima” e da “esquerda para direita”:

Marco Lógico

Descrição Metas e indicadores

Meios de Verificação

HipótesesLógico indicadores Verificação

Impacto 13 16

Resultados 9 12

Componentes 5 8

Atividades 1 4


Matriz Lógica ou Marco Lógico:

A lógica vertical esclarece a razão pela qual se elabora o programa ou

projeto, enquanto a razão horizontal mostra o que será alcançado e o que deve ser feito para prever o alcance.

Objetivos Indicadores Meios de Verificação

Hipóteses

Finalidade

Objetivo

Componentes

Atividades


Matriz Lógica ou Marco Lógico: Pressupostos

� Primeira hipótese: considera que no desenvolvimento desta técnica certas ações são desenvolvidas permitindo o alcance de um objetivo específico. Para a implementação das ações é necessário estabelecer sua composição: tarefas que permitirão sua estabelecer sua composição: tarefas que permitirão sua implementação, assim como a disposição dos recursos necessários (custo e tempo) e a identificação de cada responsável pela tarefa.

� Segunda hipótese: se os objetivos específicos forem alcançados, as mudanças técnicas, econômicas, sociais ou ambientais serão introduzidas e o objetivo do programa será atingido.


Matriz Lógica ou Marco Lógico: encadeando causas e efeitos

Hipótese Elemento do programa

Indicadores

Objetivo do Programa Indicador de mensuração o objetivo do programao objetivo do programa

Se o objeto específico, então o objetivo do

programa

Objetivo específico Indicador do alcance do objetivo específico

Se ações, então objetivos específicos

Ações Metas físicas

Se tarefas, então ações Tarefas Recursos humanos, materiais, tempo


Matriz Lógica ou Marco Lógico: organizando o programa:

Programa

Elementos do Programa

Indicadores Meios de verificação

Condicionantes

Objetivo do programaObjetivo do programa

Objetivo específico 1

Ação 1

Tarefas da ação 1

Ação 2

Tarefa da ação 2

Ação n

Tarefa da ação n

Administração Pública Administração Pública -- MTMTPasso 10 –Alinhando programa e plano

�Antes de dar início à execução e proceder a avaliação ou o monitoramento, é conveniente verificar a aderência ao plano de governo e, mais uma vez, analisar a consistência do programa ou projeto, para se certificar que é o melhor caminho. Os procedimentos são:caminho. Os procedimentos são:�Aderência: consiste em verificar o alinhamento do programa com as orientações estratégicas do governo, para definição da sua prioridade.

�Validação técnico-científica: superadas todas essas etapas, em estando confiante de que o programa ou projeto merece ser executado, os avaliadores devem começar o processo de coleta e análise das informações, para verificarem a confirmação do que foi planejado.

IBRAD IBRAD –– Instituto Brasileiro de Instituto Brasileiro de Administração para o desenvolvimentoAdministração para o desenvolvimento

Presidente: Newton Lima Braga

Diretora Técnica: Mariza Soares

Elaboração: Elias Araújo

Texto de referência:Monitoramento e avaliação. FIGUEIREDO, Paulo, Ibrad, Brasília, 2007Monitoramento e avaliação. FIGUEIREDO, Paulo, Ibrad, Brasília, 2007

Documentos de apoio

Plano Plurianual 2008-2011. SEPLAN, Governo do Estado do Matogrosso, Cuiabá, 2007.

Avaliação, Monitoramento e Construção de Indicadores. Oswaldo Noman. ENAD, Brasília, 20008

MPPO – Metodologia de Planejamento de Projeto orienta a Objetivo. Rui Pena e Bee-Consulting. www.arvore de problemas.com, 2004

Contatos: IBRAD – SCS, QD. 01, BL. D, n.º 28, SL 22, Ed. JK, 61- 3226 1084 e 3225 2780. CEP 70.306-900 – Brasília –DF, www.ibrad.org.br


Agradecimentos:� Superintendência de Planejamento – SEMA- MT

� Participantes do Curso de Avaliação e � Participantes do Curso de Avaliação e Monitoramento – dezembro/2008

Edição e arte: Elias Araújo

Contatos: [email protected], [email protected]

Por que avaliar e monitorar?Por que avaliar e monitorar?

“O que vemos depende principalmente

do que estamos procurando”

Jonh Lubbock


Obrigado!Obrigado!

secretaria de estado do meio ambiente –sema-mt -em defesa ... · instituto brasileiro de...

Documents