acompanhamento intensivo dos … 19/055 usos da avaliação acompanhamento intensivo dos programas...
TRANSCRIPT
Centro de Convenções Ulysses Guimarães Brasília/DF – 25, 26 e 27 de março de 2014
ACOMPANHAMENTO INTENSIVO DOS PROGRAMAS
ASSOCIADOS PARA A REVISÃO DO PLANO
PLURIANUAL DE PLANEJAMENTO
GOVERNAMENTAL (PPAG)
FERNANDO ANTONIO FRANÇA SETTE PINHEIRO JUNIOR LÚCIO OTÁVIO SEIXAS BARBOSA
CAIO TÚLIO GUIMARÃES DE SOUZA
Painel 19/055 Usos da avaliação
ACOMPANHAMENTO INTENSIVO DOS PROGRAMAS ASSOCIADOS PARA A REVISÃO DO PLANO PLURIANUAL DE PLANEJAMENTO
GOVERNAMENTAL (PPAG)
Fernando Antonio França Sette Pinheiro Junior Lúcio Otávio Seixas Barbosa
Caio Túlio Guimarães de Souza
RESUMO
O Governo de Minas Gerais inova ao adotar uma metodologia para identificar possíveis pontos de melhoria dos programas associados antes do início do processo de Revisão do Plano Plurianual de Planejamento Governamental (PPAG), indicando oportunidades de melhoria. A metodologia realiza uma análise das informações qualitativas dos programas por meio de um questionário de 19 perguntas. Essas estão dividias em quatro eixos: Contexto Institucional e Estratégico; Justificativa do Programa; Lógica da Intervenção e Planejamento e Execução. A aplicação é dividida em três momentos distintos: primeiramente, o avaliador, a partir de seus conhecimentos prévios e das informações do programa disponibilizadas no sistema de planejamento (Sigplan-MG), responde às perguntas; no segundo momento, o avaliador e o responsável pelo monitoramento do programa respondem às perguntas conjuntamente; e, no terceiro momento, todos os envolvidos nas etapas anteriores reúnem-se com o gerente do programa. Todas as perguntas do questionário são repassadas de modo que eventuais informações que sejam de domínio do gerente possam ser complementadas, e de maneira que o gerente possa fazer uma reflexão orientada e mais aprofundada do programa, de maneira a tornar o programa mais robusto, e, consequentemente, possibilita a entrega de melhores resultados para a sociedade.
1 INTRODUÇÃO
O aumento, em quantidade e em poder de expressão e mobilização, de
organizações políticas – grupos de interesse, sindicatos, grupos políticos, imprensa,
entre outros – coloca os governos sob novos desafios. As demandas da população
por intervenções públicas estão cada vez mais diversificadas, e essas organizações
políticas pressionam para que suas demandas sejam incorporadas na agenda
pública do governo. Além disso, o Estado lida com uma realidade de escassez de
recursos, devida à crise econômica mundial de 2008 que tem reflexos até hoje, o
que ocasiona um contexto de restrição orçamentária. A conjugação desses dois
aspectos – aumento das demandas sociais e escassez de recursos – estimula o
planejamento estratégico e exige maior eficiência dos governos. E não apenas
eficiência, mas também efetividade, ou seja, exige-se dos governos que eles
prestem serviços de qualidade.
Assim, um dos grandes desafios da Administração Pública é a
disparidade entre as demandas da população e os recursos disponíveis para
satisfazê-las. Sabendo da impossibilidade de atuar sobre todos os problemas
percebidos pela população, é imprescindível que os escassos recursos do Estado
sejam aplicados de forma eficiente.
Esse desafio motivou a Diretoria Central de Avaliação de Projetos e
Captação de Recursos – DCAP, subordinada à Superintendência Central de
Coordenação Geral – SCCG e a Diretoria Central de Planejamento, Programação e
Normas – DCPNN, subordinada à Superintendência Central de Planejamento
Programação e Normas – SCPPO – ambas da Subsecretaria de Planejamento,
Orçamento e Qualidade do Gasto da Secretaria de Estado de Planejamento e
Gestão – SEPLAG do Estado de Minas Gerais, a desenvolver uma metodologia
capaz de, antes mesmo da implementação de um programa, mostrar se é
potencialmente mais eficiente ao atingir suas metas quando comparado a outras
alternativas de intervenção. Em outras palavras, possibilitar uma escolha racional na
alocação dos recursos para os investimentos do Estado.
Seu desenvolvimento advém do fato de anteriormente não existir
metodologia estabelecida e aplicada para avaliar os programas do governo estadual
de maneira qualitativa antes do início do processo de revisão/elaboração do Plano
Plurianual de Planejamento Governamental (PPAG), isto é, não havia nenhum tipo
de avaliação de desenho, comparação entre alternativas de intervenção e
gerenciamento dos recursos. Não obstante, no âmbito de sua atuação, as Diretorias
constataram a fragilidade na elaboração dos programas de governo, e a
necessidade da estruturação de um PPAG de melhor qualidade, bem como a grande
necessidade de legitimar tecnicamente a decisão relativa à alocação do orçamento.
Além disso, a metodologia está estreitamente alinhada a uma das
finalidades da SEPLAG, disposta no Decreto Estadual nº. 45.794 de 02/12/2011,
qual seja: coordenar a formulação, a execução e a avaliação de políticas públicas,
visando ao desenvolvimento econômico, social e institucional do Estado.
Nesse sentido, este trabalho busca detalhar a metodologia desenvolvida,
intitulada Avaliação Prévia dos Programas Associados do Governo Mineiro, bem
como descrever seus objetivos, forma de implementação e os resultados obtidos a
partir da aplicação de um piloto em cinco Programas Associados.
2 AVALIAÇÃO PRÉVIA DE PROGRAMAS
Conforme se observa na literatura sobre o tema, a avaliação está
intimamente relacionada à transformação da Administração Pública em uma
administração moderna e eficiente, a partir da constatação de que os recursos para
implementar políticas são escassos e que, por isso, é necessário realizar escolhas
acerca das alternativas de intervenção que melhor atinjam seus objetivos com o
mínimo de recursos possível. Nesse sentido, o processo de avaliação envolve os
seguintes aspectos: gestão eficiente dos recursos, disseminação da “cultura de
responsabilidade” entre os gerentes, opinião e percepção dos atores receptores da
política, os efeitos provocados pela política. Portanto, a avaliação não se restringe à
última fase do processo de formulação de políticas públicas; ela deve estar presente
em todas as etapas, “analisando a pertinência e coerência dos problemas, objetivos
e instrumentos levantados, o processo de implementação do programa e seus
resultados” (IDR, 200-, p. 3).
A avaliação de programas, entendida como o exame sintético e objetivo
de um programa, que contemple o seu planejamento e desempenho com vistas à
determinação de sua eficiência, efetividade, impacto, sustentabilidade e a relevância
de seus objetivos, permite guiar os tomadores de decisão, orientando-os quanto à
continuidade, ampliação, necessidade de correções ou mesmo suspensão de uma
determinada política ou programa. A avaliação pode ser classificada, conforme
Cunha (2006), sob diversos critérios, sendo estes: o agente que a realiza, a natureza
de contribuição para o programa e o momento de sua realização.
Com relação ao momento, esta pode ocorrer ex-ante, ex-cursus ou ex-
post. A avaliação prévia é realizada ao começo do programa, com o objetivo de dar
suporte à decisão de implementá-lo ou não, e ordenar as alternativas segundo sua
eficiência para alcançar os objetivos determinados. Para esta avaliação podem ser
utilizadas as técnicas de análise custo-benefício e análise custo-efetividade, mais
afeita aos programas sociais.
A avaliação prévia para programas da iniciativa pública já é realizada em
outros países da América Latina e é incentivada por instituições multilaterais de
auxílio internacional, como o Banco Interamericano de Desenvolvimento - BID, o
Banco Mundial e a Comissão Econômica para América Latina e Caribe - CEPAL.
Para tanto, os governos nacionais de países como Chile, Peru e Colômbia
desenvolveram ao longo das últimas décadas, sistemas nacionais de avaliação de
programas de investimentos, contemplando, inclusive, a análise de programas de
outras esferas de governo e, até mesmo, incentivando este tipo de análise na
iniciativa privada.
Em Minas Gerais, a avaliação prévia vem sendo implementada,
gradualmente, desde 2010. O marco regulatório que institucionalizou a avaliação
prévia foi o Decreto de Programação Orçamentária e Financeira de 2012, o qual
exigia que os projetos de convênios com o Governo Federal acima de cinco milhões
fossem avaliados.
3 A METODOLOGIA DE ELABORAÇÃO DE PROGRAMAS NO PPAG MINEIRO
Ao se pensar no planejamento de uma política pública, deve-se pensar de
que maneira a política pública irá atender ao interesse público, ou seja, como o
programa objetiva atender uma necessidade e/ou combater um problema, visando
aumentar o bem estar da população beneficiada por ele. O Estado busca atender as
demandas e/ou resolver os problemas enfrentados pela sociedade através da
elaboração de diversos programas, que irão integrar o Plano Plurianual (PPA).
De acordo com o Manual de Revisão do PPAG (MINAS GERAIS, 2012, p.21), o
programa:
é o instrumento de organização da ação governamental, visando ao enfrentamento de um problema, sendo mensurado por indicadores estabelecidos no plano plurianual. O programa resulta do reconhecimento de carências, demandas administrativas, sociais e econômicas e de oportunidades (...)
Assim, antes de se pensar no planejamento no setor público, faz-se
necessário definir as áreas de intervenção de cada programa. Segundo o Manual de
Monitoramento do PPAG 2012-2015 (MINAS GERAIS, 2012), ao se pensar uma
política pública, deve-se fazer uma análise rigorosa da situação-problema, de
maneira a saber qual o melhor desenho do programa a ser adotado. Existem
diversos instrumentos para se efetuar essa análise. Um dos mais largamente
difundidos, inclusive pelo método do Marco Lógico é a árvore de problemas.
Para iniciar a construção dessa árvore é necessário determinar o foco de
análise ou o problema central, possibilitando clareza sobre a situação problemática e
sua abrangência. Estabelecido o foco, passa-se ao levantamento e à ordenação dos
problemas, considerando a relação de causalidade entre eles. Dessa maneira, deve-
se abstrair sua essência e suas causas críticas - quais processos ou fatores
contribuem para o surgimento, manutenção ou expansão do problema - e principais
efeitos que são as consequências decorrentes do problema.
Figura 1 - Árvore de problemas:
Fonte: Elaboração Própria
O diagrama de causa-efeito - árvore de problemas - é um instrumento que
possibilita uma análise dos problemas existentes, com a compreensão de suas
correlações causais. Nele são estabelecidas as ligações mais importantes,
transformando a realidade, que é complexa, numa concepção simplificada a fim de
tornar possível uma ação. A importância de um problema não é dimensionada por
sua posição na árvore. O raciocínio, ao se trabalhar com esse instrumento, é
analítico-causal e não hierárquico.
Ao fazer essa análise, deve-se observar a relevância e a pertinência do
programa, examinado as relações de causa e efeito, sempre considerando qual
parcela da população ou da própria administração pública este busca atingir, que
será o seu público alvo. Assim, o público-alvo é parcela da população que se
beneficia direta e legitimamente com os produtos resultantes de suas ações, ou seja,
é aquela parte da sociedade que sofre os efeitos imediatos do problema que o
programa objetiva resolver. Essa definição é importante, pois afeta diretamente na
delimitação do problema. Uma vez bem delimitado o público-alvo e,
consequentemente, o problema melhor compreendido, melhor delimitada será a sua
incidência, inclusive em termos territoriais, já que um mesmo problema pode se
apresentar de maneira diversa, dependendo de onde está localizado. 1
1 Como exemplo de focalização, tem-se: localização territorial, faixa etária, faixa de renda, gênero, entre outras. Nesse contexto, cabe a discussão sobre a escala mais adequada em que se deve enunciá-lo, uma vez que a abordagem de problemas em escalas muito amplas, por possuir maior grau de complexidade e número de variáveis, dificulta a identificação, hierarquização e o gerenciamento da implementação das possíveis soluções. Por outro lado, uma abordagem muito
Somente a partir da identificação das causas e consequências do
problema é possível propor os objetivos e as medidas que contribuem para a
solução do problema. Assim, o próximo passo é a definição de objetivos, que
consiste no estabelecimento da situação futura desejada, com a solução ou
abrandamento dos problemas atuais. Portanto, a árvore de objetivos é construída a
partir da árvore de problemas. Os objetivos devem ser descritos como algo já
alcançado, refletindo uma situação positiva em contraposição à negativa
estabelecida na árvore de problemas. Quanto melhor identificados os problemas,
causas e consequências, e melhor vinculados aos objetivos, mais evidenciada fica a
estratégia do programa.
A construção da árvore de objetivos obedece a uma relação meio-fim,
substituindo a relação causa-efeito da árvore de problemas. A revisão da árvore de
objetivos deve verificar se os objetivos definidos em níveis inferiores são os meios
necessários e suficientes para a obtenção dos objetivos em níveis superiores. Dessa
maneira, os problemas - estados negativos - são convertidos em objetivos - estados
positivos e, assim, as causas se tornam meios e as consequências se tornam fins.
Por meio da descrição do objetivo/finalidade do programa, é possível
saber quais são os resultados que se pretende alcançar, ou seja, a transformação
da situação-problema objeto da intervenção do programa. O objetivo deve sempre
se reportar ao problema em foco, previamente definido durante a elaboração da
justificativa do programa. Nessa perspectiva, o resultado se relaciona às mudanças
e benefícios esperados com a implementação das ações do programa, refletindo a
efetividade esperada com a sua execução. O objetivo geral da ação deve estar
vinculado ao objetivo específico do programa, e desmembrado em propósitos,
e, consequentemente, em entregas que serão necessárias para se alcançar
esse objetivo.
A partir disso, é possível realizar a análise das alternativas. É o momento
da escolha da estratégia a ser adotada a partir das diferentes relações meios-fins
representadas na árvore de objetivos. Realizada a escolha de quais alternativas
restrita do problema pode levar a uma relação custo/benefício desfavorável à execução, manutenção e gerenciamento do programa. Deve-se ainda explicitar, com a maior precisão possível, as principais causas do problema. Entende-se como causa um fator que contribua para a ocorrência do problema, ou seja, processos ou situações responsáveis pelo seu surgimento, manutenção ou expansão.
serão adotadas é necessário definir como o programa será implementado. Para isso,
deve-se definir como as ações do programa se relacionam, por meio da estratégia
de implementação do programa, e como essas ações irão combater o problema
enfrentado pelo programa, ou seja, o produto a ser entregue pela ação. Dessa
maneira, a finalidade de cada ação deve estar vinculada ao objetivo geral do
programa. As ações são as medidas adotadas pelo governo que contribuem para a
solução do problema, e são entregues à sociedade por meio de produtos (bens,
serviços ou transferências financeira) que irão atuar frente às causas identificadas
como geradoras do problema. Cada ação deve entregar apenas um produto, já que
esse é o resultado último da ação, devendo ser claramente bem definido.
Os resultados de cada programa são mensurados por indicadores. Em
outros termos, o indicador é a maneira de se verificar o alcance do objetivo do
programa (a situação futura desejada pelo governo). Deve ser coerente com o
objetivo do programa, ser sensível à contribuição de suas principais ações e
apurável em tempo oportuno. Portanto, permite a mensuração dos resultados,
demonstrando se o objetivo do programa está sendo ou não alcançado e em que
medida. Como esse objetivo está atrelado a uma situação-problema, encontrada na
sociedade ou na própria administração, reflete a efetividade do programa, embora
não possamos imputar a esse, pura e simplesmente, o comportamento do indicador.
Somente em situações extremas os resultados estão inteiramente sob o controle do
governante ou totalmente fora de sua governabilidade.
O exposto anteriormente nos permite alcançar a seguinte estrutura:
Figura 5 – Relação da árvore de problemas, objetivos e programa
Fonte: Elaboração Própria
4 A METODOLOGIA DE AVALIAÇÃO PRÉVIA DOS PROGRAMAS ASSOCIADOS DO PPAG
Para a avaliação dos programas será utilizado o Framework. Essa
ferramenta vem sendo utilizada para avaliação de convênios desde 2011. Em 2012,
a partir de adaptações pontuais, foram também avaliados alguns programas
estruturadores. Tal avaliação teve como objetivo identificar as necessidades de
adequação da ferramenta à realidade dos programas estruturadores. Para a
avaliação dos programas associados, a ferramenta foi também adaptada, conforme
apresentado a seguir.
A partir dos dados da elaboração dos programas apresentados
anteriormente, é possível realizar a avaliação prévia de desenho dos programas
associados. Para isso, primeiramente é realizada uma análise da relação da árvore
de problemas, objetivos e programa apresentado, que irá subsidiar a elaboração do
Quadro Lógico do Programa. O Quadro Lógico (QL) é uma ferramenta de
planejamento e gerenciamento de programas que tem como objetivo apresentar
informações referentes aos elementos chave do programa de forma clara, concisa,
lógica e sistemática. O quadro é parte do método do Marco Lógico desenvolvido
pela United States Agency for International Development - USAID no final da década
de 1960. Desde então, esta metodologia foi adotada, melhorada e adaptada para
uso de várias outras agências de desenvolvimento e governos ao redor do mundo.
Em suma, o QL é capaz de apresentar de forma resumida as seguintes
informações sobre o programa:
O que o programa pretende alcançar?
Que atividades serão executadas a fim de produzir as entregas e
resultados propostos?
Que recursos serão necessários?
Como o progresso e sucesso do programa serão mensurados e
verificados?
O Quadro Lógico para o Framework sofreu algumas alterações de
maneira a permitir a visualização simplificada, lógica e sistemática dos objetivos que
compõem o programa. Estes objetivos, por sua vez, são representados de forma
hierárquica, sendo o objetivo estratégico, de longo prazo, disposto na parte de cima,
seguido do propósito e das entregas do programa, e, por último, das atividades e
projetos que o compõem.
Os objetivos do programa, hierarquizados, são apresentados na primeira
coluna do quadro lógico. São quatro os níveis hierárquicos do Quadro Lógico do
Framework, a saber:
Objetivo Estratégico – é o objetivo de mais longo prazo, com o qual o
programa pretende contribuir. Esse objetivo pode ser encontrado para
os programas do Governo Estadual mineiro nos objetivos estratégicos
do Plano Mineiro de Desenvolvimento Integrado (PMDI).2
Objetivo do Programa– é um objetivo de médio prazo, conquistado
logo após a conclusão do programa, ou seja, o resultado do
empreendimento. Este resultado, por sua vez, no longo prazo,
associado ao de outras iniciativas, irá contribuir para o objetivo
estratégico.
Entregas do Programa – são os produtos resultantes das ações do
programa.
Projetos/Atividades – referem-se aos trabalhos necessários para a
produção das entregas, sendo necessário indicar a qual entrega cada
atividade está relacionada. No caso dos programas do governo
estadual mineiro, esse item pode ser encontrado na estratégia de
implementação e na finalidade das ações.
A segunda etapa para o preenchimento do Quadro Lógico é a descrição
dos indicadores/produtos de cada nível e, para cada um deles, apresentar o meio de
verificação para sua mensuração. Estes indicadores/produtos representam a
mensuração da mudança pretendida com a implementação do programa, e suas
respectivas ações. Abaixo, o detalhamento de cada uma das células do quadro:
2O Plano Mineiro de Desenvolvimento Integrado (PMDI) consiste em um plano de longo prazo instituído pela Constituição Mineira. Compete ao PMDI estabelecer diretrizes que balizarão a formulação dos demais instrumentos de planejamento
Quadro 1: Estrutura para preenchimento do Quadro Lógico
Fonte: Elaboração Própria
Outra ferramenta a ser utilizada é o questionário, que foi baseado em
metodologias de avaliação posterior de programas que permitem relacionar as fases
de elaboração, planejamento e execução com os resultados obtidos. Neste sentido,
a ideia central por trás do questionário é garantir que critérios mínimos sejam
alcançados na fase de elaboração, uma vez que a qualidade da informação
produzida nesta etapa tem influência direta sobre todas as outras e,
consequentemente, no sucesso do programa.
O questionário foi criado de forma a auxiliar e orientar a elaboração do
programa. As perguntas procuram identificar se o processo de elaboração do
programa e o conteúdo que possibilitou o preenchimento do quadro lógico contém
informações suficientes que respaldarão as fases subsequentes da implementação
do programa. As perguntas, com os seus respectivos critérios e eixos, podem ser
encontradas no Anexo II.
A aplicação do questionário possibilita qualificar os programas e ordená-
los de acordo com a qualidade de seu desenho, baseando-se em critérios concretos.
Dessa forma, a utilização da ferramenta permite determinar as oportunidades de
melhoria no processo de elaboração, possibilitando a adequação do desenho do
programa antes de sua execução.
Hierarquia de Objetivos do Quadro
Lógico
Tipos de Indicadores
Definição
Aplicabilidade nas Fases de
Monitoramento e Avaliação
Ex-post
Objetivo Estratégico
Indicadores de Impacto
Fazem menção a mudanças desejadas na qualidade de vida, situação econômica ou outras melhorias para os beneficiários, referindo-se diretamente ao objetivo geral do programa.
Avaliação de Impacto
Propósito Indicadores de Resultado
Medem as alterações sistemáticas provocadas pelo programa no público-alvo através das entregas.
Avaliação de Processo
Entregas Indicadores de Produto
Referem-se à qualidade, prazo e etc. dos produtos e serviços produzidos pelo programa.
Monitoramento da Execução
O questionário é composto, para a avaliação dos programas associados,
por 19 perguntas, divididas em quatro eixos, Contexto Institucional e Estratégico;
Justificativa do Programa; Lógica da Intervenção e Planejamento e Execução. Cada
pergunta pode ser relacionada com um ou mais eixos e as perguntas dentro de um
eixo podem ter peso diferenciado de acordo com a sua relevância. Cada eixo, por
sua vez, receberá pontuação entre 0 e 100, calculado a partir da média das
questões que o compõem.
No eixo “Contexto Institucional e Estratégico”, a avaliação busca identificar
se há áreas de sombreamento entre o programa estadual e programas de outras
esferas (União e município) ou organizações privadas. Além disso, busca visualizar se
há entregas do programa que são similares a entregas de outros programas sejam
eles governamentais ou privados. Por fim, avalia-se se a legislação pertinente ao
programa está adequada e atualizada. Este eixo é fundamental para avaliar se o
programa ou ações do programa estão sendo duplicados.
No eixo “Justificativa do Programa”, a avaliação proposta permite
identificar se as bases que justificam a execução do programa são sólidas e se o
programa é pertinente e oportuno. Além disso, pretende-se verificar se o programa
é, de fato, o melhor caminho para a solução do problema identificado.
No eixo “Lógica da Intervenção”, pretende-se avaliar o respaldo técnico,
científico e/ou acadêmico que embasa a lógica de execução do programa
selecionado. Pretende-se verificar se existe uma clara correlação entre as ações
propostas e os impactos finais almejados. Avalia-se também a adequação da
classificação da função orçamentária de cada programa.
No eixo “Planejamento e Implementação”, pretende-se avaliar se o
programa possui informações suficientes para que se inicie a fase de planejamento
e execução. Além disso, verifica-se se foram estabelecidas algumas informações
mínimas necessárias para o monitoramento e avaliação posterior do programa.
Um programa que não tenha conseguido nota mínima em qualquer um
dos eixos de avaliação deve ser revisto e melhorado. A ideia principal é que os
programas não sejam reprovados, mas que sejam observadas oportunidades de
melhoria e que estas contribuam para que, ao final da fase de elaboração, tenha-se
um programa mais robusto, contendo as informações pertinentes para as etapas
seguintes de implementação do mesmo.
Cada questão poderá ser respondida com SIM ou NÃO e deverão, na
medida do possível, ser comprovadas documentalmente, evitando, assim, que as
respostas sejam baseadas em fatores subjetivos. A comprovação, por sua vez,
poderá ser ACEITA, ACEITA PARCIALMENTE ou NEGADA. Dessa forma, cada
pergunta poderá receber pontuação: 1 – caso seja respondida como SIM e a
comprovação ACEITA; 0,5 – para resposta SIM e comprovação ACEITA COM
RESSALVA ou; 0 – para resposta NÃO ou para comprovação NEGADA.
A aplicação do questionário será dividida em três momentos distintos.
i. Primeiramente, o avaliador, a partir de seus conhecimentos prévios e
das informações do programa disponibilizadas no PPAG, responderá
às perguntas do questionário. Nessa fase, preconiza-se a isenção do
avaliador em relação ao programa avaliado. No entanto, a resposta a
algumas perguntas fica comprometida, pois o avaliador não detém
todas as informações do programa.
ii. No segundo momento, o avaliador junto com o responsável pelo
monitoramento do programa irá responder às perguntas
conjuntamente. Nessa fase, espera-se que o conhecimento do
setorialista contribua para que as respostas sejam mais assertivas e
também que a troca de percepções torne a avaliação mais completa.
iii. No terceiro momento, os avaliadores, junto com o setorialista,reunir-se-
ão com o gerente do programa. Todas as perguntas do questionário
serão repassadas de modo que eventuais informações que sejam de
domínio do gerente possam validar e complementar a avaliação.
5 RESULTADOS PRELIMINARES
A metodologia, descrita nas seções acima, foi aplicada em cinco
programas estaduais. A escolha dos programas a serem avaliados foi delegada aos
setorialistas da Diretoria Central de Monitoramento da Execução Física e
Orçamentária (DCMEFO). Os programas escolhidos foram: “Polícia Ostensiva”,
“Minas Sem Fome”, “Apoio às políticas de Desenvolvimento Social”, “Aprimoramento
da Gestão Pública” e “Atenção à Saúde”, do Fundo Estadual de Saúde.
O quadro 2 sintetiza o número de vezes que cada pergunta do
questionário foi “negada”, “aceita” ou “aceita c/ ressalva” e está ordenado de acordo
com o número de respostas desfavoráveis (“negada”).
Quadro 2 – Número de respostas “negada”, “aceita” e “aceita c/ressalvas” agrupadas de acordo com a pergunta do Questionário
Pergunta Eixo
Resposta
NEGADA ACEITA ACEITA C/ RESSALVA
1 - O indicador de objetivo do programa é capaz de medir seus resultados logo após o encerramento do exercício?
planejamento 3 1 1
2 - Está prevista a medição dos indicadores antes da iniciação do projeto para efeitos de criação de uma linha de base?
planejamento 3 2 0
3- O programa é uma iniciativa duplicada ou redundante?( há iniciativas ou atividades assemelhadas sendo executadas?)
contexto; justificativa 2 0 3
4- A elaboração do programa partiu de um estudo preliminar, diagnóstico ou afim, que permite identificar com clareza a necessidade da intervenção?
justificativa 2 0 3
5- Há indicador estabelecido para o objetivo do programa?
lógica 2 3 0
6- A expectativa de recursos financeiros está compatível com os recursos previstos no orçamento?
planejamento 2 3 0
7- O programa é uma resposta a um problema (oportunidade), interesse ou necessidade específica e bem definida?
justificativa 1 0 4
8- Os indicadores ligados ao Objetivo Estratégico são capazes de mensurar os impactos de longo prazo do programa?
lógica 1 0 4
9- O público alvo do programa foi claramente definidos?
planejamento 1 0 4
Pergunta Eixo
Resposta
NEGADA ACEITA ACEITA C/ RESSALVA
10- Foram levadas em consideração alternativas para a intervenção proposta? A proposta atual é a mais adequada?
justificativa 1 1 3
11- Foram utilizados critérios claros para estimar os recursos necessários para a realização de cada ação?
planejamento 1 2 2
12- Foram identificadas e analisadas as interdependências entre as ações do programa e outros empreendimentos?
contexto; planejamento
0 0 5
13- O produto expressa o resultado da ação?
lógica 0 1 4
14- As metas físicas estão Regionalizadas?
planejamento 0 1 4
15- O objetivo do programa contribui diretamente para seu objetivo estratégico?
lógica 0 3 2
16- A base legal (instrumentos normativos que dão respaldo a ação) que subsidia o programa está atualizada e coerente com sua proposta?
contexto 0 3 2
17- O conjunto das ações será capaz de produzir o objetivo do programa?
lógica 0 4 1
18- As ações do programa estão diretamente relacionado a subfunção definada no PPAG?
lógica 0 4 1
19- As ações do programa estão diretamente relacionado a função definida no PPAG?
lógica 0 5 0
Fonte: Elaboração própria
Quadro 3 – Número de respostas “negada”, “aceita” e “aceita c/ressalvas” agrupadas de acordo com o eixo
Fonte: Elaboração própria
Eixo Aceita Aceita com ressalva Negada
Contexto 3 2 0
Contexto/Planejamento 0 8 2
Justificativa 1 10 4
Lógica 20 12 3
Planejamento 9 11 10
Embora a amostra seja bem pequena (apenas cinco questionários),
nota-se que os problemas mais recorrentes foram relacionados aos indicadores do
programa. Em três dos cinco programas avaliados os indicadores não são capazes
de mensurar seus resultados. Além disso, percebe-se que todos os programas
avaliados podem ser considerados, em alguma medida, uma iniciativa duplicada.
Dessa forma, faz-se necessário avaliar as ações que compõem cada programa e
readequá-las, a fim de se minimizar esforços duplicados e racionalizar os gastos
do Estado.
Destaca-se também a inexistência de diagnósticos que fundamentem as
ações dos programas. Logo, infere-se que os programas avaliados poderiam ser
mais bem desenhados caso houvesse estudos teóricos e empíricos capazes de
dimensionar a situação-problema associada à intervenção proposta. Inclusive, o
diagnóstico seria útil para delimitar melhor o problema e o público-alvo do programa,
e levantar possíveis alternativas de intervenção.
Ademais, percebe-se que a expectativa de recursos não é compatível
com os recursos previstos no orçamento. De certa forma, esse fato pode indicar uma
dificuldade do próprio Estado em dimensionar o orçamento de cada programa e,
sobretudo, reitera os problemas fiscais vivenciados pela maioria dos estados na
atual conjuntura.
Por outro lado, o quadro 2 mostra também que as ações dos programas
são, aparentemente, capazes de produzir seu objetivo. As funções e respectivas
subfunções de cada ação dos programas estão classificadas de forma correta e a
base legal que ampara as ações está atualizada. Há também um alinhamento entre
o objetivo do programa e os objetivos estratégicos do PMDI.
O piloto também demonstrou a necessidade de publicar o detalhamento
dos produtos (disponível no sistema de planejamento e orçamento) no PPAG e não
apenas quais são os produtos de cada ação de governo. Assim, as entregas dos
programas ficam mais compreensíveis. Constatou-se, durante as avaliações, que,
ao se ler o produto das ações, esses, por muitas vezes, não explicitavam de maneira
clara a real entrega da ação, mas que ao ler o detalhamento desse produto, ficava
claro o que se desejava entregar.
Durante a aplicação das avaliações, houve dificuldade na identificação do
responsável pelo programa, ou seja, quem era o responsável por realizar o
diagnóstico da situação-problema a ser enfrentada, e de como o conjunto de ações
apresentadas iriam combater o problema inicialmente apresentado. Na maioria das
vezes, o titular do programa era o responsável pelo setor de planejamento e
orçamento do órgão (SPGF), e não estava envolvido com a execução do programa e
de suas ações. Via de regra, ele apenas validava as informações apresentadas
pelas áreas finalísticas, sem ter um real conhecimento sobre o programa e suas
ações. Dessa maneira, propõe-se que seja publicado em resolução o nome do
responsável de cada programa, visando a que qualquer tipo de questionamento seja
feito a ele de modo que ele se sinta realmente responsável pelo programa.
6 ANÁLISE DOS PROGRAMAS APÓS O PROCESSO DE REVISÃO
Para cada programa submetido ao processo de revisão foram sugeridas
modificações que pudessem melhorar o seu desenho. Pela análise de três
programas, a saber: “Minas Sem Fome”, “Apoio à Gestão Pública” e “Apoio às
Políticas de Desenvolvimento Social”, notam-se que nem todas as sugestões foram
acatadas. Para os programas de Atenção a Saúde do Fundo Estadual de Saúde e a
Política Ostensiva, não houve nenhuma alteração. Abaixo, segue a análise por cada
eixo para os programas em que houve modificações.
Eixo Contexto
Dos três programas analisados, nota-se que apenas no programa “Apoio
às Políticas de Desenvolvimento Social” houve alterações conforme sugestões no
relatório. Destaca-se que nesse eixo, as propostas dos relatórios envolviam uma
necessidade de articulação com outros órgãos e entidades do governo estadual.
Constatou-se que existiam muitas ações realizadas pelo governo que poderiam ser
potencializadas caso houvesse mais interação entre os atores.
Apesar do baixo nível de aceitação das sugestões, destaca-se que, em
sua maioria, as propostas sugeridas exigiam um nível de articulação entre os órgãos
e entidades que ainda não existe. Em outras palavras, algumas das mudanças
propostas exigem um grau de relação institucional maior entre os órgãos e entidades
do governo. Por outro lado, a não revisão da base legal, no caso do Programa Minas
Sem Fome, pode sinalizar certa falta de comprometimento com o instrumento.
Eixo Justificativa
As alterações propostas nesse eixo consistiam basicamente na mudança
da estrutura de causas do programa; da redação de sua justificativa; e da
identificação de algum diagnóstico do programa. Afora este último item, as demais
alterações eram, aparentemente, de fácil implementação. Basicamente, era
necessário que o órgão alterasse a redação da justificativa do programa e a
estrutura de causas no momento de lançá-los nos sistema de planejamento
orçamentário. No entanto, houve, a princípio, apenas algumas alterações na
estrutura de causas do programa Aprimoramento da Gestão Pública.
No caso do programa Apoio às Políticas de Desenvolvimento Social, as
sugestões foram mais específicas. Sugeriram-se, além da criação do indicador, a
identificação e o estabelecimento de critérios para os municípios que receberiam ou
não repasses de convênios. No entanto, dado, em parte, o caráter eminentemente
político desta ação, não foi possível implementar as sugestões.
Eixo Lógica
Neste eixo, houve o maior grau de aceitação de mudanças. Exceto pelo
Programa Minas Sem Fome, os demais promoveram algumas alterações
consonantes com o relatório. Em outras palavras, houve a tentativa de deixar tanto
os produtos dos programas quanto seus objetivos mais coerentes com o próprio
escopo do programa. Por exemplo, no caso do Programa “Apoio às Políticas de
Desenvolvimento Social”, sugeriu-se que o produto referente às ações de apoio
financeiro aos municípios tivesse como produto o número de repasses ou convênios
celebrados ao invés de entidades/municípios apoiados.
Eixo Planejamento
No eixo planejamento, praticamente nenhuma das sugestões foram
acatadas. Apenas o público do programa Minas Sem Fome alterou: de “Famílias
mineiras em condições de vulnerabilidade social” para “Famílias mineiras em
condição de vulnerabilidade social, principalmente no meio rural”. O ideal seria que o
público alvo fosse definido de acordo com alguma faixa de renda ou mesmo voltado
para municípios com Índice de Desenvolvimento Humano (IDH) mais baixo. As
outras sugestões envolviam aspectos não tão simples de implementar, como
separar o programa Aprimoramento da Gestão Pública em dois programas: um para
curso de graduação e pós-graduação (demanda contínua) e outro para cursos
temporários.
A partir da consolidação dos dados acima, tem-se que poucas sugestões
foram de fato acatadas. Por um lado, mostra-se que algumas sugestões não são de
tão fácil implementação, por outro, nota-se talvez uma falta de capacidade de
convencimento da importância de se desenhar melhor os programas associados.
Destaca-se, ainda, que os Programas Minas Sem Fome, Policiamento Ostensivo e
Atenção à Saúde do FES não tiveram nenhuma ou praticamente nenhuma
modificação. A Fundação João Pinheiro e a SEDESE, por sua vez, mostraram maior
comprometimento com o processo de revisão realizado.
7 PERCEPÇÃO DOS ATORES ENVOLVIDOS NO PROCESSO
Durante o processo de implementação da metodologia, houve dois
principais atores envolvidos, quais sejam: os setorialistas da DCMEFO e os gestores
dos programas em cada um dos órgãos avaliados. Para captar a percepção dos
atores sobre a metodologia, a equipe da DCAP elaborou três perguntas a serem
respondidas por ambos, a saber:
1. A metodologia utilizada auxiliou no processo de revisão do PPAG?
2. É válido continuar com o processo de revisão dos programas
associados no formato proposto? Em quais pontos o processo poderia
ser melhorado?
3. Em relação às perguntas do questionário, quais são, na sua opinião,
relevantes e quais poderiam ser descartadas ou incluídas no
questionário?
Não houve respostas dos gestores dos seguintes programas: Polícia
Ostensiva, da Policia Militar de Minas Gerais (PMMG) e Minas Sem Fome, da
Empresa de Desenvolvimento Sustentável de Minas Gerais (EMATER-MG). Com
base nas respostas dos demais gestores e dos setorialistas desses programas,
observou-se que a metodologia foi utilizada para auxiliar na revisão dos
programas, mesmo sem alterações significativas na Revisão do PPAG 2012-2015,
Exercício 2014.
Os setorialistas ressaltaram que a atual metodologia de revisão é melhor
que a anterior. Segundo o setorialista da SEDESE, a atual é mais bem estruturada.
No mesmo sentido, a setorialista da SES, coloca que essa metodologia aborda os
atributos de uma maneira mais fácil e ágil, contribuindo para uma melhor revisão.
Para a setorialista da EMATER/MG essa metodologia é mais simplificada e
logicamente organizada demonstrando com mais clareza os pontos que precisam
ser melhorados.
Apesar do envolvimento dos órgãos, as sugestões fornecidas durante os
encontros não foram acatadas, fazendo com que a metodologia fosse pouco efetiva.
Nesse mesmo sentido, a gestora do programa “Atenção à Saúde” ressalta que o
programa escolhido não foi o ideal para testar a metodologia, visto que a Secretaria
de Estado de Saúde (SES) executa um grande volume de ações, fazendo com que
essa Secretaria não possa adotar por completo os conceitos de programa e ações
definidos pela metodologia do PPAG. Segundo a gestora, caso a metodologia do
PPAG fosse adotada nos programas da SES, haveria um grande volume de ações e
isso ocasionaria o engessamento da execução.
A gestora do programa “Aprimoramento da Gestão Pública” indicou que o
prazo para adaptação à metodologia foi muito pequeno, e sugeriu um tempo maior
para a sua aplicação. Nesse mesmo sentido, a setorialista da SES coloca que para a
continuidade desse processo é necessário rever o tempo de aplicação da
metodologia para que as unidades tenham tempo de adequar corretamente seus
atributos. A setorialista da PMMG ressalta também a necessidade de antecipar esse
processo, visto que a alteração em qualquer das informações pode muitas das
vezes depender da validação de demais níveis hierárquicos.
A gestora do programa da Fundação João Pinheiro acredita que o
processo deve ser algo mais impositivo, pelo menos até que a cultura de utilização
desta metodologia seja enraizada. Para ela, “este tipo de procedimento tem que ser
assistido pela SEPLAG, uma vez que a mesma tem mais ferramentas e o
acompanhamento de todos os órgãos”. Por outro lado, a gestora do programa da
SES acredita que para a continuidade da metodologia, essa deve considerar a
especificidade de cada órgão.
No que tange ao questionário, a setorialista da EMATER/MG, coloca que a
visualização das planilhas deve conter uma explicação breve de cada um dos trechos,
e “estabelecimentos de intervalos percentuais considerados ótimo, razoável e crítico”.
Além disso, para ela deveriam ser incluídas perguntas sobre as ações e seus atributos
e mais perguntas sobre os indicadores. Divergindo desse ponto, o setorialista da
SEDESE, assim como para a gestora do programa avaliado nesse órgão, acredita
que o questionário deveria ser menos extenso e mais objetivo. Já a setorialista da
PMMG coloca que todas as perguntas do questionário são relevantes e oportunas, e
não excluiria nenhuma. Além disso, ela coloca que a repetição/persistência é um fator
que pode contribuir na tentativa de reforçar para os atores do processo a necessidade
de refletirem sobre as informações prestadas no PPAG.
8 CONCLUSÃO
Saliente-se que o resultado da avaliação pode ser considerado positivo já
que levou os gestores dos programas nos órgãos, os setorialistas da DCPPN,
DCMEFO e a própria DCAP a refletirem acerca de cada ação orçamentária avaliada.
Não se pode afirmar que a metodologia de avaliação prévia está pronta. É através
da realização de pilotos como esse que esta pode ser aperfeiçoada e de fato
aplicada, seja qual for o tipo de projeto, de forma a promover resultados. Há que se
ressaltar também que os programas associados, após a primeira elaboração no
início do PPAG, vêm sendo há muito tempo simplesmente replicados a cada revisão.
Sob este prisma, não seria de se esperar que grandes avanços fossem dados
apenas com a aplicação de um piloto.
Em relação à metodologia aplicada, o modelo apresentou boa aceitação
por parte dos envolvidos, principalmente pelo modo de sistematização das
informações dos programas e a fácil compreensão da política pública. Cabe, portanto,
rever o rol de perguntas de forma a aprofundar a avaliação das ações e tornar mais
objetivo o processo de análise de alguns atributos qualitativos dos programas.
O resultado ora apresentado pode levar à reflexão quanto ao poder de
enforcement que a SEPLAG deva ou não utilizar para atingir os resultados
esperados. Pode ser chegado o momento de uma mudança de postura com relação
à revisão do PPAG tanto do ponto de vista de autonomia dos órgãos/entidades
quanto do timing de revisão do instrumento. Uma possibilidade é convidar os
órgãos/entidades a escolherem os programas que eles desejam qualificar, além de
promover treinamentos para os gerentes dos programas associados.
Quanto ao timing, há certo consenso de que essa etapa de apoio a
revisão dos programas associados deve ser antecipada. Depois de feita a avaliação
formal do PPAG, pode-se iniciar esse processo de revisão.
Em relação à forma de convencer os órgãos e entidades a utilizarem a
ferramenta de forma mais efetiva, talvez seja válido utilizar as notas da avaliação,
ranqueando os projetos. Dessa forma, pode-se estimular ou constranger o gestor a
melhorar seus programas.
É também discutível se é válido expandir a avaliação de forma
generalizada ou se é mais adequado ir ampliando para onde há mais concentração
de recurso ou ainda, onde há mais receptividade. Aparentemente, a escolha dentre
as últimas duas opções parece mais prudente.
Por fim, cabe ainda enfatizar dois pontos: a iniciativa atual tem um caráter
bastante técnico. Obviamente, para que ela logre resultados mais expressivos, faz-
se necessário um amplo envolvimento dos gestores de nível hierárquico superior
das demais pastas que compõe a estrutura governamental. Além disso, a avaliação
prévia não pode ser vista como uma nova panacéia capaz de revolucionar as
políticas públicas, mas sim como uma ferramenta útil que, conjugada com outras,
pode aprimorar os programas governamentais e torná-los mais efetivos.
REFERÊNCIAS
CUNHA, Carla Giane Soares da. Avaliação de Políticas Públicas e Programas Governamentais: tendências recentes e experiências no Brasil. Mimeo; 2006. MINAS GERAIS. Decreto Estadual nº. 45.794 de 02/12/2011.Dispõe sobre a programação orçamentária e financeira do estado de minas gerais para o exercício de 2011 e dá outras providências. 2011. ______. Secretaria de Estado de Planejamento e Gestão. Manual de Revisão do Plano Plurianual de Ação Governamental 2012-2015. Belo Horizonte, 2012. Disponível:<http://www.planejamento.mg.gov.br/governo/planejamento/ppag/ppag.asp>. Acesso em set. 2012. INSTITUTO DE DESARROLLO REGIONAL. Guía para la Evaluación de Políticas Públicas. [S.l.]: Fundación Universitaria, [200-]. 168 p. Disponível em: http://www.sociedadevaluacion.org/website/files/guiaIDR.pdf, acesso em 11/04/2011.
ANEXO I: QUADRO LOGICO
27
ANEXO II: PERGUNTAS
Pergunta 1 O programa é uma iniciativa duplicada ou redundante? (há iniciativas ou atividades assemelhadas sendo executadas?)
Eixo: CONTEXTO; JUSTIFICATIVA.
Critério: avaliar se existe integração da política estadual com a política municipal e federal. Avaliar se o programa é uma política pública redundante. Caso não haja evidência contrária (ex: programas com atores múltiplos, iniciativa aparentemente singular), negar a pergunta.
Momento da Avaliação: 2º e 3º momento. Devido ao conhecimento limitado do avaliador em relação à política pública, é necessário recorrer ao setorialista para minimizar a subjetividade da avaliação.
Pergunta 2 O programa é uma resposta a um problema (oportunidade), interesse ou necessidade específica e bem definida?
Eixos: JUSTIFICATIVA.
Critério: ler a justificativa do programa. Ver se o texto está coerente e define um problema de forma clara.
Momento: 1º e 2º momentos. O avaliador, a partir da leitura do PPAG, tem capacidade de analisar a qualidade da justificativa do programa. O setorialista deve validar.
Pergunta 3 A elaboração do programa partiu de um estudo preliminar, diagnóstico ou afim, que permite identificar com clareza a necessidade da intervenção?
Eixo: JUSTIFICATIVA.
Critério: ler a justificativa do programa. Observar se há um diagnóstico robusto (dados, indicadores, base teórica). Caso exista apenas uma exposição de motivos, aceitar com ressalva.
Momento: Todos. A justificativa do programa disponível no PPAG é a primeira informação que pode ser usada para essa avaliação. No entanto, não é suficiente. O conhecimento do setorialista e, principalmente, do gerente, são fundamentais para embasar a resposta.
28
Pergunta 4 Foram levadas em consideração alternativas para a intervenção proposta? A proposta atual é a mais adequada?
Eixo: JUSTIFICATIVA.
Critério: ler a justificativa do Programa, analisar as causas elencadas e verificar se há outras soluções não exploradas.
Momento da Avaliação: 2º e 3º momento. Essa informação não está disponível, por isso é necessário recorrer ao setorialista para minimizar a subjetividade da avaliação. O gerente também deve ser consultado.
Pergunta 5 O objetivo do programa contribui diretamente para seu objetivo estratégico?
Eixo: LÓGICA.
Critério: ver o quadro lógico do programa e analisar se há uma relação direta entre o propósito (objetivo do programa) e o objetivo estratégico (retirado do PMDI). Se houver uma relação pouco precisa, aceitar com ressalva. Se não houver relação, negar.
Momento da Avaliação: 1º e 2º momento. O avaliador, por si só, é capaz de verificar a correlação entre a finalidade do programa e o objetivo estratégico. O setorialista deve validar.
Pergunta 6 O conjunto das ações será capaz de produzir o objetivo do programa?
Eixo: LÓGICA.
Critério: ler a finalidade de cada ação no PPAG e analisar se, conjuntamente, elas são capazes de produzir o objetivo do programa.
Momento da Avaliação: Todos. O avaliador, por si só, é capaz de verificar a relação entre a finalidade das ações e o objetivo do programa. O setorialista deve validar. O gerente também deve ser consultado para agregar informações.
Pergunta 7 O produto expressa o resultado da ação?
Eixo: LÓGICA.
Critério: analisar a relação entre o produto e ação.
Momento da Avaliação: Todos. O avaliador, por si só, é capaz de verificar se o produto expressa bem o resultado esperado com a ação. O setorialista e o gerente devem ser consultados para agregar mais percepções.
29
Pergunta 8 Foram utilizados critérios claros para estimar os recursos necessários para a realização de cada ação?
Eixo: PLANEJAMENTO.
Critério: avaliar se a relação entre o físico planejado e o físico executado e o financeiro planejado e o financeiro executado estão com um desempenho razoável.
Momento da Avaliação: 3º momento. O gerente é o único que detém essa informação.
Pergunta 9 Os indicadores ligados ao objetivo estratégico são capazes de mensurar os impactos de longo prazo do programa?
Eixo: LÓGICA.
Critério: ver o quadro lógico e analisar a relação entre o objetivo estratégico e o indicador finalístico. Em segundo lugar, analisar a relação entre o indicador finalístico e o escopo do projeto. Casa somente uma das condições sejam atendidas, aceitar com ressalva.
Momento da Avaliação: 1º e 2º momento. O avaliador é capaz de verificar se o indicador do objetivo estratégico é bom ou ruim. O setorialista deve validar a percepção do avaliador.
Pergunta 10 Há indicador estabelecido para o objetivo do programa?
Eixo: PLANEJAMENTO.
Critério: verificar se há indicador para o programa (caso não haja indicador, negar).
Momento da Avaliação: 1º e 2º momento. O avaliador é capaz de verificar se o indicador do objetivo estratégico é bom ou ruim. O setorialista deve ser consultado para confirmar as informações disponíveis no PPAG.
Pergunta 11 O indicador de objetivo do programa é capaz de medir seus resultados logo após o encerramento do exercício?
Eixo: PLANEJAMENTO.
Critério: analisar se o indicador é suficiente para mensurar o desempenho do programa.
Momento da Avaliação: Todos. O avaliador é capaz de analisar a qualidade do indicador. O setorialista deve validar a percepção do avaliador. O gerente deve ser também consultado para explicar a motivação da escolha do indicador.
30
Pergunta 12 A expectativa de recursos financeiros está compatível com os recursos previstos no orçamento?
Eixo: PLANEJAMENTO.
Critério: avaliar os valores já comprometidos em contratos, e analisar se há recursos para usos discricionários e execução da política pública.
Momento da Avaliação: 3º momento. O gerente é o único que detém essa informação.
Pergunta 13 Foram identificadas e analisadas as interdependências entre as ações do programa e outros empreendimentos?
Eixo: LÓGICA; PLANEJAMENTO.
Critério: a partir da leitura da estratégia de implementação, analisar a relação entre as ações dentro do programa e avaliar se foi considerada a relação entre elas ou se são ações isoladas. Analisar se há ações “duplicadas” em outros programas.
Momento da Avaliação: 2º e 3º momento. Devido ao conhecimento limitado do avaliador em relação ao programa, é necessário recorrer ao setorialista e ao gerente para minimizar a subjetividade da avaliação.
Pergunta 14 O público alvo do programa foi claramente definido?
Eixo: PLANEJAMENTO.
Critério: avaliar se o público alvo está bem definido (por exemplo: crianças de 0 a 9 anos que frequentam a escola pública na região oeste de Belo Horizonte).
Momento da Avaliação: 1º e 2º momento. O avaliador é capaz de analisar se o público-alvo foi bem definido. O setorialista deve validar essa questão.
Pergunta 15 As ações do programa estão diretamente relacionadas à função definida no PPAG?
Eixo: PLANEJAMENTO.
Critério: O critério é a natureza do objeto da ação. Assim, a função deve agregar as ações que tenham objetos correlatos.
Momento da Avaliação: 1º e 2º momento. O avaliador é capaz de verificar a relação entre o programa sua respectiva função no PPAG. O setorialista deve validar essa questão.
31
Pergunta 16 As ações do programa estão diretamente relacionadas à subfunção definida no PPAG?
Eixo: PLANEJAMENTO.
Critério: As subfunções poderão ser combinadas com funções diferentes daquelas a que estão diretamente relacionadas. Tal como ocorre com a função, o critério que preside a definição da subfunção é a natureza do objeto da ação.
Momento da Avaliação: 1º e 2º momento. O avaliador é capaz de verificar a relação entre o programa sua respectiva subfunção no PPAG. O setorialista deve validar essa questão.
Pergunta 17 A base legal (instrumentos normativos que dão respaldo a ação) que subsidia o programa está atualizada e coerente com sua proposta?
Eixo: PLANEJAMENTO.
Critério: ver a base legal de cada ação e verificar se a mesma está atualizada e coerente com a ação.
Momento da Avaliação: Todos. O avaliador deve consultar a base legal e verificar se está de acordo com o programa. Em seguida, deve haver a validação do setorialista. Caso ainda fique alguma dúvida, o gerente deve ser consultado.
Pergunta 18 As metas físicas e financeiras estão regionalizadas?
Eixo: PLANEJAMENTO.
Critério: O principal critério para regionalização das metas físicas é o local de entrega final do produto entregue pela ação, ou seja, municípios de destinação do bem ou serviço que resulta da ação. Desse modo, a regionalização deve se orientar pelos municípios ou macrorregiões a serem diretamente beneficiados e, em nenhuma ocasião, a regionalização deve se pautar pelos locais indiretamente beneficiados pela execução da ação.
Momento da Avaliação: 1º e 2º momento. O avaliador é capaz de avaliar se a meta está ou não regionalizada. O setorialista deve validar a resposta do setorialista.
Pergunta 19 Está prevista a medição dos indicadores antes da iniciação do programa para efeitos de criação de uma linha de base?
Eixo: PLANEJAMENTO.
Critério: ver se há linha de base para o indicador de objetivo do programa.
Momento da Avaliação: 3º momento. O gerente é o único que detém essa informação.
32
___________________________________________________________________
AUTORIA
Fernando Antonio França Sette Pinheiro Junior – Especialista em Políticas Públicas e Gestão Governamental. Secretaria de Estado de Planejamento e Gestão de Minas Gerais.
Endereço eletrônico: [email protected]
Lúcio Otávio Seixas Barbosa – Especialista em Políticas Públicas e Gestão Governamental. Secretaria de Estado de Planejamento e Gestão de Minas Gerais.
Endereço eletrônico: [email protected]
Caio Túlio Guimarães de Souza – Especialista em Políticas Públicas e Gestão Governamental. Secretaria de Estado de Planejamento e Gestão de Minas Gerais.
Endereço eletrônico: [email protected]