1

MANUAL DE AVALIAÇÃO

PPA 2003-2007

2

Sumário

PARTE I – ORIENTAÇÕES PARA A AVALIAÇÃO ANUAL

1. Introdução---------------------------------------------------------------------------------------------------4

2. Marco Legal-------------------------------------------------------------------------------------------------5

3. Objetivos e Atributos da Avaliação Anual------------------------------------------------------------6

4. Processo de Avaliação Anual---------------------------------------------------------------------------8

5. Avaliação do Programa---------------------------------------------------------------------------------10

6. Uso dos Resultados da Avaliação Anual-----------------------------------------------------------18

PARTE II – ROTEIRO PARA A AVALIAÇÃO ANUAL

1. Roteiro para a Avaliação do Programa-------------------------------------------------------------20

3

Parte I

Orientações

Para a Avaliação

4

1. Introdução

1.1. Este documento tem objetivo orientar o processo de avaliação anual dos

programas e do Plano Plurianual. Define as etapas e os resultados esperados, desde a avaliação de cada programa até a elaboração do Relatório Anual de Avaliação, a ser enviado ao Congresso Nacional. Explicita o objetivo, define conceitos e atributos e informa como se dará o processo de avaliação em suas várias etapas. Mostra como deverá ser a organização e os principais pontos a serem abordados no Relatório Anual de Avaliação.

1.2. Os resultados da avaliação anual devem gerar conseqüências práticas para a melhoria:

• de programas e sua gestão; • do Plano e da sua gestão; • das atividades de planejamento, orçamento e gestão.

1.3. A avaliação anual deve ser vista, também, como uma oportunidade para estabelecer um processo periódico de comunicação e consulta junto à sociedade, visando uma convergência entre as expectativas da população e o esforço do setor público.

1.4. O Relatório Anual de Avaliação é um instrumento para subsidiar o Congresso Nacional no processo de alocação de recursos, baseado em critérios de desempenho e resultados dos programas, com vistas à melhoria da qualidade do gasto público. É uma referência, portanto, para a apreciação dos projetos de lei de revisão do Plano, das diretrizes orçamentárias e dos orçamentos anuais.

1.5. A avaliação dos programas e do Plano Plurianual é parte essencial do novo modelo de gestão do Governo Federal, comprometido com a introdução de critérios gerenciais na Administração Pública Federal.

1.6. O desenvolvimento da cultura de avaliação no Governo Federal é fundamental para que a administração pública seja, de fato, orientada para resultados. A avaliação constitui um instrumento que possibilita a aferição periódica de resultados, otimização do uso de recursos e permite dar maior transparência à ação governamental. A reorganização do processo de planejamento do Governo Federal, iniciada a partir das determinações estabelecidas pelo Decreto nº 2.829/98, resultou em um Plano Plurianual estruturado por programas orientados para a resolução e o enfrentamento de problemas da sociedade.

1.7. A consolidação dessa cultura de avaliação depende de três fatores. Em primeiro lugar, do êxito em transformar os resultados da Avaliação Anual em melhoria efetiva da gestão dos programas e do Plano. Em segundo, da qualidade, confiabilidade, pertinência e tempestividade das avaliações, de modo a assegurar que a revisão dos programas, do Plano e a elaboração dos Orçamentos redundem, de fato, na melhoria da qualidade de vida da população. Por último, depende da amplitude alcançada pela avaliação, que deverá envo lver todos os agentes que, direta ou indiretamente, executam as ações da União, abarcando inclusive os parceiros estaduais e municipais e o setor privado.

1.8. A elaboração destas Orientações para a Avaliação Anual é resultado de um trabalho conjunto entre a SPI e o IPEA, cuja finalidade é subsidiar os gerentes e demais agentes envolvidos na gestão dos programas e do Plano Plurianual do exercício 2001.

5

2. Marco Legal 2.1. A Avaliação do Plano Plurianual está prevista nos artigos 5º, 6º e 7º do Decreto

2829, de outubro de 1998, que estabelece as normas para elaboração e execução do Plano Plurianual e dos Orçamentos da União, criando os princípios gerais para uma gestão empreendedora.

2.2. O Artigo 6º da Lei 9989, de 21 de julho de 2000, que aprovou o PPA 2000-2003, determina também que o Poder Executivo envie ao Congresso Nacional, até o dia 15 de abril de cada exercício, o Relatório Anual de Avaliação do Plano Plurianual.

2.3. O Artigo 4º, inciso I, alínea e, da Lei Complementar nº 101, de 4 de maio de 2000, denominada Lei de Responsabilidade Fiscal – LRF, determina que a Lei de Diretrizes Orçamentárias - LDO disporá, para cada exercício, sobre norma relativa à avaliação dos resultados dos programas financiados com recursos dos orçamentos.

2.4. Trata-se, para o Poder Executivo, de tarefa coletiva e institucional, com a participação decisiva dos gerentes de programas, das equipes gerenciais, dos órgãos setoriais e do público-alvo dos programas. Envolve também o Poder Legislativo e Judiciário, no limite das obrigações de que trata a Lei que aprovou o PPA 2000-2003.

6

3. Objetivos e Atributos da Avaliação Anual 3.1. Conceituação

3.1.1. A avaliação, de que trata este documento, é um procedimento anual utilizado para a obtenção e análise de informações destinadas à tomada de decisão, visando o aperfeiçoamento contínuo da gestão dos programas e do Plano, a revisão anual do Plano e a elaboração dos orçamentos anuais. É realizada mediante um processo sistemático em que estão definidos os critérios e os métodos para a realização da avaliação.

3.1.2. A gestão orientada para resultados adiciona a componente gerencial à avaliação governamental. Esta visão aponta para uma atividade que se concentra na avaliação de desempenho da gestão pública. Emprega uma linguagem adaptada à tomada de decisão, utiliza as informações disponíveis e descreve fatos e percepções relacionados à gestão e seus resultados.

3.1.3. A avaliação gerencial da ação governamental se diferencia da avaliação de políticas públicas ou de programas e de projetos, também adotada pelo setor público brasileiro. São complementares, mas não se confundem, pois possuem finalidades distintas. O principal compromisso da primeira é gerar informações relevantes que ajudem à tomada de decisão, no intuito de melhorar a execução e os resultados dos programas existentes. A segunda, ancorada em modelos teóricos rigorosos e pesquisa de campo extensa, visa, fundamentalmente, a geração de conhecimento, a comprovação de hipóteses, de modo a orientar o desenvolvimento de futuros programas ou o redesenho dos existentes.

3.1.4. A avaliação anual se diferencia das atividades de monitoramento e de controle. As três atividades possuem diferentes finalidades e por isso recebem denominações também distintas. Contudo, freqüentemente, verifica-se que as três atividades são entendidas como parte de um só processo de avaliação da ação governamental. Isto, porque utilizam processos sistemáticos de coleta e produção de informações, conhecimentos e análises sobre os programas, que auxiliam a tomada de decisões.

3.1.5. O monitoramento se diferencia da avaliação, por adotar uma amplitude menor do campo de observação, tendo por finalidade viabilizar o gerenciamento e a tomada de decisões cotidianas relacionadas à implementação dos programas, durante o ano.

3.1.6. O controle se diferencia da avaliação anual, por ser um procedimento cuja finalidade é a comprovação da legalidade dos atos da administração pública, como também, a verificação do cumprimento das metas previstas no Plano Plurianual e da execução dos programas e dos Orçamentos da União.

3.1.7. Todo o conhecimento gerado pelas atividades de monitoração, controle e avaliação de políticas constitui subsídio indispensável para melhorar a qualidade da avaliação anual.

3.2. Objetivos da avaliação

3.2.1. A avaliação anual tem quatro objetivos:

a) Prestar contas à sociedade: a avaliação fornece informações qualificadas sobre o desempenho de programas, ampliando a transparência das ações do governo;

7

b) Auxiliar a tomada de decisão: a avaliação, quando conectada aos processos reais decisórios, proporciona informações úteis à melhoria da qualidade da decisão;

c) Aprimorar a gestão: a avaliação é um instrumento de gestão que tem a finalidade de assegurar o aperfeiçoamento contínuo dos programas e do Plano como um todo, visando melhorar seus resultados, otimizar o uso dos recursos da sociedade e dar mais transparência à ação governamental. Mais que controlar os custos, a qualidade dos serviços públicos e a capacidade de implementação do Governo, avaliar significa comparar esse esforço com a demanda e a satisfação do público-alvo, adequando progressivamente os programas à expectativa da sociedade em relação ao setor público.

d) Promover o aprendizado: o processo de avaliação amplia o conhecimento dos gerentes e suas equipes sobre o programa, quanto a resultados, concepção, implementação e satisfação do público-alvo. Para ser eficiente, a avaliação precisa ser internalizada como um processo que promove a aprendizagem na organização e deve ser sustentada pelo desenvolvimento de uma cultura de aperfeiçoamento contínuo. Sem isso, a avaliação corre o risco de se tornar um exercício irrelevante e burocrático.

3.3. Atributo essencial para o êxito da avaliação

3.3.1. O sucesso da avaliação depende de um processo estruturado e da participação interessada e consciente dos envolvidos, tanto na produção das informações, quanto na construção coletiva das soluções. O equacionamento dos problemas só poderá ser alcançado por meio da compreensão pelos interessados da importância dos resultados e pela adoção pactuada das ações corretivas.

8

4. Processo de Avaliação Anual 4.1. A Avaliação Anual

4.1.1. A avaliação anual tem como produto final o Relatório Anual de Avaliação do Plano

Plurianual 2000-2003, encaminhado ao Congresso Nacional até o dia 15 de abril de cada ano. A avaliação anual procura aferir o grau de alcance dos macro-objetivos definidos nas Orientações Estratégicas do Presidente da República e dos objetivos dos programas.

4.1.2. A avaliação anual é realizada em três etapas pelas várias instâncias de implementação do Plano Plurianual – gerentes de programas, ministérios setoriais e Ministério do Planejamento, Orçamento e Gestão. O gráfico abaixo ilustra as várias etapas e instâncias que compõem o processo de avaliação anual.

4.1.3. Avaliação do Programa – A primeira parte desta etapa está sob responsabilidade do gerente, que deverá proceder à análise dos resultados, da concepção e da implementação do programa, assim como recomendar aperfeiçoamentos ao programa e à sua gestão. A segunda parte é realizada pelos monitores da SPI e a equipe técnica do IPEA, com base nas informações dos gerentes, no monitoramento do programa, e em outras informações que aumentem o conhecimento sobre o desempenho do programa. A partir desta análise, serão definidas recomendações finais, resultado da discussão com os gerentes e os órgãos setoriais, com o objetivo de melhorar o programa e a sua gestão e que serão publicadas no Relatório Anual de Avaliação.

4.1.4. Avaliação Setorial – A avaliação será realizada, sob a orientação da Secretaria-Executiva, pela Subsecretaria de Planejamento, Orçamento e Administração (SPOA), pela Coordenação de gerentes de programas e pelo gerente de programa de Gestão de Políticas Públicas. Sua finalidade é avaliar a adequação dos resultados dos programas aos objetivos setoriais estabelecidos pelo ministério e a

Etapas e Instâncias da Avaliação Etapas e Instâncias da Avaliação

Avaliação doPrograma:•Resultados • Concepção • Implementação

Avaliação Setorial:

• Resultados e a Estratégia Setorial

•Gestão do conjunto dos programas

Avaliação do Plano: •Cenário

Macroeconômico• Macro objetivos do Plano• Gestão do Plano

RELATÓRIO ANUAL DE AVALIAÇÃO DO PPA

Gerente Ministério Setorial Ministério do Planejamento

9

gestão do conjunto dos programas. Deverão ser analisadas também a pertinência, a consistência e a suficiência dos programas em relação ao cumprimento dos objetivos setoriais. Com base nos resultados dessa etapa, a SPI e o IPEA procederão a nova análise, que após discussão com os órgãos setoriais, será incorporada ao Relatório Anual de Avaliação.

4.1.5. Avaliação do Plano – A avaliação será coordenada pelo Ministério do Planejamento, Orçamento e Gestão, contemplando os seguintes aspectos:

a) Análise das variáveis macroeconômicas, mediante à comparação entre o cenário utilizado na elaboração do Plano, o cenário que integra a LDO e a conjuntura atual.

b) Análise dos macroobjetivos, quanto à adequação dos resultados, da suficiência, da consistência e da pertinência dos programas aos macroobjetivos do Plano Plurianual.

c) Análise estatística dos resultados da avaliação dos programas, tendo por finalidade a melhoria da gestão do Plano.

10

5. Avaliação do Programa 5.1. Diretrizes

5.1.1. Esta etapa visa abordar as questões relativas aos resultados, à concepção e à execução do programa, de acordo com o Roteiro de Avaliação do Programa, constante deste Manual.

5.1.2. A avaliação deve ser registrada no Módulo Avaliação do SIGPLAN.

5.1.3. O gerente deve atualizar, se for o caso, a informações constantes do SIGPLAN relativas à execução física das ações do programa.

5.1.4. A partir da avaliação realizada pelo gerente, serão elaboradas e discutidas recomendações para melhoria do programa e de sua gestão, que farão parte do Relatório Anual de Avaliação do Plano Plurianual, a ser encaminhado ao Congresso Nacional. As recomendações poderão conter informações geradas nas etapas de Avaliação Setorial e do Plano.

5.2. A Qualidade da avaliação

5.2.1. Há vários aspectos que precisam ser observados para garantir a qualidade da avaliação, como se descreve a seguir:

a) O gerente deve plane jar o processo de avaliação anual, com base nas orientações e requisitos deste Manual, identificando as informações necessárias à realização da Avaliação e suas fontes.

b) O planejamento da avaliação deve conter a definição das pessoas que deverão participar do processo.

c) É necessário que seja estabelecido um cronograma de execução da avaliação compatível com os prazos determinados no processo de avaliação anual

5.3. Participação dos interessados no programa

5.3.1. A avaliação é um processo participativo que deve incluir outras percepções, além da visão do gerente, mediante a consulta à equipe do programa, aos dirigentes da organização (ou organizações, no caso de programas multissetoriais ou de execução descentralizada), às partes interessadas nos resultados e, finalmente, aos usuários e beneficiários do programa.

5.3.1.1. No caso dos programas multissetoriais, é importante estabelecer um canal de comunicação com as unidades executoras das ações nos outros ministérios. Esses participantes devem ser envolvidos desde a preparação da avaliação, levando em conta os seguintes aspectos:

a. A avaliação, nesses casos, representa uma oportunidade para rever a contribuição das ações executadas nos demais Ministérios, em relação aos resultados do programa.

b. Esse processo de discussão deve envolver, além do coordenador da ação e sua equipe, o representante da SPOA do ministério respectivo.

c. A avaliação deve viabilizar a negociação: de um maior envolvimento dos coordenadores das ações nas decisões relacionadas com o programa; de uma

11

melhor definição das atribuições e responsabilidades das partes em relação aos resultados esperados e de um compromisso recíproco para a eliminação de restrições na execução das ações.

5.3.1.2. No caso dos programas com ações de execução descentralizada, deve-se envolver os executores locais, considerando os seguintes aspectos:

a. A avaliação, nesses casos, representa uma oportunidade para identificar as dificuldades na execução local e possíveis contribuições do Governo Federal para elevar o desempenho das ações.

b. O processo de discussão com as equipes locais permite ainda estabelecer um padrão mínimo de resultados possíveis de serem atingidos pelo programa no próximo ano.

c. Sugere-se, para efeito de consulta às equipes locais, selecionar um conjunto de interlocutores e meios de contato compatíveis com os recursos e com o cronograma de avaliação, sem uma preocupação de rigor técnico na definição da amostra.

5.4. Avaliação quanto aos Resultados do Programa

5.4.1. A melhor forma de mensurar os resultados é observar a variação dos índices relativos aos indicadores do programa. Contudo, nem sempre isso é possível, pois:

• Há índices que se alteram em período maior do que um ano;

• Há índices que são susceptíveis a outras influências, alheias à implementação do programa;

• Não há ainda indicadores disponíveis para o programa.

Nesses casos, devem ser relatados os resultados que têm a capacidade de contribuir para o objetivo e as transformações desejadas junto ao público-alvo.

5.4.2. Mesmo em caso em que há indicadores capazes de mensurar o resultado anual do programa, é desejável coletar informações que qualifiquem melhor os resultados atingidos.

5.4.3. Sugere-se a utilização de métodos alternativos que captem a percepção dos interessados no desempenho do programa, tais como:

a) Pesquisa de campo junto ao público-alvo com questionários ou entrevistas;

b) Pesquisa via internet;

c) Pesquisa por telefone;

d) Serviço 0800 para reclamações/sugestões;

e) Reunião com representantes do público-alvo e partes interessadas pelo programa;

f) Visita ao local onde se manifestam os resultados do programa.

12

Identificação da percepção de resultados

Métodos Vantagens Desvantagens

Pesquisa de campo;

Pesquisa via internet;

Pesquisa por telefone;

Serviço 0800

Pesquisa por carta

Rapidez

Possibilidade de captar alternativas de soluções para problemas identificados

Baixa confiabilidade em virtude de:

- Pesquisa incompleta (nem todos os envolvidos respondem à pesquisa);

- Amostragem incompleta;

- percepção parcial

Reunião com representantes do público-alvo e partes interessadas no programa.

Permite captar várias percepções a cerca do impacto do programa na sociedade.

Risco de captar percepções parciais e de introduzir do viés político.

Visita ao local onde se manifestam os resultados do programa.

Permite a interação direta com os beneficiários do programa.

Risco de captar percepções parciais.

A despeito das imprecisões, esses métodos oferecem indicações para a tomada de decisão pelos gerentes do programa.

5.4.4. Deve-se apurar, quando aplicável, o grau de satisfação do público-alvo quanto a bens e serviços ofertados pelo programa.

5.5. Avaliação quanto à Concepção do programa

5.5.1. O sucesso no enfrentamento de um problema ou oportunidade está fortemente condicionado à concepção do programa.

5.5.1.1. Reanálise do problema ou oportunidade que deu origem ao programa

Deve-se reanalisar o problema ou oportunidade que deu origem ao programa, no que se refere a:

a) características; b) intensidade; c) amplitude; d) urgência; e) tendência de agravamento ou atenuação.

5.5.1.2. Pertinência do Objetivo do Programa

Depois de reanalisado o problema ou a oportunidade, deve-se avaliar o objetivo do programa, tendo em mente a questão: Qual a melhor forma de enfrentar o problema ou aproveitar a oportunidade? A partir da resposta a esta questão, poder-se-á avaliar a concepção do programa no que se refere ao seu objetivo, indicador, ações e metas que compõem o programa, bem como a sua regionalização.

5.5.1.3. Focalização do Programa

Quanto mais precisa for a identificação das características sócio-econômicas da população-alvo e a distribuição geográfica do problema, mais fácil será aferir a adequação

13

e a efetividade do programa. Esta análise permite avaliar o grau de focalização do programa, observando que:

a) No tocante à regionalização do programa, as formas de enfrentar o problema ou aproveitar a oportunidade podem ser distintas nas diversas regiões do país.

b) A caracterização do público-alvo deve ser considerar, principalmente, as condições sócio-econômicas. Por exemplo, no enfrentamento do déficit habitacional, a distinção entre os segmentos de baixa e média renda é fundamental para definir a forma de atacar o problema. Enquanto a população de média renda poderá arcar com os custos de um financiamento, o mesmo não ocorre com os segmentos de baixa renda, para os quais deverá ser concedido subsídio em diferentes graus, até mesmo sem nenhum custo para o beneficiário.

c) A definição do público-alvo é importante para identificar as ações que devem compor o programa. Deve estar clara a diferença entre o usuário e o beneficiário do programa. Por exemplo, no programa Reestruturação do Sistema Penitenciário, os detentos são usuários, enquanto que a sociedade é a beneficiária do programa.

5.5.1.4. Necessidade e suficiência das ações

Deve-se avaliar a escolha e concepção de ações, a seqüência de implementação e a intensidade com que estão sendo empreendidas, levando em consideração se:

pertinência – se o conjunto de ações atua sobre as causas do problema e se é adequado aos objetivos pretendidos;

consistência – se as ações se complementam sinergicamente para superar as causas do problema;

suficiência – se as ações são capazes de enfrentar as causas e estão programadas em quantidade e intensidade apropriadas.

5.5.1.5. Estratégia de Implementação

Deve-se analisar a estratégia de implementação, quanto à sua adequação, tendo em vista o modelo de gestão e o esquema de responsabilização adotados. É importante levar em consideração as boas práticas exercidas em programas similares, nos setores público e privado, em Estados, Municípios, como também, se necessário, em outros países.

5.5.1.6. Análise dos custos do programa

Deve-se proceder a uma comparação – programas ou organizações semelhantes - do custo das ações com as referências disponíveis, para identificar alternativas de melhoria da eficiência do programa. Em caso de discrepâncias elevantes, deve-se aprofundar a análise da composição dos custos.

5.6. Avaliação quanto à implementação do Programa

5.6.1. A primeira providência nesta fase é analisar o desempenho físico e financeiro de cada ação executada no âmbito do programa. Deve-se avaliar as razões do desempenho obtido.

5.6.2. Em seguida, deve-se o programa, observando:

a. A suficiência e a adequação dos meios colocados à disposição do gerente para implementação e gerenciamento do programa;

b. A disponibilidade de informações mínimas necessárias para permitir o controle da execução de todas as ações do programa, inclusive as ações executadas de forma

14

descentralizada, as executadas em outras unidades administrativas ou aquelas executadas em outros ministérios;

c. Se a implementação do programa está de acordo com o Plano Gerencial – programação detalhada da execução, compreendendo atividades, recursos financeiros e materiais, cronograma físico-financeiro, equipe envolvida na implementação, parcerias e sistemas de controle;

d. A análise das restrições que dificultaram o desempenho do programa.

e. As informações necessárias para a avaliação desta fase devem ser obtidas com a equipe gerencial, com os coordenadores de ação, com os parceiros públicos e privados ou com os executores locais, no caso de ações de execução descentralizada.

15

8. Uso dos Resultados da Avaliação Anual

8.1 A avaliação anual do Plano é parte integrante e obrigatória das etapas que compõem o ciclo de gestão da ação governamental. Visa subsidiar a tomada de decisão que se efetua em cada uma das etapas subseqüentes à avaliação, assegurando um processo sistemático de aperfeiçoamento de toda a gestão pública. Os distintos eventos e atividades que compõem, de modo integrado, o ciclo de gestão são: a elaboração e revisão anual do Plano Plurianual; elaboração do projeto de lei das Diretrizes Orçamentárias; elaboração do projeto de Lei dos Orçamentos anuais; execução orçamentária e financeira, e, por último o controle e a avaliação de desempenho da Administração Pública Federal. 8.2 A avaliação anual é realizada para subsidiar diretamente as decisões relativas a duas rotinas da gestão pública: (1) o processo de alocação do gasto, isto é, o PPA, LDO e LOA; (2) o processo de aperfeiçoamento das organizações, isto é, o tipo e desenho das organizações em termos de distribuição e atribuição de funções e responsabilidades e a gestão de recursos humanos e demais procedimentos administrativos. 8.2.1 A revisão do Plano e a elaboração dos orçamentos anuais deverão levar em consideração as informações e recomendações registradas no Relatório Anual de Avaliação. O prazo para iniciar o processo de revisão e o seu cronograma está previsto de modo a permitir essa integração. Todas as recomendações de alteração constantes do Relatório Anual e Avaliação, para o aperfeiçoamento dos programas, seja no desenho ou na estratégia de implementação, deverão ser introduzidas no cadastro de programas e ações. 8.2.2 A etapa de elaboração do Anexo de Prioridades e Metas que integra o projeto de lei das Diretrizes Orçamentárias, do mesmo modo que na etapa de revisão, deverá levar em consideração as informações quanto ao desempenho do programa, metas alcançadas por ação e os resultados obtidos. 8.2.3 A etapa de elaboração do projeto de lei dos Orçamentos também deverá levar em conta as informações quanto ao desempenho do programa, metas alcançadas por ação e os resultados obtidos. 8.2.4 Será realizada uma análise conjunta dos problemas organizacionais e de gestão de recursos humanos relacionados à implementação dos programas, no âmbito de cada órgão setorial. Sua finalidade é adequar os meios organizacionais à boa condução dos programas, afetos a cada um dos órgãos setoriais. 8.3 Será realizada uma análise mais detalhada e profunda de um conjunto restrito de programas, com vistas a uma avaliação mais apurada dos impactos e resultados dos referidos programas.

16

Parte II

Roteiro

para Avaliação

17

1 - ROTEIRO PARA O GERENTE DE PROGRAMA

Avaliação quanto aos resultados do Programa

I - Instruções Assinale a opção que melhor caracteriza a situação atual do Programa, quanto aos resultados obtidos durante o exercício: ATENÇÃO: As questões múltipla escolha possibilitam selecionar respostas classificadas como “A”, “B”, “C”, “D” e, em alguns casos, “E”. Comentar sempre, de forma fundamentada, os motivos das respostas.

II – Questionário 1 – Avalie a variação do(s) índice(s) do(s) indicador(es) no exercício 2001, explicitando a expectativa de evolução anual do índice ou do conjunto destes. Justifique sua resposta, comentando a variação ou não do(s) índice(s). Comente também, a ponderação utilizada para a cesta de indicadores, quando for o caso.

Variação do(s) índice(s) em 2001 A

Acima do esperado

B Dentro do esperado

C Abaixo do esperado

D Muito abaixo do esperado

E Não

apurado

Justificativa e Comentários adicionais: 2 - Avalie, baseado no(s) índice(s) já alcançado(s) em 2000 e 2001 e nas perspectivas para os exercícios seguintes, qual a viabilidade de cumprimento do(s) índice(s) originariamente previsto(s) para os indicadores em 2003. Justifique sua resposta. Expectativa de alcance do índice previsto para o indicador até o final do Plano (2003)

A Alta

B Média

C Baixa

D Muito Baixa

E Não

aplicável

Justificativa e Comentários adicionais: Caso a previsão original para o alcance do(s) índice(s) em 2003 tiver sido modificada, indique, na tabela abaixo o novo índice(s) esperado(s) e, em seu comentário, explicite as razões para a mudança. Justifique sua resposta.

Indicador Necessita de atualização

Índice previsto no PPA para

2003

Índice atualizado

Justificativa

1 2 N (obs.: tabela gerada pelo sistema, já com os indicadores do programa)

18

Comentários adicionais: 3 – Avalie os principais resultados obtidos em 2001. Cite, em seus comentários, as principais ações e os respectivos produtos que contribuíram para esses resultados. Justifique sua resposta. Considere como resultado, as transformações da situação junto ao público-alvo, bem como resultados não previstos, que contribuíram para o alcance do objetivo.

Obtenção de resultados em 2001 A

Muito satisfatório

B Satisfatório

C Pouco

satisfatório

D Não

apresentou resultados

Justificativa e Comentários adicionais: (o sistema deverá abrir uma janela, mostrando o quadro de execução física e financeira registrada no SIG). Cite, também, os principais resultados esperados até 2003. Comentários: 4 - Avalie a satisfação do público-alvo em 2001 com a execução do Programa e justifique a sua resposta. Baseie-se, quando possível, em pesquisas feitas por terceiros, pela própria gerência do programa ou por meios de comunicação. Ainda como sugestão, consulte organizações ou pessoas integrantes do público-alvo. Em seu comentário, indique o mecanismo usado e a forma de diferi-lo. Justifique sua resposta.

Satisfação do público-alvo A

Muito Satisfeito B

Satisfeito

C Pouco

Satisfeito

D Insatisfeito

E Não

apurada

Justificativa e Comentários adicionais:

5 - Relatório final sobre resultados O campo abaixo traz os comentários de cada questão da fase de resultados. Neste item deverão ser acrescentados os comentários finais relativos aos resultados do programa. Ajuste o parecer, que foi gerado com os comentários de cada questão, de forma a torná-lo o mais objetivo e consistente possível. Importante: Os relatórios finais de cada fase serão insumos muito importantes para a elaboração do Relatório Anual de Avaliação a ser enviado ao Congresso Nacional, sendo fundamental que a situação real enfrentada pelo programa esteja adequadamente

19

refletida na avaliação, o que possibilitará que as recomendações sejam consideradas no processo de Revisão do Plano Plurianual.

Avaliação quanto à concepção do Programa

I – Instruções Assinale a opção que melhor caracteriza a situação atual do Programa, quanto à concepção durante o exercício: ATENÇÃO: As questões múltipla escolha possibilitam selecionar respostas classificadas como “A”, “B”, “C”, “D” e, em alguns casos, “E”. Comentar sempre, de forma fundamentada, os motivos das respostas.

II - Questionário 1 – Avalie se o programa precisa ser aperfeiçoado e comente as alternativas assinaladas, explicitando as razões da necessidade desse aperfeiçoamento. Destaque e comente as inter-relações que existirem entre esses itens. Por exemplo, no caso de um programa cujo público alvo não esteja bem definido em termos de localização e atributos, poderá gerar uma má regionalização das metas físicas. Isto é, se o público alvo está inadequado e possui uma espacialização diferente daquela considerada adequada, teremos então um problema de regionalização que só poderá ser solucionado se o público alvo for revisto.

O Programa necessita ser aperfeiçoado? SIM NÂO

Se a resposta for sim, assinale a(s) opção(s) correspondente(s) à necessidade de reformulação: (o sistema deverá mostrar um hiperlink contendo o conceito envolvido na questão). a) Adequação do objetivo ao problema x Justificativa b) Caracterização do público-alvo c) Regionalização x Justificativa d) Pertinência das ações x Justificativa e) Suficiência de metas físicas x Justificativa f) Adequação dos indicadores x Justificativa g) Outros. Especifique: x Justificativa Comentários adicionais:

20

3 – Avalie e comente se as metas físicas previstas estão ou não compatíveis com a dotação orçamentária determinada na Lei Orçamentária Anual de 2001. As ações do programa possuem metas físicas adequadas ao recurso orçamentário existente?

SIM

NÂO

Selecione as ações com metas físicas inadequadas e aponte as metas corretas. (o sistema deverá listar as ações com as metas físicas, com opção de seleção pelo gerente e uma coluna para a entrada da meta correta). Justificativa e Comentários adicionais: 4 – Avalie se o produto de cada uma das ações está bem definido. Justifique sua resposta.

O produto de cada uma das ações está bem definido? SIM

NÂO

Justificativa e Comentários adicionais: Se a resposta for não, selecione as ações com produto mal definido e aponte o produto correto. (o sistema deverá listar as ações com os produtos, com opção de seleção pelo gerente e uma coluna para a entrada do produto correto). 5 – Aponte, se houver, ações que geram mais de um produto. Justifique sua resposta.

Existem ações que geram mais de um produto? SIM

NÂO

Se a resposta for sim, indique que ações geram mais de um produto e quais são estes produtos. Ação Produto Outros Produtos Justificativa (o sistema deverá listar as ações com seus respectivos produtos, com opção de seleção para o Gerente, com uma coluna para a entrada dos produtos gerados por cada ação selecionada e outra para a justificativa) Comentários adicionais: 4 – Avalie a estratégia de implementação adotada para o programa. A estratégia de implementação adotada para o programa está adequada?

SIM

NÂO

21

Se a resposta for não, assinale os aspectos em que a estratégia de implementação precisa ser aperfeiçoada. Justifique suas respostas. Organização dos trabalhos no âmbito da gerência Justificativa Comunicação com outras unidades do Ministério Justificativa Matriz de fontes de financiamento Justificativa Forma de envolvimento das parcerias Justificativa Forma de envolvimento dos executores Justificativa Forma de envolvimento de outros Ministérios Justificativa Forma de envolvimento de outros interessados Justificativa Outros. Especifique: Justificativa Comentários adicionais: 7 – Avalie a estratégia de implementação de ações descentralizadas adotada para o programa e comente os principais motivos que levaram a sua adoção, assim como os aspectos positivos e negativos de sua implementação. Justifique sua resposta. A estratégia de implementação de ações descentralizadas adotada para o programa está adequada?

SIM

NÂO

Justificativa e Comentários adicionais: (esta questão deverá estar disponível apenas para programas com ações de execução descentralizada).

8 - Relatório final sobre concepção O campo abaixo traz os comentários de cada questão da fase de concepção. Neste item deverão ser acrescentados os comentários finais e recomendações relativas à concepção do programa. Ajuste o parecer, que foi gerado com os comentários de cada questão, de forma a torná-lo o mais objetivo e consistente possível. Importante: Os relatórios finais de cada fase serão insumos muito importantes para a elaboração do Relatório Anual de Avaliação a ser enviado ao Congresso Nacional, sendo fundamental que a situação real enfrentada pelo programa esteja adequadamente refletida na avaliação, o que possibilitará que as recomendações sejam consideradas no processo de Revisão do Plano Plurianual.

22

Avaliação quanto à Implementação do Programa:

I – Instruções Assinale a opção que melhor caracteriza a situação atual do Programa, quanto à implementação durante o exercício. ATENÇÃO: As questões múltipla escolha possibilitam selecionar respostas classificadas como “A”, “B”, “C”, “D” e, em alguns casos, “E”. Comentar sempre, de forma fundamentada, os motivos das respostas.

II – Questionário 1 – Avalie a compatibilidade dos recursos financeiros de origem orçamentária liberados com as necessidades de execução. Entenda-se por recursos liberados, os recursos empenhados e liquidados. Justifique sua resposta e em seus comentários, se for o caso, identifique as conseqüências da insuficiência de recursos para o desempenho do programa.

Recursos financeiros liberados

A Suficientes

B Insuficientes

C Não foram liberados recursos

D O programa não utiliza

recursos de origem orçamentária

Justificativa e Comentários adicionais: 2 – Avalie o fluxo de recursos financeiros liberados, analisando os reflexos da liberação sobre a execução de seu Programa. Justifique sua resposta.

Compatibilidade do fluxo de recursos financeiros com a programação

A Os recursos foram

liberados ao longo do exercício em fluxo compatível com a

programação

B O fluxo sofreu alguma descontinuidade, mas

não prejudicou decisivamente a

execução programada

C O fluxo sofreu

descontinuidade, prejudicando a

execução programada

D O Programa não

demanda recursos de origem orçamentária

Justificativa e Comentários adicionais: 3 – Avalie a adequação dos recursos materiais e da infra-estrutura disponível. Justifique sua resposta.

Os recursos materiais e a infra-estrutura são adequados para a implementação do Programa?

SIM

NÃO

23

Se a resposta for não, assinale a(s) alternativa(s) correspondente(s) às necessidades de recursos e comente as alternativas assinaladas. Em sua justificativa, explicite se as dificuldades estão localizadas na gerência e/ou na execução das ações do programa. Recursos materiais insuficientes Justificativa Infra-estrutura inadequada Justificativa Outros. Especifique: Justificativa Comentários adicionais: 4 – Avalie a adequação dos recursos humanos disponíveis. Justifique sua resposta.

Os recursos humanos estão adequados para a implementação do Programa?

SIM

NÃO

Se a resposta for não, assinale a(s) alternativa(s) correspondente(s) às necessidades de recursos e comente as alternativas assinaladas. Quantidade de recursos humanos inadequada Justificativa Insuficiente qualificação dos recursos humanos Justificativa Outros. Especifique: Justificativa Comentários adicionais: 5 – Avalie as conseqüências de alterações nas ações incluídas pela lei orçamentária de 2001 sobre o desempenho do programa. Comente a natureza desse impacto em decorrência das alterações. Qual o impacto das modificações no desempenho do programa?

A Alto

B MÉDIO

C BAIXO

D NENHUM

E NÃO

APLICÁVEL

Justificativa e Comentários adicionais: 6 – Avalie o cumprimento do conjunto de metas físicas em relação ao objetivo do Programa, levando em consideração as ações que mais contribuem para o alcance do objetivo. Justifique sua resposta, considerando o desempenho global do programa.

Cumprimento de metas físicas

A Acima do previsto

(superação da meta)

B Dentro do previsto

(alcance entre 90% e 100%)

C Abaixo do previsto (alcance

entre 60% e 89%)

D Muito abaixo do previsto (alcance abaixo de

60%)

Selecione as ações que mais contribuem para o alcance do objetivo do programa. (o sistema deverá disponibilizar as ações com as metas físicas, com opção de seleção para o Gerente).

24

Justificativa e Comentários adicionais: 7 – Avalie e comente as restrições que interferiram no desempenho das ações de maior impacto. Justifique sua resposta. Tipo de restrições: (assinale os tipos mais representativos)

Contingenciamento orçamentário Atraso na liberação de recursos Contingenciamento financeiro Inadimplência estadual ou municipal Restos a pagar Atraso na prestação de contas dos Estados e Municípios Exigências de contrapartidas Estadual ou Municipal Contratos e convênios Licitações Licenciamento ambiental

Outros. Especifique:

Justificativa e Comentários adicionais: Mostrar as restrições registradas até o presente no SIG (descritor das restrições). 8 – No caso de dificuldades com contratos e convênios, avalie o grau de interferência dos processos de contratação, celebração de convênios ou outras formas de repasse de recursos no desempenho do Programa: dificuldades decorrentes de licitações, aspectos legais, inadimplência, necessidade de contrapartida, etc. Justifique sua resposta. Interferência dos processos de contratos e convênios na execução dos programas

A Não houve

interferência

B Houve pouca interferência

C Houve elevada interferência

D O Programa

aplica os recursos diretamente

Houve pouca interferência Justificativa e Comentários adicionais:

8 a Marque os tipos de problemas mais representativos

TIPO DO

PROBLEMA:

Licitações

Impedimentos legais

Inadimplência

Exigência de contrapartidas

Tramitação burocrática

Outros :especificar

25

9 - Avalie o desempenho da execução das ações com recursos descentralizados, tendo em conta os resultados esperados. Considere, sobretudo o desempenho daquelas que mais contribuem para o alcance do objetivo. Justifique sua resposta. Desempenho da execução de Programa com recursos descentralizados

A Alto

B Médio

C Baixo

D Muito baixo

Justificativa e Comentários adicionais: 10 – Avalie o desempenho de suas ações executadas em outros Ministérios. Justifique sua resposta.

Desempenho das ações do Programa executadas em outros Ministérios

A Alto

B Médio

C Baixo

D Não possui informações

Justificativa e Comentários adicionais: Apresentar somente para os programas Multissetoriais. 11 – Avalie o desempenho das ações executadas em outras unidades administrativas do próprio Ministério. Justifique sua resposta.

Desempenho das ações executadas em outras unidades administrativas.

A Alto

B Médio

C Baixo

D Muito baixo

E Não se aplica

Justificativa e Comentários adicionais: 12 - Avalie o desempenho dos parceiros na execução das tarefas e no cumprimento das metas acordadas. Deverá ser entendida como parceria o apoio de terceiros ao Programa, com recursos financeiros, materiais ou humanos, que não sejam contrapartida legal. Justifique sua resposta.

Desempenho dos parceiros A

Alto B

Médio C

Baixo D

Muito baixo

E Programa não prevê parcerias

Justificativa e Comentários adicionais: 13 - Avalie o grau de participação da sociedade sobre o Programa. Considere a existência de mecanismos institucionalizados, conselhos e outros canais participativos formais, e a participação efetiva da sociedade. Grau de participação da sociedade sobre o Programa

A Muito alto

B Alto

C Moderado

D Inexistente

E Não

aplicável

Justificativa e Comentários adicionais:

26

14 – Cite a forma e a qualidade de consulta ao público-alvo. Justifique sua resposta.

Sistema de consulta ao público-alvo

A Consulta sistemática e representativa, gerando informações úteis e oportunas para a gestão

B Consulta realizada eventualmente

C Pode se considerar que o Programa não tem um sistema de consulta

D Não aplicável

Justificativa e Comentários adicionais: 15 - Avalie a qualidade e a tempestividade das informações sobre a execução das ações integrantes do Programa. Justifique sua resposta.

Qualidade das informações A

100% das informações são

confiáveis

B Acima de 60% das informações são

confiáveis

C Grande carência de informações

D Não possui

ainda sistema de informações

sobre a execução física

Tempestividade das informações A

100% das informações em tempo oportuno

B Acima de 60% das

informações em tempo oportuno

C Informações

desatualizadas

D Não possui

ainda sistema de informações

sobre a execução f ísica

Justificativa e Comentários adicionais: 16 – Informe se o Programa possui alguma forma de validação periódica das informações relativas às ações executadas de forma descentralizada. Justifique sua resposta. A gerência realiza validação periódica das informações sobre as ações executadas de forma descentralizada?

A

Sim

B

Não

Justificativa e Comentários adicionais: (questão apenas para programas descentralizados).

27

17 - Avalie se a estrutura organizacional do Ministério está adequada ao modelo de gestão por programas adotado pelo PPA 2000-2003. Justifique sua resposta.

Adequação da estrutura organizacional do Ministério à gestão por Programas

A A estrutura está

adequada à gestão por programas

B A estrutura está

em fase de adequação à gestão por programas

C A estrutura não está adequada à gestão

por programas

Justificativa e comentários adicionais:

18 - Relatório final sobre implementação O campo abaixo traz os comentários de cada questão da fase de implementação. Neste item deverão ser acrescentados os comentários finais e recomendações relativas à implementação do programa. Ajuste o parecer, que foi gerado com os comentários de cada questão, de forma a elaborar um relatório final o mais objetivo e consistente possível. Importante: Os relatórios finais de cada fase serão insumos muito importantes para a elaboração do Relatório Anual de Avaliação a ser enviado ao Congresso Nacional, sendo fundamental que a situação real enfrentada pelo programa esteja adequadamente refletida na avaliação, o que possibilitará que as recomendações sejam consideradas no processo de Revisão do Plano Plurianual.