1

PROJETO RN SUSTENTÁVEL

ANEXO 53 PLANO DE MONITORAMENTO E AVALIAÇÃO

DO PROJETO

ESTE ANEXO É PARTE INTEGRANTE DO MANUAL OPERATIVO DO PROJETO RN SUSTENTÁVEL E TEVE A SUA PRIMEIRA REVISÃO APROVADA PELO BANCO MUNDIAL EM 10 DE MAIO DE 2013.

JULHO DE 2013

2

SUMÁRIO

1. INTRODUÇÃO ...................................................................................................................... 3

2. OBJETIVO DE DESENVOLVIMENTO DO PROJETO E RESULTADOS ESPERADOS 4

3. ARRANJO PARA MONITORAMENTO DOS RESULTADOS ........................................... 5

4. MONITORAMENTO DAS SALVAGUARDAS SOCIOAMBIENTAIS ............................. 9

5 AVALIAÇÃO DO PROJETO .................................................................................................. 9

5.1 AVALIAÇÃO DE IMPACTO 9

Componente 1 Desenvolvimento Regional Sustentável 14

Componente 2- Subcomponente 2.2 - Melhoria da Qualidade da Educação Básica 20

5.2 OUTRAS OPORTUNIDADE E OS MÉTODOS DE AVALIAÇÃO 22

Subcomponente 1.1 Investimentos Estruturantes e Fortalecimento da Governança Local 22

Subcomponente 2.1 - Atenção à Saúde 23

Subcomponente 2.2 - Melhoria da Qualidade da Educação Básica 24

Componente 3. Melhoria da Gestão do Setor Público 25

ANEXOS .................................................................................................................................. 26

3

1. INTRODUÇÃO

O Monitoramento e a Avaliação (M&A) no âmbito do Projeto será uma ação contínua que usará a coleta sistemática de dados específicos para fornecer à gestão e às principais partes interessadas do Projeto indicações sobre o nível de progresso e de alcance dos objetivos (resultados e impactos), bem como o progresso na utilização dos recursos alocados. Neste sentido, o monitoramento no âmbito do Projeto terá dois enfoques: (i) acompanhamento do comportamento do processo de execução do Projeto, entendido como um processo contínuo e sistemático de supervisão da implantação com propósito de garantir a efetividade no gerenciamento, permitindo a melhoria do plano operacional, bem como, a tomada de ações corretivas durante o andamento do Projeto, ‘rodando’ em tempo real, ou seja, não tem periodicidade fixa, - seu ritmo é ditado pelas ocorrências ao longo de toda a implementação do Projeto; e (ii) monitoramento dos resultados e impactos, acompanhando os resultados do Projeto sobre o público alvo, ‘rodando’ em ciclos mais longos: anuais, semestrais e trimestrais, dependendo do caso. A avaliação do Projeto será realizada com base nas informações geradas pelo acompanhamento físico e financeiro e pelo monitoramento de resultados e impactos, além de valer-se de análises quantitativas e qualitativas realizadas a partir da coleta de informações de campo, entrevistas e outros meios. A avaliação de meio termo será realizada com o objetivo de orientar a condução do Projeto e subsidiar o seu aperfeiçoamento. As estratégias técnicas e operacionais adotadas serão analisadas e alteradas, caso não tenham sido capazes de proporcionar os resultados esperados. A avaliação final do Projeto abordará os principais impactos e resultados alcançados em relação aos seus objetivos e metas e deverá indicar ações para assegurar a implementação dos instrumentos e metodologias desenvolvidos pelo projeto, bem como a sustentabilidade de seus benefícios. Além das avaliações formais mencionadas, o Projeto realizará a avaliação contínua do andamento e do impacto das ações desenvolvidas, com o objetivo de assegurar sua coerência com o planejamento global e identificar eventuais necessidades de ajustes. Serão realizados eventos periódicos de avaliação com a participação das instituições governamentais e não governamentais envolvidas na execução, instâncias consultivas, e beneficiários diretos dos investimentos do Projeto, entre outros. O SMI servirá como um instrumento fundamental no processo de monitoramento do projeto, contribuindo para melhorar o desempenho da implementação do Projeto através da identificação de problemas que requerem atenção imediata, de modo que permita a tomada de medidas corretivas. Fornecerá ainda informações sistemáticas e em tempo real para os gestores e parceiros durante a implementação do Projeto, e apoiará para que os critérios estabelecidos e as regras de elegibilidade sejam atendidos. O SMI também irá monitorar o desempenho do Projeto em relação à linha de base previamente estabelecida, verificando o seu progresso de acordo com indicadores de resultados, possibilitando os ajustes necessários durante a execução. Além disso, permitirá a verificação da eficiência nos gastos dos recursos em relação aos objetivos do Projeto, fornecendo e recebendo feedbacks das partes interessadas, e gerando insumos para a divulgação dos resultados do Projeto. O Projeto prevê a implementação de inovações no campo de monitoramento e avaliação, principalmente com o uso de TI. Entre estas inovações, destaca-se o método para a identificação automática por meio de sinais de rádio, RFID (Radio-Frequency IDentification)

4

é uma forma de capturar dados de objetos sem a necessidade de intervenção humana no processo de leitura desses dados. Com a identificação por radiofrequência é possível criar condições para identificar áreas para melhoria de processos. A tecnologia será uma ferramenta de comunicação nos eventos (feiras, seminários, por exemplo) do Projeto, sendo possível gerar inúmeras ações dentro do evento, unindo ações do mundo real com o ambiente das redes sociais. Outra aplicação prevista no Projeto é identificação dos bens adquiridos com recursos do empréstimo. O controle de patrimônio (controle de bens móveis) exige uma supervisão permanente e nem sempre é possível fazê-la com eficácia. A proposta do Projeto e desenvolver uma solução de controle de equipamentos e mobiliário que atenda adequadamente as necessidades, utilizando tecnologia RFiD, trazendo agilidade e eficácia ao processo, que sirva como um piloto para que o Estado possa adotá-la amplamente nos seus órgãos. Outra inovação é o Sistema multicanal de avaliação de políticas e serviços públicos. Esta atividade implementará um sistema de coleta de dados via web e telefonia celular através da utilização de SMS (Short Message Service), associada ao IRA (Unidade de Resposta Audível) relativos ao acesso e qualidade de políticas e serviços apoiados pelo Projeto. Os sistemas implementados permitirão a realização simultânea de diferentes pesquisas seguindo distintas metodologias de amostragem. Tais sistemas permitem a visualização de dados em formatos brutos e agregados, possibilitando ao Governo e cidadãos gerarem visualizações e análises customizadas dos dados e resultados (e.g. georeferenciamento, rankings). Uma avaliação randomizada e controlada será realizada no sentido de mensurar a efetividade das tecnologias e metodologias adotadas, assim como para identificar medidas corretivas a serem tomadas.

2. OBJETIVO DE DESENVOLVIMENTO DO PROJETO E RESULTADOS ESPERADOS

Os Objetivos de Desenvolvimento do Projeto (PDO) são apoiar os esforços do mutuário para i) aumentar a segurança alimentar, o acesso à infraestrutura produtiva e o acesso a mercados para a agricultura familiar; (ii) melhorar o acesso e a qualidade dos serviços da educação, da saúde e da segurança pública; e (iii) melhorar os sistemas de controle de despesas públicas, dos recursos humanos e da gestão de ativos físicos, no contexto de uma abordagem de gestão baseada em resultados. Resultados Esperados e Principais Indicadores. O Projeto pretende gerar impactos de ordem econômica, social, humana e institucional que serão medidos e acompanhados sistematicamente, visando verificar a eficiência e eficácia das ações propostas, bem como gerar informações para a correção de rumo em tempo hábil para os gerentes, executores, e demais envolvidos em processos de tomada de decisão. Os principais resultados esperados do projeto são: i) aumento da receita real das organizações produtivas beneficiárias; (ii) aumento da oferta dos serviços de saúde em nível regional relacionadas com as redes de cuidados de saúde prioritárias (rede materno-infantil, rede oncologia e rede de urgência e emergência no Estado; (iii) melhoraria do índice da educação básica do ensino secundário (IDEB); (iv) incremento o percentual da população assistida localmente pelo sistema de boletim eletrônico; e (v) aumento do percentual do orçamento de projetos estratégicos que adotem uma abordagem de gestão baseada em resultados/avaliação de desempenho no seu planejamento e implementação. A matriz de indicadores para monitoramento dos resultados encontra-se no anexo 1.

5

3. ARRANJO PARA MONITORAMENTO DOS RESULTADOS

O Projeto será monitorado e avaliado por meio do Sistema de Monitoramento e Informação (SMI), a ser customizado a partir das experiências de outros Empréstimos firmados com o Banco Mundial no Estado do Rio Grande do Norte (PCPR e Projeto Semiárido Potiguar). Outro aspecto relevante é a possibilidade de integração do SMI com o Sistema de Informações da Administração Financeira (SIAF), atualmente utilizado por toda a administração estadual, o que evitará a duplicação de registros de informação e manterá integridade dos dados do Projeto, no tocante as informações financeiras e contábeis. Do ponto de vista de acompanhamento físico, o Sistema de Apoio ao Acompanhamento do PPA (SIAP) será adotado para apoiar no monitoramento dos objetivos e metas das ações e atividades realizadas pelo Projeto, cujo desempenho será aferido com base em indicadores previamente estabelecidos e na análise dos resultados obtidos da aplicação dos recursos, à luz do planejamento previsto no PPA e nos Orçamentos anuais. A tramitação dos processos será obrigatoriamente realizada em formato digital pelo SMI, facilitando e agilizando o trabalho de todos os envolvidos e dando mais transparência, já que os processos e seus andamentos ficam disponíveis permanentemente na rede, evitando o acúmulo de papel desnecessário e facilitando o processo de localização destes documentos. Isto atenuará um problema bastante comum nos processos de monitoramento de projetos: o atraso entre a realização ação e a alimentação dos sistemas de informação. Os dados sobre os potenciais beneficiários do Projeto serão levantados e cruzados com bases de dados sobre informações socioeconômicas da população estadual. Posteriormente, os mesmos serão integrados e analisados para orientar a estratégia de implementação do Projeto, incluindo: (i) informações básicas sobre as organizações beneficiárias; (ii) implementação e desenvolvimento dos planos de negócios e o valor agregado aos arranjos produtivos; (iii) informações sobre os projetos financiados, tais como progresso da execução física e financeira; (iv) gerenciamento dos dados financeiros relativos às Declarações de Gastos (SOEs) que serão apresentadas ao Banco; e (v) informações sobre o gerenciamento do Projeto, a partir do qual, todos os relatórios do Projeto serão emitidos. A SEPLAN, através da UGP, será a responsável geral pelo monitoramento e avaliação do Projeto, contando, para tanto, com o apoio das Unidades Executoras Setoriais, que terão um papel fundamental na correta alimentação de informações no sistema. Considerando o enfoque da execução do Projeto será descentralizada e participativa, as atividades de monitoramento serão conduzidas pela UGP e em articulação com as UES, parceiros, as instâncias de controle e participação social, a assistência técnica e os integrantes do público-alvo. As UES têm um papel estratégico no monitoramento das ações do Projeto. São elas as “portas de entrada” das informações oriundas da base local (conselhos municipais, beneficiários e assistência técnica), sendo responsável pela supervisão das ações desenvolvidas e pelo acompanhamento sistemático de sua implantação, atestando tecnicamente a sua execução física e zelando pelo correto registro dos dados no sistema monitoramento do Projeto. A UGP coordenará as atividades de monitoramento e avalição, tendo como principais atribuições: i) monitorar o desempenho do Projeto, considerando indicadores de resultado, indicadores intermediários, resultado, e progresso junto ao POA; (ii) apoiar a UGP e UES na realização de estudos e diagnósticos específicos; (iii) promover o controle do uso de recursos

6

nos objetivos do Projeto; (iv) coordenar estudos de avaliação de impactos, desempenho e resultados das ações desenvolvidas pelo Projeto; (v) disponibilizar as informações para a gestão, estimulando sua apropriação por parte dos interessados; e (vii) coordenar o processo de inserção de dados e informações gerenciais no Sistema de Informações Gerenciais do Projeto (SMI) em todas as fases de tramitação dos investimentos De outro lado, em cada uma das UES haverá um setor responsável pelo monitoramento e controle das ações, cujas atribuições básicas são: (i) apoiar as reuniões internas de monitoramento do Projeto; (ii) apoiar a UGP na verificação do cumprimento dos cronogramas físico e financeiro e das responsabilidades assumidas; (iii) fornecer informação, quando solicitado, para auxiliar a elaboração dos relatórios do Projeto; (iv) fornecer, sempre que solicitado, informações referentes às ações de monitoramento; (v) manter organizado e registrado as documentações da UES; (vi) acompanhar e monitorar o andamento das obras e dos serviços; e (vii) Informar o gerente da UES sobre o andamento das atividades. Neste sentido, cabe destacar a atuação duas a atividades das UES no papel do monitoramento de resultado do Projeto: i) a “Supervisão”, responsável pela compilação e inserção das informações da atividade de supervisão dos investimentos no SMI ii) e, no caso do Subcomponente 1.2, a “Assistência Técnica Privada”, sendo responsável pelo a orientações técnicas as organizações produtivas e pelo acompanhamento sistemático da implantação dos investimentos. A supervisão e a assistência técnicas adotarão uma metodologia baseada no participação social, que estimule a adoção dos princípios da economia solidária e que promovam resultados econômicos, possibilitando gerar processos de monitoramento e avaliação. Serão adotados instrumentos e momentos com essa finalidade, que serão alcançados por meio das Reuniões de Avaliação Participativas – REA com os beneficiários, e a participação assistência técnica, da supervisão, dos conselhos municipais e demais parceiros do Projeto. Esse processo consistirá na realização reuniões onde serão capacitados os beneficiários, em técnicas básicas de avaliação financeira do negócio e simultaneamente serão recolhidos os dados de avaliação de resultados do projeto. Esses dados fornecerão informações relativas a mudanças na renda na família, a emprego gerado, remuneração do trabalho e sustentabilidade dos negócios. Estes dados, em conjunto com informação qualitativa recolhida durante os workshops, poderão contribuir para uma melhor capacidade de decisão relativamente a orientações estratégicas do Projeto. Os registros de supervisão serão realizados através dos “Relatórios de Visitas”, “Relatórios Trimestrais de Atividades” e os “Laudos de Supervisão”, os quais servirão para que as gerencias Unidades Executoras Setoriais - UES acompanharem as atividades desempenhas pela supervisão. Todos estes instrumentos serão lançados no Sistema de Informação e Monitoramento - SMI. Em atendimento à política de supervisão do Banco, serão elaborados Relatórios de Progresso ou de Execução, que contemplarão as ações executadas no período anterior (semestre), incluindo: cronogramas físicos e financeiros, com comparativo entre o planejado e o realizado e explicações sobre os desvios correspondentes; e descritivo e análise das ações desenvolvidas no período, com sugestão de próximos passos e medidas de correção de eventuais desvios.

7

O Relatório de Avaliação Intermediária ou de Meio Termo será elaborado quando o Projeto atingir 50% de execução financeira e/ou do prazo de execução e representa uma síntese consolidada das atividades desenvolvidas e relatadas nos Relatórios de Progressos e IFRs anteriores. O Relatório conterá, no mínimo, a análise sobre a eficiência e eficácia de cada componente e as justificativas e/ou estudos de viabilidade para eventual inclusão de novas ações elegíveis e/ou para readequação das existentes que, por algum motivo, não vêm produzindo os resultados esperados. Abaixo, apresenta-se o arranjo institucional (Figura 1) e a periodicidade das atividades de monitoramento e avaliação do Projeto (Quadro 1).

Quadro 1. Periodicidade das atividades de monitoramento e avaliação do Projeto Responsável Atribuições Básicas de M&A Periodicidade

CGP - Coordenação

Geral do Projeto

Aprovar Informes anuais de Monitoramento Anual Aprovar o Relatório de Avaliação de Resultados. Anual Aprovar os relatórios de progresso Anual

UGP – Gerência Executiva

Avaliar os informes mensais e semestrais de acompanhamento e monitoramento

Mensal e Semestral

Avaliar os Relatórios de Avaliação de Resultados. Anual Avaliar os relatórios de progressos Anual

UGP - Núcleo de Avaliação e

Monitoramento

Monitorar o desempenho do Projeto, considerando indicadores de resultado, indicadores intermediários, resultado, e progresso junto ao POA

Contínuo

Coordenar os estudos de avaliação de impacto Meio Termo e ao Final do Projeto

Coordenar estudos de avaliação de desempenho e de resultados das ações desenvolvidas pelo Projeto

Anual

Disponibilizar as informações geradas pelo M&A, estimulando sua apropriação por parte dos interessados

Contínuo

Coordenar o processo de inserção de dados e informações gerenciais no Sistema de Informações Gerenciais do Projeto (SMI) em todas as fases de tramitação dos investimentos

Contínuo

Articuladores Territoriais

Alimentar o SMI com as informações das Manifestações de interesse

Contínuo

Alimentar o SMI com as informação dos relatórios de acompanhamento das atividades da articulação territorial

Contínuo

Sensibilizar os beneficiários a participarem das atividades de M&A

Contínuo

UES – Monitoramento e

Controle

Conduzir o processo de coleta e armazenamento de informações no SMI na UES

Contínuo

Colaborar com a construção e execução das avaliações do Projeto

Anual

Manter atualizado os indicadores de resultados do Projeto Anual Apoiar as reuniões de monitoramento do Projeto Semestral Apoiar o cumprimento dos cronogramas físico e financeiro e das responsabilidades assumidas

Mensal

Manter organizado e registrado as documentações da UES Contínuo Acompanhar e monitorar o andamento das obras e dos serviços

Contínuo

UES – Supervisão Alimentar o SMI com as informação dos relatórios de supervisão

Contínuo

Apoiar as reuniões de avaliações participativas Anual

8

Mobilizar e sensibilizar os beneficiários a participarem das atividades de M&A

Anual

UES - Assistência Técnica Privada

Alimentar o SMI com os dados dos planos de negócios Eventual Alimentar o SMI com as informação dos relatórios mensais de acompanhamento de ATER

Mensal

Sensibilizar os beneficiários a participarem das atividades de M&A

Anual

Conselhos Verificar as condições de elegibilidade do público beneficiário

Semestral

Participar das avaliações Eventual

Público beneficiário

Elaborar a manifestação de interesse Eventual Prestar as informações necessárias para a elaboração dos planos de negócios

Eventual

Participar das avaliações Eventual

Figura 1. Arranjo institucional para monitoramento e avaliação do Projeto

9

4. MONITORAMENTO DAS SALVAGUARDAS SOCIOAMBIENTAIS

O Plano de Gestão Ambiental (PGA), define (i) os procedimentos destinados a identificar previamente os impactos ambientais das atividades consideradas capazes de produzir efeitos ambientais adversos, (ii) as medidas de controle necessárias para a prevenção e/ou mitigação dos mesmos, (iii) os momentos em que os aspectos ambientais devem ser considerados, (iv) as instâncias responsáveis pela avaliação e decisão, (v) a lista negativa dos critérios para a restrição de apoio à atividades, e (vi) parâmetros indicadores relacionados às questões ambientais a serem incorporados ao Plano de Monitoramento. A Gestão Ambiental do Projeto será monitorada pelas UGP e UES. A UGP apresentará ao Banco relatórios anuais que abrangem as ações previstas, incluindo os empreendimentos selecionados, estágio de implementação, resultados, as demonstrações financeiras, questões ambientais e sociais e as medidas tomadas para garantir a execução satisfatória. Estes relatórios serão partilhados com tomadores de decisão para facilitar a gestão do Projeto, reformulação das estratégias, caso necessário, e divulgação de experiências.

5 AVALIAÇÃO DO PROJETO

5.1 AVALIAÇÃO DE IMPACTO

O Projeto realizará avaliações de impacto para determinar se, e em qual medida, as intervenções previstas estão levando a melhores resultados. O que será avaliado obedecerá aos critérios de:

(i) Seletividade: (a) investimentos de alta relevância para a estratégica do Projeto; (b)

investimentos de alta materialidade de recursos empregados, sejam financeiros, humanos ou tempo; e (c) investimentos com alto impacto nos resultado; e

(ii) Momento: (d) avaliação antes da implementação do Projeto, denominada de “marco zero”; (e) avaliação realizada durante a execução do Projeto, com a intenção de melhorar a estratégia ou a forma do funcionamento do Projeto; e (f) ao final do Projeto (ou de uma ação específica), com o objetivo de verificar o impacto das ações implementadas.

A avaliação de impacto será desenvolvida para os dois componentes e o seu cronograma de execução será elaborado no início do primeiro ano de execução do Projeto. Os resultados examinados irão fornecer insumos ao gerenciamento de projetos durante a execução, para fins de possíveis ajustes a concepção do projeto e implementação. A avaliação de impacto das ações previstas em cada componente será realizada em diferentes graus de rigor e riqueza de informação, sempre buscando alternativas para a metodologia de avaliação de impacto de cada componente e subcomponente, envolvendo diferentes requerimentos conforme o rigor desejado para a avaliação. Descrevem-se, a seguir, algumas as alternativas e os desafios de avaliação para um dos componentes do Projeto. O Componente 1 incorpora uma série de ações que podem ser avaliadas de maneira rigorosa. Quanto maior a riqueza de informações que se pretende monitorar, maior a necessidade de coletar informações e acompanhar os mesmos indivíduos ao longo do tempo. Além disso, para

10

que os efeitos estimados possam ser atribuídos ao Projeto com maior credibilidade, a adoção das ações deve permitir que um grupo de controle também seja monitorado ao longo do processo (seja porque a adoção será concentrada em um subgrupo do universo potencial de tratados, ou porque sua adoção, ainda que universal, será escalonada no tempo). Não obstante, há ainda o desafio adicional de que a seleção (dos subgrupos ou da sequência de implementação) seja aleatória ou pelo menos não correlacionada com as variáveis de interesse. O atributo mais importante da implementação, do ponto de vista da avaliação de impacto, é a adoção não-uniforme das ações apoiadas pelo Projeto entre diferentes grupos, permitindo que o impacto seja estimado pela técnica de diferenças-em-diferenças. Há duas possibilidades: (a) a adoção somente em um subgrupo do universo potencialmente apoiado (em que os demais correspondem ao grupo de controle) ou (b) a adoção sequencial (em que subconjuntos do universo são progressivamente incorporados ao projeto; o cronograma de implementação deve coincidir com aquele da coleta de dados sobre as medidas monitoradas). Caso não existam dados previamente disponíveis sobre as variáveis de interesse no universo apoiado, será necessário um esforço de coleta própria de indicadores. Mais do que isso, para que o impacto possa ser estimado de maneira rigorosa, tais informações devem começar a ser coletadas desde antes do início da implementação das ações previstas.

Em qualquer dos casos, há duas preocupações centrais: (i) que a seleção do grupo de tratamento (ou dos grupos atendidos primeiro em caso de adoção sequencial) não seja correlacionada com as medidas de interesse – por exemplo, não pode ser o caso que os produtores de menor renda sejam contemplados primeiro (ou unicamente), porque nesse caso um efeito positivo do projeto poderia ser interpretado alternativamente como reversão à média1 –, e (ii) que o grupo de controle não esteja sujeito a externalidades por conta dos efeitos sobre o grupo de tratamento – por exemplo, porque os produtores de uma região não contemplada possam de alguma forma se beneficiar do uso de um equipamento em outra região –, porque isso enviesaria a estimativa do impacto das diferenças de resultados entre os grupos em direção a zero.

No caso de (b), há ainda uma preocupação adicional: (iii) que as grupos ainda não contempladas não antecipem os efeitos do tratamento futuro – por exemplo, porque os produtores podem fazer investimentos em equipamentos no presente por antecipar que dentro de alguns meses receberão recursos de ações previstas no projeto, o que cria dificuldades para a avaliação porque diminui as diferenças entre resultados dos grupos de tratamento e controle, gerando um viés de que o impacto estimado da ação monitorada sobre as variáveis de interesse não seja diferente de zero.

Uma solução eficaz em relação às preocupações (i) e (iii) é a adoção aleatória (sequencial ou não). O fato de o tratamento ser distribuído de maneira randômica garante que não seja correlacionado com medidas de interesse e que regiões futuramente tratadas não antecipem os efeitos futuros (desde que os intervalos da adoção sequencial sejam suficientemente longos). Evidentemente, essa alternativa não está plenamente disponível em virtude da necessidade de priorização das regiões de desenvolvimento do Estado – em conformidade com a estratégia de

1 Reversão à média se refere à tendência de que unidades com desempenho inicialmente abaixo (acima) da média estivessem nessa situação inicial pelo menos em parte por conta de choques transitórios negativos (positivos), que uma vez dissipados implicam que essas unidades cresçam a taxas acima (abaixo) da média das demais.

11

desenvolvimento regional do projeto – e da realização de editais que garantam critérios mínimos de participação e competitividade na submissão das propostas. Há, no entanto, elementos importantes da aleatoriedade que deveriam ser preservados; em particular, uma vez que as chamadas públicas focalizem determinados territórios, a ordem de lançamento desses editais deveria ser determinada por sorteio, e não anunciada previamente no tempo.

De todo modo, há mecanismos alternativos para preservar a comparabilidade entre tratamento e controle que não dependem exclusivamente de adoção aleatória. Em função do desenho das ações do subcomponente 1.2, destaca-se o desenho de regressão por descontinuidade, amparando-se na quase-aleatoriedade da linha de pontuação de corte entre apoiados e não-apoiados.

Com relação à discussão das externalidades apresentada em (ii), a questão central é uma análise detalhada dos mecanismos através dos quais as intervenções impactam os resultados de interesse. De fato, a maior dificuldade de qualquer avaliação de impacto rigorosa consiste em, mais do que estimar o impacto da ação investigada de maneira convincente e robusta a explicações alternativas, documentar os mecanismos através dos quais as ações do projeto se transmitam a decisões individuais e daí para os resultados agregados. Em uma exemplo prático na apicultura, se a construção de entrepostos de mel gera resultados positivos sobre receita e emprego no setor (já líquidos de outros choques agregados e setoriais), isso acontece simplesmente por causa da presença do bem público? Ou também porque os apicultores fazem investimentos complementares na presença do entreposto? Esse tipo de informação é fundamental para informar a administração pública sobre uma análise custo-benefício completa de cada ação monitorada: por exemplo, se a maior parte do efeito estimado se dá por meio de investimentos dos apicultores (em resposta à presença do entreposto), haveria outras medidas que poderiam mais diretamente estimular esses investimentos com menor custo?

A grande vantagem desse tipo de avaliação é permitir analisar (a) mecanismos de decisão individual que transmitem os impactos das ações monitoradas a resultados agregados, e (b) heterogeneidade de impacto. Um exemplo de (a) já foi apresentado na discussão anterior – investimentos complementares dos apicultores –, o que nesse caso exigiria a coleta de informações adicionais. Um exemplo de (b) seria a estimativa de impacto diferenciado de um entreposto de mel sobre apicultores situados em regiões com outros bens públicos – em particular, infraestrutura socioambiental –, ou com situações iniciais diferentes (por exemplo, entre produtores com e sem certificação, com maior ou menor receita inicial, etc.). Esse tipo de estimativa de heterogeneidade permite em alguns casos inferir mecanismos de decisão mesmo na ausência de dados sobre essas decisões individuais: como exemplo, se o impacto de um entreposto é positivo para todos os apicultores, mas maior para apicultores com maior receita inicial, esse resultado permite decompor o efeito direto do bem público daquele (presumivelmente) associado a investimentos complementares feitos pelos agricultores sujeitos a menores restrições de crédito (porque possuíam maior fluxo de caixa inicial).

Os impactos do Componente 3 são muito mais difíceis de avaliar de maneira rigorosa por uma série de razões2: (a) maior dificuldade de estabelecer indicadores quantitativos de resultado,

2 Ver Cristopher Pollitt e Geert Bouckaert (2003) “Evaluating public management reforms: an international perspective” in “Evaluation in public sector reform”, ed. Hellmut Wollmann.

12

(b) ausência de grupo de controle / impossibilidade de adoção sequencial ou experimentos placebo, e (c) difusão do impacto potencial das reformas por diversas áreas da administração pública. No caso do Rio Grande do Norte, há ainda uma dificuldade adicional que limita os esforços de avaliação rigorosa de ações de modernização da gestão pública: a inexistência de dados sobre a linha de base da maioria dos indicadores de resultados esperados das intervenções apoiadas pelo projeto. Dito isto, a melhor alternativa disponível para avaliar o impacto das medidas de reforma e modernização de gestão é o monitoramento de indicadores de produto, como por exemplo (i) número de gerentes de projeto treinados, para as ações previstas do programa de qualificação de servidores, (ii) % de projetos prioritários com status satisfatório, em que metas de execução física além de financeira são utilizadas como critério, para a ação prevista de monitoramento por resultados, etc. Para ressaltar o ponto levantado no parágrafo acima, a ação mencionada em (ii) tem impactos indiretos, como permitir que o contingenciamento de recursos seja feito de maneira seletiva em caso de, por exemplo, realização de receitas abaixo do esperado (diminuindo recursos para projetos com execução física em ritmo insatisfatório, por exemplo). Ainda que esse impacto sobre a qualidade da gestão pública seja substancial, é impraticável desenhar um sistema que quantifique seu significado – o que não implica dizer que tais impactos não devam ser documentados; implica, contudo, que faz mais sentido para um esforço de avaliação sistemática focar nos indicadores de produto mencionados acima.

Uma vez mais, para que a avaliação possa ser feita de modo criterioso, é imprescindível que existam informações sobre a situação inicial das metas a serem monitoradas. Em alguns casos isso é trivial (como no exemplo do número de gerentes treinados), em outros, é impraticável (como % de ações em estado satisfatório quando o monitoramento da execução física não era casado com o monitoramento da execução financeira antes da reforma de gestão).

Plano amostral, cálculos de poder e piloto Uma das questões práticas mais centrais de desenho de avaliação remete ao desenho da amostra. Mesmo ignorando a possibilidade de intervenções aleatorizadas, que envolvem escolhas mais complexas sobre tamanho e estratificação dos grupos de controle e tratamento, a avaliação com base em desenho de descontinuidade também envolve escolhas que devem ser pautadas por parâmetros técnicos, em particular sobre o intervalo monitorado em torno da descontinuidade.

Uma vez que todos os projetos acima da pontuação de corte na fase final de seleção terão obrigatoriamente dados coletados através do sistema de monitoramento do projeto, a questão passa a ser qual o tamanho ótimo do grupo de controle. Essa definição passa por dois critérios: primeiro, qual a efeito mínimo detectável que se deseja obter (para um dado nível de poder, nível de significância, tamanho de amostra, e fração de observações alocadas no grupo de tratamento) e, segundo, qual o custo marginal de coleta e acompanhamento das informações de observações no grupo de controle.

Do princípio, seja 𝑌𝑖 a variável de resultado para a observação 𝑖 afetada pela ação apoiada pelo projeto, 𝑇𝑖, de acordo com a seguinte equação:

𝑌𝑖 = 𝛿 + 𝛽𝑇𝑖 + 𝜖𝑖, em que 𝛽 é o efeito de tratamento que desejamos documentar.

13

Ainda, seja 𝑃 a fração das 𝑁 observações alocadas no grupo de tratamento. Se as observações em questão podem ser consideradas como que extraídas de amostra aleatória (hipótese que é tanto melhor quanto mais próximo de aleatória é a pontuação de corte, isto é, quanto mais similares – nas dimensões de interesse – as observações em torno desta) com variância 𝜎2, então a variância de �̂�, o estimador de mínimos quadrados ordinários (MQO) é dado por3:

1

𝑃(1 − 𝑃)𝜎2

𝑁

Em geral estamos interessados em testar a hipótese 𝛽 = 0, isto é, a ação apoiada pelo Projeto tem algum efeito? Para um dado nível de significância do teste4, 𝛼, a hipótese será rejeitada caso

��̂�� ≥ 𝑡𝛼 .�𝑉𝑎𝑟(�̂�) ,

em que 𝑡𝛼 depende do nível de significância escolhido e pode ser obtido a partir da tabela da distribuição t de Student, e 𝑉𝑎𝑟��̂�� = 1

𝑃(1−𝑃)𝜎2

𝑁, conforme exposição acima. O valor crítico do

teste é dado por 𝑡𝛼 .�𝑉𝑎𝑟(�̂�) .

Na figura abaixo, em que 𝛽 é de fato maior do que 0, o erro tipo I corresponde à área abaixo da distribuição de �̂� sob a hipótese nula (𝛽 = 0) – a curva mais à esquerda da figura – situada à esquerda do valor crítico.

A curva mais à direita corresponde à distribuição de �̂� sob o valor verdadeiro, 𝛽. O poder do teste corresponde à área abaixo dessa curva entre o valor crítico e o valor verdadeiro 𝛽. Isso implica que para alcançar um determinado poder 𝜅,

3 Ver Duflo, E., Glennerster, R. e Kremer, M. (2006) “Using randomization in development economics research: a toolkit”, Center for Economic Policy Research Discussion Paper Series No. 6059. 4 O nível de significância ou tamanho do teste corresponde à probabilidade de concluirmos que a hipótese é falsa quando na verdade ela é verdadeira (erro tipo I).

14

𝛽 ≥ (𝑡𝛼 + 𝑡1−𝜅).�𝑉𝑎𝑟(�̂�) ,

em que 𝑡1−𝜅 é, mais uma vez, dada pela tabela da distribuição t de Student. Como exemplo, para um poder de 80%, 𝑡1−𝜅 = 0.84.

A partir da fórmula anterior, fica claro que o efeito mínimo detectável, EMD, é dado por

𝐸𝑀𝐷 = (𝑡𝛼 + 𝑡1−𝜅).�1

𝑃(1 − 𝑃)𝜎2

𝑁

Sendo assim, a partir do EMD escolhido (uma decisão econômica, mais do que estatística; por exemplo, qual incremento médio na receita dos produtores já seria suficiente para dizer que o programa teve efeito? 1%? 5%? 10%?) e de decisões estatísticas sobre significância e poder, se 𝜎 fosse conhecido (uma vez que o número de observações já está definido no nosso caso de interesse) poderíamos determinar 𝑃 implicitamente a partir da fórmula acima.

O problema é que 𝜎 não é conhecido ex-ante. É essa a principal motivação (lado a lado com o desenho ótimo do questionário) para a realização de pilotos: antes do lançamento do edital, uma amostra dos produtores ou organizações que fazem parte do público-alvo devem ter informações coletadas pela avaliação. O desafio do piloto é coletar informações que possam ser utilizadas como representativas das observações marginais, isto é, em torno da pontuação de corte. É essa subpopulação que será utilizada para computar a fórmula acima, que terminará através de 𝑃 o número de observações do grupo de controle (aquele que ao final da fase de seleção não foi apoiado pelo projeto) que precisam ser acompanhadas pelo sistema de monitoramento.

Dado o desafio de antecipar a composição dessa amostra, uma maneira barata de coletar dados estratificados por características dos produtores ou organizações seria fazê-lo através do telefone celular ao invés de por meio de pesquisa de campo. Seja qual for a opção pela metodologia de coleta de dados, permanecem dois desafios associados à realização do piloto: (a) identificar (no caso de pesquisa de campo) ou cadastrar (no caso de pesquisa por celular) uma amostra de produtores ou organizações das cadeias produtivas a serem apoiadas pelo edital, e (b) fazê-lo de maneira suficientemente cuidadosa, através de estratégia de comunicação que não induza esses produtores ou organizações a antecipar investimentos diante da expectativa de recursos futuros em função do lançamento do edital. Diretrizes conceituais Nos próximos itens, apresenta-se uma discussão conceitual inicial da implementação da estratégia de avaliação de impacto para cada uma das ações apoiadas pelo Projeto, detalhando as oportunidades de avaliação de impacto adotando modelos aleatórios ou quase-experimentais, sempre que possível.

Componente 1 Desenvolvimento Regional Sustentável

Projetos de Iniciativas de Negócios Sustentáveis. O subcomponente 1.2 é o que apresenta as melhores oportunidades para avaliação de impacto rigorosa, não apenas em função do desenho dos editais, que incorporam etapas sequencias de seleção, mas

15

também devido à possibilidade de avaliar separadamente o efeito de assistência técnica para preparação de plano de negócios do efeito do financiamento desse plano, apoiado por recursos do Projeto. Os esforços de avaliação de impacto associados a ações dessa natureza no Brasil ainda são bastante preliminares, de tal forma que o desenho da avaliação ou não permite separar o efeito de financiamento daquele de assistência técnica, ou, quando muito, centraliza esforços em avaliar separadamente financiamento e assistência técnica ex-post. Se de um lado as lições aprendidas a partir desse tipo de avaliação tem valor – podendo indicar, por exemplo, que o Governo deva fortalecer as ações de assistência técnica em detrimento do financiamento direto da produção –, de outro lado deixam de fora um dos aspectos mais amplamente reconhecidos como gargalo estrutural das organizações produtivas, especialmente daqueles envolvendo pequenos produtores e a agricultura familiar: as deficiências na preparação de projetos. Essa fragilidade influencia tanto na execução do projeto financiado pelo Banco Mundial, uma vez que experiências anteriores documentam as dificuldades associadas à apresentação de um número mínimo de projetos com viabilidade econômica e financeira, quanto na capacidade de essas organizações acessarem outras linhas de financiamento e, através destas, novas e melhores tecnologias para aumento da produtividade, acesso a novos mercados, e incremento da produtividade e da receita de vendas. Diante disso, esse subcomponente do projeto oferece uma excelente oportunidade de aprendizado sobre o os esforços de assistência na preparação de projetos. Conforme mencionado anteriormente, o desenho previsto para os editais é bastante adequado aos requerimentos da metodologia de avaliação de impacto apresentados na seção anterior. A figura abaixo sumariza os procedimentos de seleção em cada etapa do processo. Já no lançamento do edital há um primeiro recorte, em que são definidas como elegíveis apenas propostas provenientes de territórios trabalhados por aquele edital. De acordo com a discussão introduzida na seção anterior, deve ser levada em conta a preocupação com a não-antecipação dos impactos por parte das organizações produtivas possivelmente contempladas com financiamentos futuros, sendo ideal o recurso à randomização da ordem dos editais que priorizam as diferentes regiões de desenvolvimento do Estado. Segue-se à publicação do edital a etapa de manifestação de interesse, na qual ocorre um primeiro corte das propostas, principalmente baseado em critérios de adequação ao edital (se corresponde aos territórios contempladas e às cadeias produtivas apoiadas, se não possui pendências em relação a prestação de conta de financiamento anterior do projeto, se atende a requerimentos socioambientais, se envolve a participação mínima exigida de agricultores familiares, etc.), mas que pode também contemplar pontuação em função de ações de priorização (como % de associadas mulheres) bem como de focalização (como características municipais), a fim de evitar a pulverização ou o direcionamento dos investimentos. A seleção dos projetos nessa fase é realizada pela unidade executora, seguindo as diretrizes especificadas em edital. O modelo de edital inclui como critérios de (i) elegibilidade das manifestações de interesse, por exemplo: se envolve agricultores familiares, se é adequada ao edital, se

16

está formalmente constituída; exigindo que todos os critérios sejam atendidos para que a proposta seja considerada elegível; (ii) critérios para avaliação das manifestações de interesse, envolvendo desde qualidade da proposta até critérios socioambientais. Utilizando critérios objetivos, definindo a metodologia de pontuação (1, 2 ou 3 pontos) e os pesos de cada critério no manual, englobando prioridade do município no projeto, grau de organização do grupo proponente e qualidade da estratégia de acesso a mercados da proposta, entre outros. O uso da pontuação nesse primeiro estágio é importante para o desenho da avaliação, e necessário caso haja mais propostas elegíveis do que recursos para financiamento de planos de negócio (a princípio, o número de planos de negócio contratados será de 120% do número de projetos financiados conforme definido em edital). Em havendo utilização do sistema de pontuação, e definindo-se ex-post uma pontuação de corte, está preparado o terreno para a utilização de regressão por descontinuidade conforme detalhado na seção anterior. Mais do que isso, em função da realização de um piloto da coleta de dados anteriormente ao lançamento do edital, já é possível definir nesse momento a dimensão do grupo de controle e dar início à institucionalização do acompanhamento dos indicadores das organizações que foram consideradas inelegíveis nessa primeira etapa. Cabe destacar uma questão que torna mais complexa a seleção em cada uma das etapas do projeto, qual seja, a presença de cotas para organizações lideradas por mulheres entre as ações financiadas por cada edital. Isso obriga que, em cada fase de seleção, as propostas lideradas por mulheres sejam analisadas primeiro, e em havendo demanda elegível maior do que o número de cotas, pontuadas separadamente e selecionadas até que a cota seja preenchida. As remanescentes retornam então para o pool, e voltam a ser consideradas conjuntamente àquelas lideradas por homens no processo de seleção. Caso haja menos propostas elegíveis do que o número de cotas, estas são automaticamente financiadas. Esse fato introduz uma complicação adicional para avaliação do elemento de gênero no projeto: as propostas aprovadas como parte da cota não podem ser consideradas em nenhum recorte de descontinuidade, em função de dificuldades de comparabilidade destas com as demais não financiadas ou não apoiadas para desenvolvimento do plano de negócios. Caso haja um número de propostas elegíveis lideradas por mulheres seja suficientemente grande, isso não traz implicações maiores para explorar a questão de gênero na avaliação, conforme detalhado abaixo. Destaca-se, contudo, que pode tornar-se inviável avaliar essa dimensão no caso de a quantidade de propostas elegíveis não atingir a cota ou for apenas marginal superior a esta. Passando à fase seguinte, as propostas elegíveis com melhor pontuação recebem assistência técnica para elaboração de plano de negócio. Ao final do processo, o Comitê Misto de Avaliação avalia os planos de negócio baseado em critérios técnicos de viabilidade econômica e financeira e em critérios de priorização (possivelmente os mesmos utilizados na fase anterior do processo), bem como em uma metodologia objetiva de atribuição de pontos e de ponderação dos diferentes critérios, selecionando o número de projetos estabelecido no edital. Caso haja empate entre projetos marginais, pode-se utilizar de sorteio – fortalecendo ainda mais a justificativa de comparabilidade entre tratamento e controle – para definir os projetos financiados

17

dentre aqueles com mesma pontuação, sob supervisão e auditoria dos organismos competentes. Uma vez mais, definindo-se ex-post uma pontuação de corte, está preparado o terreno para a utilização de regressão por descontinuidade conforme detalhado na seção anterior. Da mesma forma, o piloto da coleta de dados anteriormente ao lançamento do edital informa a dimensão do grupo de controle nesse estágio (evidentemente, menor ou igual a 25% do total de projetos financiados, uma vez que esse é o número de planos de negócio adicionais financiados acima do volume de projetos apoiados com recursos do edital). Por fim, cabe destacar que devem ser definidas regras claras sobre exclusão de participação em outros editais para organizações reprovadas seja na etapa de manifestação de interesse, seja na etapa de plano de negócio. Caso o grupo de controle possa ser incorporado ao grupo de tratamento (assim definido separadamente para cada uma das etapas da seleção) dentro de um intervalo em que os impactos das ações apoiadas pelo projeto ainda não possam ser verificadas entre os tratados, então o rigor da avaliação fica comprometido. Os intervalos de exclusão devem portanto ser definidos tendo em mente o prazo médio esperado para que as ações apoiadas possam converter-se em resultados, tal como medidos através dos indicadores selecionados. Assistência técnica vs. Financiamento. Conforme deixa clara a discussão anterior, a avaliação exploraria duas descontinuidades distintas, cada uma delas permitindo inferir os efeitos causais de um instrumento diferente. Na etapa de manifestação de interesse, as diferenças de resultado ao longo do tempo entre os projetos imediatamente abaixo e imediatamente acima da pontuação de corte deveriam dever-se exclusivamente ao efeito da contratação de plano de negócio. Da mesma forma, já com os planos de negócio desenvolvidos, as diferenças de resultado ao longo do tempo entre os projetos imediatamente abaixo e imediatamente acima da pontuação de corte deveriam dever-se exclusivamente ao efeito do financiamento (incluindo aí assistência técnica ex-post e capacitações, a princípio previstas para serem oferecidas a todos os projetos aprovados, e para nenhum outro). A menos que o efeito causal do financiamento seja muito maior que o efeito causal do apoio à elaboração do plano de negócio, então o Governo do Rio Grande do Norte, assim como o Banco Mundial, envolvido na preparação de outros projetos, tem diretrizes claras sobre que tipos de ação priorizar em contextos similares, uma vez que a assistência técnica ex-ante é muito mais barata do que as ações o apoio ex-post. Evidentemente, é fundamental coletar dados sobre acesso a outras linhas de financiamento, com fins de documentar o mecanismo através do qual a assistência técnica ex-ante pode potencialmente contribuir (ou ser insuficiente para tanto) ganho significativo de resultados. Financiamento vs. assistência técnica e capacitações. A discussão imediatamente anterior aponta para a impossibilidade de separar os efeitos do financiamento daqueles de assistência técnica ex-post e capacitações. O Banco Mundial tem utilizado em outros projetos uma metodologia que se baseia em auto-seleção para permitir que o efeito desses elementos sobre resultados possa ser estimado separadamente.

18

Em resumo, algumas organizações acessariam um dado edital em busca de recursos e de assistência técnica, outras, em busca apenas de recursos, e outras ainda em busca apenas de assistência técnica. Caso o projeto permitisse (diferente do que está previsto até aqui) que houvesse essa diferenciação de apoio, então a avaliação poderia comparar os resultados desses grupos e atribuir diferenças sistemáticas aos diferentes instrumentos acessados através do projeto. Há, contudo, potencial limitado de atribuição causal no caso em análise: organizações que optam por não receber assistência técnica podem não ser comparáveis com aquelas que optam por receber tanto financiamento quanto ATER, ainda que suas propostas sejam similares em atributos observáveis (isto é, obtenham pontuação similar). Em virtude disso, a separação entre assistência técnica ex-post e financiamento não parece ser alternativa viável para avaliação de impacto rigorosa no caso do RN Sustentável. Uma possibilidade seria aleatorizar quais projetos financiados recebem assistência técnica, mas diante da percepção de que a ausência de ATER colocaria em risco a execução, essa possibilidade está a princípio descartada. No que diz respeito às capacitações, há boas possibilidades de aferir seu efeito separadamente daquele do financiamento desde que o projeto esteja disposto a incluir nas ações de capacitação um subconjunto do grupo que foi rejeitado na etapa de manifestação de interesse e um subgrupo daquele que foi não foi contemplado na fase seguinte. Assim, teríamos cinco grupos diferentes, conforme detalhado abaixo: Não apoiado com plano de negócio nem financiamento e sem capacitação; Não apoiado com plano de negócio nem financiamento e com capacitação; Apoiado com plano de negócio mas não financiado e sem capacitação; Apoiado com plano de negócio mas não financiado e com capacitação; e Financiado, com assistência técnica e capacitação.

Essa estratificação permitiria, com custos apenas marginais (já que as vagas das turmas de capacitação não necessariamente seriam completamente preenchidas apenas com membros das organizações financiadas), documentar o efeito causal das capacitações sobre resultados. Nesse caso, o número de observações em cada um dos 5 grupos acima apresentados é uma decisão pautada tanto pelo efeito mínimo detectável, níveis de significância e poder desejados, e variância documentada através da realização do piloto, quanto dos custos para inclusão desses indivíduos parte de grupos não financiados. As organizações não financiadas selecionadas para as capacitações, num desenho ideal, deveriam ser sorteadas dentre aquelas que já integram os grupos de controle que serão acompanhados através da coleta de indicadores ao longo do projeto. Quanto ao enfoque de gênero, como mencionado anteriormente, a princípio, a questão pode ser avaliada dentro do design de descontinuidade, desde que haja número suficiente de propostas lideradas por mulheres entre as propostas marginais. A existência da cota de 35% dos projetos financiados para organizações lideradas por mulheres pode criar dificuldades para a avaliação no caso de a quantidade de propostas elegíveis lideradas por mulheres for menor ou apenas marginalmente maior que esse limite inferior.

19

Uma alternativa utilizada pelo Banco Mundial em outros contextos é a comparação do impacto do financiamento sobre resultados em setores dominados por mulheres (em que se destacam, por exemplo, bordados e artesanatos) vis a vis setores em que não há predominância de gênero. Ainda que essa seja uma estratégia de simples implementação, não é tão satisfatória do ponto de vista de rigor, uma vez que choques idiossincráticos a cada atividade econômica poderiam explicar diferenças sistemáticas de desempenho entre elas. De todo modo, estudos de caso contemplando um subconjunto das propostas marginais (ou das propostas selecionadas por cota, no caso de demanda reduzida desse grupo) de organizações lideradas por mulheres, assim como um subconjunto de organizações similares (idealmente, igualmente marginais) lideradas por homens, poderia ajudar a esclarecer o impacto de gênero sobre gestão e desempenho.

Projetos Socioambientais. Os Projetos Socioambientais (PSA) apoiados pelo RN Sustentável serão vinculados às comunidades, abrangendo área geograficamente mais amplas que àquelas correspondente às organizações responsáveis pela execução dos investimentos. Espera-se que metade dos Projetos Socioambientais (PSA) correspondam a sistemas de abastecimento e tratamento de água com reuso. Os impactos esperados dessas ações, associados à melhoria da qualidade da água, traduzem-se principalmente em variáveis de saúde. Uma vez que, conforme discutido mais à frente, os investimentos apoiados pelo projeto no subcomponente 1.2 possuem oportunidades limitadas para avaliação de impacto rigorosa, há excelente oportunidade para avaliar parte do impacto do projeto sobre saúde através dos investimentos socioambientais. Ainda melhor, a coleta de dados para esse fim pode ser obtida a custos mínimos uma vez que os microdados do programa Saúde da Família, contemplando acompanhando em nível individual a cada três meses, foram colocados à disposição da UGP. Seria necessário apenas confirmar a cobertura da estratégia do Saúde da Família nas áreas contempladas pelos editais, e avaliar se as variáveis já tabuladas atendem às necessidades de avaliação. Caso seja necessário incorporar novas dimensões de análise ao agente de saúde, podem ser necessários investimentos de capacitação – lembrando que a coleta de dados deve ser iniciada desde período anterior à execução dos investimentos, devendo incorporar também grupo de controle. Em resumo, se de um lado a capilaridade do PSF e a qualidade dos dados já produzidos torna a avaliação em princípio um esforço de baixo custo, de outro lado se houver necessidade de incorporação de novas variáveis, pode ser mais indicado contratar avaliação completamente independente do PSF de modo a garantir adequação na aplicação do questionário e acompanhamento adequado de um grupo de controle, nos mesmos moldes já descritos nas seções anteriores. Outro grande bloco do PSA corresponde ao projetos de recursos hídricos para produção voltados a segurança alimentar e nutricional das famílias. Na mesma linha da discussão da seção anterior, a melhor utilização da avaliação com relação a esses investimentos seria privilegiar o enfoque produtivo, investigando a heterogeneidade dos impactos já documentados de acordo com a disponibilidade de equipamentos públicos adequados à realização das atividades produtivas em questão.

20

Uma vez que os editais sejam desenhados utilizando a mesma lógica do sistema de pontuação, mais uma vez aqui poderia ser explorado o desenho de descontinuidade. De outro lado, uma alternativa à duplicação dos esforços de avaliação de impacto para esses investimentos seria acompanhar a disponibilidade de infraestrutura socioambiental adequada apenas para as organizações que já estão sendo monitoradas em função das iniciativas de negócio (grupos de tratamento e controle, em cada caso). Assim, caso as comunidades em que os produtores ligados a essas organizações se inserem (mesmo que apenas parte deles) sejam eventualmente contempladas por investimentos socioambientais apoiados pelo projeto (choque que pode ser considerado aleatório do ponto de vista da organização, sobretudo porque a previsão é de que dificilmente a mesma organização será capaz de acessar mais de um investimento do projeto, em função das exigências sobre prestação de contas), o impacto diferencial sobre indicadores de resultado em relação à tendência anterior poderia ser atribuído à disponibilidade desses equipamentos públicos. Um ponto relevante seria tentar documentar, através de estudos de caso ou pesquisa de baixo custo (por exemplo, através do telefone celular), se as organizações realizam investimentos complementares na presença de infraestrutura socioambiental. As lições assim aprendidas seriam relevantes para orientar os investimentos do Governo do Rio Grande do Norte – bem como as ações do Banco Mundial, envolvido na preparação de outros projetos – no sentido de potencializar o uso dos recursos públicos para catalisar investimentos produtivos do setor privado. Ainda, diferente do esforço de avaliação realizado durante o PCPR, que focalizou os impactos do acesso à água sobre o uso do tempo pelas mulheres, a composição dos investimentos socioambientais previstos pelo RN Sustentável dificultam a avaliação da questão do gênero no contexto desse componente. Isso porque apenas uma pequena parcela dos investimentos ligados à melhoramento da produção são previstos para apoiar atividades tipicamente realizadas por mulheres. Por fim, essas ações preveem projetos de resíduos sólidos, ligados a organizações de catadores de material reciclável – de forte relação com trabalho infantil e fragilidade de mulheres e jovens. Apesar da previsão de um pequeno número (dez) de ações apoiadas, seria interessante a realização de estudos de caso para entender os impactos de atividades de comércio justo e solidário, em especial sobre as fragilidades mencionadas acima. As demais ações correspondem a pagamento por serviços ambientais, de caráter inovador no Estado do Rio Grande do Norte. O número previsto e o volume de recursos destinado a esses projetos parecem não justificar um esforço adicional de avaliação rigorosa; no entanto, estudos de caso para documentar os resultados desses investimentos podem contribuir para uma compreensão mais profunda de seus impactos bem como do desenho ótimo desse tipo de ação.

Componente 2- Subcomponente 2.2 - Melhoria da Qualidade da Educação Básica

O Subcomponente 2.2 apresenta excelentes oportunidades para avaliação de impacto rigorosa, não apenas em função da disponibilidade em adotar um desenho controlado

21

da implementação das ações apoiadas pelo projeto, mas também devido à ausência de diagnóstico fechado sobre alguns dos desafios que o projeto se propõe a abordar, na presença de hipóteses alternativas que a avaliação pode ajudar a iluminar.

Projetos de Inovações Pedagógicas (PIP). Essa ação consiste no financiamento de projetos propostos diretamente pelas escolas, em linha com as principais demandas identificadas no PDE Escola, mas não contempladas por outras linhas de financiamento. O Estado do Rio Grande do Norte já realiza iniciativa similar através do programa Ensino Médio Inovador, de sucesso documentado principalmente entre as escolas de Ensino Médio noturno. A grande oportunidade de avaliação dessa ação é derivada da realização de oficinas de preparação de projetos para auxiliar as escolas dos territórios contempladas por cada edital. Uma vez que, de acordo com o desenho da implementação dessa ação do RN Sustentável, em cada edital apenas um subconjunto das escolas participará das oficinas de preparação de projetos, e apenas um subconjunto destas será contemplado com financiamento (em função de restrições de oferta), fica clara a oportunidade de aprender sobre quão relevante é o gargalo de capacidade para preparação de projetos, e qual a taxa de retorno desse tipo de ação apoiada (que no caso do projeto, não contempla projetos de infraestrutura), medida através de indicadores educacionais que o Estado passará a acompanhar de modo contínuo com a introdução do SIGEDUC. Vale destacar a grande semelhança entre a estrutura do desenho de avaliação dos subcomponentes 1.2 e 2.2. A diferença é que neste caso a participação nas oficinas não se dará a partir de seleção prévia baseada em manifestação de interesse, mas no recorte territorial do edital. A seleção para o apoio financeiro do projeto deve, no entanto, pautar-se em sistema de pontuação e linha de corte similar àquele do subcomponente de iniciativas de negócio. Assim, o desenho de descontinuidade pode ser utilizado para avaliar o efeito do financiamento assim como antes, enquanto o efeito do apoio à preparação de projetos deve ser avaliado através de um desenho de diferenças-em-diferenças. A variável de interesse nesse caso seria a % das demandas atendidas com recursos de outras fontes; a hipótese é de que a capacitação deve permitir que as escolas passem a acessar mais recursos de todas as fontes, e não apenas do RN Sustentável. É importante que as variáveis de impacto que se deseja monitorar sejam definidas previamente e incorporadas ao SIGEDUC desde antes da realização das oficinas, para que o perfil de entrada – fundamental para a avaliação de impacto rigorosa – esteja disponível. Em particular, é fundamental acompanhar os recursos acessados pelas escolas a partir das demandas consolidadas no PDE Escola através de todas as fontes, variável que precisa ser incluída no sistema de acompanhamento da Secretaria de Educação caso já não seja alvo de acompanhamento.

22

5.2 OUTRAS OPORTUNIDADE E OS MÉTODOS DE AVALIAÇÃO

Subcomponente 1.1 Investimentos Estruturantes e Fortalecimento da Governança Local

Estradas. Não há oportunidades de avaliação de impacto rigorosa com respeito aos trechos de estradas trabalhados pelo Projeto. Seria interessante, contudo, avaliar de algum modo os impactos esperados dos investimentos em estradas, diretamente sobre fluxo de veículos, de turistas e indiretamente sobre população, renda e emprego. Uma possibilidade interessante seria a estimação de um modelo gravitacional utilizando as mudanças na matriz de tempos do Estado em função das ações apoiadas pelo RN Sustentável através dos projetos estruturantes de transportes. Na literatura econômica, tais modelos são utilizados para projetar decisões de localização de firmas e trabalhadores (e, portanto, fluxos de emprego e renda) assim como fluxos de comércio inter e intrarregionais por setor de atividade econômica.5 Uma motivação adicional para que um estudo dessa natureza seja contratado é que o Estado precisa atualizar sua matriz de tempos – hoje disponível apenas para a região metropolitana de Natal – como condição necessária para a avaliação, por constituir perfil de entrada. O estudo então seria contratado antes do início das obras, devendo coletar dados sobre o tempo de deslocamento ao longo dos trechos trabalhados antes e depois da nova infraestrutura viária. A coleta pode ser feita através de GPS instalados em veículos de carga e/ou passeio, prática na qual o Estado já dispõe de experiência através de outras ações realizadas pela Secretaria de Tributação. Uma vez coletados os dados, adicionalmente a informações sócio-demográficas dos municípios do Estado, de produção do IBGE, e de localização e características básicas das firmas por setor de atividades, produzidas pelo Ministério do Trabalho, o pesquisador tem condições de estimar um modelo gravitacional para projeção do impacto dos trechos apoiados sobre fluxos de população, renda e emprego, intra e interestaduais, por setor de atividade. Turismo. Também no Turismo as oportunidades de avaliação são limitadas. As intervenções, concentradas em 5 grandes polos de investimentos, são por definição específicas àquelas regiões e seus impactos não podem, portanto, ser comparados de maneira rigorosa aos fluxos turísticos para outras áreas. É possível, contudo, realizar uma avaliação antes-e-depois nos destinos trabalhados, tomando por base o questionário do perfil de demanda da SETUR. Uma avaliação dessa natureza seria importante por uma série de motivos. Primeiro porque o Estado não coleta dados de maneira sistemática nos diferentes destinos turísticos do Rio Grande do Norte, sobretudo no que diz respeito aos destinos secundários, que são aqueles prioritariamente apoiados pelo projeto. Nem mesmo os boletins preenchidos nos hotéis e pousadas são integrados a um sistema de informações centralizado na Secretaria de Turismo, ação que deveria ser prioritária para o desenvolvimento de um planejamento estratégico para as ações de apoio ao turismo no Estado. Um segundo motivo é que o questionário pode ajudar a iluminar os impactos do projeto, sobretudo ao identificar viajantes que estiveram nos destinos trabalhados tanto antes quando

5 Ver Biderman, C. (2005) “Indução a ocupação decorrente de uma obra viária: o caso do Rodoanel”, e Magalhães, A. e Domingues, E. (2006) “Relações interestaduais e intersetoriais do comércio no Brasil: uma análise gravitacional e regional”.

23

depois das realizações das ações apoiadas pelo RN Sustentável. O acompanhamento dos respondentes da pesquisa de linha de base ao longo do tempo (por exemplo, através de pesquisas por celular) pode ser uma metodologia barata para auferir esse impacto em termos quantitativos de modo tão rigoroso quanto possível. Cabe destacar que seria interessante monitorar também alguns destinos que não serão acompanhados pelo Projeto. Há, contudo, uma série de outros fatores afetando as condições de oferta e demanda turísticas do Estado no intervalo de execução do projeto, desde investimentos complementares do PRODETUR até obras relacionadas à Copa do Mundo, que tornam desafiador isolar o efeito do projeto sobre as variáveis de interesse. Por fim, as ações do turismo preveem ações de capacitação através de formação em serviço de profissionais ligados ao turismo (camareiras, garçons, etc.), com algum potencial de avaliação rigorosa. Como o PRODETUR possui investimentos similares mas com recursos muito mais vultuosos, o ideal seria integrar os esforços de avaliação do RN Sustentável com aqueles do projeto do BID, caso isto seja possível. Feiras. As feiras são uma oportunidade de mapear as principais potencialidades e fragilidades das cadeias produtivas do Estado e das alianças produtivas apoiadas pelo Projeto, bem como a visão dos empresários de fora do Estado sobre essas questões. Melhor ainda seria acompanhar a visão dos respondentes ao longo do tempo, possivelmente identificando (ainda que de forma indireta) o efeito do RN Sustentável sobre essas potencialidades e fragilidades à medida que as ações apoiadas pelo Projeto são executadas através do telefone celular. Além disso, durante a realização destas feiras, os participantes poderão ser acompanhados através da tecnologia de cartão inteligente dotados com RFID.

Subcomponente 2.1 - Atenção à Saúde

Conforme mencionado anteriormente, as intervenções de Saúde apoiadas pelo projeto são basicamente um pequeno número de grandes investimentos físicos, cujos impactos são de difícil avaliação rigorosa, além de ações de capacitação dos servidores nos termos das práticas padrão definidas pelo Ministério da Saúde, para as quais não há interesse, em princípio, em conservar um grupo de controle não capacitado (mesmo que apenas por um intervalo definido) para fins de avaliação. Ainda assim, como esse subcomponente tem grande ênfase sobre a questão de gênero, focalizando a rede materno-infantil (além das redes de urgência e emergência e atenção oncológica), é válido se utilizar dos microdados do PSF para auferir a variação dos indicadores relevantes antes e depois das ações do projeto, com alguma credibilidade sobre os efeitos estimados caso a melhoria dos indicadores seja concentrada em mulheres em idade fértil, por exemplo. Adicionalmente, seja no que diz respeito ao hospital da mulher ou aos bancos de leite, estudos de caso poderiam documentar diretamente seu funcionamento, o perfil das pacientes e impactos sobre saúde. Um comentário final com relação às demais ações do subcomponente é que parte substancial dos investimentos remete à melhoria de procedimentos diagnósticos, cuja transmissão a variáveis de resultado é de difícil mensuração e pode até materializar-se em impacto negativo na fase de transição (com mais casos diagnosticados, é possível que a contagem de mortes por causas definidas aumente após a introdução das ações apoiadas pelo projeto).

24

Subcomponente 2.2 - Melhoria da Qualidade da Educação Básica

Observatório do aluno. A partir da riqueza de informações acompanhadas continuamente através do SIGEDUC, o Observatório do Aluno tornará parte desses dados públicos com o objetivo de estimular a participação da comunidade. Nessa linha, as informações sobre atividades realizadas em sala e desempenho bimestral de cada turma estarão disponíveis para consulta apenas dos pais e demais membros da comunidade escolar, permitindo em princípio um acompanhamento mais próximo do desempenho dos filhos e um suporte mais pró-ativo dos pais, com reflexos sobre evasão e frequência escolar e sobre aprendizado. Avaliou-se disponibilidade para realizar um piloto do Observatório do Aluno ou escalonar a iniciativa, introduzindo novas escolas ou municípios apenas gradativamente, o que criaria as condições necessárias para a avaliação de impacto rigorosa. Nesse caso, a preocupação de antecipação por parte dos futuramente contemplados é pouco importante em virtude da impossibilidade de acessar tais informações através de outros canais que já não estivessem disponíveis previamente à introdução das ações apoiadas pelo projeto. O cronograma de inclusão deve pautar-se por intervalos de tempo suficientes para que a ferramenta possa ser compreendida e incorporada pela comunidade, e seus impactos transmitidos a resultados, do contrário a avaliação de impacto terá dificuldades em documentar diferenças existentes entre tratamento e controle. Ainda, as especificações do grupo de controle podem ser definidas com base nos mesmos critérios estatísticos introduzidos na discussão do subcomponente 1.2. Em função das lições aprendidas sobre como estimular a participação da comunidade na educação dos filhos, e devido ao fato de a evasão escolar no Ensino Médio constituir um dos mais críticos problemas do Estado do Rio Grande do Norte, o Observatório do Aluno deveria figurar entre as ações prioritárias de avaliação de impacto do projeto.

Programa Nacional de Alimentação Escolar. Por último, o subcomponente prevê ações de fomentam a aquisição de alimentos para a merenda escolar da agricultura familiar. Segundo as regras do PNAE, ao menos 30% dos produtos da merenda escolar deveriam ser provenientes da agricultura familiar, mas na prática a maior parte das escolas não atende essa porcentagem mínima. Além do foco na agricultura familiar, principal público-alvo do projeto, a principal justificativa para a realização de uma avaliação com respeito a essa ação é que a secretaria de educação não tem um diagnóstico claro sobre as razões de esses padrões mínimos não serem atendidos. Entre as hipóteses aventadas incluem-se (i) desconhecimento do diretor da escola sobre a exigência de 30%, (ii) restrição de oferta da agricultura familiar na região ou falta de representação da produção da agricultura familiar da região nos produtos incluídos na merenda escolar, (iii) restrição ativa dos limites legais aos pronafianos de fornecimento ao programa e/ou desconhecimento da aplicação do limite por CPF, e (iv) temor de atraso nos pagamentos por se tratar de programa governamental (injustificado nesse caso por se tratar de repasse direto ao caixa escolar, sendo o pagamento portanto de responsabilidade direta da escola). Três destas hipóteses (i, iii e iv) tem a ver com falta de informação precisa sobre o funcionamento do PNAE, e uma delas (ii) sobre a incapacidade da agricultura familiar numa

25

dada região de ofertar os produtos da merenda escolar. Para avaliar qual(is) hipótese(s) se verificam na prática, uma possibilidade simples seria subdividir as escolas e as regiões em que se inserem em 5 grupos, em que um deles é o grupo de controle, para o qual nenhuma intervenção é direcionada, enquanto cada um dos demais é alvo de um tratamento diferente. Os primeiros três concentrariam as intervenções informacionais: no primeiro, os diretores seriam informados sobre o requerimento mínimo do PNAE, no segundo, os produtores seriam pesquisados sobre quão restritivo é o limite legal e informados de que podem utilizar o CPF do cônjuge para continuar fornecendo ao programa quando os primeiros atingem o limite legal, no terceiro, os produtores seriam informados de que o pagamento é feito diretamente pela escola e, portanto, não está sujeito a atrasos. No último, a merenda escolar seria adaptada para incluir produtos sabidamente produzidos pela agricultura familiar da região. A variável de resultado monitorada pela avaliação seria a % dos produtos utilizados na merenda escolar provenientes da agricultura familiar em cada escola, antes e depois das intervenções projetadas. O intervalo de tempo entre a coleta de dados deve refletir o tempo necessário para que as ações trabalhadas possam transmitir-se a resultados. Uma ação complementar, prévia à implementação da avaliação de impacto, seria entrevistar diretores de escola assim como pronafianos fornecedores do PNAE, de maneira a realizar um pré-mapeamento da razoabilidade das hipóteses aventadas e possivelmente identificar outras fontes da dificuldade das escolas em atender às exigências mínimas do PNAE no que diz respeito à agricultura familiar.

Componente 3. Melhoria da Gestão do Setor Público

Conforme já discutido, o Componente 3 do projeto possui oportunidades limitadas de avaliação de Impacto. Ações específicas têm efeitos esperados dispersos sobre a capacidade de planejamento e gestão, e unidades comparáveis, necessárias para descartar a influência de outros mecanismos sobre os resultados de interesse, não estão disponíveis nesse caso. Por fim, inexiste linha de base para a maioria dos indicadores de interesse justamente em função da falta de controles que caracteriza a situação do Estado previamente à introdução das ações apoiadas pelo projeto. No entanto, há pelo menos duas maneiras válidas (ainda que pouco rigorosas) de documentar os impactos das ações desse componente sobre resultados. A primeira é através do monitoramento de indicadores quantitativos – como a % de projetos e atividades sem execução financeira, que era de cerca de 40% antes do início da implementação do projeto, ou a % de projetos e atividades com suplementação financeira, que era superior a 100%, ou ainda a % de recursos remanejados, que era próxima a 15%, sumarizando a falta de planejamento do Estado – antes e após a implementação das ações apoiadas. A segunda é através de um estudo de caso detalhado, que documente como se alterou a capacidade do Estado de priorizar ou contingenciar despesas baseado em critérios objetivos de execução física e financeira, sobretudo a partir da introdução das salas de situação previstas para acompanhamento de projetos prioritários em áreas selecionadas da Administração Pública.

26

ANEXOS

Anexo 1. Matriz de Indicadores para Monitoramento dos Resultados Anexo 2. Quadro das principais metas do Projeto Anexo 3. Indicadores de Desempenho Anexo 4a. Ficha de Caracterização de Indicadores Anexo 4b. Ficha de Acompanhamento de Indicadores

27

Anexo 1. Matriz de Indicadores para Monitoramento dos Resultados

Indicadores

Cor

e Unidade de Medida

Linha de Base (Ano)

Metas Cumulativas (%) Fre-quência Metodologia Fonte de dados Responsabilidade

pela coleta de dados Ano 1

Ano 2

Ano 3

Ano 4

Ano 5

Objetivo de Desenvolvimento do Projeto (PDO) O objetivo de desenvolvimento do Projeto é contribuir para os esforços do Estado para: i) aumentar a segurança alimentar, o acesso à infraestrutura produtiva e o acesso a mercados para a agricultura familiar; (ii) melhorar o acesso e a qualidade dos serviços da educação, da saúde e da segurança pública; e (iii) melhorar os sistemas de controle de despesas públicas, dos recursos humanos e da gestão de ativos físicos, no contexto de uma abordagem de gestão baseada em resultados. Indicadores do PDO

Incremento na renda real dos beneficiários de investimentos produtivos apoiados Pelo Projeto

Percentual 0 (2012) 0 0 5 10 15 Anual

(Renda real média dos beneficiários no ano final do Projeto/ Renda média dos beneficiários no ano inicial do Projeto) -1, corrigida pelo INPC.

Perfil de Entrada, Avaliação de Meio Termo, Avaliação de

Impacto e SMI

UGP, UES/SETHAS e UES/SAPE

Aumento na oferta regional dos serviços de saúde Percentual 62

(2012) 0 66 73 80 88 Anual

(Número de procedimentos de saúde selecionados vinculadas ao local de ocorrência do procedimento de acordo com o desenho regional) / (Nº de total de procedimentos selecionados realizados no estado) x 100, no período de um ano

DATASUS/ SISPRENATAL,

SISMAMA, SISCOLO, SIM e

SIH

UES/SESAP

Elevação do Índice de desenvolvimento da Educação Básica do ensino médio da rede pública estadual

Índice 2,8 (2011) 3,2 - 3,5 - 3,9 Bianual Calculado pelo INEP INEP UES-SEEC

Aumento no percentual da população assistida localmente pelo Boletim Eletrônico

Percentual 45 (2012) 55 60 65 65 65 Anual

População onde existe atendimento local do boletim eletrônico /População total do estado x100

SMI SESED/SEAC

Percentual do orçamento de projetos estratégicos que adotem uma abordagem de gestão baseada em resultados/avaliação de desempenho no seu planejamento e implementação.

Percentual 0 (2012) 0 5 15 25 30 Anual

(Orçamento dos projetos estratégicos do Estado adotando o modelo de gestão orientada em resultados e avaliação de desempenho do planejamento a execução) / (Orçamento dos projetos estratégicos do Estado) x 100

SIAF E SIAP, Pesquisas de

projetos e SMI

UGP, UES-SEPLAN/COPLAC

/CPO

Indicadores de Resultados Intermediários Componente 1. Desenvolvimento Regional Sustentável

28

Indicadores

Cor

e Unidade de Medida

Linha de Base (Ano)

Metas Cumulativas (%) Fre-quência Metodologia Fonte de dados Responsabilidade

pela coleta de dados Ano 1

Ano 2

Ano 3

Ano 4

Ano 5

Incremento do volume de vendas dos empreendimentos de iniciativas de negócios apoiadas pelo Projeto Percentual 0 (2012) 0 0 10 15 20 Anual

(Volume de vendas dos empreendimentos ao final do Projeto / Volume de vendas dos empreendimentos no ano inicial do Projeto) -1.

Perfil de Entrada, Avaliação de Meio Termo, Avaliação de

Impacto e SMI

UGP, UES - SAPE e UES-SETHAS

Famílias com acesso água encanada e tradada na zona rural X

Número (cumulativo) 0

(2012) 0 720 2.160 3.600 3.600 Anual

Número de famílias beneficiadas com subprojetos de acesso à água encanada e tradada na zona rural

SMI UGP e UES-SETHAS

Agricultores familiares com acesso a sistemas de irrigação melhorados X

Número (cumulativo) 0

(2012) 0 280 840 1.400 1.400 Anual Número de agricultores beneficiados com subprojetos de irrigação

SMI UGP e UES-SAPE

Percentual de investimentos produtivos apoiados pelo projeto adotando boas práticas socioambientais e de produção

Percentual 0 (2012) 0 0 30 40 50 Anual Número de projetos financiados que adotaram boas práticas socioambientais

SMI UGP, UES - SAPE e UES-SETHAS

Aumento da participação de grupos de produtores com contratos formais com os agentes de mercado

Percentual 0 0 0 30 50 70 Anual

Número de grupos de produtores com contratos formais com os agentes de mercado / Número de grupos de produtores financiados pelo Projeto x 100

SMI UGP, UES - SAPE e UES-SETHAS

Percentual de investimentos produtivos coletivos de liderados por mulheres Percentual 0 (2012) 0 35 35 35 35 Anual

Número de iniciativas de negócios financiadas lideradas por mulheres/Número total dos projetos coletivos) x 100

SMI UGP, UES - SAPE e UES-SETHAS

Componente 2. Melhoria dos serviços públicos Subcomponente 2.1 Atenção à Saúde

Aumento na proporção de mulheres vinculadas ao local de ocorrência do parto

Percentual 0 (2011) 15 30 45 60 60 Anual

Número de gestantes acompanhadas no Pré-natal e vinculadas / Nº de gestantes acompanhadas no pré-natal x 100

DATASUS/ SISPRENATAL UES-SESAP

Redução do tempo de espera para tratamento de câncer de mama e de colo de útero

Dia 200 (2012) 150 100 60 60 60 Anual

Tempo médio decorrido entre o diagnóstico de câncer e o início do tratamento (em dias)

DATASUS/ SIA, SIH, SISMAMA

E SISCOLO UES-SESAP

Aumento na proporção de óbitos maternos e de mulheres em idade fértil por causa presumíveis de morte materna investigados

Percentual 86 (2011) 90 93 95 100 100 Anual

Número total de óbitos maternos e de MIF presumíveis de morte materna/Número total de

DATASUS/ SIM UES-SESAP

29

Indicadores

Cor

e Unidade de Medida

Linha de Base (Ano)

Metas Cumulativas (%) Fre-quência Metodologia Fonte de dados Responsabilidade

pela coleta de dados Ano 1

Ano 2

Ano 3

Ano 4

Ano 5

óbitos maternos e de MIF presumíveis de morte materna

Aumento do percentual de biopsias realizadas pós exame mamográfico. Parâmetro INCA = 5,60%

Percentual 0,56 (2011) 1,01 1,82 3,28 5,90 8,85 Anual

Número de biopsias realizadas/ Número de biopsias necessárias na faixa etária de 50 a 69 anos

DATASUS/ SIA UES-SESAP

Aumento do percentual de biopsias realizadas pós exame citopatológico. Parâmetro INCA = 2,50%

Percentual 0,57 (2011) 0,74 1,00 1,35 1,89 2,45 Anual

Número de biopsias realizadas/ Número biopsias necessárias na faixa etária de 25 a 64 anos

DATASUS/ SIA UES-SESAP

Aumento na proporção de acesso hospitalar dos óbitos por doenças do aparelho circulatório

Percentual 59 (2010) 60,5 62 64,6 67,2 70,0 Anual

Número de óbitos hospitalares por doenças do aparelho circulatório/ Número total de óbitos por doenças do aparelho circulatório

DATASUS/ SIM e SIH UES-SESAP

Subcomponente 2.2 Melhoria da Qualidade da Educação Básica Elevação do Índice de desenvolvimento da Educação Básica nos anos finais do ensino fundamental da rede pública estadual

Índice 2,9 (2011) 3,4 - 3,8 - 4 Bianual Estimado pelo INEP INEP UES-SEEC

Taxa de implementação das diretrizes e matrizes curriculares do RN

Percentual 0 0 30 50 60 70 Anual

Número de escolas da rede pública estadual com diretrizes e matrizes curriculares implantadas/ Número de escolas da rede pública estadual x 100.

SMI UES-SEEC

Diminuição da taxa de evasão escolar do ensino médio Percentual 23,1

(2011) 22 21 20 18 15 Anual Percentual de evasão dos alunos do ensino médio nas escolas estaduais.

INEP UES-SEEC

Taxa de escolas contempladas pelo Projeto atendendo aos padrões mínimos estabelecidos

Percentual 0 0 10 20 30 50 Anual

Número de escolas contempladas pelo Projeto atendendo aos padrões mínimos estabelecidos/Número de escolas contempladas pelo Projeto x 100.

SMI UES-SEEC

Número de jovens e adultos do meio rural alfabetizados nas classes de alfabetização apoiadas pelo projeto

Número 0

2.500 5.000 7.500 10.000 12.500 Anual Número de pessoas da zona rural alfabetizados pelo Projeto.

SMI UES-SEEC

Percentual de mulheres em áreas rurais participando de aulas de Percentual 0 0 70 70 70 70 Anual Número de mulheres que

participam em aulas de SMI UES-SEEC

30

Indicadores

Cor

e Unidade de Medida

Linha de Base (Ano)

Metas Cumulativas (%) Fre-quência Metodologia Fonte de dados Responsabilidade

pela coleta de dados Ano 1

Ano 2

Ano 3

Ano 4

Ano 5

alfabetização certificados alfabetização certificadas / Total de mulheres que participam em aulas de alfabetização apoiados pelo Projeto x 100

Subcomponente 2.3 Melhoria da Segurança Pública e Defesa Social

Aumento no percentual da população assistida localmente (no município) pelo Centro Integrado de Operação em Segurança Pública

Percentual 40 (2012) 42 50 57 57 57 Anual

População assistida pelo CIOSP/População total do estado x100

SMI, IBGE, CIOSP SESED/SEAC

Componente 3. Melhoria da Gestão do Setor Público

Percentual de servidores com política de esforços e resultados implantada nas secretarias de saúde, educação, segurança pública, planejamento e administração.

Percentual 25 (2011) 25 35 45 50 50 Anual

Número de servidores com política de esforços e resultados implantado / Número total de servidores do estado nas secretarias de saúde, educação e segurança pública, planejamento e administração x 100.

SMI UES-SEARH, COGEP

Diminuição do percentual de recursos remanejados entre as ações orçamentárias (exclusive pessoal)

Percentual 14,2 (2011) 12,2 11,2 10,2 9,2 9 Anual

Total recursos remanejados entre as ações orçamentárias (exclusive pessoal) /Total de recursos das ações orçamentárias (exclusive pessoal) x100

SIAF UES-SEPLAN, CPO

31

Descrição dos Indicadores

Indicadores do PDO

Nome do Indicador Descrição

Incremento na renda real dos beneficiários de investimentos produtivos apoiados Pelo Projeto

Define a porcentagem de aumento na receita real (ajustada pela Inflação) dos agricultores familiares beneficiados com subprojetos produtivos, em decorrência das atividades apoiadas pelo projeto.

Aumento na oferta regional dos serviços de saúde Define o aumento da oferta dos serviços de saúde relacionados a rede de cuidados da saúde apoiados no âmbito do projeto. As redes de cuidados de saúde apoiadas dão ênfase na rede de atenção materno infantil; rede de atenção oncológica; e rede de atenção às urgências e emergências. Os procedimentos selecionados são: Ultra obstétrica, Internações por causa (Cap.9/CID), Razão Papanicolau, Razão mamografia e Procedimentos obstétricos. Este indicador define a proporção de procedimentos realizados em pacientes residentes no município ou região de saúde, ou seja, mede a resolutividade ou acesso regional ao serviço de saúde.

Elevação do Índice de desenvolvimento da Educação Básica do ensino médio da rede pública estadual

Define o aumento no índice de Desenvolvimento de Educação Básica (IDEB) do nível médio e serve para medir a qualidade de cada escola e de cada rede de ensino. O indicador é calculado com base no desempenho do estudante em avaliações do Inep e em taxas de aprovação, que é apresentado numa escala de zero a dez. O índice é medido a cada dois anos.

Aumento no percentual da população assistida localmente pelo Boletim Eletrônico

O indicador expressa a população que vivem em municípios que possuem o Sistema Eletrônico de Informações Policiais (Boletim eletrônico) instaladas e em operação nas unidades de atendimento ao cidadão.

Incremento no percentual orçamento destinado aos projetos estratégicos do Estado que adotam o modelo de gestão orientada em resultados e avaliação de desempenho.

O indicador reflete o desempenho dos projetos estratégicos (pilotos) escolhidos para adotar o modelo de gestão orientado para resultados. Esses projetos deverão ter um acompanhamento diferenciado desde sua fase de programação orçamentária à sua execução físico-financeira. A escolha dos Programas/Projetos prioritários que adotarão o novo modelo de gestão (de forma piloto) deverá ser reavaliada a partir do planejamento estratégico de médio e longo prazo a ser desenvolvido no âmbito do RN Sustentável. O objetivo do indicador é refletir a qualidade do gasto público, que será medido por meio da

32

razão entre montante de recursos financeiros efetivamente alocados durante a execução e montante de recursos orçamentários planejados para aqueles Programas/Projetos. É, portanto uma medida da qualidade do processo de planejamento, considerando o novo modelo de gestão orientado para resultados pressupõe a adoção de práticas de acompanhamento e controle que possibilitem decisões gerenciais visando à consecução dos objetivos previstos.

Resultados Intermediários

Nome do Indicador Descrição

Componente 1. Desenvolvimento Regional Sustentável

Incremento do volume de vendas dos empreendimentos de iniciativas de negócios apoiadas pelo Projeto

Define o aumento do volume de vendas realizado pelas organizações de produtores nos investimentos produtivos atendidos pelo Projeto.

Indicadores Intermediários

Famílias com acesso água encanada e tradada na zona rural

Número de Famílias beneficiados com subprojetos de sistemas de abastecimento e tratamento de água no meio rural

Agricultores familiares com acesso a sistemas de irrigação melhorados

Número de agricultores familiares beneficiados com subprojetos de sistemas de irrigação

Aumento da participação de grupos de produtores com contratos formais com os agentes de mercado

Número organizações produtivas beneficiadas com subprojetos de produtivos apoiados que adotaram práticas sociais sustentáveis, práticas de produção agrícola, e ou práticas ambientais, preconizadas pelo Projeto.

Percentual de investimentos produtivos apoiados pelo projeto adotando boas práticas socioambientais e de produção

Número organizações produtivas que firmaram com acordos contratuais comerciais com os agentes de mercado, sejam privados ou institucionais.

Percentual de investimentos produtivos coletivos de liderados por mulheres

Organizações lideradas por mulheres são aquelas organizações produtivas (OPs) nos quais as mulheres afirmam seu protagonismo e sua autonomia econômica, ocupando cargos de destaque, tais como: presidência, diretoria, participação em conselho gestor ou cargos cuja natureza exerça

33

influência sobre o processo decisório de sua organização.

Componente 2. Melhoria dos serviços públicos

Subcomponente 2.1. Atenção à Saúde

Aumento na proporção de mulheres vinculadas ao local de ocorrência do parto

Número de mulheres grávidas que receberam cuidados pré-natais e vinculadas sobre o total de mulheres grávidas em um período de um ano.

Redução do tempo de espera para tratamento de câncer de mama e de colo de útero

Tempo médio decorrido entre o diagnóstico e o início do tratamento (clínico ou cirúrgico) dos pacientes com câncer, em um período de um ano

Indicadores Intermediários

Aumento na proporção de óbitos maternos e de mulheres em idade fértil por causa presumíveis de morte materna investigados

Número total de óbitos maternos investigados sobre o número total de óbitos maternos em um período de um ano

Aumento do percentual de biopsias realizadas pós exame mamográfico. Parâmetro INCA = 5,60%

Número de biopsias realizadas depois do exame mamográfico sobre o número biopsias necessárias, na população na faixa etária de 50 a 69 anos.

Aumento do percentual de biopsias realizadas pós exame citopatológico. Parâmetro INCA = 2,50%

Número de biopsias realizadas sobre número de biopsias necessárias em uma população feminina na faixa etária de 25 a 64 anos, em um período de um ano.

Aumento na proporção de acesso hospitalar dos óbitos por doenças do aparelho circulatório

Define o percentual de acesso aos hospitais dos óbitos por mortes por doenças circulatórias, no período de um ano.

Subcomponente 2.2. Melhoria da Qualidade da Educação Básica

Elevação do Índice de desenvolvimento da Educação Básica nos anos finais do ensino fundamental da rede pública estadual

Mede a elevação do Índice de Desenvolvimento da Educação Básica (IDEB) dos últimos anos do ensino fundamental básico e serve para medir a qualidade de cada escola e de cada rede de ensino. O indicador é calculado com base no desempenho do estudante em avaliações do Inep e em taxas de aprovação, que é apresentado numa escala de zero a dez. O índice é medido a cada

34

dois anos.

Indicadores Intermediários

Taxa de escolas contempladas pelo Projeto atendendo aos padrões mínimos estabelecidos

Este indicador reflete o grau de implementação das diretrizes e matrizes curriculares nas escolas públicas da rede estadual de ensino do estado do Rio Grande do Norte. As diretrizes e matrizes curriculares, compreende a definição do programa curricular correspondente a cada nível e modalidade de ensino (ensino fundamental, ensino médio e EJA).

Taxa de implementação das diretrizes e matrizes curriculares do RN

Mede a quantidade de alunos que desistiram/abandonaram o em comparação ao total de alunos do ensino secundário da rede de ensino público do Estado. É calculado para o ensino médio da rede pública estadual.

Diminuição da taxa de evasão escolar do ensino médio

Número de escolas atendidas pelo Projeto que cumpre as padrões (normas) mínimas estabelecidas – tanto física quanto pedagógica – em relação ao total de escolas abrangidas pelo Projeto. O modelo consiste em um conjunto pré-determinado de fatores essenciais, como livros para bibliotecas e materiais para os alunos; mobiliário escolar, como mesas, cadeiras e estantes; instalações físicas, garantindo acesso aos alunos com deficiência; e instalações sanitárias. Também deverá determinar os recursos humanos necessários para a implementação adequada das atividades educacionais.

Número de jovens e adultos do meio rural alfabetizados nas classes de alfabetização apoiadas pelo projeto

Número de jovens e adultos beneficiados nas áreas rurais que participam de aulas de alfabetização apoiadas pelo Projeto. Os agricultores analfabetos (particularmente as mulheres) nas regiões menos desenvolvidas serão direcionados para programas de alfabetização, a fim de reduzir sua exclusão econômica e social.

Percentual de mulheres em áreas rurais participando de aulas de alfabetização do Projeto certificados

Número de mulheres que participam em aulas de alfabetização certificadas / Total de mulheres que participam em aulas de alfabetização apoiados pelo Projeto

Subcomponente 3.3 Melhoria da Segurança Pública e Defesa Social (Indicador Intermediário)

Aumento no percentual da população assistida localmente (no município) pelo Centro Integrado de

Este indicador acompanhará a expansão dos serviços do Centro Integrado de Operações de Segurança Pública para além da capital e região metropolitana, definido com o percentual da

35

Operação em Segurança Pública população regionalmente atendida pelo Centro Integrado de Operações de Segurança Pública.

Componente 3. Melhoria da Gestão do Setor Público

Percentual de servidores com política de esforços e resultados implantada nas secretarias de saúde, educação, segurança pública, planejamento e administração

Este indicador é definido pelo percentual dos servidores das secretarias prioritárias (Saúde, Educação, Segurança Pública e Planejamento e Recursos Humanos) que desempenharão as suas funções baseados na política de reforços e resultados implementada com apoio do pelo Projeto

Indicadores Intermediários

Diminuição do percentual de recursos remanejados entre as ações orçamentárias (exclusive pessoal)

Este indicador acompanhará a redução percentual dos recursos realocados entre diferentes ações de orçamento, refletindo, assim, o melhor alinhamento entre o planejamento e a execução orçamentária do governo do Estado.

36

Anexo 2. Quadro das principais metas do Projeto

COMPONENTE 1 Implementar 350 Projetos de Iniciativas de Negócios Sustentáveis Coletivos, 150 Projetos de

Iniciativas de Negócios Sustentáveis da Economia Solidária e 260 Projetos Socioambientais; Beneficiar 20.000 famílias com investimentos produtivos e socioambientais, envolvendo

aproximadamente 70.000 pessoas; Implementar pelo menos 35% das iniciativas de negócios sustentáveis para organizações

produtivas lideradas por mulheres; Capacitar 14.500 beneficiários dos projetos de iniciativas de negócios sustentáveis e dos projetos

socioambientais; Atender pelo menos 03 (três) comunidades indígenas e 11 (onze) comunidades quilombolas com

investimentos produtivos e ou socioambientais;

Melhorar 100 quilômetros de estradas estaduais; e

Melhorar a infraestrutura turística em pelo menos 6 destinos turísticos regionais. COMPONENTE 2 Subcomponente 2.1

Reformar e equipar 23 unidades hospitalares; Construir 01 (um) hospital para atendimento à mulher; Ampliar e equipar 02 (dois) laboratórios de análises; Implantar protocolo de atendimento em 30 maternidades; Reformar e equipar 02 bancos de leite; e Qualificar 1.670 profissionais da saúde;

Subcomponente 2.2 Ampliar, reformar e ou reparar 95 escolas da rede pública estadual Construir 10 (dez) escolas, sendo 6 (seis) no campo Desenvolver em 100% das escolas pública da rede estadual Projetos de Inovação Pedagógicos

(PIP) Estabelecer em 60% municípios o regime de colaboração técnica com o Estado Alfabetizar 12.500 jovens e adultos agricultores familiares Implantar em 70% das escolas pública da rede estadual as matrizes curriculares Implantar em 50% das escolas os padrões mínimos estabelecidos pelo Projeto

Subcomponente 2.3 Digitalizar 100% do acervo de identificação do cidadão; Estruturar com equipamentos de TI todas as delegacias e posto policiais do estado; Fortalecer com equipamentos de TI Sistema de Boletim Eletrônico em 13 municípios polos do

Estado; Fortalecer com equipamentos de TI e com sistemas de informação os Centro Integrado de

Operações de Segurança Pública (CIOSP) da Região Metropolitana de Natal; COMPONENTE 3

Desenvolver nas 05 (cinco) secretarias prioritárias do Projeto instrumentos de controle de gestão

Capacitar 500 gestores públicos (servidores) estaduais em competências estratégicas Registrar 95% dos bens imóveis do Estado em sistema informatizado Digitalizar 90% do acervo documental do Arquivo público estadual Desenvolver nas 05 (cinco) secretarias prioritárias do Projeto instrumentos de controle de

gestão Estruturar a “infovia” das 03 (três) secretarias prioritárias do Projeto

37

Anexo 3. Indicadores de Desempenho

Indicador Unidade Meta

COMPONENTE 1

Número de Projetos de Iniciativas de Negócios Sustentáveis Coletivos (PINS) implementados Número 350

Número de Projetos de Iniciativas de Negócios Sustentáveis da Economia Solidária (PINS Solidários) implementados Número 150

Número de Projetos Socioambientais (PSA) implementados Número 260

Número de Famílias atendidas com investimentos produtivos e ou socioambientais Número 21.400

Número de pessoas atendidas com investimentos produtivos e ou socioambientais Número 74.900

Percentual de produtores beneficiários com DAP (mínimo) Percentual 100

Percentual de pessoas beneficiados cadastrados no CadÚnico (mínimo) Percentual 100

Percentual de Iniciativas de negócios coletivos liderados por mulheres Percentual 35

Número de Planos de Negócios Elaborados Número 912

Percentual de Iniciativas de negócios completados com recursos de outras fontes Percentual 70

Percentual de investimentos produtivos apoiados pelo Projeto adotando boas práticas socioambientais Percentual 50

Número de quilômetros de estradas pavimentadas Quilômetro 100

Número de destinos turísticos apoiados pelo Projeto Número 6

Número de pessoas capacitadas (público alvo) Número 14.500

Percentual mínimo de técnicos envolvidos na implementação do Projeto capacitados Percentual 70

Número eventos de mobilização, sensibilização, divulgação e marketing realizados Número 370

Percentual mínimo de Conselhos Municipais fortalecidos Percentual 70

Proporção mínima de participação de mulheres nos investimentos produtivos ou socioambientais Percentual 50

Proporção mínima de participação das Jovens nos investimentos produtivos ou socioambientais Percentual 30

Número mínimo de comunidades indígenas atendidas pelo Projeto Número 3

Número mínimo de comunidades quilombolas atendidas pelo Projeto Número 11

Proporção de integração de recursos Proporção 1:5

Iniciativas de negócios completados com recursos de outras fontes Percentual 70

COMPONENTE 2

Subcomponente 2.1

Número de unidades hospitalares reformadas e equipadas Número 35

Número de Hospitais construído Número 01

38

Número de Laboratórios ampliados e equipados Número 02

Número de Maternidades com protocolo implantado Número 30

Número de Profissionais na saúde qualificados Pessoas 1.580

Subcomponente 2.2

Número de Escolas ampliadas e/ou reformadas Número 95

Número de Escolas do campo construídas Número 6

Número total de Escolas construídas Número 10

Percentual de Escolas da rede estadual com PIP desenvolvidas Percentual 100

Número de municípios com assessoramento técnico efetivado Município 50

Número de Agricultores familiares jovens e adultos alfabetizados Pessoa 12.500

Percentual de escolas com matrizes curriculares implantadas Percentual 100

Número de escolas atendendo aos padrões mínimos Número 136

Número de pessoas capacitadas como multiplicadores das diretrizes e matrizes curriculares Pessoa 80

Subcomponente 2.3 Percentual da população assistida localmente pelo Boletim Eletrônico Percentual 65

Percentual da população assistida localmente (no município) pelo Centro Integrado de Operação em Segurança Pública Percentual 57

COMPONENTE 3

Número de projetos do Estado adotando o modelo de gestão baseado em resultados e avaliação de desempenho Número 15

Aumento do percentual de recursos orçamentários para investimentos executados nos programas estratégicos (PPA) Percentual 39,5

Diminuição do percentual de recursos remanejados entre as ações orçamentárias (exclusive pessoal) Percentual 9

Diminuição da taxa de ações suplementadas (exclusive situações emergenciais)

Percentual 185

Diminuição do taxa de projetos sem execução financeira Percentual 9,6

Número de acordos de resultados firmados entre o Governador e os órgãos de governo Número 5

Percentual de servidores com política de esforços e resultados implantada nas secretarias de saúde, educação, segurança pública, planejamento e administração.

Percentual 50

Número de servidores públicos estaduais capacitados em competências estratégicas (gestores públicos) Número 500

Registro bens imóveis do Estado controlado pelo novo sistema informatizado Percentual 95

Percentual do acervo documental do arquivo público estadual digitalizado Percentual 100

39

Anexo 4a. Ficha de Caracterização de Indicadores INDICADOR: Objetivo Estratégico do Indicador:

Tipo de Indicador

O que mede

Para que medir

Quem mede

Quando medir

Onde medir

Como medir

Polaridade

Situação inicial (Ano base)

Frequência

Resultado esperado

Ano

Valor

40

Anexo 4b. Ficha de Acompanhamento de Indicadores

Componente: Subcomponente:

N Indicador Protocolo Linha de

Base

Ano

Meta (a) Realizado

(b) (b)-(a)

1

2

3

4