Proposta

Avaliação de Impacto da Embrapa em

Políticas Públicas: síntese de conceitos e

método Marlene de Araújo

SDI/GEDI/ ADE

....

A cultura de monitoramento e avaliação de programas

• EUA – 1ª fase: 1930 / Objetivo: financiamento do Estado e em resposta a crise de 1929. • Temas : educação (alfabetização), saúde pública (doenças infecto-parasitárias) e qualificação profissional. • 2ª fase: 1960 ( governo Lyndon Johnson, Great Society) Objetivo: garantir melhor gestão dos programas públicos no nível federal Temas: prevenção da violência juvenil, planejamento familiar, nutrição, programas habitacionais e desenvolvimento rural. 3ª fase: 1970 . Objetivo: desregulamentação e descentralização da prestação dos serviços públicos. Inicia o monitoramento e avaliação nos governos estaduais, municipais e organizações não governamentais, com visão multidisciplinar. ................................... Brasil: Demanda da Constituição de 1988 e Projeto de Lei do Senado n° 488, de 2017 ( em trâmite) Acrescenta dispositivos à Lei Complementar nº 95, de 26 de fevereiro de 1998, com o intuito de estabelecer normas e diretrizes para encaminhamento de proposições legislativas que instituam

políticas públicas, propiciando melhor responsabilidade gerencial na Administração Pública. No Brasil tem sido realizada por centros de pesquisa, universidades. Equipes com boa experiência em macro politicas, conjuntura social ou projetos de pesquisa acadêmicos. ...............................

E na Embrapa?

Avaliação Clássica de ciclo de políticas públicas Realizada por agentes públicos.

1 2

3

4

5 6

Fonte: JANNUZZI, 2011

O que são politicas públicas?

• "Políticas públicas são um conjunto de decisões inter-relacionadas,

tomadas por um ator ou um grupo político, relacionadas com a seleção

de objetivos e os meios para atingi-los dentro de uma situação específica,

onde essas decisões devem, em princípio, ser possíveis de serem

alcançadas com o poder que esses atores dispõem.”

Howlett e Ramesh (1995, p. 7)

Avaliação de Impacto em Políticas Públicas:

O que é?

"é o processo sistêmico de observação, mensuração, análise e

interpretação de politica pública, seja ela normas, programas ou

planos e a realidade social que lhe envolve, para se chegar a um

julgamento avaliativo baseado em evidência quanto à sua

concepção, implementação, resultados e impactos" (TREVISAN

et al, 2008).

Parte-se da suposição de que existe uma relação causal entre uma variável independente (o programa, o plano) e uma variável dependente (alteração nas condições sociais).

É uma pesquisa dirigida para fora, para além do programa, e deve ser realizada durante ou depois da implementação, observando as causas dos resultados.

O objeto é o estudo do efeito de um programa ou plano, observando:

houve mudança?

qual magnitude?

quais segmentos foram afetados?

Em que medida cada um dos componentes atendidos pelo programa contribuiu para o alcance dos objetivos?

Os objetivos são:

– medir o resultado dos efeitos de uma política;

– servir de medida de desempenho da ação pública da instituição;

– estabelecer relação de causalidade entre as políticas e as alterações das condições sociais.

Estratégias quantitativas de avaliação de resultados e impacto

Qual é a posição do avaliador?

Classificação pela posição do avaliador

• Externa: feita por especialistas que não formam o quadro da instituição responsável pelo programa. Permite comparar resultados de diferentes avaliações, mas os avaliadores podem não dominar completamente o objeto da avaliação. Vantagem: maior objetividade;

• Interna: realizada pela instituição gestora; vantagem de menor resistência e maior conhecimento e dados sobre o programa, mas pode apresentar menor objetividade entre avaliador e avaliado e choques de interesses. Para minimizar, avaliação pode ficar com pessoas não diretamente vinculadas à formulação e execução da contribuição ou solução;

• Mista: combinação da interna e externa;

• Participativa: avaliação que requer a participação de parceiros e grupos de interesse em todo o processo da avaliação.

• E, no método de Avaliação de Impacto da Contribuição Embrapa?

•

Mista: combinação da interna e externa – com especialistas da Instituição

O estudo de caso:

SCPESCA/MS: o que é?

Sistema de Controle da Pesca do Mato Grosso do Sul Implantado em maio de 1994, numa parceria entre: IMASUL-SEMADE - licenciamento, normatização, gestão •

15º BPMA/MS - fiscalização

• Embrapa Pantanal

Objetivos:

Coletar e analisar dados da pesca profissional artesanal e amadora para gerar informações, conhecimentos e disponibiliza-los, a afim de

contribuir para a gestão da pesca.

Resultados:

Boletins de Pesquisa – SCPESCA/MS

21 publicações de 1994 a 2014

• estatísticas anuais da pesca

• tendências da pesca

Fonte: Catella; A. Embrapa Pantanal

Existe um método e uma abordagem única para análise de políticas públicas?

Não!!

MÉTODOS QUANTITATIVOS – lógica hipotético-dedutiva: aplicação

de pressupostos, conceitos e princípios gerais a fenômenos. Levantamentos

amostrais, experimentos e quase-experimentos. Mais casos com menor

profundidade.

MÉTODOS QUALITATIVOS –

lógica indutiva: desenvolvimento de generalizações a partir da observação de

fenômenos empíricos e posterior verificação. Observação, entrevistas e grupos de discussão

para exploração de problema complexos. Menos casos e mais profundidade.

Existe um método para avaliação da Contribuição de Empresa Pública em PP? Não!!

Estudo de caso A vulnerabilidade: Objetivo: Proteger as espécies de peixes migratórias, sem abrir do direito constitucional das populações ao acesso aos recursos naturais.

Escala de Tempo De 2003 a 2017.

Antes de 2003, existia normativa que regulava o uso de apetrechos de pesca.

Escala Pontual Colônias de Pescadores das cidades de: Corumbá, Miranda, Aquidauana, Anastácio, (Total de pescadores 4.589).

Parceiros em Campo Grande (2 instituições)

Escala de Espaço/Entorno: Estadual: 5.259 pescadores artesanais

Quantidade de pescadores:

Esportivos (Ano 2000: 42.874/, 2004: 26.357/, 2014: 13.242)

Profissional Amador: (Ano 2000: 1.651/; 2004: 1.419/; 2014: 1.921)

Escala Funcional/Local A Bacia do Alto Paraguai está em uma área de 363.446 Km², abriga 1% da população brasileira e se divide entre Estados de Mato Grosso e Mato Grosso do

Sul.

Formulação Simplificada Objetivo da Política Seguro Defeso:

Amparar os pescadores profissionais artesanais, impedidos de subsistir com seu trabalho durante certo período do ano. Além disso, oferece alguma proteção às

espécies marinhas, fluviais e lacustres que integram o ecossistema do país.

Característica: Política dirigida a grupos específicos.

Problema:

Risco de perda das espécies migratórias = riscos de perda de biodiversidade, redução de oferta de alimentos e conhecimento local populações ribeirinha que

dependem do peixe como alimento.

Pescador profissional artesanal que depende do peixe para geração de renda (uso comercial) e, pressão de ampliação das áreas de pastagens nas áreas de

preservação (margens do rio). A Bacia do Rio Paraguai possui 15,9 milhões de hectares de pastagens além de extração e minérios em região próximas a sua

margem.

Avaliação de Vulnerabilidade

(alta, moderada, inalterada, em

queda).

Exposição dos Pescadores = alta.

Sensibilidade dos Pescadores = alta

Capacidade de Adaptação dos pescadores = moderada

Nível de incerteza (médio a muito

alto)

Médio em função da instabilidade política

Problemas comuns Reduzir a pressão sobre recursos naturais.

Promoção de novas atividades econômicas, inclusive aquicultura.

Capacitar e educar para mudar.

Alteração no tempo:

(alta, moderada, baixa)

Alta para o controle do uso dos recursos naturais porque a fiscalização e controle reduziu a captura de 67,2% de 2000 a 2014 e, alteração baixa quando a

introdução de novas estratégias.

Avaliação de Impacto da Contribuição da Embrapa em políticas públicas

• “Contribuição” da Embrapa

“se caracteriza pelo subsidio de caráter técnico oferecido a agentes públicos com o propósito de resolver um problema coletivo especifico”.

O subsidio se torna material por meio de uma variedade de ações que vão desde estudos e diagnósticos para a formulação de uma política pública ou um sistema de controle para conservação ou preservação ambiental, desenvolvimento de projetos de pesquisa para o desenvolvimento agrícola e econômico de uma determinada região. Projetos de transferência de conhecimento que visem à mudança de condutas e hábitos de comunidades, até o apoio na construção de mecanismos de subsídios econômicos para alavancar os planos de uma determinada política pública.

• Nesta proposta de método, estes serviços serão denominados de Entrega ou Solução Embrapa.

Respostas:

• A entrega/solução da Embrapa contribuiu para a solução do problema seja ele social, ambiental ou econômico?

• Qual foi a contribuição?

• Houve mudanças ?

• Qual é a magnitude?

• Qual é a caraterística da entrega/solução?

• Quais segmentos foram afetados?

• Qual é valor da entrega da Embrapa percebido pelos parceiros e grupos de interesse?

• Qual é valor da entrega da Embrapa percebido pelos beneficiários?

Objetivos:

• medir o resultado ou efeito da entrega/solução da Embrapa para uma

politica pública especifica,

• servir de conhecimento para melhoria em ações futuras,

• estabelecer relação de causalidade entre as politicas públicas que a

Embrapa contribuiu com as alterações das condições sociais,

ambientais e/ou econômicas.

Finalidade da avaliação de impacto da Contribuição da Embrapa

• Prestação de contas (accountability). Deve estabelecer elementos para julgar e aprovar decisões, ações e apresentar resultados e, com isso justificar a utilização dos recursos públicos e as decisões tomadas para minimizar ou resolver as condições de vulnerabilidade.

• Instrumento de conhecimento do seu meio que apoiará a prospecção de demandas futuras, como também, permitirá desenvolver e melhorar estratégias de intervenção na realidade, para tanto, a avaliação de impacto tem que ser capaz de propor algo a respeito da política que está sendo avaliada.

• Empoderamento da participação dos envolvidos e beneficiários no sentido de gerar uma promoção social, desenvolvimento regional e local.

• Apoio ao desenvolvimento institucional de modo a abrir espaço para a democratização da atividade pública, incorporando grupos sociais excluídos, promovendo aprendizado institucional e fortalecendo as instituições envolvidas dentro da rede, retroalimentar os programas, projetos e agendas de futuras políticas.

Ambiente de Política

Contribuição da Embrapa

Politica Pública e o ambiente de

Politica

Cenários e Vulnerabilida

des

Beneficiários

Serviços de Politica

Pública

Parceiros e

Grupos de interesse

Síntese

O ambiente de Politica Pública

Cenário: A realidade social.

é a compreensão e descrição do que envolve na “empreita ou missão”, os

problemas e as vulnerabilidades, os atores ou agentes, a informação por

trás de cada grupo de interesse, percepções sobre o ambiente, os objetivos

e sequências de ações, intervenções e eventos.

Vulnerabilidade:

é o grau em que um sistema, subsistema ou componente

que provavelmente sofrerá danos ou exposição a um perigo, seja uma

perturbação ou stress.

Variáveis ou atributo mensurados: Exposição, sensibilidade, capacidade

adaptação.

Ambiente de Politica Pública

Serviços de politicas públicas: linhas de crédito, capacitação de parceiros e beneficiários, sistemas automatizados de

controle e fiscalização, bancos de sementes, acesso a viveiros públicos, matrizes, serviços especializados de agregação de

valor em processo produtivos, entre outros.

Parceiros é um arranjo em que duas partes ou mais partes estabelecem um acordo de cooperação para atingir

interesses.

Capital Social é o valor inicial que os parceiros empregam no plano de implementação da politica desde a formulação

da agenda até o monitoramento dos serviços entregue aos beneficiários

Beneficiários são os grupos de pessoas definidos como público-alvo de um determinado programa ou plano

visando uma transformação sócio-econômico-ambiental ou a reparação no uso de determinado recurso natural ou

outros problemas específicos e de caráter coletivo.

Pesquisa avaliativa para avaliação de impacto

Sendo impacto o resultado dos efeitos de um programa, de um plano de trabalho ao longo de um

período de tempo, determinar o impacto exige considerar dois momentos: antes e depois;

Para tanto, controle de efeitos não atribuíveis ao programa – requer controle de variáveis

intervenientes;

Dificuldade de afirmar que mudança resultou do programa (relação de causalidade) é enfrentada com

a Pesquisa Experimental.

O que avaliar? Os constructos de avaliação

1. Cenário e Vulnerabilidades

(exposição, sensibilidade, capacidade de adaptação)

2. Entrega/Solução (qualidade: eficiência, eficácia, efetividade na percepção interna, de parceiros e líderes de grupos de interesses)

3. Capital Social (aptidão, responsabilidades, integração, gestão de conflitos)

4. Impactos dos serviços da política (qualidade: eficiência, eficácia, efetividade)

5. Impactos nos beneficiários (renda, emprego/trabalho, equidade de gênero, gerações étnica)

Os indicadores

Cenário e vulnerabilidade:

Nível de exposição

Nível de sensibilidade

Capacidade de adaptação

Outros alinhados ao objeto da

politica

Nos serviços de politicas

públicas:

Acesso

Qualidade (pertinência do

tema, atualidade,

aplicabilidade)

Eficácia

Eficiência (procedimento,

prazo, pontualidade)

Efetividade

Parceiros/Capital Social:

Para a entrega/solução:

Nível de aptidão

Responsabilidade

Integração

Capacidade de gestão de conflitos

Capacitação de parceiros

Beneficiários:

Renda (segurança, estabilidade/sazonalidade, distribuição, diversidade de fontes)

Trabalho/Emprego (capacitação, qualificação e oferta de trabalho, qualidade do

emprego)

Equidade de gênero (inclusão, participação, valorização, recompensa)

Equidade entre gerações (promoção de jovens, inclusão jovens aprendizes,

valorização, recompensa )

Equidade étnica (inclusão, participação, valorização, não discriminação,

recompensa)

• Questão ambiental em Politicas Públicas

O objeto da política pública - é uma questão ambiental que condiciona uma resposta/solução na área ambiental.

Neste caso os indicadores de controle e impacto estão relacionados a característica da Entrega/Solução.

(Exemplo: Seguro Defeso- números de pescadores por classe, esforço anual de pesca, índice de captura por espécies)

• Outras possibilidades: aplicar indicadores de qualidade ambiental

0,00

0,20

0,40

0,60

0,80

1,00

1,20

Captura total Profissional Esportivo

As toneladas totais de captura reduziram em 67,24%.

As 11 espécies estudadas tiveram 55,5% de redução de captura

por parte de pescadores profissionais e de 72,9% por parte dos

pescadores esportivos.

O estudo de caso

O estudo de caso

Entrega/ Solução da Embrapa: Sistema de Controle e Monitoramento de Pesca-SPesca

Percepção dos Parceiros

Eficácia Eficiência Efetividade Social

(Cumprimento dos objetivos) (Utilização dos Recursos) (Alcançou os beneficiários planejados)

-3 -1 0 +1 +3 -3 -1 0 +1 +3 -3 1- 0 +1 +3

Entrega/ Solução da Embrapa: Sistema de Controle e Monitoramento de Pesca-SPesca

Entrega/Solução Cumprimento dos objetivos Utilização dos

Recursos

Alcançou os beneficiários

planejados

Averiguação

de fatores de

ponderação

Eficácia Eficiência

Efetividade Social

Fatores de Ponderação K 0,4 0,2 0,4

Marcar

com X

Escala de

ocorrênci

a

Sem

efeito

Local 1 3 3 3

Entorn

o

2 ? ?

Region

al

5 ? ?

Coeficiente de

Impacto

1,2 0,6 1,2 1

O processo

Mensurar o impacto da contribuição

Avaliação como empreendimento técnico-científico

Busca de dados secundários

sobre a

Solução/entrega

Pesquisa de campo com

questionário

Desenhos quasi-experimentais e

não experimentais

Entrevistas

Grupos de discussão (se for o

caso)

Observação do objeto de PP e suas variantes

Processo: o estudo de caso Embrapa Pantanal

.

Na Embrapa:

escolher um caso por

Unidade com mais de

5 anos de prática

Estratégias qualitativas de avaliação

• Abordagens mais exploratórias e semiestruturadas em contextos complexos e distintos.

• Variedade de técnicas:

• Compilação de estudos anteriores – pesquisa bibliográfica;

• Meta-avaliações: análise mais específica das avaliações realizadas;

• Análise documental: exame de documentos, textos e relatórios de cunho administrativo;

• Análise situacional do problema social e das soluções elaboradas; base para roteiros de observação, moderação ou entrevistas.

Estratégias qualitativas de avaliação

• Oficina com especialistas, técnicos e gestores: de 20 a 30 pessoas; situações de diagnósticos participativos,

problemas de implementação, apreciação de resultados, impactos e externalidades;

• Entrevistas individuais: semiestruturadas em profundidade - exige atenção na formulação das perguntas e

planejamento da amostra de entrevistados;

• Grupos focais: grupos menores, com identidade de interesses, permite aprofundar questões de desenho,

gestão, resultados, impactos e externalidades – tangíveis;

• Observações estruturadas: métodos menos invasivos; suposto distanciamento na análise de comportamentos;

exigem cuidados para não ser fiscalização ou auditoria.

• Observação etnográfica: registro do cotidiano de quem vivencia os efeitos dos programas; imersão na rotina,

no modo de vida do objeto de pesquisa; permite avaliar adequação de desenhos em segmentos, sem interferir.

• Análise estruturada de textos: técnica de análise de conteúdo; análise dos termos e categorias de interesse;

permite criação de termos indexados e categorias codificadas; permite interpretação estruturada de ideias e

conteúdo informacional de documentos.

Operacionalizar a avaliação de impacto...

Integrar técnicas quanti e quali e, deve-se incluir análise de custos e benefícios.

– Estimativa de contrapartida para projetos experimentais e quase-experimentais, com

métodos econométricos para gerar grupo controle;

– Controle das diferenças dos participantes antes (coleta de dados para a baseline) e depois

(follow-up) com prazo suficiente para a observação dos efeitos;

Operacionalizar a avaliação de impacto...

– Grupos de comparação e de tratamento com tamanho suficiente para garantir

significância estatística;

– Medição da eficiência do projeto com análise de custo-benefício ou eficácia em função

dos custos;

– Uso de técnicas qualitativas, para triangular os resultados.

Fatores que influenciam as decisões metodológicas

• Na prática, decisões sobre métodos são afetadas por:

• Complexidade do objeto investigado ou natureza do programa;

• Estágio de desenvolvimento do programa - TEMPORALIDADE

• Objetivos da avaliação – QUAIS PERGUNTAS?

• Disponibilidade de recursos e tempo

• Importância dos dados secundários (incluindo relatórios de órgãos de controle, como CGU e TCU), dos sistemas de monitoramento, das bases de dados disponíveis – nem sempre é necessária coleta de dados primários.

Bibliografia

• BAKER, Judy. Avaliando o impacto de projetos de desenvolvimento voltados à pobreza. In: BARREIRA

E CARVALHO (org.) Tendências e perspectivas na avaliação de políticas e programas sociais. São

Paulo: IEE/PUC-SP, 2001.

• DRAIBE, Sonia Miriam. Avaliação de implementação: esboço de uma metodologia de trabalho em

políticas públicas. In: BARREIRA e CARVALHO (org.) Tendências e perspectivas na avaliação de

políticas e programas sociais. São Paulo: IEE/PUC-SP, 2001.

• GOMIDE, A. & PIRES, R., 2014. Capacidades Estatais e Democracia: arranjos institucionais de

políticas públicas. Brasília: Ipea.

• JANNUZZI, Paulo de Martino. Avaliação de programas sociais no Brasil: repensando práticas e

metodologias das pesquisas avaliativas. Planejamento e Políticas Públicas – PPP, no 36, Jan/Jun, IPEA,

2011. http://www.ipea.gov.br/ppp/index.php/PPP/issue/view/30

• JANNUZZI, Paulo de Martino. Métodos de pesquisa social aplicados à Avaliação de Programas. In:

Monitoramento e Avaliação de programas sociais: uma introdução aos conceitos e técnicas. Campinas,

SP: Editora Alínea, 2016.

• TREVISAN, Andrei P. e VAN BELLEN, Hans M. Avaliação de políticas públicas: uma revisão teórica

de um campo em construção. RAP – Rio de Janeiro 42(3):529-50, maio/jun. 2008.

Muito Obrigada! Marlene de Araújo

PhD em Politicas de Desenvolvimento Territorial

marlene.araujo@embrapa.br