marco cepik diretor do centro de estudos internacionais sobre governo - avanÇos e inovaÇÕes na...
TRANSCRIPT
AVANÇOS E INOVAÇÕES NA AVALIAÇÃO E MONITORAMENTO DE POLÍTICAS PÚBLICAS
Marco CepikDiretor do Centro de Estudos Internacionais sobre Governo
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
PLANO DE APRESENTAÇÃO
1) Apresentação CEGOV
2) Democracia, Capacidade Estatal e Era Digital
3) Modelo Integrado de Transformação Institucional
4) Monitoramento e Avaliação de Políticas Públicas
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
1
APRESENTAÇÃO CEGOV
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
1) APRESENTAÇÃO CEGOVO Centro de Estudos Internacionais sobre Governo (CEGOV) da Universidade Federal do Rio Grande do Sul (UFRGS) é um centro interdisciplinar vinculado à Reitoria, cujo objetivo é estudar a ação governamental no Brasil e no mundo.
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
1) APRESENTAÇÃO CEGOV
PROJETOS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
2
DEMOCRACIA, CAPACIDADE ESTATALE ERA DIGITAL
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
• DEMOCRACIA diz respeito à combinação dos valores obtidos a partir da institucionalização de mecanismos universais de participação e de exercício do direito à oposição política.
2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
Requisitos (Dahl, 1971):i) a liberdade de formar e aderir a organizações; ii) a liberdade de expressão; iii) o direito de voto; iv) elegibilidade para cargos públicos; v) o direito de políticos disputarem apoio e votos; vi) a existência de fontes alternativas de informação; vii) eleições livres e idôneas; viii) instituições para fazer com que as políticas governamentais
dependam de eleições e de outras manifestações de preferências.
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
• CAPACIDADE ESTATAL relaciona-se ao conjunto de características funcionais e institucionais dos Estados contemporâneos, relativas:
– à mobilização de recursos sociais,
– à produção de regras e à adjudicação de conflitos,
– ao provimento de bem-estar e segurança (WEISS, 1998; BELL & HINDMORE, 2009).
2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
• Democracia e capacidade estatal relacionam-se em um processo aberto, de reforço mútuo (auto-catalítico), sujeito aos desafios de adaptação a contextos tecnológicos, demográficos, temporais e socioeconômicos variáveis.
“Sem uma adequada capacidade institucional de fazer valer as regras e implementar as decisões tomadas pelos sujeitos políticos, ou sem a capacidade de garantir o cumprimento dos direitos e deveres associados à cidadania, um regime democrático torna-se [...] ‘um pacto suicida’” (CEPIK, 2005: 78).
2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
1
010
capa
cida
de
esta
tal
democracia
zonas de autoritarismo
zona de cidadania
zona de tirania fragmentada
Fonte: Tilly (2003)
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
cidadãos problemas e temas
office-seeking policy-seeking
governo+
burocracia
formaçãode políticas
resultados políticas públicas
representação
partidos grupos de interesse
competem
sistema eleitoral
mídia
participam governo
sistemapartidário
estruturamediação
de interesses
2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
• ERA DIGITAL:– Aumento da capacidade de criação, processamento, acesso,
partilha e de informações.
– Concentração e redistribuição das condições de exercício de poder político.
– Habilitação de novas dinâmicas produtivas e colaborativas entre os diferentes atores sociais.
– Integração o local, o regional, o nacional e o internacional.
– Impacto na forma com a qual os Estados organizam sua burocracia, interagem com seus cidadãos, fazem a guerra, e constroem alternativas institucionais para a resolução de seus conflitos.
2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Diagnóstico
Monitoramento
Avaliação
Acesso à Informação
Transparência
Tomada de decisão
Participação
Controle Social
Gestão
Capacidade Estatal
Democracia
Banco de Dados A
Banco de Dados B
Banco de Dados C
Banco de Dados D
Banco de Dados A
Banco de Dados B
Banco de Dados C
Banco de Dados D
Vigilância Controle
2) DEMOCRACIA, CAPACIDADE ESTATAL E ERA DIGITAL
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
3
MODELO INTEGRADO DE TRANSFORMAÇÃO
INSTITUCIONAL (MITI)
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
4
MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS
PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Definindo Políticas PúblicasPolítica como conflito ubíquo na sociedade e como problema
constitucional (coordenação dos sujeitos e organização dos conflitos); objeto da Ciência Política.
Políticas Públicas como campo de estudos focado na organização do processo de interação entre os lados do input
e do output do processo decisório governamental e seus conflitos inerentes.
Política pública é o “Estado em Ação”
Politics, Policy and PolityFonte: Reis (2000)
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Mais Algumas Definições• Políticas Públicas como um campo dentro do estudo da política que analisa o
governo à luz de grandes questões públicas - Mead (1995)
• Políticas Públicas como um conjunto de ações do governo que irão produzir efeitos específicos - Lynn (1980)
• Política pública é a soma das atividades dos governos, que agem diretamente ou através de delegação, e que influenciam a vida dos cidadãos - Peters (1986)
• Política pública como “o que o governo escolhe fazer ou não fazer”. - Dye (1984)
• Política pública como análise sobre quem ganha o quê, por quê e que diferença isso faz - Lasswell (1936)
Fonte: Souza (2006:24)
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Por que Avaliar e Monitorar Políticas Públicas?
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
Seja S o conjunto de resultados ou estados possíveis observáveis apenas pelo executor (agente). Seja A o conjunto de ações do agente observáveis apenas por ele próprio. E seja Q o conjunto de resultados ou estados possíveis observáveis por ambos, agente e principal. Portanto, um resultado Q depende de incentivos (os quais têm custo) proporcionados pelos principais para os agentes: I = ɸ (Q). Os agentes então escolhem suas ações A maximizando sua utilidade esperada EU, a qual depende do conjunto de estados observáveis pelo próprio agente e pelos principais: max [EU (A,I, S)]. Ou seja, o resultado Q buscado pelo principal esta relacionado às ações A e o estado S por uma função de produção: Q = Q(A,S). As ações ótimas à dos agentes para produzir o resultado máximo Q são obtidas resolvendo a função de produção por A, ou: à = H(S). Finalmente, a utilidade esperada do principal EV é calculada como uma função das ações à do agente antecipadas pelo principal, o custo para o principal de induzir o agente a otimizar a produção (I = ɸ (~Q)), e o estado relevante S. Ou: EV = EV (ɸ (~Q), ~Q, Ã, S). O problema do principal, portanto, é escolher um sistema de incentivos ɸ que maximize a sua função de utilidade: max[EV].
Porque esta é a maneira mais eficiente, eficaz, efetiva e legítima de lidar com os problemas de assimetria informacional previstos pela teoria de agente e principal: seleção adversa de agentes e risco moral.
Sob condições de incerteza, assimetria informacional e racionalidade limitada (SIMON, 1971), o risco moral advém do fato de que as ações, competências e intenções do agente não podem ser plenamente observadas após o pacto, contrato ou investidura. Como se trata de um conflito, pode-se minimizar o problema, mas ele é constituinte da própria política
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Monitoramento e Avaliação
• Monitoramento é um processo contínuo, que utiliza dados sobre indicadores específicos, para fornecer aos interessados informações sobre o desenvolvimento e o progresso no alcance dos objetivos a serem alcançados com a alocação de determinados recursos.
• Avaliação como o estudo sistemático e objetivo da concepção, implementação e dos resultados de um projeto, programa ou política, com a finalidade de determinar sua relevância, eficiência, eficácia, impacto e sustentabilidade.
Fonte: Kusek e Rist (2004).
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
• INDA: capacidade estatal e democracia
o utilização e cruzamento de dados entre órgãos e esferas de governo, para fins de diagnóstico, monitoramento, avaliação e consequente melhora da tomada de decisão (CHAVES & BRETAS, 2013).
o realização do direito à informação (LAI) e fomento da transparência, do controle social, da participação.
o Empoderamento da sociedade por meio da utilização dos dados públicos abertos na criação de novos serviços de utilidade pública, bem como na construção de estudos alternativos sobre os resultados da ação estatal.
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Sistema de Monitoramento e Avaliação
Monitoramento e avaliação possuem definições distintas, porém complementares.
Monitoramento fornece informações sobre o andamento de uma política, programa ou projeto em determinado momento e em relação às metas e resultados previstos.
Por meio da avaliação procuramos analisar processos, produtos e consequências ou impactos da ação coletiva.
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Pontos de interseção entre monitoramento e avaliação Kusek e Rist (2004).
– As atividades podem ser sequencialmente complementares, visto que as informações geradas por meio do monitoramento podem gerar questões a serem respondidas pela avaliação, ou o inverso, as informações resultantes de uma avaliação podem originar novas áreas de monitoramento.
– As atividades possuem informações complementares, já que tanto o monitoramento quanto a avaliação podem usar os mesmos dados, mas responderem a perguntas diferentes.
– As atividades possuem interação, visto que monitoramento e avaliação podem ser utilizados conjuntamente.
Sistema de Monitoramento e Avaliação
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Indicadores de Desempenho
① Produção ou Output: e.g. alunos formados na UFRGS; quantidade de artigos científicos produzidos
② Impacto: e.g. índice de citações científicas; inserção profissional dos egressos.
③ Consequências ou outcomes: e.g. valor agregado da produção de C&T e contribuição para o PIB da cidade, estado e país;
④ Eficiência: e.g. custo por aluno-ano; relação número alunos por professor.
⑤ Satisfação: e.g. valores atribuídos pelos alunos à qualidade da formação recebida.
⑥ Legitimidade: e.g. índice de citações favoráveis na mídia; manifestações formais da comunidade; desempenho da comunidade acadêmica em avaliações gerais do sistema universitário.
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Aspetos Técnicos:Interoperabilidade, Portais, Dados
Abertos
Pesquisas do IBGE
Cadastros públicos
Dados de execução
orçamentária
Registros de gestão dos programas
Indicadores de recursos
Indicadores de processos
Registros de outros
ministérios
Sistema Monitoramento e
Avaliação
Indicadores de resultados
Indicadores de impactos
Indicadores de contexto
Indicadores estratégicosIndicadores referentes a processos operacionais
Ferramentas para análise comparativa no tempo e espaço
Indicadores de eficiência qualidade
Fonte: SOUZA MELO, 2012, p. 46.
Sistema de Monitoramento e Avaliação4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Comparação PPA 2008-2011 / 2012-2015
Fonte: SOUZA MELO, 2012, p. 46.
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Sistemas de M&A
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Dimensões Críticas do M&ATecnologia da Informação
• Software x Portal• Interoperabilidade (e-Ping)• Dados Abertos• Data warehouses• Integração• Tecnologias Móveis
Capacidade Estatal
• Programas de Governo• Políticas Públicas• Áreas de Competência• Planejamento Estratégico• Processos• Projetos• Execução Orçamentária
Estrutura Organizacional
• Ciclos de M&A• Fluxogramas• Regulamentação• Competências e atribuições
Democracia
• Transparência• Controle Social• Acesso à Informação
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Portal de Monitoramento e Avaliação
Tecnologia
Pessoas
Fluxos e Normas
Políticas Programas PPA
PEI
Indicadores
Portal M&A Usuários
ProcessoProjetos
Métodos Análise
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
CENTRAL DE M&A
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Portal MEC
http://painel.mec.gov.br
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Portal MDS
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
http://aplicacoes.mds.gov.br/sagi/PainelBPC/#
Portal MDS
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
http://189.28.128.178/sage/
Portal da Saúde
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Portal Dados Abertos
http://dados.gov.br/
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
http://vispublica.gov.br/vispublica/index.jsp
VisPública
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Portal LAI – Governo do Estado do RS
http://www.acessoinformacao.rs.gov.br/#
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Portal LAI – Governo do Estado do RS
http://www.acessoinformacao.rs.gov.br/#
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Port
al T
rans
parê
ncai
a RS
http://www.acessoinformacao.rs.gov.br/#
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Port
al T
CE-R
S
http://www1.tce.rs.gov.br/portal/page/portal/tcers/institucional/acesso_a_informacao/disponiveis
Exemplos de Monitoramento e Avaliação
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
Avanços, Inovações e Desafios Portais de Avaliação de Planos e Programas de Governo
Ferramentas de Visualização de Dados
Alinhamento dos Ciclos de M&A com os Ciclos de Planejamento Estratégico e Políticos
Interoperabilidade entre sistemas de informações e bases de dados
Arranjos federativos e coordenação interagência
Capacitação massiva de gestores, agentes políticos e cidadãos
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
VI Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação
Quando: Novembro de 2014
Onde: Universidade Federal do Rio Grande do Sul
Informações: http://www.ufrgs.br/cegov/
http://redebrasileirademea.ning.com/
4) MONITORAMENTO E AVALIAÇÃO DE POLÍTICAS PÚBLICAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
• BARROS, A.; CANABARRO, D. R.; CEPIK, M. A. C. “Para além da e-Ping: o desenvolvimento de uma Plataforma de Interoperabilidade para e-Serviços no Brasil”. In: BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e Gestão, 2010, p. 137-157.
• BELL, S.; HINDMOOR, A. Rethinking Governance: The Centrality of the State in Modern Society. Nova Iorque, EUA: Cambridge University Press, 2006.
• BRASIL. Secretaria de Logística e Tecnologia da Informação (SLTI, MP). Uma Arquitetura Referencial para a integração dos sistemas informatizados de governo, AR. Brasília, DF: Ministério do Planejamento, Orçamento e Gestão, 2006.
• BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e Gestão, 2010.
• CHAVES, M., FRANZOSI, E.; GARCIA, A. “AR – Um Modelo de Interoperabilidade Aplicado ao Monitoramento do PAC”. In: BRETAS, N. L.; MESQUITA, C. (ed.). Panorama da Interoperabilidade no Brasil. Brasília: Ministério do Planejamento, Orçamento e Gestão, 2010, pp. 211-216.
• DAHL, Robert. Poliarquia: participação e oposição. São Paulo: Editora da Universidade de São Paulo. 1997 [1971].
• FOUNTAIN, J. E. Building the Virtual State. Washington, D.C.: Brookings Institution Press, 2001.
REFERÊNCIAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
• KRAEMER, K.; KING, J. Information Technology and Administrative Reform: Will e-government be Different? International Journal of Electronic Government Research, v. 2, n. 1, p. 1-20, jan-mar, 2006.
• MELO, Patrícia Coimbra Souza. Monitoramento e avaliação na administração pública federal [manuscrito] : os desafios do PPA 2012/2015 / Patrícia Coimbra Souza Melo. -- 2012. Disponível http://portal2.tcu.gov.br/portal/pls/portal/docs/2525602.PDF acesso em 12/11/2013.
• PAES, Romulo S. e HELLMANN, Aline G. Policy monitoring and evaluation systems: recent advances in Brazil’s federal public administration. In: Vaitsman et al (editors). Policy Analisys in Brazil. ILPA, 2013.
• REIS, Fabio W. Mercado e Utopia: teoria política, sociedade brasileira. Edusp, 2000.
• SOUZA, Celina. Políticas Públicas: uma revisão da literatura. In: Sociologias, Porto Alegre, ano 8, no 16, jul/dez 2006, p. 20-45
• TILLY, Charles. The Politics of Collective Violence. Cambridge/UK: Cambridge University Press, 2003.
• WEISS, R. The Myth of the Powerless State. Ithaca, NY, EUA: Cornell University Press, 1998.
REFERÊNCIAS
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
FORMAS e TENDÊNCIAS DA AVALIAÇÃO
Quanto à temporalidade1. Avaliação ex-ante: realizada antes do início de
implementação de um programa.• Identifica se um programa deve ser executado;• Projeta o que aconteceria com algumas
características da população beneficiária caso o programa fosse executado;
• Compara custos e benefícios da iniciativa com as alternativas disponíveis à sua implantação.
• (CHAVES, 2008)
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
2. Avaliação ex-post: realizada após a consolidação ou na fase final de um programa.
• Mede resultados e impactos.
As avaliações de impacto são geralmente mais caras que as avaliações ex-ante, por exigirem levantamento de dados primários sobre o público-alvo, caso o programa não disponha de um sistema de monitoramento desenvolvido.
(CHAVES, 2008)
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
QUANTO AO OBJETO
1. Avaliação de processo:• Avaliação para identificar os aspectos da
implementação;• Considera insumos, processos e produtos;• Avalia ganhos ou perdas no atendimento às metas do
programa junto ao seu público-alvo.2. Avaliação de resultados: • Avaliação do nível de transformação da situação a
qual o programa se propõe a modificar;• Expressa o grau em que os objetivos do programa
foram alcançados.(CHAVES, 2008)
CEGOV V Seminário: Avaliação de Políticas Públicas e Qualidade do Gasto
3. Avaliação de impacto: • Avaliação de resultados;• Busca conhecer os efeitos produzidos pelo
programa em algum(uns) aspecto(s) da realidade afetada pela sua existência;
• Geralmente está relacionada a resultados de médio e longo prazo;
• Visa identificar, compreender e explicar as mudanças nas variáveis e fatores relacionados à efetividade do programa.
(CHAVES, 2008)