aula 8 avaliaçao do começo ao fim - claudio ferraz rio2012 · veículos e ""consertar...

92
Avaliação Experimental Avaliação Experimental do começo ao fim Claudio Ferraz PUCRio e JPAL PUC Rio e JPAL Abdul Latif Jameel Poverty Action Lab www.povertyactionlab.org

Upload: lehanh

Post on 08-Nov-2018

213 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Avaliação ExperimentalAvaliação Experimentaldo começo ao fimç

Claudio FerrazPUC‐Rio e JPALPUC Rio e JPALAbdul Latif Jameel Poverty Action Lab

www.povertyactionlab.org

Page 2: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Programa do curso

1 A li õ d i t O ã ?

Programa do curso

1. Avaliações de impacto: O que são? 2. Teoria da Mudança e indicadores3. Por que aleatorizar?4. Como aleatorizar?5. O tamanho da amostra 6 Implementar uma avaliação6. Implementar uma avaliação7. Análise e inferência8 A li ã d i í i fi8. Avaliação do princípio ao fim

Page 3: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Passos em uma avaliação

1 d

Passos em uma avaliação

1. Entender o contexto2. Definir a pergunta3. Desenhar tratamentos para responder a 

perguntap g4. Desenhar a intervenção5 Levantar dados Se for linha de base ANTES!5. Levantar dados. Se for linha de base, ANTES!6. Implementar e não ficar parado! (avaliação de 

processos)processos)7. Levantar dados, pesquisa de seguimento

Page 4: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Expondo Políticos Corruptos:  Os efeitos eleitorais da divulgação pública dos 

relatórios de fiscalizaçãoç

Claudio Ferraz   Frederico FinanPUC‐Rio UC Berkeley

Page 5: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

1 Entender o contexto1. Entender o contexto

‐ Qual é o problema? Quão grave é?‐ Já há políticas implementadas? Funcionam?Já há políticas implementadas? Funcionam?‐ Quais são as dificuldades? Qual é a melhor forma de abordagem?abordagem?

‐ É um programa existente?‐ Motivar e contextualizar

Page 6: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

MotivaçãoMotivação• Corrupção é um dos maiores obstáculo para o pç p

desenvolvimento econômico:

D i i i i– Desincentiva investimentos• Mauro 1995; Keefer e Knack 1995; Wei 1997; Brunetti e

Weder 1998– Afeta qualidade e composição dos gastos públicos

• Tanzi e Davoodi 1997; Mauro 1997; Lambsdorff 1999– Reduz produtividade

• Krueger 1974; Shleifer e Vishny 1993Diminui a legitimidade política– Diminui a legitimidade política

• Anderson e Tverdova 2003

Page 7: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Motivação (cont )Motivação (cont.)

• Barreiras à informação e assimetria são os fatores que mais contribuem para que a corrupção prevaleça (Transparência Internacional 2001).

• Eleitores podem tirar políticos corruptos do poder. Porém, para que exista accountability, eleitores precisam , p q y, pde informação sobre a qualidade das políticas públicas implementadas.p

Page 8: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

CorrupçãoCorrupção

Page 9: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Problema: corrupção em governos locaisProblema: corrupção em governos locais

• Brasil tem uma grande proporção de recursos repassados para seus municípios para a provisão de 

i úbli ( d ã úd )serviços públicos (educação, saúde)

• Uma proporção significativa de recursos desaparecepor causa de corrupção (estimativas de 10% a 20%)

• Corrupção afeta a qualidade dos serviços públicos eCorrupção afeta a qualidade dos serviços públicos e o processo de desenvolvimento local (exemploeducação)educação)

Page 10: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Exemplo: corrupção em educação e aprendizagem

0.5

scor

es

Portuguese

0.5

scor

es

Math

5-1

-.50

ndar

dize

d te

st s

5-1

-.50

ndar

dize

d te

st s

-1.5

Sta

0 .2 .4 .6Proportion of items with corruption

-1.5

Sta

0 .2 .4 .6Proportion of items with corruption

50

.5te

st s

core

s

Portuguese

50

.5te

st s

core

s

Math

-1.5

-1-.5

Sta

ndar

dize

d t

-1.5

-1-.5

Sta

ndar

dize

d t

0 .1 .2 .3 .4Share of audited resources with corruption

0 .1 .2 .3 .4Share of audited resources with corruption

Page 11: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Como combater a corrupção?Como combater a corrupção?

• De cima para baixo– foco em auditorias e punição (ex. tribunais de contas)

• De baixo para cima– foco em participação e controleda sociedade civil (ex. conselhos municipais)

Page 12: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Avaliações existentesAvaliações existentes

• Olken (2007), estuda a implementação de um projeto na Indonesia que transfere recursos parail i dvilas construirem estradas.

• Ele utiliza uma avaliação aleatorizada e compara o efeito de anunciar auditorias versus incitarparticipação da sociedade civil em reuniões sobre o projeto.

• Ele encontra que anúncio de auditorias é maise e co t a que a ú c o de aud to as é a sefetivo para compater a corrupção

Page 13: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Pergunta: como combater a corrupção?Pergunta: como combater a corrupção?

• De cima para baixo– foco em auditorias e punição (ex. tribunais de contas)

• De baixo para cima– foco em participação e controleda sociedade civil (ex. conselhos municipais)

• Política alternativa‐‐mistura ambas políticas. Auditar, mas prover a informação que pode serAuditar, mas prover a informação que pode ser utilizada pela sociedade civil em eleições

Page 14: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Informação sobre corrupçãoInformação sobre corrupção

I f ã b d i d é d difí il• Informação sobre recursos desviados é de difícil acesso. Assimetria entre políticos e eleitores.

• Acesso à informação auxilia eleitores na avaliação d lí idos políticos. 

• Se informação gera punição nas urnas, uma melhoria na informação disponível influencia 

iti t bili ã l it lpositivamente a responsabilização eleitoral.

• Melhores políticas e menos corrupção. 

Page 15: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Efeitos de informação sobre corrupçãoEfeitos de informação sobre corrupção

• Informação sobre corrupção aparece normalmente no processo eleitoral.

• Municípios com maior cobertura de mídia, maiorMunicípios com maior cobertura de mídia, maiorconcorrência política e sociedade civil mais ativairá descobrir mais corrupção.á descob a s co upção

• Como podemos isolar o efeito da divulgação de• Como podemos isolar o efeito da divulgação de informação sobre corrupção? 

Page 16: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Efeitos de informação sobre corrupçãoEfeitos de informação sobre corrupção

I f ã b ã• Informação sobre corrupção aparece normalmente no processo eleitoral.

• Municípios com maior cobertura de mídia, maiorê i lí i i d d i il i iconcorrência política e sociedade civil mais ativa

irá descobrir mais corrupção.

• Como podemos isolar o efeito da divulgação de i f ã b ã ? Al t i tinformação sobre corrupção? Aleatoriamenteselecionar alguns municípios para terem a informação divulgadainformação divulgada.

Page 17: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Contexto: O Programa de Anticorrupção da CGU no Brasil

• Implementado em 2003, o Programa de Fiscalização por Soteios Públicos seleciona municípios de forma aleatória 

f dit i d d f d ipara fazer uma auditoria do uso de recursos federais

• Objetivos– Desencorajar o mal uso de recursos públicos– Fortalecer a participação da sociedade civil 

• Sorteio‐ 50 a 60 municípios selecionadas a cada 2 meses de uma50 a 60 municípios selecionadas a cada 2 meses de uma amostra de municípios com menos de 450 mil habitantes 

Page 18: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Sorteio de municípiosSorteio de municípios

Page 19: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Contexto: O Programa passo a passoContexto: O Programa passo a passo

l d f õ d dColeta de informações depois do sorteio• CGU reúne dados de recursos federais transferidos aos municípios

G d d i i d d• Gera ordens de serviço associadas aos recursos de programas 

Fiscalização nos municípiosFiscalização nos municípios• Conduzida por 10 a 15 auditores da CGU• Examina contas e documentos• Inspeciona qualidade e entrega de serviços

Divulgação dos resultados• Relatório detalhado é enviado a CGU em Brasília• Resumo com principais constatações publicado na Internet e mídia

Page 20: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Informação das auditorias e eleitoresInformação das auditorias e eleitores

• Anedotas mostram que informações das auditorias chegaram aos eleitores e foram usadas em campanhas 

• Flavis Flaubert (PL) culpa CGU pela sua derrota• Flavis Flaubert (PL) culpa CGU pela sua derrota(Diário do Pará, 10‐18‐2004)

• Giovanni Brillantino sabia que oposição iria usar• Giovanni Brillantino sabia que oposição iria usar informações durante a eleição em Itagimirim (BA) (Folha de São Paulo, 10‐01‐2004)  

• Victor Meirelles Neto (PTB) conta que população ficou surpresa com os dados revelados em Taperoá (BA)surpresa com os dados revelados em Taperoá (BA)(Agência Folha, 12‐06‐2003)

Page 21: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Contexto: Canais de divulgaçãoContexto: Canais de divulgação

• Como foi que a informação chegou aos eleitores?

JORNAL? P á l d d b i í di d i l– JORNAL? Pouco provável dado baixo índice educacional e penetração somente nas grandes cidades

– TELEVISÃO?     Embora tenha maior penetração nacional, somente 8% dos municípios transmite rede local

– RADIO? Aparenta ser o canal mais provável com grande penetração nos municípios 

Page 22: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Deu no Jornal: Farra com verbas públicas às vésperas da eleição [Jornal ... http://www.deunojornal.org.br/materia.asp?mat=13061&pl=CGU

1 de 2 2/8/2006 12:00

Clique aqui para usar a multiBusca da TransparênciaBrasil, que levanta asocorrências de CGU em 150 bancos de dados.

A

Loteria CGU

Jornal do Brasil (RJ) - 30/9/2004

Farra com verbas públicas às vésperas da eleiçãoHugo Marques

aproximação das eleições levou muitas prefeiturasa gastar o dinheiro dos programas dos ministériosda Saúde e da Educação com bandas de música,produção de vídeo, fotografia, publicidade e atéem salões de beleza. O levantamento daControladoria Geral da União (CGU) nas contas de 60 municípios brasileirosregistrou fraudes também na compra de remédios.

No Rio Grande do Norte, a prefeitura de Tangará gastou dinheiro doprograma Saúde da Família este ano com filmagem de eventos, molduras,diárias e combustível. A prefeitura de Almeirim, no Pará, investiu dinheiro doFundo de Manutenção e Desenvolvimento do Ensino Fundamental (Fundef) nacontratação das bandas Signus e Impacto, além da ornamentação da praçacentral e artigos de festa, incluindo ""pães de chá"".

Na Paraíba, a prefeitura de Cuité recorreu ao dinheiro do programa deerradicação do trabalho infantil para comprar almofadas e cortinas, alugarveículos e ""consertar caixa de som"". A lista de compras contrasta com amiséria de Cuité, onde a mesma prefeitura aluga veículos ""pau-de-arara""para transportar os alunos. É também em Cuité que a funcionária da prefeituraGirlane dos Santos faz as compras no mercadinho do marido, com o dinheiroque recebe do Fome Zero.

Ainda na Paraíba, a prefeitura de São Félix - cidade onde a CGUencontrou o lixo hospitalar no quintal do posto de saúde - utilizou dinheiro doPiso de Atenção Básica da Saúde (PAB) para comprar caldo de galinha,tempero, coloral, maionese, guardanapos, refrigerantes e doces. Em Guaporé(RS), a prefeitura - que mantém estacionado o trailler de serviço odontológico -pagou filmagem e comprou mudas e material de expediente com o dinheiro dasaúde.

Em outra São Félix, na Bahia, a prefeitura gastou dinheiro do PAB naapresentação da banda Solluz-Samba. Na tentativa de explicar o gastoirregular à CGU, a prefeitura informou que trata-se de ""promoção dasociabilidade do grupamento de idosos"". O dinheiro da Saúde na São Félixbaiana também foi usado na compra de cestas básicas, para doação.

Em Goiás, a prefeitura de Paraúna pagou R$ 18 mil a mais por uma obrapública. Na lista de gastos do dinheiro que o governo federal mandou para

CFERRAZ
Highlight
Page 23: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

2 Perguntas de pesquisa2. Perguntas de pesquisa

• Primordial: entender qual é a pergunta – Avaliação de impacto de um programa existente: 

O programa funciona? Importância de entender p g pos mecanismos.

– Se você desenha a intervenção: liberdade naSe você desenha a intervenção: liberdade na pergunta a responder. Evitar as caixas‐pretas.

• De todas as alternativas qual é a mais• De todas as alternativas, qual é a mais relevante? O que se pode fazer?

Page 24: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Foco do estudoFoco do estudo

• A divulgação de informação sobre o nível de corrupção nos governos municipais afeta o desempenho eleitoral dos prefeitos incumbentes?prefeitos incumbentes?

• Contexto: governo municipal, porém programa existente. Pouca liberdade de modificar tratamento.

• Nessa esfera de governo, a decisão em quem votar pode ser g , q pinfluenciada por...

Opiniões prévias sobre o nível de corrupção dos incumbentes Opiniões prévias sobre o nível de corrupção dos incumbentes Penetração da mídia na esfera local Outras características do município que também podem estar 

relacionadas com a penetração da mídia

Page 25: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Esta pesquisaEsta pesquisa

1. Qual o efeito da política de auditoria nos resultados das eleições? 

2. O efeito da informação depende das opiniões prévias dos eleitores sobre o nível de corrupção dos incumbentes? Efeito negativo quando níveis de corrupção forem mais altos? Efeito positivo quando níveis de corrupção forem mais baixos?

3. O efeito da informação depende da penetração da mídia? Se forem complementares, efeito mais forte em áreas onde a mídia local 

está presente?está presente? Se forem substitutos, efeito mais forte em áreas onde a mídia local não 

está presente?

Page 26: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Motivação TeóricaMotivação Teórica

• Qual é o impacto de divulgar informação sobre corrupção nos resultados das eleições?pç çO efeito da informação depende da penetração da mídia?penetração da mídia?– Há um problema de informação?

Page 27: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Motivação PráticaMotivação Prática

• Qual é o impacto de divulgar informação sobre corrupção nos resultados das eleições?pç ç– Será que o eleitorado mais bem informado aumenta a responsabilização dos políticos?aumenta a responsabilização dos políticos?

• O efeito da informação depende da ç ppenetração da mídia?– Como é que a mídia pode fortalecer seu papel de– Como é que a mídia pode fortalecer seu papel de exibir maus políticos e promover os bons?

Page 28: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Esta pesquisaEsta pesquisa

U di i f i f i d f• Usamos a auditoria que foi feita de forma aleatória e o período das eleições municipais de 20042004

• Estimamos o efeito da divulgação de informação sobre corrupção nos resultados eleitoraissobre corrupção nos resultados eleitorais

• Probabilidade dos prefeitos incumbentes serem reeleitosreeleitos

• Fração de votos• Margem de vitóriag

• Estimamos se o impacto das auditorias varia em função do tipo de informação divulgada e da ç p ç gpresença da mídia local

Page 29: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

3 Definição de tratamentos3. Definição de tratamentos

• Identificar o problema e propor uma solução– Visitas em terreno– Grupos focaisDiscussões com professores diretores– Discussões com professores, diretores, pesquisadores

• Identificar os principais interessados:– Trabalho de Campop– Doadores

• Fazer pilotos• Fazer pilotos

Page 30: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Tratamento: Divulgação das AuditoriasTratamento: Divulgação das Auditorias

O G F d l fO que o Governo Federal fez • Antes das eleições de Outubro 2004: 

Auditou e disseminou informações sobre os níveis de corrupção emAuditou e disseminou informações sobre os níveis de corrupção em 376 municípios selecionados de forma aleatória através de 8 loterias

• Depois das eleições de Outubro 2004:Disseminou os relatórios de auditoria de 300 municípiosDisseminou os relatórios de auditoria de 300 municípios

Assim, temos informações sobre 2 grupos de municípios:• Grupo que as informações foram disseminadas ANTES das eleições 

(potencialmente afetando a percepção dos eleitores sobre a corrupção do prefeito)

• Grupo que as informações foram disseminadas DEPOIS das eleições (grupo de controle)

Page 31: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

I t ã Di l ãIntervenção: Divulgação 

Page 32: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Definição do tratamentoDefinição do tratamento

T t tGrupo de 

TratamentoDivulgação das 

auditorias antes dasControle

Divulgação das auditorias antes das eleições

g çauditorias depois das 

eleições

Page 33: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

4 Desenho de uma Intervenção4. Desenho de uma Intervenção 

• Desenho de uma estratégia de aleatorização– Marco amostral– Unidade de aleatorizaçãoEstratificação– Estratificação

– Cálculo de Poder

Page 34: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Marco AmostralMarco Amostral

• Unidade de análise é o municípios. 

• Porém a CGU selecionou municípios de forma aleatória• Porém a CGU selecionou municípios de forma aleatória através de sorteios em uma amostra de todos os municípios com menos de 450 mil habitantescom menos de 450 mil habitantes

• Em Julho de 2005, haviam relatórios para 669 municípios selecionados pelos 13 primeiros sorteios

• Incluímos somente os municípios com prefeitos que• Incluímos somente os municípios com prefeitos que pudessem ser reeleitos, ficando com uma amostra final de 373 municípios373 municípios

Page 35: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Outros elementos do desenho em geralOutros elementos do desenho em geral 

• Unidade de aleatorização• Externalidades• Correlação intra‐cluster

• Estratificação

Cál l d d• Cálculo de poder

Page 36: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Elementos do desenhoElementos do desenho

• Municípios espalhados pelos estados pouca chance de• Municípios espalhados pelos estados, pouca chance de contaminação (corrupção em município x afeta eleição em município y)

• Análise no mesmo nível do tratamento, não nost tifi ã l ã i tpreocupamos com estratificação e correlação intra‐

cluster.

• Cálculo de poder: como sabemos que 380 municípiosseria suficiente para detectar efeito? Dados secundários‐‐fá il di ã f í l dfácil expandir a amostra se não fosse possível detectarefeito.

Page 37: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Ponto mais geralPonto mais geral

A li ã t d d dá i• Avaliação ex‐post e dados secundários

B il t óti b d d d d i i t ti• Brasil tem ótimas bases de dados administrativos: resultados eleitorais, dados SUS, censo escolar, RAIS, Prova BrasilProva Brasil.

• Muitos estudos e avaliações aleatorizadas podem serMuitos estudos e avaliações aleatorizadas podem ser feitas com dados secundários.

• Precisamos somente relacionar tratamento com a unidade de observação

Page 38: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

5 Implementação de uma Intervenção5. Implementação de uma Intervenção 

• Documentar• Manuais de campo exaustivosManuais de campo exaustivos• Formação exaustiva• Obter aprovação de IRB

Page 39: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

6. Levantamento de dados: enquetes em geral• Planificar dados a coletar• linha de base:linha de base:

– Verificação da aleatorizaçãoE ifi ã– Estratificação

– Entender decisão de take‐up– Medidas pré‐intervenção:

• Efeitos heterogêneos.g• Persistência.

Page 40: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Dados: enquetes em geral

Li h d íd

Dados: enquetes em geral

• Linha de saída:– “Quanto deveria esperar?”– Considerações operacionais devem ser balanceadas. Não há 

uma resposta padronizadauma resposta padronizada– Deve‐se esperar o suficiente para certificar‐se de que os 

impactos se concretizem– Coletar bons dados de contato na linha de base permite realizarColetar bons dados de contato na linha de base permite realizar 

várias linhas de saída (na medida que haja recursos e seja interessante)

• O planejamento do terreno e desenho do p jquestionário toma tempo!

• Coletar dados bons é caro• Necessidade de separar a implementação e os dados da avaliação

Page 41: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Distribuição da corrupçãoDistribuição da corrupção0.35

0.3

0 35

Post-election

Pre-election

0.2

0.25Pre election

0 1

0.15

0.05

0.1

00 1 2 3 4 5 6 7

Numero de violações-corrupção

Page 42: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Bases de dadosBases de dadosI di d d ã l ó i CGU• Indicadores de corrupção: relatórios CGU

D d l i i TSE l i õ i i i 2000 2004• Dados eleitorais TSE, eleições municipais 2000 e 2004: Características prefeito, concorrência política, votações

• Dados municipais, Pesquisa Gestão Municipal 1999: características municipais, leis, sede de comarca, rádiocaracterísticas municipais, leis, sede de comarca, rádio local.

• Indicadores socio-econômicos: censo 2000, renda per capita, Gini, população, população urbana.

Page 43: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Pre eleição Post eleição Differença Erro padrão

Tabela 1: Diferenças nas características de municípios e prefeitos entre municipios auditados

Pre-eleição Post-eleição Differença Erro padrãoPainel A: características municipais Densidade populacional (Pessoas/km) 0.73 0.57 -0.16 0.33Taxa alfabetização (%) 0.80 0.81 0.01 0.03ç ( )Urbana (%) 0.62 0.62 0.00 0.05Log renda per capita 4.66 4.72 0.06 0.15Desigualdade de renda 0.54 0.55 0 0.01S d d 0 56 0 59 0 03 0 07Sede de comarca 0.56 0.59 0.03 0.07Numero estações de rádio 1.29 1.37 0.08 0.11

Painel B: características prefeitosId d 48 47 5 0 5 0 9Idade 48 47.5 -0.5 0.9Anos de educação 12 12.2 0.3 0.3Masculino (%) 0.94 0.96 0.02 0.03Membro PT 0.048 0.03 -0.018 0.023Membro PT 0.048 0.03 0.018 0.023Membro PFL 0.163 0.178 0.015 0.052

Painel C: Características políticasTaxa reeleição 2004 0.395 0.413 0.018 0.045Taxa reeleição 2004 0.395 0.413 0.018 0.045No. efetivo de partidos 2000 2.933 2.881 -0.052 0.14Margem de vitoria 2000 0.131 0.142 0.012 0.019Numero de violações (corrupção) 1.584 1.952 0.369 0.357Total recursos auditados (R$) 5,270,001 5,770,189 500,188 1,361,431Note: Out of 90 characteristics, only 3 not balanced at the 5 percent level.

Page 44: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Linha de base aleatorizaçãoLinha de base‐ aleatorização

Page 45: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Linha de base aleatorizaçãoLinha de base‐ aleatorização0 35

0.3

0.35

Post-election

P l ti

0.2

0.25Pre-election

0.15

0.05

0.1

00 1 2 3 4 5 6 7

Numero de violações-corrupção

Page 46: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Dados: dados administrativosDados: dados administrativos 

• Coleta de dados administrativos 

– Codificar medidas de corrupção disponíveis napágina da CGUpágina da CGU

d d d d d l i i– Juntar dados do censo, dados eleitorais, características municipais

Page 47: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

7 Análise7. Análise

1) Estatísticas descritiva

2)  Efeito do tratamento

3) Efeito do tratamento heterogêneo3)  Efeito do tratamento heterogêneo

Page 48: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Resultado diferença em diferençasResultado diferença-em-diferençasAuditorias pré-eleição Auditorias post-eleiçãoAuditorias pré-eleição Auditorias post-eleição

pto

Corr

upup

toão

-cor

ruN

ã

Page 49: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Resultado diferença em diferençasResultado diferença-em-diferençasAuditorias pré-eleição Auditorias post-eleição

pto

403

Auditorias pré-eleição Auditorias post-eleiçãoCo

rrup .403

(.043)

417upto

.417(.083)

ão-c

orru

Page 50: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Resultado diferença em diferençasResultado diferença-em-diferençasAuditorias pré-eleição Auditorias post-eleiçãoAuditorias pré-eleição Auditorias post-eleição

pto

348 403

Corr

up .348(.038)

.403(.043)

upto

552 417

ão-c

orru .552

(.066).417

(.083)

Page 51: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Auditorias post-eleiçãoAuditorias pré-eleição Diferençato

.348(.038)

.403(.043)

-.055(.0578)

Corr

upt

pto

C

.552(.066)

.135(.106)

.417(.083)o-

corr

upnç

aN

ão

-.190(.119)

Dife

ren -.203

(.075) -.0136(.093)

D

Page 52: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

ResultadosResultados 

1.  Efeito das auditorias nos resultados das eleições

• Comparação auditados antes e auditados depois não teve naComparação auditados antes e auditados depois, não teve na média efeito significativo sobre a probabilidade de reeleição dos prefeitos incumbentes

• Taxas de reeleição são 3,6 pontos percentuais mais baixas nos municípios auditados antes das eleições, porém não é significativo

• Pouca evidência que a política de auditoria afetou outras medidas de desempenho eleitoral (fração de voto, margem de vitória)

• Mudança na participação de voto é 3,2 pontos percentuais mais baixa nos municípios auditados antes das eleições (confiança de 90%)nos municípios auditados antes das eleições (confiança de 90%)

Page 53: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Antecipação de resultadosAntecipação de resultados 

2. Efeitos das auditorias por níveis de corrupção

• Em municípios com 1 violação de corrupção as taxas deEm municípios com 1 violação de corrupção, as taxas de reeleição baixaram 4,6 pontos percentuais

• Enquanto que nos municípios com 3 violações de corrupção, as q q p ç pç ,taxas de reeleição baixaram 17,7 pontos percentuais 

• Dentro da amostra de municípios com 5 ou menos violações (inclui 97% da amostra original), para cada violação adicional reportada, a divulgação das auditorias reduziu a probabilidade de 

l i ã 16% d t d l i ã d 43% d li h d breeleição por 16% da taxa de reeleição de 43% da linha de base dos municípios no grupo de controle

Page 54: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Antecipação de resultadosAntecipação de resultados 

3. Efeitos das auditorias por níveis de corrupção e mídia local

• Os efeitos das auditorias foram mais fortes em municípios com níveis mais altos de corrupção reportados e também com mais estações de radio

• A política de auditoria diminuiu a probabilidade de reeleição em 16,1 pontos percentuais nos municípios com 1 estação de radio e com 3 violaçõespercentuais nos municípios com 1 estação de radio e com 3 violações 

• Enquanto que a redução na probabilidade de reeleição é somente de 3,7 pontos percentuais nos municípios que não tem estações de radio  

• O radio também ajuda a promover incumbentes que não sejam corruptos• Auditoria aumenta em 17 pontos percentuais a probabilidade do prefeito não corrupto ser reeleitocorrupto ser reeleito

• Excluindo municípios com mais de 5 violações, os efeitos ficam ainda mais fortes com uma redução de 29 pontos percentuais na probabilidade de ç p p preeleição em municípios com 3 violações e radio

Page 55: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Quais foram os efeitos das auditorias nos resultados eleitorais?

Page 56: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Estratégia Empírica: Efeito das auditorias nos resultados das eleições(1) E (1)  Ems =  +  Ams + Xms γ + vs + ms

• Ems= desempenho eleitoral do prefeito incumbente que pode     ms p p q pser reeleito no município m  e no estado s

• Ams= indicador se o município foi auditado antes das eleições ms p çde Outubro de 2004

• Xms= vetor de características do município e do prefeito queXms  vetor de características do município e do prefeito que podem determinar os resultados das eleições

• vs =  efeito fixo do estados

• =   impacto médio do programa (tanto efeito de ser auditado quanto divulgação de informações) no desempenho q g ç ç ) peleitoral do político incumbente 

Page 57: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Efeito médio da divulgação das auditorias nos resultados eleitorais 

S f iPr(reeleição) Fatia de votos Margem de vitória

Somente prefeitos q

‐0.059 ‐0.055 ‐0.020[0.065] [0.072] [0.027][0.065] [0.072] [0.027]263 263 2630 22 0 16 0 220.22 0.16 0.22Sim Sim SimSim Sim SimSim Sim Sim

Page 58: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

O efeito da política de auditoria variade acordo com os níveis de corrupçãode acordo com os níveis de corrupção

encontrados?

Page 59: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

ResultadosResultados

Page 60: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Taxa de reeleição vs corrupçãoTaxa de reeleição vs. corrupção.6

5.5ra

tes

.4R

eele

ctio

n .3

R.2

0 1 2 3 40 1 2 3 4+Number o f Corrupt Vio la tions

Page 61: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Taxa de reeleição vs corrupçãoTaxa de reeleição vs. corrupção.6

.54on

rate

s.4

Ree

lect

io.3

.2

0 1 2 3 4+Number of Corrupt Violationsp

Pos telect ion Au dit Preelection Audit

Page 62: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Proporção otos

Tabela 2: Efeitos das auditorias na probabilidade de reeleição

Pr(reeleição) Pr(reeleição| candidato)

Margem de itória

(1) (2) (3) (4)Auditoria pre-eleição 0.068 0.072 0.053 0.104

[0 087] [0 099] [0 039] [0 106]

votoscandidato) de vitória

[0.087] [0.099] [0.039] [0.106]Auditoria pre-eleição -0.070 -0.086 -0.049 -0.104 × Numero de violações de corrupção [0.041]+ [0.046]+ [0.019]** [0.048]*

Observações 362 256 256 256R-quadrado 0.19 0.24 0.2 0.24Efeitos fixos estados Sim Sim Sim SimCaracterísticas municipais Sim Sim Sim SimCaracterísticas prefeitos Sim Sim Sim Sim

Notas: Erro padrão em parênteses Corrupção <=5 Significativamente diferente de zero nos níveis de 99 (**) 95 (*) 90 (+) porcentoNotas: Erro padrão em parênteses. Corrupção < 5. Significativamente diferente de zero nos níveis de 99 ( ), 95 ( ), 90 (+) porcento de confiança. Características municipais incluem: densidade populacional, taxa de alfabetização, porporção de população urbana, log renda per capita, coeficiente de Gini, numero efetivo de partidos na eleição para prefeito em 2000, policia municipal (1/0), sede de comarca (1/0). Características do prefeito: gênero (1/0 masculino), idade, casado (1/0), anos de escolaridade, dummies de partido.

Page 63: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

ResultadosResultados

l l• Eleitores punem políticos corruptos

– Para um aumento de um desvio-padrão na corrupção relatada, a política de auditoria reduziu a pç , pprobabilidade de reeleição em 20%.

– Resultados similares em outras medidas de performance eleitoral: parcela de votos, margem de p p , gvitória, mudança nas parcelas de votos e na margem de vitória.

Page 64: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Ameaças à estratégia de avaliaçãoAmeaças à estratégia de avaliação

• Corrupção relatada por auditores pode ser influenciada por motivações políticas

• Não achamos nenhuma evidência de que os auditores tenham sido em qualquer sentido manipulados. q q p– Níveis de corrupção são balanceados – Nenhum sinal de manipulação políticaNenhum sinal de manipulação política

• Afiliação partidária • Margem de vitória• Margem de vitória

– Testes placebo

Page 65: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Table 4: Testing for political manipulation of the audit process

Dependent variable: Number of corrupt violations(1)

Preelection audit -0.332[0.261]

Preelection audit __ × Number of corrupt violationsP l ti dit 0 155Preelection audit -0.155 × Member of the governor's coalition [0.256]Preelection audit × PT -0.004

[0.861][0.861]Preelection audit × PMDB 0.157

[0.389]Preelection audit × PFL 0.064

[0.445]Preelection audit × PSDB -0.456

[0.989]

Observations 362R-squared 0.35F-test (p-values) 0.97Notes: Robust standard errors in brackets. Significantly different than zero at 99 (**), 95 (*), 90 (+) percentg y ( ), ( ), ( ) pconfidence. All regressions include mayor and municipal characteristics, in addition to state intercepts. Foreach interaction term, the regression also controls for the direct effect.

Page 66: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Tabela 4: Testando manipulações políticas nas auditorias

Variável dependente Number of corrupt violations Pr(Reelection)(1) (3)

Auditoria pre-eleição -0.332 0.043[0.261] [0.110]

Auditoria pre-eleição __ -0.076 × Numero de violações de corrupção [0.040]+Auditoria pre-eleição -0.155 0.06 × Membro coligação governo [0.256] [0.136]Auditoria pre-eleição × PT -0.004 0.28

[0 861] [0 290][0.861] [0.290]Auditoria pre-eleição × PMDB 0.157 0.145

[0.389] [0.134]Auditoria pre-eleição × PFL 0.064 -0.082

[0.445] [0.157]Auditoria pre-eleição × PSDB -0.456 -0.483

[0.989] [0.244]*

Observations 362 362R-squared 0.35 0.21F-test (p-values) 0.97 0.09Notes: Robust standard errors in brackets. Significantly different than zero at 99 (**), 95 (*), 90 (+) percent confidence. All regressionsinclude mayor and municipal characteristics, in addition to state intercepts. For each interaction term, the regres

Page 67: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Tabela 5: Teste Placebo eleições 2000

Variável dependente

(3) (6)

ç

Proporção de votos 2000

Margem de vitória 2000

(3) (6)

Auditoria pre-eleição 0.000 -0.012[0.014] [0.023]

Auditoria pre-eleição -0.003 0.001 × Numero de violações de corrupção [0.006] [0.010]

Observações 358 358R-quadrado 0.17 0.18F-test (p-values)Efeitos fixos estados Sim SimCaracterísticas municipais Sim SimCaracterísticas prefeitos Sim SimNotes: Robust standard errors in brackets. Significantly different than zero at 99 (**), 95 (*), 90 (+) percent confidence.Municipal characteristics include: population density (persons/km), percentage of the population that is literature, percentageof the population that lives in the urban sector, per capita income expressed in logarithms, Gini coefficient for income,effective number of political parties in the 2000 mayor elections, municipal police (1/0), small claims court (1/0), judiciarydistrict (1/0) Mayor characteristics include: gender (1/0 for male) age married (1/0) education level party dummiesdistrict (1/0). Mayor characteristics include: gender (1/0 for male), age, married (1/0), education level. party dummies.

Page 68: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Outros possíveis mecanismosOutros possíveis mecanismos

N h l idê i d di• Não achamos qualquer evidência de que os auditores trabalhem através de outros mecanismos como:

– Mudança do programa político dos incumbentes

– Tipo de candidato com o qual o partido de oposição concorreconcorreu

Contribuições de campanha– Contribuições de campanha

Page 69: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Heterogeneidade no impacto: o papel da mídia local

Page 70: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Municípios sem rádio localMunicípios sem rádio local8

.6.

.4tion

rate

s.2

Ree

lect

0

0 1 2 3 4+Number of corrupt vio la tions

Pre election Au dit - No Rad io Preelection Audit - RadioPos telect ion Au dit - No Ra dio Poste lection Audit - Radio

Page 71: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Rádio/sem rádio antes da eleiçãoRádio/sem rádio, antes da eleição8

6.8

4.6

on ra

tes

2.4

Ree

lect

i0

.20

0 1 2 3 4+Number o f co rrup t v io la tions

Pree lection Aud it - No Rad io Pree lection Aud it - Rad ioPree lection Aud it No Rad io Pree lection Aud it Rad ioPoste lection Aud it - No Rad io Pos te lect ion Au d it - R ad io

Page 72: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Com rádio antes e depois da eleiçãoCom rádio, antes e depois da eleição.8

.6.4tio

n ra

tes

.2R

eele

c0

0 1 2 3 4+Number of corrupt vio lations

Preelection Audit - No Radio Preelection Audit - RadioPreelection Audit No Radio Preelection Audit RadioPoste lection Audit - No Radio Pos te lect ion Au dit - R adio

Page 73: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Sem rádio antes de depoisSem rádio, antes de depois8

.6.

.4.

tion

rate

s.2

.R

eele

ct0

.

0 1 2 3 4+Number of corrupt vio lations

Preelection Audit - No Radio Preelection Audit - RadioPreelection Audit No Radio Preelection Audit RadioPostelection Audit - No Radio Pos telect ion Au dit - R adio

Page 74: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

R l dResultadosMídi rádi l l t m p p l imp rt ntMídia: a rádio local teve um papel importante e

complementar:Com rádio local as fiscalizações dimin íram a– Com rádio local: as fiscalizações diminuíram a probabilidade de reeleição em 40%.Sem rádio local: as fiscalizações diminuíram a– Sem rádio local: as fiscalizações diminuíram a probabilidade de reeleição em 8%.

Page 75: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Table 7: Testing for compositional confounds

Dependent variable: Pr(re-election) (1) (2) (3) (4) (5) (6) (7)

Preelection audit 0.188 0.233 0.274 0.254 0.253 0.295 0.309N b f di i [0 097] [0 105]* [0 110]* [0 112]* [0 113]* [0 119]* [0 121]* × Number of radio stations [0.097]+ [0.105]* [0.110]* [0.112]* [0.113]* [0.119]* [0.121]*

Preelection audit -0.107 -0.152 -0.163 -0.155 -0.152 -0.182 -0.190 × Corrupt violations × Radio stations [0.045]* [0.048]** [0.049]** [0.050]** [0.051]** [0.056]** [0.057]**

T i l i t ti tTriple interactions terms:Urban N Y Y Y Y Y YPopulation density (Population/Area) N N Y Y Y Y YLiteracy rate N N Y Y Y Y YPer capita income N N N Y Y Y YIncome inequality N N N N Y Y YJudiciary district N N N N N Y YElectoral Competition N N N N N Y Yecto a Co pet t o N N N N N

Municipal Characteristics N N N N N N YState Intercepts Y Y Y Y Y Y Y

Observations 373 373 373 373 373 373 373Observations 373 373 373 373 373 373 373R-squared 0.07 0.08 0.1 0.12 0.12 0.13 0.16Notes: Robust standard errors in brackets. Significantly different than zero at 99 (**), 95 (*), 90 (+) percent confidence. All regressions include mayorand municipal characteristics, in addition to state intercepts. Each regression controls for the number of corrupt violation, the square of the number of

ti i l ti th b f di t ti th b di t ti i t t d ith th b f t i l ti d th b f dicorruption violations, the number of radio stations, the number radio stations interacted with the number of corrupt violations, and the number of radiostations interacted with the square of the number of corrupt violations.

Page 76: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

ConclusõesConclusões

N l d fi i â i d• Nossos resultados confirmam a importância da informação na decisão dos eleitores.

• Políticos que se revelaram extremamente corruptos f id lí i ãforam punidos nas urnas, enquanto os políticos não corruptos foram recompensados.

• Resultados também destacam a influência da mídia b lid d d i l ã d lí isobre a qualidade da implementação de políticas

públicas (Besley e Burgess 2004; Stromberg 2004; Besley Pande e Rao 2005)Besley, Pande, e Rao 2005)

Page 77: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Estratégia Empírica: Efeito da auditoria por nível de corrupção(2) Ems =  + 0 Cms + 1 Ams + 2 Amsx Cms ) +  Xms γ + vs + ms

• C = número de irregularidades de corrupção encontrados noCms= número de irregularidades de corrupção encontrados no município 

• 2 = estima o efeito de causalidade da política de auditoria, condicional ao nível de corrupção no município

Page 78: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Variação do efeito sobre taxas de reeleiçãodependendo dos níveis de corrupção encontrados 

fPr(reeleição) Fatia de votos Margem de vitória

Somente prefeitos q

‐0.059 ‐0.055 ‐0.020[0 065] [0 072] [0 027][0.065] [0.072] [0.027]263 263 2630 22 0 16 0 220.22 0.16 0.22Sim Sim SimSim Sim SimSim Sim SimSim Sim Sim

Page 79: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Efeitos da divulgação de auditorias nas taxas de reeleição por nível de corrupção reportada 

Page 80: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Efeitos da divulgação de auditorias nas taxas de reeleição por nível de corrupção reportada (cont) 

Page 81: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Testes de RobustezTestes de Robustez

• Possível corrupção dentro do processo de auditoria?• Possível corrupção dentro do processo de auditoria?• Não achamos evidência de que os prefeitos do mesmo partido político do 

que o governador ou do governo federal tenha recebido um diferencial na sua auditoria (‐,155; desvio padrão de ,256)

• Incumbentes que venceram por uma margem pequena teriam i i ti dit ?mais incentivos para corromper os auditores? 

• Nenhuma evidência de que o nível de apoio político do prefeito tenha influenciado o processo de auditoria (‐,638; desvio padrão de ,865) p ( , ; p , )

• Efeito da política não muda mesmo depois de estimar pordiferentes níveis de corrupção, populaçao, educação, renda etc.

• Efeitos da política nos municípios que foram auditados logo antes das eleições não difere estatisticamente do efeito médio

• Testamos efeito placebo na eleição anterior de 2000

Page 82: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

O efeito da política de auditoria variapde acordo com os níveis de corrupção

t d dencontrados e a presença de mídia local?mídia local?

Page 83: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Estratégia Empírica: Efeito da auditoria por nível de corrupção e presença de radio(3) Ems = + 0Cms + 1Ams + 2ms + 3Amsx Mms ) + 4Amsx Cms ) + 5Mms x Cms ) + 6Amsx Cmsx Mms) +  Xmsγ +  vs + ms

• Mms = número de estações de radio AM local no município 

• 6= estima o efeito diferencial das auditorias por nível de corrupção reportada e por número de estações de radio no município

Page 84: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Efeitos da divulgação de auditorias por nível de corrupção reportada e mídia local

Page 85: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Efeitos da divulgação de auditorias por nível de d íd l l ( )corrupção reportada e mídia local (cont)

Page 86: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Testes de RobustezTestes de Robustez

• Medida de mídia está correlacionada com outras características• Medida de mídia está correlacionada com outras características do município que podem induzir o efeito encontrado?• Efeitos continuam parecidos depois da inclusão de uma série de termosEfeitos continuam parecidos depois da inclusão de uma série de termos 

de interação do indicador de auditoria pré‐eleição e o número de violações de corrupção com densidade populacional, taxa de alfabetização renda per capita coeficiente gini taxa de população urbanaalfabetização, renda per capita, coeficiente gini, taxa de população urbana

• Efeito também é robusto a uma medida alternativa de mídia?• Em municípios com mais domicílios com radio (90%) a divulgação de 3 

violações antes da eleição diminui a probabilidade de reeleição em 22 pontos percentuais. Enquanto que naqueles com menos, a dimuição naprobabilidade de reeleição foi de apenas 8%.

• Presença de outras fontes de mídia influencia resultados?ç• Nenhum diferencial no impacto da divulgação de informação por uma 

maior presença de jornais locais e proporção de domicílios com televisão

Page 87: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Relação entre taxas de reeleição e níveis de corrupção 

Page 88: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Outras possíveis interpretações dos resultados...

• Punição por incompetência em vez de corrupção?• Punição por incompetência em vez de corrupção?• Nenhuma associação entre número de violações e taxas de reeleição para 

os municípios auditados depois das eleiçõesp p ç• Resultados são robustos aos efeitos diferenciais da auditoria por margem 

de vitória do incumbente (proxy para competência política)R lt d t bé ã b t f it dif i l d í l d• Resultados também são robustos ao efeito diferencial do nível de educação do prefeito 

Ef it d i t i d t é d t i ( t té i d• Efeito poderia ter vindo através de outros canais (estratégias de campanha) do que o de informação?• Efeito da auditoria não mudou dependendo de quando o município foiEfeito da auditoria não mudou dependendo de quando o município foi 

auditado, mostrando que relatórios não influenciaram campanhas • Efeito diferencial do programa por radio não ficou mais fraco em lugares 

l l d í l l d dcom mais competição eleitoral, mostrando possível complementariedade entre radio e campanha

Page 89: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Outras possíveis interpretações dos resultados (cont)

• Prefeitos mais corruptos receberam menos contribuiçõeseleitorais daí afetando a probabilidade de reeleição?eleitorais, daí afetando a probabilidade de reeleição?• Interação entre auditoria preeleição e valor de contribuição de campanha 

mostra resultados quase idênticos

Page 90: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

ConclusõesConclusões

• Usando a auditoria e a divulgação dos resultados, ambas feitas de forma aleatória pela CGU, estimamos o impacto de disseminar informações no desempenho eleitoral dosdisseminar informações no desempenho eleitoral dos políticos• Divulgação de corrupção em governos locais tem um impacto g ç pç g p

significativo no desempenho eleitoral do incumbente• Comparado com municípios auditados depois da eleição, a política 

reduz a probabilidade de reeleição do incumbente em 7 pontosreduz a probabilidade de reeleição do incumbente em 7 pontos percentuais (17%) em municípios com ao menos 2 violações de corrupção

• Resultado dá ênfase a importância de um eleitorado informado paraaumentar a responsabilização dos políticos

Page 91: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Conclusões (cont)Conclusões (cont)

• Contribui também para literatura sobre o papel da mídia em influenciar os resultados políticos

• Resultados mostram que políticos corruptos foram punidos relativamente mais em lugares onde haviam estações de rádio para divulgar os resultados das auditoriasdivulgar os resultados das auditorias

• O rádio também ajuda a a promover os incumbentes que não são corruptos, assim aumentando a sua probabilidade de reeleição

• Resultados são robustos a controles de acesso a outras fontes de mídia e características locais que podem estar associadas a presença de rádio no município

• Outras medidas alternativas de rádio produzem os mesmos resultados• Resultado dá ênfase ao papel da mídia na política quando ajuda a 

promover os bons políticos e identificar os mauspromover os bons políticos e identificar os maus

Page 92: Aula 8 Avaliaçao do começo ao fim - Claudio Ferraz Rio2012 · veículos e ""consertar caixa de som"". ... governos municipais afeta o desempenho ... (potencialmente afetando a percepção

Conclusões (cont)Conclusões (cont)

Os resultados são importantes para entender os efeitos da seleção política no bem‐estar dos eleitores. 

Divulgação de informaçãosobre o desempenho dos 

políticos

Divulgação de informaçãosobre o desempenho dos 

políticos

Eleitores escolhem melhoresformadores de políticas

públicas

Eleitores escolhem melhoresformadores de políticas

públicas

Melhora na qualidade do governo

Melhora na qualidade do governo

Será que a divulgação das auditorias irá melhorar aqualidade dos políticos, reduzir a corrupção econtribuir positivamente para formação de políticacontribuir positivamente para formação de política públicas?