monitoramento, avaliação e proposição de melhorias do ... · grupo de tratamento e um grupo de...

Monitoramento, Avaliação e Proposição de

Melhorias do Programa Cartão Família Carioca

PRODUTO 3

Coordenação: Marcelo Cortes Neri

[email protected]

Visão Geral do Terceiro Produto

A avaliação específica de impactos do Programa FC, iniciada após um ano de

execução do programa, analisada em outro texto deste produto final do projeto, aponta

quais foram os primeiros efeitos monetários do programa, e em particular sua relevância

para a educação dos beneficiários, incluindo também dimensões conceituais. Os testes

empíricos têm a proposta de começar a apontar quais os instrumentos de política

funcionam melhor, de modo a maximizar os recursos escassos disponíveis.

A melhor expressão do esforço analítico de políticas públicas se dá no J-Pal

(Abdul Latif Jameel Poverty Action Lab), do Massachusetts Institute of Technology

(MIT), cuja missão é “reduzir a pobreza assegurando que a política é baseada em

evidências científicas”.[1] Um time de acadêmicos de várias nacionalidades e altamente

gabaritados testa e aprimora a efetividade dos programas e ações a partir de

randomizações, que correspondem a um método bastante rigoroso de avaliação de

impactos a partir de um grupo de comparação escolhido ao acaso dentro de uma

população, tais quais os utilizados em testes médicos, por exemplo. Formam-se um

grupo de tratamento e um grupo de controle. O primeiro é contemplado com os

benefícios do programa, daí o nome de grupo de tratamento. O grupo de controle, por

sua vez, permanece em uma situação de neutralidade em relação à atuação do programa,

não recebendo os benefícios do mesmo. Por meio da comparação entre esses dois

grupos, é possível analisar empiricamente os impactos de programas e ações e, a partir

dos resultados, inferir sobre quais ações foram efetivas. Avalia-se, assim, a efetividade

do processo e testa-se se os resultados são robustos do ponto de vista dos gestores do

programa.

Discutimos ainda upgrades a serem incorporados ao programa (Familia Carioca

2.0)

Na segunda parte este terceiro relatório vamos além da aferição dos efeitos

preliminares do programa e olhamos para o atendimento de metas mais abrangentes

assumidas pela prefeitura. Defendemos o uso de instrumentos de medição,

monitoramento e de metas de pobreza usando pesquisas de uso público como a

PNAD/IBGE. Realizamos análise de grupos da sociedade.

[1]

Tradução livre do site: http://www.povertyactionlab.org/about-j-pal. Acessado em 13 de março de 2012.

Propomos seguir uma tendência mundial de avaliar criticamente o conjunto de

ações de combate à pobreza, visto o compromisso da comunidade mundial de

adequação com as Metas do Milênio da ONU. As metas vão ao encontro do desejo de

uma sociedade mais justa e com menos pobres.

Desenvolvemos análise da evolução e característica da pobreza na cidade bem

como dos beneficiários do Cartão Família Carioca. Além dos textos apresentamos

alguns bancos de dados interativos a partir de tabulações e modelos multivariados,

vídeos síntese de coletivas e cerimonias oficiais associadas ao programa, artigos de

autorados na imprensa e repercussões de mídia.

Sítio da Pesquisa

O sítio www.fgv.br/cps/familiacarioca2 oferece um amplo banco de dados com dispositivos interativos e amigáveis de consulta às informações. Através dele, você pode avaliar o perfil dos das famílias cadastradas no CadÚnico que são ou não beneficiárias do Cartão Família Carioca e/ou do Bolsa Família abertos por variáveis sócio-demográficas (tais como sexo, idades, escolaridade dos pais, acesso a outros programas sociais entre outras). Além disso, oferecemos simuladores de probabilidades de acesso dos alunos da rede municipal ao FC e dos impacto destas mesmas características (com destaque ao acesso ao programa) sobre a performance escolar dos alunos nas provas bimestrais. Além disso, oferecemos panorama da população carioca em geral ao longo dos últimos 13 anos onde se pode analisar como variáveis como renda, pobreza, escolaridade entre outras se correlacionam com uma série de estatísticas espaciais e demográficas.

Monitoramento, Avaliação e Proposição de

Melhorias do Programa Cartão Família Carioca

PRODUTO 3

Relatório 1: Perfil dos Alunos Beneficiários e Impa ctos sobre Educação 1

Sumário Executivo

Coordenação: Marcelo Cortes Neri

[email protected]

1 Esta pesquisa é parte integrante do relatório final de projeto de desenho e avaliação de impacto do programa Cartão Família Carioca da Prefeitura da Cidade do Rio de Janeiro no âmbito da Secretaria da Casa Civil e do Instituto Pereira Passos (IPP). Agradecemos a Secretaria Municipal de Assistência Social (SMAS), a Secretaria Municipal de Educação e ao Instituto de Planejamento (IPLAN-Rio) o fornecimento das bases de microdados aqui utilizadas.Agradecemos os comentários preliminares recebidos durante seminário no Instituto Pereira Passos (IPP) e em diversas reuniões de trabalho com diversas secretarias municipais. Agradecemos em especial os comentários de Eduardo Paes, Pedro Paulo Carvalho, Jean Caris, Roberta, Rodrigo Bethlen, Janine, Claudia Costin, Ricardo Henriques, Sérgio Ferreira e Fernando Cavalieri. Isentando-os porém de possíveis erros e imprecisões remanescentes.

Sumário Executivo

I - Visão Geral do Cartão Família Carioca

Os benefícios totais variam de acordo com a pobreza e a proficiência escolar indo do piso fixado de R$ 20 até R$ 417 mês por família O programa busca quem é pobre e não apenas quem está pobre, busca os mais pobres dos pobres tratando os diferentes na medida de sua diferença.

Programas de transferência condicionada de renda são cada vez mais usados como

políticas públicas focadas nos pobres de países da América Latina. O fato da

desigualdade de renda estar caindo de maneira generalizada nos diversos países da

região onde estes programas ganharam maiores escala e notoriedade os coloca na

fronteira do combate a pobreza e desigualdade no mundo. O programa Bolsa Família

(BF) brasileiro provê um benefício monetário mínimo às famílias pobres; reduzindo a

transmissão intergeracional de pobreza condicionando o recebimento dos benefícios a

investimentos em capital humano pelos beneficiários. As condicionalidades do BF são:

educação – frequência escolar mínima de 85% para crianças e adolescentes entre 6 e 15

anos, e mínima de 75% para adolescentes entre 16 e 17 anos; saúde – acompanhamento

do calendário vacinal para crianças até 6 anos; pré-natal das gestantes e

acompanhamento das nutrizes na faixa etária de 14 a 44 anos.

Eduardo Paes e Pedro Paulo, Prefeito e Secretário da Casa Civil da Cidade do Rio

de Janeiro, requisitaram ao Centro de Políticas Sociais da Fundação Getulio Vargas,

desenho de estratégia complementar a do BF para ser aplicada no Rio em curto intervalo

de tempo. O Cartão Família Carioca (FC) foi criado a partir de repetidas e ricas

interações com o próprio prefeito e diversos órgãos da cidade tais como a Casa Civil, o

Instituto Pereira Passos, o Instituto de Planejamento, a Secretaria de Assistência Social

e a Secretaria Municipal de Educação. Podemos dividir as inovações do FC em duas

partes: o sistema de pagamentos que visa tornar as pessoas menos pobres no presente e

os incentivos ao investimento que vai tornar as pessoas menos pobres no futuro. No que

tange ao sistema de pagamentos nos beneficiamos da experiência e práticas federais

aninhando o FC em seu desenho no BF. O FC usa como pedra fundamental da

construção de futuro a experiência exitosa da secretaria municipal da educação sob a

batuta de Claudia Costin que avalia os estudantes da maior rede municipal do país em

provas bimestrais para além das provas que cada escola aplica em seu cotidiano. O

Índice de Desenvolvimento da Educação Básica (IDEB) do Rio de Janeiro em 2009 já

mostra movimento de recuperação na educação. Apesar da elevação na taxa de

reprovação no primeiro segmento de 1º a 5º anos fruto do abandono da aprovação

automática, o IDEB passou de 4,5 em 2005, para 5,1 em 2009.

Sistema de Pagamento

O sistema de pagamento do programa se beneficia do Cadastro Social Único

(CADÚNICO), um verdadeiro censo dos pobres brasileiros com quase 60 milhões de

pessoas registradas com uma variedade de informações sócio-demográficas, de acesso a

outros programas federais, endereço físico das pessoas e para os beneficiários um

endereço de pagamento. Só na cidade do Rio de Janeiro são mais de um milhão de

cadastrados, quase um quinto da população carioca, destes 575 mil percebem benefícios

do Bolsa Família. A decisão foi começar por este grupo que está na folha utilizando

como parceiro a Caixa Econômica Federal o que facilita a localização física dos

beneficiários, a emissão de cartões e de senhas dos beneficiários.

Uma inovação foi evitar o uso simples da renda reportada pelas pessoas como no

BF, para lançar mão do rico acervo de informações presente no CadÚnico referentes ao

acesso e uso de ativos. Estas informações vão desde a configuração física da moradia

Descrição Geral do Família Carioca

• Complementos do programa federal BolsaFamília

• Inovação no sistema de pagamentos e nosinvestimentos em capital humano

• Sistema de Pagamentos:

– Renda estimada pelas informações do CadastroSocial Único

– Completa a renda até a linha de pobreza U$ 2dólares dia

(tipo, número de cômodos, materiais chão, teto, paredes etc.), acesso aos diversos

serviços públicos (água, esgoto, luz etc.). Além disso, inclui a educação de todas as

pessoas no domicílio, acesso e tipo de posição na ocupação e na desocupação de marido

e esposa, a presença de grupos vulneráveis como pessoas com deficiência, grávidas,

lactantes e crianças (aí incluindo o status escolar) bem como o acesso a outras

transferências federais a começar pelo próprio Bolsa Família. Isto foi implementado

mediante a uma equação minceriana de renda contra esta miríade de informações do

CadÚnico, assim como um modelo de renda não monetária responsável por 25% da

renda dos pobres segundo a POF. A renda estimada por este sistema de imputação gera

um conceito de renda permanente similar ao criado por Milton Friedman. No topo da

renda estimada é adicionada a renda de programas sociais da folha de pagamentos. A

questão aqui é ampliar o critério da renda que as pessoas dizem que tem hoje para um

conceito mais abrangente. Neste sentido, o FC se importa com quem é pobre, e não com

diz que está pobre, este já objeto do BF.

A segunda característica do sistema de pagamentos do programa é completar a

renda estimada das pessoas até a linha de pobreza fixada de forma a dar mais a quem

tem menos. Este expediente trata os pobres, e apenas eles, na exata medida de sua

Conceito de Renda Permanente:A renda familiar será estimada a partir de informações contidas no

CADÚNICO:

• configuração física da moradia;

• acesso aos diversos serviços públicos (água, esgoto, luz);

• nível de escolaridade das pessoas no domicílio;

• inserção no mercado de trabalho de marido e esposa;

• presença de grupos vulneráveis (como pessoas com deficiência, idosos, crianças);

• o acesso a transferências federais de renda.

Identifica quem é pobre, não quem está (ou diz que está) pobre

diferença. A tentativa é buscar os mais pobres dos pobres. Isto só é possível por

usarmos renda estimada, pelos óbvios incentivos de sub-reportagem de renda, se a renda

auto-reportada fosse o critério utilizado.

A linha de pobreza usada no programa é a de U$S 2 dólares dia por pessoa

ajustada por diferenças internacionais e internas de custo de vida que corresponde a

preços locais de hoje a cerca de R$ 108 mês por carioca. Este parâmetro corresponde a

mais generosa linha da primeira e mais importante das oito metas do milênio da ONU

que é a redução da pobreza extrema à metade no período de 25 anos terminados em

2015. A outra linha das metas da ONU de 1 U$S é adequada apenas para países mais

pobres como os da África. Desta forma o programa alinha o Rio ao mundo,

aproveitando a vocação internacional da cidade reforçada com eventos internacionais

como o final da Copa do Mundo de futebol de 2014 e as Olimpíadas de 2016. O fato da

data final da meta, 2105 estar neste horizonte ajuda na mobilização. O Brasil ao

contrário de países como EUA, Irlanda e Índia não dispõe de uma linha oficial de

pobreza. O uso das linhas internacionais reforça a consistência espacial das ações locais

com o pensar global.

Educação

No que tange aos aspectos educacionais, o FC mais uma vez constrói em cima das

bases do BF dando um benefício básico e até três benefícios por família, número

máximo de forma a evitar incentivos a natalidade. A diferença é exigir níveis mais altos

PROGRAMA DE TRANSFERÊNCIA DE RENDA:Impacto na Distribuição de Renda

0 5 10 15

2 dólares PPP dia

Re

nd

a m

en

salf

amili

arp

er

cap

ita

mé

dia

(R

$)

Hiato dePobreza

População (%)

R$ 70,00 = 1,25 dólares PPP dia Linha pobreza extrema BSM/BF

Linha Pobreza

Os benefícios variam para cada família: quanto mais pobre, maior o benefício

de frequência escolar mínimos de 90% contra 85% do BF, além da exigência da

presença de um dos pais, ou responsável, em reuniões bimestrais nas escolas numa

tentativa de aprimorar o background familiar responsável por mais de 70% dos

diferenciais de educação, segundo a literatura empírica. Outra diferença nesta direção é

que cada um destes benefícios não são fixos, mas proporcionais à insuficiência de renda

estimada das famílias em relação à linha internacional, como explicado antes.

Os benefícios adicionais na faixa de 16 a 17 anos presentes na extensão do BF

proposta em 2007, não foram incorporados, pois a responsabilidade constitucional da

cidade é com o ensino fundamental. Dado o atraso escolar reinante no Brasil, os alunos

da rede municipal nesta faixa de 16 e 17 são incorporados às demais até o máximo de

três benefícios por família.

A maior inovação educacional do FC é premiar os alunos pelo desempenho

escolar, alavancado no sistema de provas bimestrais de avaliação levados a cabo pela

secretaria de educação. O profissional de educação já tem incentivos salariais dados

pelo desempenho escolar. No lado da demanda, os alunos terão que atingir um mínimo

de nota nestes exames de oito, ou para aqueles com rendimento insuficiente até o

mínimo de quatro terá que apresentar uma melhora mínima de 20% a cada bimestre de

forma a se habilitar a um prêmio extra bimestral de R$ 50 reais por estudante. Neste

caso não há limite de prêmios por família dados à natureza individualizada do prêmio

por desempenho escolar. Estes requisitos são diferenciados nas Escolas do Amanhã

situadas em áreas conflagradas da cidade.

Outra inovação do FC está na ênfase dada à educação na primeira infância que

tem se mostra como determinante no desempenho escolar e social futuro dos egressos.

Como apesar dos esforços da cidade, os desafios de cobertura estão presentes nesta

faixa etária, optou-se por inverter os termos de oferta nesta faixa se privilegiando as

famílias mais pobres presentes no CadÚnico na alocação de crianças em creches e pré-

escolas da cidade, assim como no programa Primeira Infância Carioca (PIC) com

atividades complementares para aqueles que não obtiveram vagas na da rede municipal.

A presença dos pais em reuniões bimestrais também é parte das condicionalidades nesta

faixa etária.

II – Metas, Medição e Monitoramento de Pobreza

Proposta de Metas de Pobreza

Sintese: Indicador P2, por dar mais peso a quem tem menos como no

Cartão Família Carioca

Linha de Pobreza - U$S 2 dólares por dia PPC para dois contextos:

i) Pnad com imputação de dados de renda faltantes

ii) CadÚnico com Renda permanente para todos os beneficiários do

Bolsa Famílía como forma de avaliação do Cartão Família Carioca

A proposta ideal e que se use os mesmos parâmetros de meta de pobreza que os

do Cartão Família Carioca (FC). Esta consistência vai permitir que toda otimização no

desenho do programa se reflita nos resultados auferidos.

Em primeiro lugar, propomos o valor da linha equivalente a U$S 2 dólares por dia

PPC (cerca de R$ 108 por pessoa mês) Que foi escolhida pelo prefeito Eduardo Paes

como linha de corte do FC. Esta e a linha mais generosa das Metas do Milênio da Onu

que vence em 2015. Isto permite alinhar o agir local com o pensar global e de certa

forma dialoga com a linha oficial de extrema pobreza de R$ 70 recém adotada que esta

• FC constrói em cima das bases do Bolsa Família

• Investimentos em educação– Maior Engajamento dos pais

• Transmite importância da educação

• Gera controle social

– Garante acesso a informação privilegiada Educação na Primeira Infância

• Aperfeiçoamento cognitivo e não cognitivo

• Prioridade aos mais pobres

– Investimento nos filhos• Prêmio por desempenho

• Maior frequência obrigatória

• Alta agilidade administrativa nas Condicionalidades e Prêmios

próxima da linha de U$S 1,25 dia das Metas da Onu. O horizonte das metas da cidade

se sobrepõe ao da Onu 2015 (entre a Copa e as Olimpíadas)2.

Em segundo lugar, sugerimos que se acompanhe uma medida que priorize os mais

pobres dos pobres tal como o FC. O FC da mais a quem tem menos. Esta medida se

chama P2, favorita entre 99 de cada 100 estudiosos de pobreza. Pode-se acompanhar

toda a Família de Indicadores FGT que são os mais usados (proporção dos pobres (P0),

o custo de erradicação de pobreza por carioca, por exemplo 5 reais mês (P1) e o P2

como meta.

Finalmente, propomos uso de imputação de renda para as rendas não respondidas.

Desta forma teremos indicadores de pobreza mais precisos e menores do que, por

exemplo, se atribuísse o valor nulo a eles. A amostra refletira toda a população o que

não aconteceria se retirássemos os valores ignorados (missing) da amostra. Este

problema afeta especialmente a cidade do Rio e nos levou a usar renda imputada no

desenho do Cartão Família Carioca no caso para todas famílias.

Em termos de sistema de monitoramento da cidade como um todo propomos: o

uso da Pnad para acompanhar a evolução anual a PME compatibilizada para falarmos

de movimentos mais recentes, e o Censo para termos a distribuição entre Bairros, APs

entre outras).

No que tange ao acompanhamento dos impactos diretos do FC sobre a pobreza

propomos que se use o universo de beneficiários do Bolsa Família e medidas baseados

em renda permanente.

i) A meta de aumento dos cadastrados do CadÚnico deve ser complementada

com a de melhora da qualidade do cadastro medida pelo IGD (Índice de Gestão Descentralizada) do MDS. Desta forma cria-se um incentivo a se cadastrar mais e melhor as pessoas.

No que tange ao acompanhamento do impacto de longo prazo do FC já dispomos

de um grupo de controle aleatório para se medir os impactos das notas relativas nas

provas bimestrais aplicadas pela SME.

2 Os dados baseados em frações de salário mínimo tem o inconveniente de acumular massa da

distribuição distorcendo a análise de evolução de proporção dos pobres e por mudar de valor real ao longo do tempo o que torna inconveniente seu uso como numerário.

Apresentamos abaixo estimativas de três linhas de pobreza alternativas e rendas

estimadas posso detalhar mais. Temos de ajustar os algarismos significativos da linha de

U$ 2 dólares por dia. Vide Link de Panorama de Dado

Fonte: CPS/FGV a partir dos microdados da PNAD/IBGE

Utilizamos aqui uma visão econômica, sendo a renda a medida central usada. A

análise da renda familiar per capita pode ocorrer, inicialmente, de duas maneiras: pela

renda corrente, que diz respeito aos recursos financeiros oriundos de trabalho,

previdência, programas sociais ou outras fontes; e pela renda permanente, fluxo de

recursos constante, que pode ser sustentado pelo restante do horizonte de vida do

indivíduo – determinado por recursos físicos e humanos como propriedades, educação,

etc. A primeira é de fácil mensuração, pois a PNAD faz perguntas diretas sobre os

valores das rendas de cada fonte. Já em relação à renda permanente, a estimamos

através de um modelo robusto baseado em informações sobre posse de ativos físicos,

condições habitacionais, entre outros atributos, o que constitui inovação metodológica

na análise empírica, sendo um processo amplamente adotado em estudos acadêmicos e

em políticas sociais mundo afora. A inovação é utilizar a renda estimada para

determinar o tamanho do benefício concedido.

7.77

10.85

7.35

4.93

7

45

3

5.39

7.75

5.63

3.5

0

2

4

6

8

10

12

1996 1997 1998 1999 2001 2002 2003 2004 2005 2006 2007 2008 2009

Evolução Pobreza Renda Estimada (para rendas faltantes (missing))

Linha CPS (R$151) Linha US$2/dia Linha 1/4 SM

A fim de analisar a evolução de indicadores clássicos de desigualdade, bem estar

social e pobreza, inovamos ao adicionar filtros de renda e metodologias de estimação,

totalizando quatro modos diferentes de mensuração que contrastamos aqui: i) renda

baseada apenas nas rendas positivas válidas (eliminando os valores ignorados (missing))

; ii) renda zerando valores ignorados (missing). iii) renda estimada apenas para as

pessoas que reportam ter renda ignorada iv) renda estimada para todas as observações.

Apresentamos abaixo estimativa inicial de impacto inicial do programa (sem a

perda de beneficiários pelo travamento do cadastro inicial mas por outro lado sem o

premio educacional e sem a expansão recente.

Impactos Diretos do Cartão Família Carioca (FC)

RENDA THEIL GINI % Pobres - P0 P1 P2

Antes do FC 104.52 0.055012 0.18144 64.51 14.42 4.38

Depois do FC 116.06 0.0278 0.1139

49.95 4.13 0.57

Variação 11.04% -49.56% -37.21%

-22.57% -71.38% -87.06%

Fonte: CPS/FGV a partir dos microdados do CadÚnico / MDS

Impactos Imediatos na Pobreza A pobreza entre os beneficiários do Bolsa Família caiu instantaneamente no público-alvo um adicional de 46% a partir da implementação do Família Carioca.

De maneira geral, se todas condicionalidades e prêmios forem concedidos o FC

irá transferir R$ 122 milhões de reais por ano para 98 mil famílias compostas de 421

mil pessoas, sendo 56,7% menores de idade. Famílias já contempladas pelo BF com 95

reais médios mensais receberão ainda do FC um benefício médio de 104 reais mês,

composto na média de 70 de benefícios básicos e condicionalidades e mais 34 reais de

prêmios educacionais. Os benefícios totais variam de acordo com a pobreza e o

desempenho escolar indo do piso fixado de R$ 20 até R$ 417 mês por família

beneficiada.

Algumas características dos beneficiários responsáveis por receber o benefício:

Mulheres (96,26%), Solteiras (73,25%), com Ensino Fundamental Incompleto

(67,27%), Fora do mercado de trabalho (42,34%), Informais (30,33%), situadas em

Famílias de 3 a 5 pessoas em média (80%).

Em termos de aferição de impacto, se usar a medida de pobreza denominada de P2

que é a favorita entre 9 entre 10 especialistas de pobreza por enxergar a desigualdade

entre os pobres: o P2 entre os beneficiários do Bolsa Família vai cair instantaneamente

um adicional de 46% a partir da implementação do FC. A meta do milênio da ONU é

reduzir a pobreza em 50% em 25 anos. Passo instantâneo e fundamental nesta direção.

A pobreza neste universo com a aplicação cumulativa do Bolsa Família e do

Família carioca cairá 78%, sendo 46% desta queda do Família Carioca.

Avaliação de benefícios Monetários do FC e Programas Totais (BF e FC)

Fonte: CPS/FGV a partir dos microdados do Cadastro Único/SMAS e MDS

-21%-35%

-46%-34%

-64%-78%

P0 P1 P2

Redução da Pobreza nos Recebedores do Família Carioca

Efeito Família Carioca Efeito Transferências

No que tange ao impacto espacial do programa ele atinge mais as áreas mais

pobres da cidade.

Abertura Espacial

Impactos BC+BF por RA CariocaPopulação Beneficiada

0,600

0,650

0,700

0,750

0,800

0,850

0,900

0,950

1,000

0%Índ

ice

de

de

sen

vo

lvim

en

to h

um

an

o

(ID

H)

Concentração de pessoas cadastradas pelo


Abertura Espacial - Bairros Carioca

Impactos BC+BF por RA CariocaPopulação Beneficiada

y = -0,3579x + 0,9031R² = 0,4348

0% 10% 20% 30% 40% 50% 60% 70%

% de Cadastrados

Concentração de pessoas cadastradas pelo IDH dos bairros


Impactos BC+BF por RA Carioca

80%

III - Impactos de Incentivos na Vida Escolar3

A nota dos alunos incentivados subiu 17 pontos acima dos demais e a presença dos

seus pais na escola é o dobro dos sem prêmio.

Meios ou Fins?

O Brasil começa a entrar num novo federalismo social onde cidades e estados

começam a desenvolver programas específicos sobre a base do Cadastro Social Único

federal do Bolsa Família. Neste contexto aprende mais do que quando todas as decisões

são tomadas desde Brasília. A diversidade de desenhos gera lições a partir dos erros e

acertos de cada um. A Cidade do Rio de Janeiro lançou há um ano, o Família Carioca,

programa pioneiro cujos primeiros resultados começam a ser avaliados.

A Secretaria Municipal de Educação (SME) do Rio contava em 2011 com 670

mil alunos, a maior rede de ensino da América Latina. A SME tem desenvolvido uma

gama variada de ações, desde avaliações bimestrais dos alunos; avaliações externas

bianuais; prêmios por desempenho dos professores vinculado a performance dos alunos

entre outras.

A SME tem conseguindo gerar melhoras diferenciadas no Índice de

Desenvolvimento da Educação Básica (IDEB), apesar de ter saído do sistema de

aprovação automática. Centramos aqui nas inovações que interagem diretamente com o

programa Cartão Família Carioca (FC), objeto de avaliação nossa cujos resultados serão

disponibilizados em www.fgv.br/cps/fci.

A SME conta com um banco de dados que possui três qualidades raras: i)

riqueza das informações compiladas, aí incluindo o background familiar dos alunos,

características das escolas, diretores, professores etc. ii) O fato dos mesmos alunos

serem acompanhados por longos intervalos de tempo. iii) As avaliações de proficiência

são aplicadas a cada dois meses possibilitam que o sistema de feedback seja rápido e

proveitoso do ponto de vista gerencial constituindo uma verdadeira Disneylândia dos

estudiosos e gestores educacionais.

O FC não procurou criar novos programas escolares, mas potencializar os

impactos daqueles já existentes atuando sobre o lado da demanda por educação. Por

3 Esta parte está baseada em trabalho co-autorado de Marcelo Neri e Rafael Borges.

exemplo, a instituição de um prêmio de performance individualizado por aluno foi

instituído, pois já existiam provas bimestrais aplicadas. No caso do CFC o programa

elegeu um conjunto amplo de condicionalidades escolares e prêmios aos estudantes

aplicados tanto a insumos como a resultados educacionais.

Resultados preliminares mostram que incentivos financeiros ajudam no

aprendizado escolar. Alunos pobres que receberam desafios de desempenho tiveram

melhora de 20 pontos acima daqueles sem prêmio nos três primeiro bimestres após sua

implantação. O efeito sobre as notas depende da matéria: 25 décimos para Ciências, 18

décimos para Matemática, mas 0 décimos para Língua Portuguesa.

Além disso, os pais desses alunos tiveram 70% de participação em reuniões aos

sábados nas escolas, contra 30% daqueles que não foram incentivados. Isto nivela as

oportunidades dadas aos alunos. A literatura brasileira demonstra que 70% da

performance escolar é determinada pelo background familiar, tipo educação dos pais e

especialmente da mãe, renda da família etc.

A lição recente de uma série de estudos recentes baseados no programa

Opportunity de Nova York mostraram que deu mais resultados incentivar insumos

escolares do tipo pagar o aluno para ler livros, ou frequentar uma jornada escolar

estendida do que premiar o desempenho escolar medido por provas. Premiar insumos

seria mais efetivo do que premiar resultados finais que estão menos ao controle dos

alunos que se não se motivariam a se esforçar mais.

A experiência carioca recente fez as duas coisas, incentivos a insumos e a

produtos escolares. Em primeiro lugar, dá bolsas de estudo adicionais condicionadas a

frequência de alunos às aulas e de seus pais nas reuniões bimestrais. Os resultados

sugerem que os dois caminhos são complementares. Se criar novos programas é preciso,

avalia-los também é preciso.

Frequência de Pais em Reuniões Escolares - A frequência dos pais as reuniões

bimestrais em cada uma das escolas de seus filhos constitui uma das condicionalidades

do programa Família carioca (FC) que segue na linha de insumos ao invés de resultados

como os prêmios de educação analisados. Podemos observar neste estágio apenas

tabulações bivariadas relativas à frequência dos pais nas reuniões escolares. Como

vimos, a presença dos pais nas escolas é muito importante para um melhor desempenho

e evolução dos filhos em termos educacionais e sociais. Nesse sentido, podemos

perceber a diferença significativa de frequência na reunião de pais quando comparamos

os beneficiários com os não beneficiários do CFC. Os gráficos divididos por série

escolar (incluindo Educação Infantil (EI), Classes de Realfabetização (Realf) e classes

de Aceleração (Acel)) mostram que a frequência na reunião de pais dos beneficiários é

muito maior do que a dos não beneficiários, sugerindo um impacto positivo das

condicionalidades escolares do CFC.

Fonte: Tabulações da SME de 2011.2

Quando abrimos série escolar dividido por regiões escolares da cidade CRE,

vimos que em todos o mesmo fenômeno é observado, com ampla diferença entre pais

beneficiários e não beneficiários pelo program em todas 209 comparações realizadas,

demonstradas no apêndice.

Frequência de Alunos - Com relação ao percentual de frequência dos alunos, também

percebemos as diferenças entre os beneficiários e os não beneficiários do CFC, com os

primeiros apresentando maiores percentuais de frequência em ambas as análises por

CRE e por série escolar (usando dados gerais do município). No entanto, apesar dos

percentuais de frequência serem maiores para os beneficiários, essas diferenças não são

tão grandes quanto os diferenciais de frequência na reunião de pais.

66

79 76 75 75 73 74 72 69 66 65 65 6357 57

6661 63

59

20

3631 32 33 31 31 31 29 27 25 24 23

27

1824 23

19 20

0

10

20

30

40

50

60

70

80

90

Percentual de Frequência na Reunião de Pais por série escolar (2o Bimestre de 2011)

Beneficiários Não Beneficiários

Fonte: Tabulações da SME de 2011

Os resultados empíricos sugerem numa primeira abordagem que os alunos

beneficiários pelo FC são incentivados a ir à escola. Mas esse resultado é algo não

causal. Por exemplo, em comparação semelhante bivariada das notas bimestrais, os

resultados bem melhor controlados pelas regressões foram em sua grande maioria

invertidos. Nestas comparações bivariadas de séries por CREs, apenas em 7 dos 99

casos analisados o nível da nota pós-programa era superior entre os alunos beneficiários

da Família Carioca. Nas regressões e experimentos propostos não permitiram rejeitar as

hipóteses de que o programa incentiva os alunos a tirarem melhores notas e a tentar

melhorar estas notas pelo incentivo de melhora. Portanto, os resultados da análise de

impacto sobre os insumos escolares podem ser considerados preliminares, incompletos

e arriscados. Falta incorporar dados anteriores ao programa, descer ao nível dos

microdados que nos permitiriam controlar pelas características observáveis dos alunos e

de seus pais e pensar em situações que repliquem condições de experimentos

aleatorizados de forma a lidar com vieses de seletividade inerentes a operação do

programa. Portanto, embora tentados, não podemos afirmar ainda que o FC gera maior

presença dos pais nas reuniões bimestrais nas escolas.

92.13

93.3793.74

94.3794.75

93.36

92.0392.32 92.12

89.87

91.5591.99

92.84

93.57

92.55

91.39 91.43 91.15

87

88

89

90

91

92

93

94

95

96

1º Ano 2º Ano 3º Ano 4º Ano 5º Ano 6º Ano 7º Ano 8º Ano 9º Ano

Percentual de Frequência dos Alunos por ano escolar (2° Bimestre de 2011)

Beneficiários Não Beneficiários

Análise Multivariada

Realizamos um exercício controlado onde comparamos pessoas iguais em várias

dimensões observadas dos alunos (como gênero, raça, repetência no ano anterior e

atraso escolar acumulado), características da escola (localização, turno, se é Escola do

Amanhã ou turma especial (pessoas com deficiência); transporte a escola (modalidade,

tempo e se vai sozinho), background familiar (escolaridade do pai e da mãe e presença

deles)). Focamos inicialmente em aspectos ligados a presença e escolaridade da mãe

que desempenha papel central no programa.

Presença e Acesso

No que se refere ao acesso ao Família Carioca Na análise do índice de presença

do pai, verificamos que alunos com o pai falecido possuem 21% menos chances de

pertencer ao Programa que aqueles que moram com o pai. A redução é de apenas 9%

para aqueles que possuem pai vivo, mas não residem com o mesmo. Mais uma vez,

observamos resultados bastantes mais expressivos referentes às mães. Um estudante

com a mãe falecida desfruta de 49% menos chances de pertencer ao Programa, e de

31% menos caso a mãe seja viva, mas não more com o jovem.

Apontando na mesma direção, alunos que fazem este trajeto sozinhos apresentam 21%

menos chances de pertencer ao Programa que aqueles que o fazem acompanhados.

Como veremos, as notas e a pobreza são inversamente relacionadas à presença do pai e

da mãe.

Este dado é indicativo de que crianças órfãs ou abandonadas tenham carência do

elo de conexão com o programa. Portanto, esta é uma área que sugere possibilidade

melhora de focalização. Em particular, sugerimos a realização de um processo de busca

ativa similar ao empreendido pelo programa Família Carioca em Casa, na escola onde o

processo de busca do público alvo é facilitado pela estrutura institucional e de dados da

SME.

Mãe é Mãe

A escolaridade os pais e da mãe, em particular é um dado fundamental nas várias

etapas do programa a começar pela equação de acesso.

média das provas bimestrais

123% maior que a das sem escolaridade. A mesma comparação nos pais mostra notas

54% maiores apenas. Não é a toa que o Família Carioca elege a mulher como as

receptoras em 96,3% das famílias beneficia

Já quando analisamos o uma criança cuja mãe possui nível superior a chance de

acesso ao Família Carioca na rede municipal é 1/6 das analfabetas. Pois o programa

busca os mais pobres estruturais onde a educação da mãe é por construção uma variável

chave. Quando restringimos a análise aos beneficiários do CFC, a chance de acesso a

bônus por notas (resultado) é 59% maior entre as mães em nível superior vis a vis as

analfabetas. Já no cumprimento das condicionalidades dos programa (insumos) acontece

o inverso sendo 8% menor refletindo talvez o maior custo de oportunidade do tempo

destas mães em frequentar as reuniões bimestrais.


etapas do programa a começar pela equação de acesso. O modelo de impacto da nota

média das provas bimestrais mostra que a nota de filhos de mães com nível superior é



receptoras em 96,3% das famílias beneficiadas.




ve. Quando restringimos a análise aos beneficiários do CFC, a chance de acesso a



erso sendo 8% menor refletindo talvez o maior custo de oportunidade do tempo

destas mães em frequentar as reuniões bimestrais.


O modelo de impacto da nota

mostra que a nota de filhos de mães com nível superior é






ve. Quando restringimos a análise aos beneficiários do CFC, a chance de acesso a



erso sendo 8% menor refletindo talvez o maior custo de oportunidade do tempo

Já a agenda de condicionalidades mais fortes de educação, a exigência da presença

dos pais nas escolas, a atenção diferenciada a primeira infância e a premiação por notas

procuram abrir as portas do mercado de trabalho para as famílias pobres. Visa com isso

que os maiores fluxos de renda transferidos pela cidade hoje seja consistente por maior

estoque de riqueza dos pobres hoje no futuro..

A agenda de premiar a melhora de desempenho dos alunos explora a principal

vantagem comparativa de grupos pobres que é a de alcançar melhoras e está em

consonância com ideia que os pobres estão para serem motivados por incentivos e não

penalizados pelos mesmos. O programa contém em seu desenho inicial um sistema de

avaliação de seus impactos de forma a orientar seus desenvolvimentos posteriores. De

forma a evitar a escolha de Sofia de excluir parte dos elegíveis ao programa

aleatoriamente, vista em geral como necessária para definir grupos de tratamento e de

controle idênticos, o FC propõe incorporar estudantes não elegíveis no seu desenho

inicial incorporando pessoas do CadÚnico, mas que não estão no Bolsa Família aos seus

beneficiários. O grupo de controle, não saberá que fez parte do sorteio, pois como todos

os alunos contemplados já fazem parte do sistema de aferição de desempenho já em

marcha pela secretaria de educação.

Os princípios e práticas do Família Carioca (FC) estão resumidos abaixo:

• Busca dos mais pobres tratando os diferentes na medida de sua diferença.

• Privilegiar a igualdade de oportunidades e a capacidade de geração de renda dos

beneficiários (quem é pobre e não apenas quem diz que está pobre)

• Preservar a liberdade nas escolhas individuais (o que e quando gastar)

• Condicionar escolhas coletivas sujeitas a imperfeições de mercado (como as

externalidades educacionais)

• Condicionalidades mais fortes, atenção a primeira infância e presença dos pais,

• Bolsa de estudos com prêmio aos avanços de qualidade educacional

• Alavancar potencialidades da administração atual (Plano Estratégico da Cidade)

• Integrar com outros níveis de governo e sociedade civil

• Conexão com melhores práticas e compromissos internacionais MDGs)

• Avaliar impactos e buscar aprimoramentos constantes (FC 1.1,.,FC 2.0 ..etc.)

Familia Carioca 2 .0 Filosofia Operacional: Aplica as regras do programa com agilidade (fluxos altos

entrando e saindo da folha)

Filosofia dos Upgrades:

Começar pelo mais operacional, aquilo que o município tem capacidade de oferta (e de

gerenciamento) já instalada, valorizando e que seja custo/efetivo Escolhas que sejam

integradas a outros níveis de governo

Alunos com deficiência (novo programa federal: Viver Sem Limites).

Alunos do segundo segmento das Escolas do Amanha.

Proposta de Extensão: Busca Ativa de Estudantes Pobres Sem Pai ou Sem Mae

presentes

Avaliação: 10 mil incluídas no cadastro mais recentes na folha do Bolsa Familia e retirei

uma amostra aleatória de 50% dela. Portanto, temos nas cinco mil aleatoriamente

excluídas das últimas 10 mil o grupo de controle de teste do programa. A folha

excluindo apenas as 5 mil últimas famílias também está pronta, mas acredito que

devemos aproveitar a oportunidade.

A Secretaria de Assistência Social do Município uma série de mecanismos de busca

ativa no programa denominado de “Família Carioca em Casa”.

Aprimorar conexões com a estratégia federal intitulada “Brasil Sem Miséria” e com a

nova estratégia do Estado denominada Renda Melhor inspirada no Família carioca e

avaliação dos resultados obtidos.

Apresentamos abaixo uma visão esquemática da estrutura original e melhoramentos

propostos no programa.

Família Carioca 2.0

Condicionalidades do Bolsa Família

continuam em vigor

Condicionalidades adicionais

Benefício básico

Educação – 6 a 17 anos (estudantes de 16 e 17

anos das escolas municipais)

Educação - 0 a 6 anos

Renda imputada

Benefício variável

Renda que falta para cada membro, em média, chegar à

linha de pobreza

- Frequência de pelo menos90% às aulas nas creches eescolas municipais;- Frequência dos pais ourepresentantes legais àsreuniões bimestrais dasescolas municipais, mesmoque seus filhos não estejammatriculados.

- Frequência de pelo menos 90%às aulas nas escolas municipais;- Melhora de 20% nas notas dasprovas bimestrais em relação aobimestre anterior; 15% paraEscolas do Amanhã;- Frequência dos pais ourepresentantes legais às reuniõesbimestrais das escolas municipais

Amostra aleatória de

10.000Familias

OBS: melhora do desempenho a partir de 7,5 para 1º a 5º anos e 6,5 para 6º a 9º anos; Escolas do Amanhã: 7,0 e 6,0, respectivamente

Upgrades recentes

Benefícios dobrados

Estudantes do 2º Segmento Áreas

Conflagradas

Estudantes com Deficiência

Nome do arquivo: CFC_TextoFIM_PRODUTO3-Texto0.docx Diretório: C:\Documents and Settings\luiza\Meus documentos Modelo: C:\Documents and Settings\luiza\Dados de

aplicativos\Microsoft\Modelos\Normal.dotm Título: Assunto: Autor: Rafael Palavras-chave: Comentários: Data de criação: 4/4/2012 23:25:00 Número de alterações: 4 Última gravação: 4/4/2012 23:59:00 Salvo por: luiza Tempo total de edição: 6 Minutos Última impressão: 4/4/2012 23:59:00 Como a última impressão Número de páginas: 25 Número de palavras: 5,326 (aprox.) Número de caracteres: 28,763 (aprox.)