avaliação do projeto jovem de futuro

Avaliação do Projeto Jovem de Futuro

São Paulo, Agosto de 2011

Ricardo Barros (SAE)

Samuel Franco (IETS)

Diana Grosner (SAE)

Andrezza Rosalém (IETS)

Controle Tratamento

Porcentagem dos alunos que:

Moram com mais de 2 pessoas 93 93 0,4 67

Moram com a mãe 86 83 2,8 15

A mãe ou responsável não tem o fundamental completo 43 40 2,9 51

A mãe ou responsável tem pelo menos o médio completo 32 34 -1,9 68

A mãe ou responsável sabem ler e escrever 97 97 -0,4 65

Vê a mãe ou responsável lendo 86 86 0,0 96

Mora com o pai 59 57 1,9 40

O pai ou responsável não tem o fundamental completo 36 35 0,7 86

O pai ou responsável tem pelo menos o médio completo 34 35 -1,1 75

O pai ou responsável sabe ler e escrever 95 95 -0,4 75

Vê o pai ou responsável lendo 71 72 -1,1 52

Os pais ou responsáveis o estimulam a estudar 98 98 -0,1 97

Os pais ou responsáveis o estimulam a fazer dever de casa e

trabalhos da escola94 92 1,7 7

Os pais ou responsáveis o estimulam a ler 87 88 -0,8 46

Os pais ou responsáveis o estimulam a ir à escola 98 98 0,2 76

Os pais ou responsáveis conversam sobre o que acontece na

escola71 71 0,1 96

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto

Alegre, 2008.

Características do responsável dos alunos das escolas de Controle e Tratamento do

programa Jovem de Futuro: Amostra - Porto Alegre, 2008

Indicador

Média (%)

DiferençaP-valor do teste-t de

igualdade de médias

Controle Tratamento

Duas ou mais TV a cores 77 75 1,1 64

Dois ou mais rádios 53 52 1,4 56

Videocassete ou DVD 92 92 0,9 54

Freezer 31 31 -0,2 90

Máquina de lavar 81 84 -2,7 22

Aspirador de pó 32 38 -5,4 12

Carro 46 48 -2,4 51

Computador 55 60 -5,0 27

Dois ou mais banheiros 25 26 -1,0 68

Empregada doméstica ou diarista 10 9 1,4 23

Empregada doméstica ou diarista todos os

dias5 4 1,2 6

Pelo menos dois quartos de dormir 92 92 0,2 88

Mais de dois quartos de dormir 48 47 0,8 77

Porcentagem dos alunos que possuem:

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em

Porto Alegre, 2008.

Características do domicílio dos alunos das escolas de Controle e Tratamento do


IndicadorMédia (%)



Controle Tratamento


Têm mais de 20 livros em casa 28 32 -3,7 9

Têm mais de 100 livros em casa 7 6 1,3 19

Sempre lêem revistas em quadrinhos 12 9 2,4 4

Nunca lêem revistas em quadrinhos 25 26 -1,5 53

Sempre lêem livros de literatura 18 17 0,8 61

Nunca lêem livros de literatura 30 29 1,5 46

Sempre lêem jornais 56 54 2,2 31

Nunca lêem jornais 5 6 -1,0 19

Sempre lêem revistas de informação 15 15 -0,1 90

Nunca lêem livros de informação 36 35 1,4 45

Gastam mais de duas horas assistindo TV 53 50 3,1 15

Gastam mais de duas horas fazendo trabalhos

domésticos22 21 1,1 62

Trabalham fora de casa 27 26 1,2 63

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto

Unibanco em Porto Alegre, 2008.

Hábito de leitura e uso do tempo dos alunos das escolas de Controle e

Tratamento do programa Jovem de Futuro:

Amostra - Porto Alegre, 2008

Indicador

Média (%)



Controle Tratamento


Fizeram maternal 35 37 -1,8 72

Não fizeram nem maternal nem pré-escola 37 31 5,6 13

Foram reprovados alguma vez 59 60 -0,7 83

Abandonaram alguma vez a escola durante o ano letivo 17 17 0,1 99

Completaram o ensino fundamental (antigo 1º grau) no supletivo 37 36 1,2 71

Gostam de estudar língua portuguesa 65 68 -3,1 23

Fazem dever de casa de língua portuguesa sempre ou quase

sempre55 59 -4,0 9

Gostam de matemática 60 58 2,0 51

Fazem dever de matemática sempre ou quase sempre 54 53 1,3 59

Porcentagem dos alunos que pretendem:

Continuar estudando depois de terminar o ensino médio 77 77 0,0 99

Trabalhar depois de terminar o ensino médio 81 82 -0,3 87

Trabalhar e continuar estudando depois de terminar o ensino médio 73 74 -0,9 70

Nota média em:

Língua Portuguesa 212 215 -3,5 58

Matemática 236 239 -3,1 53

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto Alegre, 2008.

Características educacionais dos alunos das escolas de Controle e Tratamento do


IndicadorMédia (%)



Controle Tratamento


O professor corrige o dever de casa de língua portuguesa

sempre ou quase sempre71 78 -6,6 5

O professor corrige o dever de casa de matemática sempre ou

quase sempre85 84 0,4 91

O professor elogia as boas notas sempre ou quase sempre 43 44 -1,3 65

Esudam em escolas onde os alunos costumam bater uns nos

outros31 26 4,2 25

Estudam em escolas onde existem brigas ou discussões entre

alunos e funcionários48 44 3,2 43

Esudam em escolas onde existem gangues que brigam 12 12 0,6 78

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em Porto

Alegre, 2008.

Características da escola dos alunos das escolas de Controle e Tratamento do


Indicador

Média (%)



Controle Tratamento

Porcentagem de alunos:

Do sexo feminino 49 45 4,0 1

Negros e indígenas 24 20 3,2 16

Que nasceram no primeiro trimestre 25 26 -0,4 81

Que nasceram no segundo trimestre 27 26 0,8 59

Que nasceram no terceiro trimestre 24 25 -1,0 55

Que nasceram no quarto trimestre 24 24 0,6 72

Que nasceram antes de 1987 3 3 -0,3 81

Que nasceram em 1987 1 1 0,3 30

Que nasceram em 1988 1 2 -0,4 49

Que nasceram em 1989 4 3 0,7 51

Que nasceram em 1990 8 11 -2,1 21

Que nasceram em 1991 17 17 -0,5 85

Que nasceram depois de 1991 66 64 2,2 64Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do

Instituto Unibanco em Porto Alegre, 2008.

Características pessoais dos alunos das escolas de Controle e Tratamento do

programa Jovem de Futuro: Amostra - Belo Horizonte, 2008

IndicadorMédia (%)

Diferença

P-valor do teste-t

de igualdade de

médias

Controle Tratamento

Duas ou mais TV a cores 61 59 1,3 68

Dois ou mais rádios 45 41 4,2 22

Videocassete ou DVD 91 91 -0,7 57

Freezer 16 18 -1,5 39

Máquina de lavar 67 66 0,7 79

Aspirador de pó 14 13 0,5 78

Carro 43 43 -0,5 89

Computador 86 86 0,1 92

Dois ou mais banheiros 29 31 -1,8 55

Empregada doméstica ou diarista 10 10 0,6 64

Empregada doméstica ou diarista todos

os dias5 5 -0,1 90

Pelo menos dois quartos de dormir 92 87 4,7 5

Mais de dois quartos de dormir 52 46 5,5 7

Porcentagem dos alunos que possuem:

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do


Características do domicílio dos alunos das escolas de Controle e

Tratamento do programa Jovem de Futuro: Amostra - Belo Horizonte,

2008

IndicadorMédia (%)

Diferença

P-valor do teste-t

de igualdade de

médias

Controle Tratamento


Moram com mais de 2 pessoas 95 96 -0,6 34

Moram com a mãe 88 88 -0,8 64

A mãe ou responsável não tem o fundamental completo 47 46 1,5 73

A mãe ou responsável tem pelo menos o médio cmpleto 31 31 0,0 100

A mãe ou responsável sabem ler e escrever 95 96 -0,2 84

Vê a mãe ou responsável lendo 87 86 0,4 76

Mora com o pai 61 62 -1,0 70

O pai ou responsável não tem o fundamental completo 43 42 0,9 82

O pai ou responsável tem pelo menos o médio completo 31 28 2,5 56

O pai ou responsável sabe ler e escrever 93 93 -0,5 63

Vê o pai ou responsável lendo 69 73 -4,1 4

Os pais ou responsáveis o estimulam a estudar 97 97 -0,2 79

Os pais ou responsáveis o estimulam a fazer dever de

casa e trabalhos da escola92 93 -1,2 30

Os pais ou responsáveis o estimulam a ler 88 90 -1,7 14

Os pais ou responsáveis o estimulam a ir à escola 97 98 -0,4 51

Os pais ou responsáveis conversam sobre o que acontece

na escola71 74 -3,2 6

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do


Características do responsável dos alunos das escolas de Controle e

Tratamento do programa Jovem de Futuro: Amostra - Belo Horizonte, 2008

IndicadorMédia (%)

Diferença

P-valor do teste-t

de igualdade de

médias

Controle Tratamento




Sempre lêem revistas em quadrinhos 20 19 1,3 38

Nunca lêem revistas em quadrinhos 14 14 0,7 60

Sempre lêem livros de literatura 21 22 -0,2 92

Nunca lêem livros de literatura 25 23 2,0 25

Sempre lêem jornais 58 52 5,9 1

Nunca lêem jornais 6 9 -2,5 0

Sempre lêem revistas de informação 19 17 2,2 23

Nunca lêem livros de informação 30 31 -1,6 45

Gastam mais de duas horas assistindo TV 48 49 -0,5 83

Gastam mais de duas horas fazendo

trabalhos domésticos22 22 -0,1 95

Trabalham fora de casa 26 22 3,5 21

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de

Futuro do Instituto Unibanco em Porto Alegre, 2008.

Hábito de leitura e uso do tempo dos alunos das escolas de Controle

e Tratamento do programa Jovem de Futuro: Amostra - Belo

Horizonte, 2008

IndicadorMédia (%)

Diferença

P-valor do teste-t

de igualdade de

médias

Controle Tratamento


Fizeram maternal 62 60 1,4 68

Não fizeram nem maternal nem pré-escola 14 17 -2,8 32

Foram reprovados alguma vez 44 46 -2,0 67

Abandonaram alguma vez a escola durante o ano letivo 13 14 -1,2 64

Completaram o ensino fundamental (antigo 1º grau) no supletivo 41 32 8,5 4

Gostam de estudar língua portuguesa 74 74 -0,3 88

Fazem dever de casa de língua portuguesa sempre ou quase

sempre68 71 -2,3 42

Gostam de matemática 54 58 -3,9 21

Fazem dever de matemática sempre ou quase sempre 59 64 -4,3 16

Porcentagem dos alunos que pretendem:

Continuar estudando depois de terminar o ensino médio 74 74 -0,3 91

Trabalhar depois de terminar o ensino médio 78 77 1,1 49

Trabalhar e continuar estudando depois de terminar o ensino

médio69 68 0,9 69

Nota média em:

Língua Portuguesa 229 228 1,2 82

Matemática 223 227 -4,0 49Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto Unibanco em

Porto Alegre, 2008.

Características educacionais dos alunos das escolas de Controle e Tratamento do

programa Jovem de Futuro: Amostra - Belo Horizonte, 2008

IndicadorMédia (%)

Diferença

P-valor do teste-t de

igualdade de

médias

Controle Tratamento


O professor corrige o dever de casa de língua portuguesa

sempre ou quase sempre81 81 0,1 98

O professor corrige o dever de casa de matemática sempre

ou quase sempre80 84 -3,8 12

O professor elogia as boas notas sempre ou quase sempre 41 40 0,6 79

Esudam em escolas onde os alunos costumam bater uns

nos outros45 41 4,1 41

Estudam em escolas onde existem brigas ou discussões

entre alunos e funcionários54 47 7,2 8

Esudam em escolas onde existem gangues que brigam 18 15 3,7 14

Fonte: Estimativas produzidas com base no questionário socioeconômico aplicado nos alunos das escolas da amostra do Programa Jovem de Futuro do Instituto

Unibanco em Porto Alegre, 2008.

Características da escola dos alunos das escolas de Controle e Tratamento

do programa Jovem de Futuro: Amostra - Belo Horizonte, 2008

IndicadorMédia (%)

Diferença

P-valor do teste-t

de igualdade de

médias

Tratamento Controle Tratamento Controle Tratamento Controle Tratamento Controle

Início

Final

InícioDiagnóstica -

Todos

Diagnóstica -

Amostra

Somativa -

Todos

Somativa -

Amostra

Início

FinalSomativa -

Todos

Somativa -

Amostra

Início

2008

2009

2010

PeríodoAno

SérieEvadidos

Somativa - Amostra

Instrumentos Disponíveis para a Avaliação - Porto Alegre

Final

SAERS - Todos

SAERS - Todos

SAERS - Todos Somativa - Todos

Final

1a série 2a série 3a série

Somativa - TodosSAERS - Todos

2007

Parâmetros para avaliar a magnitude do impacto

Aprendizado médio ao longo das três série do Ensino Médio = 26 pontos

Impacto necessário para que apenas o aumento salarial decorrente de um maior aprendizado seja maior que o custo do programa = 20 pontos

Capacidade de detecção de impacto da metodologia utilizada = 7 pontos

Impacto esperado para o programa (aumento de 50% no aprendizado) = 13 pontos

Absoluto Relativo (%) p-valor (%) Absoluto Relativo (%) p-valor (%)

Somativa 2010 - Somativa 2007 Todos - 3a série 26 167 0 30 144 1

Somativa 2010 - Diagnóstica 2008 Todos - 3a série 25 164 0 31 149 0

Somativa 2010 - Diagnóstica 2008 Amostra - 3a série 20 128 0 24 115 0

Somativa 2010 - Diagnóstica 2008Mesmos alunos na

amostra - 3a série16 105 1 22 109 0

Somativa 2010 - Diagnóstica 2008Mesmos alunos na

amostra11 70 2 18 85 1

Somativa 2010 - Diagnóstica 2008

com ajuste para a sobre-

representatividade dos concluintes

Mesmos alunos na

amostra9 57 ...... 16 78 ......

Matemática PortuguêsContraste

Impacto do Projeto Jovem de Futuro sobre o aprendizado

Universo de

comparação

Tratamento Controle Tratamento Controle

Diagnóstica 2008 - todos 239 235 4 Somativa 2010 - todos - 3a serie 297 268 29 25 0

Diagnóstica 2008 - amostra 3a serie 253 247 7 Somativa 2010 - amostra 3a série 288 261 26 20 0

Diagnóstica 2008 amostra 3a serie

que fizeram somativa 2010 256 246 10

Somativa 2010 - amostra 3a serie

que fizeram a diagnóstica288 261 26 16 1

Diagnóstica 2008 - amostra 238 234 4 Somativa 2010 - amostra 269 253 16 12 1

Diagnóstica 2008 amostra que

fizeram somativa 2010 244 239 5

Somativa 2010 - amostra que

fizeram a diagnóstica269 253 16 11 2

Somativa 3a serie 2007 268 262 6 Somativa 2010 - todos - 3a serie 297 265 32 26 0


Diagnóstica 2008 - amostra que fez

somativa 2009252 245 7

Somativa 2009 - amostra que fez

diagnóstica287 266 21 14 1

SAERS2009 253 249 3 3 14

SAERS 2008 253 245 7 7 2


Diagnóstica 2008 - amostra que fez

somativa 2008245 238 6

Somativa 2008 - amostra que fez

diagnóstica258 235 23 17 0

Impacto do Projeto Jovem de Futuro sobre o aprendizado em Matemática: Porto Alegre

Linha de baseAprendizado médio

Diferencial SeguimentoAprendizado médio

Diferencial Impacto p-valor

Tratamento Controle Tratamento Controle Tratamento Controle Tratamento Controle

Início

Final

InícioDiagnóstica -

Todos

Diagnóstica -

Amostra

FinalSomativa -

Todos

Somativa -

Amostra

Início

FinalSomativa -

Todos

Somativa -

Amostra

Início

2009

2010

Final

PROEB - Todos

Somativa - Amostra

PROEB - Todos

2007

PROEB - Todos

2008

PROEB - Todos

Instrumentos Disponíveis para a Avaliação - Belo Horizonte

Ano Período

SérieEvadidos

1a série 2a série 3a série

260

262

264

266

268

270

272

274

276

278

280

282

284

286

288

PROEB2007 PROEB2008 PROEB2009 PROEB2010

Ap

ren

diz

ado

em

Mat

em

átic

a

Evolução do Aprendizado em Matemática

Tratamento

Controle

12

220

225

230

235

240

245

250

255

260

265

270

275

280

285

290

295


Ap

ren

diz

ado

em

Mat

em

átic

a


Tratamento

Controle 12

220

225

230

235

240

245

250

255

260

265

270

275

280

285

290

295

Diagnóstica 2008 Somativa 2008 Somativa 2009 Somativa 2010 - amostra

Ap

ren

diz

ado

em

Mat

em

átic

a


Tratamento 28

Norma

26

53

250

255

260

265

270

275

280

285

290

295

300


Ap

ren

diz

ado

em

Lín

gua

Po

rtu

gue

sa

Evolução do Aprendizado em Língua Portuguesa

Tratamento

Controle

10

220

225

230

235

240

245

250

255

260

265

270

Diagnóstica 2008 Somativa 2008 Somativa 2009 Somativa 2010 - amostra

Ap

ren

diz

ado

em

Lín

gua

Po

rtu

gue

sa

Evolução do Aprendizado em Língua Portuguesa

Tratamento

Norma

26

43

17

Taxa de evasão 48,8 51,9 -3,2 19

Taxa de conclusão 35,6 33,5 2,1 29

Auto-estima 32,5 32,9 -0,4 6

Impulsividade 31,1 31,1 0,1 45

Reação à criticas 27,4 28,1 -0,6 26

Planejam ter educação superior 93,1 91,4 1,7 20

Fizeram o ENEM 42,7 37,0 5,7 14

Estudar com afinco é muito

importante para se dar bem na vida67,9 67,5 0,4 46

Impactos do Projeto Jovem de Futuro - Porto Alegre

Indicador Tratamento Controle Impacto p-valor

Taxa de evasão 0,3 38,3 0,6 41

Taxa de conclusão 46,3 43,0 3,3 22

Auto-estima 32,4 32,7 -0,4 2

Impulsividade 31,0 30,0 1,0 1

Reação à criticas 29,7 29,2 0,5 18

Planejam ter educação superior 88,0 89,4 -1,4 25

Fizeram o ENEM 48,2 47,0 1,2 40

Estudar com afinco é muito

importante para se dar bem na vida79,3 77,3 2,0 13

Impactos do Projeto Jovem de Futuro - Belo Horizonte

Indicador Tratamento Controle Impacto p-valor

37,7

(%)

Coeficiente P-valor (%) Coeficiente P-valor (%)

Alunos da escola que estão no ensino médio -2,7 38 1,5 63

Alunos da escola que estão na 1a série do ensimo médio -5,3 35 1,1 86

Professor e aluno -3,7 49 2,0 75

Aluno -3,9 58 7,3 37

Professor -3,2 70 -6,1 55

Atividades que promovam o desenvolvimento de

competencias e habilidades dos alunos6,2 46 10,3 30

Atividades que promovam o aumento do índice de

frequencia dos alunos1,9 78 2,8 74

Atividades que promovam o desenvolvimento de atitudes de

responsabilidade socioeconômica e ambientais dos alunos-4,8 28 -11,3 3

Atividades que promovam o aumento do índice de

frequencia dos professores2,6 53 9,0 6

Atividades que promovam práticas pedagógicas

melhoradas-13,1 54 -52,9 3

Atividades que promovam a gestão escolar por resultado e

infraestrutura melhorada-0,6 94 -3,2 74

Nota: Regressão da diferença entre o valor adicionado das escolas de tratamento e controle em cada estrato contra os indicadores de distribuição e volume de recursos.

Porcentagem

de recursos

alocados por

tipo de

despesa

Distribuição

dos recursos:

Porcentagem

de recursos

alocados por

tipo de

resultado

Distribuição

dos recursos

Volume de recursos:

Porcentagem de alunos

beneficiados

Sensibilidade de impacto do programa ao volume e distribuição dos recursos:

Porto Alegre

Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco aplicadas pelo Cesgranrio em Porto Alegre, 2008 e 2009.

As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e 2009.

Indicadores

Matemática Língua portuguesa

y = 0,8994x - 10,532R² = 0,1723

-40

-30

-20

-10

0

10

20

30

40

50

60

70

80

0 5 10 15 20 25 30 35 40 45 50 55 60

Dif

ere

nç

a n

o p

rog

res

so

en

tre

as

es

co

las

de

T

rata

me

nto

e C

on

tro

le

Porcentagem dos recursos alocados no R4 (%)

Relação entre o impacto do programa e a proporção dos recursos

alocados a atividades que promovam o aumento do índice de frequencia dos professores:

Língua portuguesa - Porto Alegre

Fonte: Estimativas produzidas com base nas provas Diagnóstica e Somativa do Programa Jovem de Futuro do Instituto Unibanco ap licadas pelo Cesgranrio em Porto Alegre, 2008 e 2009. As informações da alocação de recursos do programa por escola foram disponibilizadas pelo Instituto Unibanco para anos de 2008 e 2009.

Nota 1: Foi considerado como impacto a diferença na nota média no progresso (Somativa 2009 - Diagnóstica 2008) entre as escolas de Tratamento e Controle.

avaliação do projeto jovem de futuro

Education