ricardo henriques ricardo paes de barros€¦ · – salas de aula – biblioteca, quadra,...

RICARDO HENRIQUES

RICARDO PAES DE BARROS

Impacto da gestão educacional e uso de evidências: reflexões a partir do Jovem de Futuro

RICARDO HENRIQUES

RICARDO PAES DE BARROS

Impacto da gestão educacional e uso de evidências: reflexões a partir do Jovem de Futuro

RICARDO HENRIQUES

INSTITUTO UNIBANCO

direito à aprendizagem:

evidência primordial

incheon 2015 – rumo a uma

educação de qualidade inclusiva

e equitativa

unesco – educação de

qualidade para todos

pne – 21 metas para

qualidade da educação

INSTITUTO UNIBANCO 4

INSTITUTO UNIBANCO

INSTITUTO UNIBANCO

– Práticas Pedagógicas

– Relação entre estudantes e professores

– Altas expectativas

– Investimento na Equidade

– Atenção à Diversidade

– Mobilização dos jovens para a

aprendizagem

– Investimento na autonomia

- Quadro de Pessoal

- Assiduidade / Pontualidade

- Estabilidade da equipe

- Formação adequada

- Relações de confiança

- Transparência

– Infraestrutura:

– Salas de aula

– Biblioteca, Quadra,

Laboratório

– Banheiros, pátio

– Alimentação Escolar

– Transporte

– Uso de recursos financeiros

– Prestação de contas

– Relações intraescolares:

– Entre a equipe de

profissionais

– Dos profissionais com os

jovens e suas famílias

– Relações com o território

educativo

– Relações com as outras

instâncias da gestão

uma escola que

cumpre seu papel

Gestão na escola e seus processos

INSTITUTO UNIBANCO 6

INSTITUTO UNIBANCOINSTITUTO UNIBANCO 7

uma escola que

cumpre seu papel

Hierarquia de processos

INSTITUTO UNIBANCOINSTITUTO UNIBANCO 8

Hierarquia de processos

o estudante no centro do processo de decisão e gestão da escola

pessoas físico-financeiro

relacional

pedagógico(ensino-aprendizagem)

APRENDIZAGEM

INSTITUTO UNIBANCO

“causas” impacto priorização

das ações

monitoramento

das ações

monitoramento

da garantia do

direito de

aprender

Tipos de evidências para políticas educacionais

INSTITUTO UNIBANCO 9

INSTITUTO UNIBANCO

JOVEM DE FUTUROGESTÃO ESCOLAR PARA RESULTADOS DE APRENDIZAGEM

INSTITUTO UNIBANCO

gestão escolar recursos financeiros

sistemas de avaliação + monitoramento

recursos materiais e infraestrutura

formação de professores

práticas pedagógicas

contexto socioeconômico ambiente familiar

estrutura curricular outros determinantes

Determinantes da qualidade da educação

11

INSTITUTO UNIBANCO

gestão escolar recursos financeiros

sistemas de avaliação + monitoramento

recursos materiais e infraestrutura

formação de professores

práticas pedagógicas

contexto socioeconômico ambiente familiar

estrutura curricular outros determinantes

Determinantes da qualidade da educação

12

INSTITUTO UNIBANCO

gestão escolar recursos financeiros

sistemas de avaliação + monitoramento

recursos materiais e infraestrutura

formação de professores

práticas pedagógicas

contexto socioeconômico ambiente familiar

estrutura curricular outros determinantes

Determinantes da qualidade da educação

13

INSTITUTO UNIBANCO

RESULTADO

Direito à

aprendizagem

governança

Instrumentos

e sistemas

Formação

Instituição de

processos de

gestão

estratégica

Mobilização e

engajamento

dos atores da

educação

JOVEM DE

FUTURO

INSTITUTO UNIBANCO

Direito à

aprendizagem

RESULTADOorganização

e difusão do

conhecimento

‒ Técnicos das Secretarias

‒ Lideranças Regionais

‒ Supervisores

‒ Gestores escolares

INSTITUTO UNIBANCO

Direito à

aprendizagem

RESULTADOorganização

e difusão do

conhecimento

instituição de

processos de

gestão

estratégica

CIRCUITO DE GESTÃO

‒ 3 ciclos ao ano

‒ Organiza a corresponsabilização

meta execução correção de rotas

boas práticas

planejamento monitoramento

INSTITUTO UNIBANCO

Direito à

aprendizagem

RESULTADOorganização

e difusão do

conhecimento

instituição de

processos de

gestão

estratégica

mobilização e

engajamento

dos atores da

educação

‒ Estudantes

‒ Famílias

‒ Técnicos das Secretarias

‒ Lideranças Regionais

‒ Supervisores

‒ Gestores escolares

INSTITUTO UNIBANCO

Direito à

aprendizagem

RESULTADOorganização

e difusão do

conhecimento

instituição de

processos de

gestão

estratégica

mobilização e

engajamento

dos atores da

educação

INSTITUTO UNIBANCO

Direito à

aprendizagem

RESULTADOorganização

e difusão do

conhecimento

instituição de

processos de

gestão

estratégica

mobilização e

engajamento

dos atores da

educação

INSTITUTO UNIBANCO

RESULTADO

Direito à

aprendizagem

organização

e difusão do

conhecimento

instituição de

processos de

gestão

estratégica

mobilização e

engajamento

dos atores da

educação

INSTITUTO UNIBANCO

RESULTADO

Direito à

aprendizagem

governança

Instrumentos

e sistemas

Formação

Instituição de

processos de

gestão

estratégicaMobilização e

engajamento

dos atores da

educação

DESENVOLVIMENTO DE

COMPETÊNCIAS

INDIVIDUAIS E COLETIVAS

E DE CAPACIDADE

INSTITUCIONAL

JOVEM DE FUTURO

INSTITUTO UNIBANCO

QUAL É O IMPACTODO JOVEM DE FUTURO?

Avaliação de Impacto doProjeto Jovem de Futuro sobre a Aprendizagem

Ricardo Barros (IAS/Insper), Samuel Franco (OPESociais),

Gabriela Gall (Insper) e Rosane Mendonça (UFF)

Impacto sobre o quê?

Impacto em quem?

Impacto quando?

Impacto sobre proficiência em Matemática e Língua Portuguesa

nos alunos da escola ao final da 3ª série,

após três anos da implementação do projeto.

Impacto em quem?

Impacto sobre o quê?

Impacto quando?

Impacto sobre proficiência em Matemática e Língua Portuguesa nos alunos da escola ao final da 3ª série, após três anos da implementação do projeto.

Impacto em quem?

Impacto sobre o quê?

Impacto quando?

Melhoria da proficiência na média em Português e Matemática da linha de base ao segmento (3 anos após o programa) na 3ª série do ensino médio.

Impacto Sobre o Que?

B3 A3

3º Série

1º Série

2º Série

Ano Anterior a Intervenção(Linha de Base)

1º Ano de Intervenção

2º Ano de Intervenção

3º Ano de Projeto (Segmento)

Aprendizado em Língua Portuguesa e Matemática na Linha de Base

Aprendizado em Língua Portuguesa e Matemática no Segmento

A3 B3

B2

B1

260

261

262

263

264

265

266

267

268

269

270

Antes da implantação Três anos após a implantação

Pro

fici

ên

cia

ao f

inal

da

3a

séri

e d

o

Ensi

no

Mé

dio

Evolução da Proficiência no Grupo de Escolas Beneficiadas

260

261

262

263

264

265

266

267

268

269

270

Antes da implantação Três anos após a implantação

Pro

fici

ên

cia

ao f

inal

da

3a

séri

e d

o

Ensi

no

Mé

dio

Evolução da Proficiência no Grupo de Escolas Beneficiadas

Melhora no Grupo de Escolas

Beneficiadas

260

261

262

263

264

265

266

267

268

269

270

Antes da implantação Três anos após a implantação

Pro

fici

ên

cia

ao f

inal

da

3a

séri

e d

o

Ensi

no

Mé

dio

Evolução da Proficiência no Grupo de Escolas Beneficiadas

Melhora no Grupo de Escolas

Beneficiadas

Proficiência que as escolas

beneficiadas teriam caso elas

não tivessem tido acesso ao

Programa

Proficiência das escolas

beneficiadas

260

261

262

263

264

265

266

267

268

269

270

Antes da implantação Três anos após a implantação

Pro

fici

ên

cia

ao f

inal

da

3a

séri

e d

o

Ensi

no

Mé

dio

Evolução da Proficiência no Grupo de Escolas Beneficiadas

Impacto do Programa

Melhora que teria ocorrido no grupo de escolas beneficiadas

caso elas não tivessem tido acesso ao Programa

Melhora no Grupo de Escolas

Beneficiadas

Proficiência que as escolas

beneficiadas teriam caso elas

não tivessem tido acesso ao

Programa

Proficiência das escolas

beneficiadas

260

261

262

263

264

265

266

267

268

269

270

Antes da implantação Três anos após a implantação

Pro

fici

ên

cia

ao f

inal

da

3a

séri

e d

o

Ensi

no

Mé

dio

Evolução da Proficiência no Grupo de Escolas Beneficiadas e Controle

Impacto do Programa

Proficiência das escolas

beneficiadas

Proficiência das escolas não

beneficiadas (grupo de ontrole) Melhora no

Grupo de Controle

Melhora no grupo de escolas

beneficiadas

B

D

B

Atendimento Imediato Atendimento após 3 anos de Programa

A

DB

Atendimento Imediato Atendimento após 3 anos de Programa

E

ADB

Atendimento Imediato Atendimento após 3 anos de Programa

C

EAD

Atendimento Imediato Atendimento após 3 anos de Programa

CEA

Atendimento após 3 anos de Programa

Estações

Pará

15

Goiás

25

Mato Grosso do Sul

23

SP – Região Metropolitana

17

Minas Gerais

4

Ceará

25

Rio de Janeiro

12

SP – Vale do Paraíba

20

...

...

...

...

...

...

...

...Todos

141

...

Diagrama 2: Janela de Tempo de Avaliação

0,0%

0,5%

1,0%

1,5%

2,0%

2,5%

3,0%

3,5%

4,0%

4,5%

5,0%

5,5%

6,0%

6,5%

7,0%

7,5%

40 45 50 55 60 65 70 75 80 85 90 95 100

pro

bab

ilid

ade

de

oco

rrên

cia

(%)

número de vezes que o grupo de tratamento teve desempenho superior ao de controle

Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de

controle, caso o Programa não tenha impacto

13%

7170

0,0%

0,5%

1,0%

1,5%

2,0%

2,5%

3,0%

3,5%

4,0%

4,5%

5,0%

5,5%

6,0%

6,5%

7,0%

7,5%

40 45 50 55 60 65 70 75 80 85 90 95 100

pro

bab

ilid

ade

de

oco

rrên

cia

(%)

número de vezes que o grupo de tratamento teve desempenho superior ao de controle

Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de

controle, caso o Programa não tenha impacto

825923

95%

0,0%

0,5%

1,0%

1,5%

2,0%

2,5%

3,0%

3,5%

4,0%

4,5%

5,0%

5,5%

6,0%

6,5%

7,0%

7,5%

40 45 50 55 60 65 70 75 80 85 90 95 100

pro

bab

ilid

ade

de

oco

rrên

cia

(%)

número de vezes que o grupo de tratamento teve desempenho superior ao de controle

Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de

controle, caso o Programa não tenha impacto

825923

95%

0,0%

0,5%

1,0%

1,5%

2,0%

2,5%

3,0%

3,5%

4,0%

4,5%

5,0%

5,5%

6,0%

6,5%

7,0%

7,5%

40 45 50 55 60 65 70 75 80 85 90 95 100

pro

bab

ilid

ade

de

oco

rrên

cia

(%)

número de vezes que o grupo de tratamento teve desempenho superior ao de controle

Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de

controle, caso o Programa não tenha impacto

59 82

70,5

Evidência de Ausência de Impacto

Evidência de Impacto Positivo

Evidência de Impacto Negativo

0,0%

0,5%

1,0%

1,5%

2,0%

2,5%

3,0%

3,5%

4,0%

4,5%

5,0%

5,5%

6,0%

6,5%

7,0%

7,5%

40 45 50 55 60 65 70 75 80 85 90 95 100

pro

bab

ilid

ade

de

oco

rrên

cia

(%)

número de vezes que o grupo de tratamento teve desempenho superior ao de controle

Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de

controle, caso o Programa não tenha impacto

59 82

70,5

Evidência de Ausência de Impacto

Evidência de Impacto Positivo

Evidência de Impacto Negativo

LPMAT

0,0%

0,5%

1,0%

1,5%

2,0%

2,5%

3,0%

3,5%

4,0%

4,5%

5,0%

5,5%

6,0%

6,5%

7,0%

7,5%

40 45 50 55 60 65 70 75 80 85 90 95 100

pro

bab

ilid

ade

de

oco

rrên

cia

(%)

número de vezes que o grupo de tratamento teve desempenho superior ao de controle

Distribuição das vezes, em 141 experimentos, que o grupo de tratamento tem um desempenho superior ao grupo de

controle, caso o Programa não tenha impacto

59 82

70,5

Evidência de Ausência de Impacto

Evidência de Impacto Positivo

Evidência de Impacto Negativo

LPMAT

Se o Jovem de Futuro não tivesse qualquer

impacto, o que foi observado só seria

esperado ocorrer uma vez a cada 100 mil

tentativas

0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0

Minas Gerais

São Paulo

Vale do Paraíba

Rio de Janeiro

Pará

Ceará

Goiás

Mato Grosso do Sul

Magnitude do Impacto do Jovem de Futuro sobre o Aprendizado em Língua Portuguesa por Área de Atuação

Impacto Médio

0

2

4

6

8

10

12

14

16

18

20

22

24

26

28

30

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Ap

ren

diz

ado

ao

lon

go d

o E

nsi

no

Mé

dio

(p

on

tos

na

Esca

la S

AEB

)

porcentagem de unidades da federação

Aprendizado em Matemática ao longo do Ensino Médio por unidade da federação

Média

+5

7 UFs

16 pp

+5 → Aprendizado médio de uma série do Ensino Médio

+5 → Suficiente

para ultrapassar 7 unidades da federação

0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100

IndonesiaPeru

ColombiaQatar

JordanTunisia

BrazilArgentina

AlbaniaCosta Rica

MontenegroUruguay

MexicoMalaysia

ChileThailand

United Arab EmiratesKazakhstan

BulgariaTurkey

RomaniaSerbia

GreeceCroatia

HungarySlovak Republic

SwedenLithuania

United StatesPortugal

ItalyLuxembourg

Russian FederationSpain

New ZealandFrance

NorwayUnited Kingdom

IcelandCzech Republic

SloveniaLatvia

AustraliaBelgiumAustria

GermanyIreland

DenmarkNetherlands

PolandViet Nam

LiechtensteinCanada

Chinese TaipeiSwitzerland

FinlandJapan

EstoniaKorea

Hong Kong-ChinaSingapore

porcentagem de estudantes com desempenho adequado (nível 2 ou acima)

Porcentagem de Estudantes com Desempenho Adequado em Matemática: PISA 2012

90% dos países que participam

do PISA tem desempenho

em Matemática melhor que o

do Brasil

Enquanto no Brasil menos de 1/3 dos estudantes tem desempenho

considerado adequado; na Coréia mais de 90% encontram-se nessa situação.

Coréia

Brasil

Grécia

Na Grécia, a porcentagem de estudantes que tem desempenho considerado adequado é o dobro da mesma porcentagem no Brasil.

Chile Adicional de 13 pontos na Escala

SAEB para alcançar o Chile

Adicional de 27 pontos na Escala

SAEB para alcançar a Grécia

INSTITUTO UNIBANCO 51

Competências de gestão

desenvolvidas

Gestão escolar de alta

qualidade

Escola com

funcionamento adequado

Práticas

pedagógicas

melhores

Estudantes mais engajados

em seu próprio aprendizado

Aumento na aprendizagem

dos estudantes

SALA DE

AULAESTUDANTEESCOLA

Processos pedagógicos com

funcionamento adequado

INSTITUTO UNIBANCO 51

Matriz de impacto:

instância da escola

INSTITUTO UNIBANCO

estudante

direito à aprendizagem

Jovem de Futuro: instâncias de

gestão e atuação coordenada

INSTITUTO UNIBANCOA MATRIZ DE IMPACTO, EM

TODAS AS INSTÂNCIAS,

FUNCIONA?

QUAL É O IMPACTO DE

CADA COMPONENTE DO

JOVEM DE FUTURO?

É POSSÍVEL MEDIR

EFEITOS SISTÊMICOS?

INSTITUTO UNIBANCO

Jovem de Futuro

1GERA

IMPACTO2O IMPACTO É

RELEVANTE3UTILIZA CIÊNCIA

COM RIGOR E

REGULARIDADE

INSTITUTO UNIBANCO

1Valorizar

igualmente o

conhecimento

prático e científico

2Estudar a

implementação

para capturar

conhecimento

prático dos

gestores

4Organizar as

perguntas e reunir

diferentes

epistemologias e

métodos

3Formular com

clareza perguntas

para os

avaliadores

Ação transformadora e rigor na

produção e uso de evidências

INSTITUTO UNIBANCO

1Valorizar

igualmente o

conhecimento

prático e científico

2Estudar a

implementação

para capturar

conhecimento

prático dos

gestores

4Organizar as

perguntas e reunir

diferentes

epistemologias e

métodos

3Formular com

clareza perguntas

para os

avaliadores

Ação transformadora e rigor na

produção e uso de evidências

CONTRIBUIR PARA GARANTIR O DIREITO À APRENDIZAGEM DOS JOVENS NA ESCOLA PÚBLICAAPROXIMAR MUNDOS

CONSTRUIR CONHECIMENTOS

ELABORAR SOLUÇÕES APLICADAS

INSTITUTO UNIBANCO

“Só executava a invenção de se

permanecer naqueles espaços do rio, de

meio a meio, sempre dentro da canoa, para

dela não saltar, nunca mais. A estranheza

dessa verdade deu para estarrecer de todo

a gente. Aquilo que não havia, acontecia.”

A Terceira Margem do Rio

João Guimarães Rosa