reinventando o ensino médio: monitoramento e avaliação...

Reinventando o ensino médio: monitoramento e avaliação concomitante do primeiro ano do projeto em

curso na rede estadual de Minas Gerais

V Seminário Nacional da RBMA - Campinas, 26 de setembro de 2013

Felipe Michel S. A. Braga Ana Amélia de Paula Laborne Iara Azevedo Vitelli Viana Vanda Catarina Duarte

ESCRITÓRIO DE

PRIORIDADES ESTRATÉGICAS www.escritorio.mg.gov.br

SECRETARIA DE ESTADO DE EDUCAÇÃO

www.educacao.mg.gov.br

Projeto Reinventando o Ensino Médio (REM)

Contextualização

• Ensino Médio, um cenário devastado.

• Percepção: Ensino Médio não é atrativo para os estudantes e não há garantias de qualidade na aprendizagem.

• Proposta do REM: reformulação curricular, emprego de novas técnicas didático-pedagógicas, fortalecimento da gestão escolar, capacitação dos professores e melhoria da infraestrutura das instituições de ensino.

Reformular o Ensino Médio, reconstruindo sua identidade e tornando-o mais atrativo, de modo a permitir que os alunos sejam preparados para o prosseguimento dos estudos e/ou para o ingresso no mundo do trabalho.

http://www.educacao.mg.gov.br/sobre/programas/action/2825-novo-ensino-medio-reinventando-o-ensino-medio

Objetivo do Reinventando
















Concepção

• Diagnóstico: ausência de projeto para o Ensino Médio

• Concepção do Reinventando o Ensino Médio

• Escolha das primeiras áreas de empregabilidade e das escolas piloto

Universalização

• Sistema estadual de ensino médio (+2 mil escolas)

• 10 áreas de empregabilidade (3 por escola)

• Novo ensino médio implantado em todas a rede

• Internalização do M&A do REM na SEE

Expansão

• 11 escolas piloto + 122 novas escolas

• Expansão para todas as 47 SRE

• NAPEM: 2 analistas por regional (100 pessoas)

• 7 áreas de empregabilidade (3 por escola)

• Monitoramento via cartões de resposta

2011 2013 2014

Histórico do projeto, do monitoramento e avaliação

Piloto

• 11 escolas piloto, norte de Belo Horizonte

• Elaboração e implantação do M&A via Escritório/SEE

• Empreendedores alocados no REM

• Novas áreas de empregabilidade definidas pela SEE

2012

Foco do artigo

Diferença entre monitoramento e avaliação

Avaliação

Determinação do valor ou mérito de um objeto de avaliação.

Monitoramento

Acompanhamento contínuo e cotidiano.

• Ambos para provisão de informações sobre ciclo do projeto.

• Esforço por verificar a adequação do desenho do programa à sua finalidade, com implementação adaptativa.

• Foco na verificação dos efeitos nas escolas e no ajuste do modelo - é um projeto de expansão gradual para universalização em realidades heterogêneas.

Características principais

Monitoramento

Objetivo:

Acompanhar a implementação do Reinventando o Ensino Médio, identificando os pontos críticos que pudessem comprometer seu resultado e os aspectos positivos que pudessem fortalecer a implementação e/ou expansão do mesmo. Com isso, promover uma discussão que subsidiasse a Secretaria de Estado de Educação na tomada de decisão sobre os próximos passos.

Metodologia:

Entrevistas semi-estruturadas com os principais atores do Reinventando na escola, realizadas pelas equipes da SEE/MG e Escritório de Prioridades Estratégicas.

Monitoramento do Projeto Reinventando o Ensino Médio

Visitas

1ª visita (abril/maio)

Foco: sondagem inicial (comunicação, expectativa, especificidades do projeto)

Questionário-Entrevista

Diretor

Coordenador

Orientador

Professor

2ª visita (agosto/out.)

Foco: execução (acompanhamento dos indicadores)

Questionário-Entrevista

Professor

Coordenador

Orientador

Alunos

3ª visita (novembro/dezembro)

Foco: execução e avaliação do Projeto

Questionário-Entrevista e autoaplicado

Diretor

Professor

Coordenador

Orientador

Alunos

Número de entrevistados nas três visitas:

ESCOLA

1ª visita 2ª visita 3ª visita

19 a 31/05/2012 15 a 30/09/2012 26/11/2012 a 13/12/2012 Grupo

Gestor¹ Professor

Grupo

Gestor Professor Aluno

Grupo

Gestor Professor Aluno

EE Carlos Drumond de

Andrade 5 4 4 4 9 5 13 49

EE Donato Werneck de Freitas 5 4 4 4 6 5 7 29

EE Margarida de Melo Prado 5 4 4 4 3 5 4 14 EE Maria Luiza Miranda

Bastos 5 4 4 4 12 5 8 68

EE Paschoal Comanducci 5 4 4 4 8 4² 5 40

EE Presidente Tancredo Neves 5 4 4 3 9 5 5 45

EE Prof. Bolivar de Freitas 5 4 4 4 6 5 5 30

EE Prof. Hilton Rocha 5 4 4 4 10 5 9 50

EE Profa. Francisca Malheiros 5 4 4 4 5 5 4 25

EE Profa. Inês Geralda de

Oliveira 5 5 4 4 7 5 4 28

EE Profa. Maria Coutinho 5 5 4 4 7 5 10 36

TOTAL 55 46 44 43 82 54 74 414

TOTAL GERAL 101 169 451

Nota: ¹ grupo gestor: diretores, coordenadores e orientadores. ² uma orientadora se encontrava em licença maternidade.

Avaliação

Objetivo: Acompanhar a implementação do Reinventando o Ensino Médio, verificando seus efeitos sobre os alunos e professores do 1º ano do EM das 11 escolas do REM, nos seguintes aspectos:

• Atratividade, permanência e conclusão; • Percepção sobre o ambiente escolar.

Metodologia: Avaliação de Impacto (Diferença em Diferenças, Modelo hierárquico: escolas e alunos, Pareamento pelo vizinho mais próximo).

Pesquisa de Avaliação

t0 t1

Alunos Professores Alunos Professores

Período de aplicação

17 a 25 de abril 23/mai a

25/jun 12/nov a 12/dez 12/nov a 12/dez

Questionários auto-aplicados

Em sala de aula Urnas Em sala de aula Urnas

Responsável pela aplicação

CONTRATAÇÃOEmpresa Jr. (Aplicação e Digitação)

Escritório e SEE (Aplicação e Digitação)

CONTRATAÇÃO Empresa Jr.

(Aplicação e Digitação)

Número de questionários

4.104 (+-70%)

262 (+-55%)

3.619 (+-60%)

217 (+-45%)

Custos R$8.839,00 R$12.710,00

Nota: ¹Opinião de diretores

Quais as principais dificuldades para a implementação do Reinventando nessa escola? ¹

0 1 2 3 4 5 6 7 8

Não existem dificuldades na implementação do Reinventando

Ausência de formação do professor nos conteúdos das áreas de empregabilidade

Incapacidade de se trabalhar com a mesma qualidade nos diferentes turnos

Ausência de diretrizes claras em relação a implementação do Reinventando

Número insuficiente de professores com o perfil necessário para atuar na coordenação e orientação

Insuficiência de material e/ou equipamentos

Indisponibilidade de tempo dos orientadores

Dificuldade de executar o patamar mínimo

Falta de apoio e/ou suporte da SEE-MG

Alguns resultados do monitoramento

Nota: ¹Opinião de diretores (1ª visita) e de coordenadores (2ª e 3ª visitas)

A escola possui laboratório de informática com 20 computadores em condições de funcionar e com acesso à internet?¹

3 4

11 4

8

3

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%


Sim Parcialmente Não


Nota: ¹Informação dos professores

4

14

8

11

6

3

23

5

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

CBC

REM

Frequentemente De vez em quando Raramente Não utiliza

Com que freqüência você utiliza o laboratório de informática nas suas aulas?¹


0,0 5,0 10,0 15,0 20,0 25,0 30,0

Língua Portuguesa

Artes

Geografia

Biologia

Química

História

Física

Matemática

Inglês

Filosofia

Sociologia

Educação Física

Espanhol

0,0 25,0 50,0 75,0 100,0

Comunicação Aplicada

Turismo

Tecnologia da Informação

Nota: ¹Opinião dos alunos

Em quais disciplinas os professores usam em suas aulas equipamentos como data show, fotos, vídeos, filmes, computadores ou outros recursos didático-pedagógicos inovadores?¹


2

8 7

6

2

3 3 2

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

100%



Nota: ¹Opinião de diretores (1ª visita) e de coordenadores (2ª e 3ª visitas)

Em sua opinião, há interdisciplinaridade entre as áreas de empregabilidade e as disciplinas do CBC?¹


0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Coordenadores

Diretores

Sim Não

Em sua opinião, o Reinventando contribuiu para reduzir o abandono nesse 1º ano de existência?


Em sua opinião, os alunos do 1º ano do Ensino Médio tem se interessado mais pelas aulas?

4

4

4

12

7

21

15

7

2

2

7

12

20

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

Coordenadores

Orientadores

Professores - REM

Professores - CBC

Sim, em todos os turno Sim, principalmente no diurno Sim, principalmente no noturno Não



Em sua opinião, de maneira geral, você e seus colegas têm se interessado mais pelas aulas?¹

73

21

24

28

264

90

88

86

77

17

32

28

0% 20% 40% 60% 80% 100%

Total

Comunicação Aplicada

Tecnologia da Informação

Turismo

Sim Parcialmente Não 0% 20% 40% 60% 80% 100%

Total

EE Carlos Drummond de Andrade

EE Donato Werneck de Freitas

EE Margarida de Melo Prado

EE Maria Luiza Miranda Bastos

EE Paschoal Comanducci

EE Presidente Tancredo Neves

EE Prof. Bolivar de Freitas

EE Prof. Hilton Rocha

EE Profa. Francisca Malheiros

EE Profa. Inês Geralda de Oliveira

EE Profa. Maria Coutinho


Nota: ¹Opinião dos alunos


Numa escala de 1 a 10, você recomendaria o REM para outra escola?

0,0 1,0 2,0 3,0 4,0 5,0 6,0 7,0 8,0 9,0 10,0

Alunos - Tecnologia da informação

Professores - CBC

Alunos - Comunicação Aplicada

Professores - REM

Alunos - Turismo

Orientadores - Turismo

Orientadores - Tecnologia da Informação

Orientadores - Comunicação Aplicada

Coordenadores

Diretores

Resultados da avaliação

ALUNOS

t0 t1

Sexo Masculino 49,7% 46,7%

Feminino 50,3% 52,3%

Idade

Até 15 anos 53,7% 45,1%

16 anos 22,7% 30,6%

17 anos ou mais 23,6% 24,3%

Turno

Manhã 50,9% 56,7%

Tarde 20,7% 21,7%

Noite 28,4% 21,6%

26% 27% 30% 30%

0%

5%

10%

15%

20%

25%

30%

35%

40%

Grupo de Controle Grupo de Tratamento

t0 t1

Alunos que possuem emprego ou trabalho.

Alunos Professores

3.1 Percepção da escola

3.2 Percepção de clima e ambiente

3.3 Percepção de infraestrutura

3.4 Autoconfiança *

3.5 Interesse

3.6 Perspectiva de formação

3.7 Inovação técnico-pedagógica

3.8 Nota para o REM 5,95 6,98 * Não necessariamente a diminuição é indesejada. - Não conclusivo.

Resumo dos resultados da avaliação

Comparando com um (01) ano atrás, como está a sua escola com relação à:

PROFESSORES

5,8%

10,7%

12,6%

50,5%

81,6%

38,8%

0% 20% 40% 60% 80% 100%

Grupo de Tratamento

Grupo de Controle Pior

Igual

Melhor

1 - Estrutura de recursos didático-pedagógicos (data-show, televisão, DVD, computador)

2 – Interesse dos alunos

19,0%

31,4%

52,0%

52,0%

29,0%

16,7%

0% 20% 40% 60% 80% 100%

Grupo de Tratamento

Grupo de Controle Pior

Igual

Melhor

Outras análises

Considerações finais

• Essa experiência prática de avaliação e de monitoramento conseguiu tornar a política e a aplicação de recursos públicos mais eficiente e eficaz.

• Desafios relacionados à operacionalização e institucionalização: hábito de apagar incêndios e dificuldade para instalar cultura de entrega.

• Percepção de necessidade de concepção e comunicação de planos mais simplificados, precisos e com poucas prioridades, para não incorrer na falta de foco, em fragmentação de esforços e em estabelecimento de iniciativas não generalizáveis.

• O monitoramento tem sido importante apoio para o Reinventando, porque tem permitido a correção de rumos antes da sua expansão, somando empenho sistemático e rigoroso para que o projeto dê certo.

Considerações finais • Quanto à avaliação, alguns indicadores não sofreram impacto significativo, ou nulo, apontando mudanças discretas no curto prazo.

• Aspectos mais concretos, como infraestrutura, indicaram percepção positiva, principalmente na percepção dos professores.

• Realce: a interpretação dos resultados da avaliação foram amplamente embasados pelos resultados do monitoramento.

• O esforço de planejar e executar o monitoramento e a avaliação, antes de executado o primeiro ano do projeto, favoreceu seu aperfeiçoamento.

• Há indicativos de que o REM pode levar a um melhor desempenho do Ensino Médio. Contudo, há necessidade de contínuo acompanhamento para ajustes e para afirmá-lo com base em dados.

Felipe Michel S. A. Braga [email protected] Líder da Prioridade Educação no Escritório de Prioridades

reinventando o ensino médio: monitoramento e avaliação...

Documents