vii reuniÃo da abave minicurso 2: a importância das...

0

VII REUNIÃO DA ABAVE

Minicurso 2: A importância das competências não cognitivas

para o desenvolvimento humano e o desafio

de avaliá-las em políticas públicas

Daniel Santos (FEA-RP/USP)

Tatiana Filgueiras (IAS)

Mirela de Carvalho (IAS)

Laura Pizzo (IAS)

Eduardo Silva (IAS)

Parte 1

Instrutora: Mirela de Carvalho

1

Introdução

1

• As competências não cognitivas (sócio emocionais) importam

2

• É possível desenvolvê-las em muitas idades, inclusive mais avançadas

3 • É possível ensiná-las também na escola

How children succeed. Grit, curiosity and the hidden

power of character – Paul Tough

2

Introdução

Cognitivo

Capacidade mental de adquirir

conhecimento , pensamento e

experiências

Interpretar, refletir, extrapolar baseado

no conhecimento adquirido

Habilidades básicas

Memória

Reconhecer padrões

Velocidade de processamento

Aquisição de conhecimento:

Acesso

Extração

Interpretação

Conhecimento extrapolado:

Reflexão

Raciocínio

Conceitualização

ESP - OCDE

3

Introdução

Não cognitivo

Padrões de pensamento, sentimentos

(sensações) e comportamentos que

refletem uma tendência de resposta/

reação a circunstâncias

Atingir resultados (objetivos):

Perseverança

Autocontrole

Ter objetivos

Trabalhar com os outros:

Amigável

Respeito/tolerância

Cuidado

Administrar emoções:

Calma

Otimismo

Confiança

ESP - OCDE

4

1. As competências não cognitivas importam

5

1. As competências não cognitivas importam

Recursos produtivos e incentivos

Alimentação

Livros

Vocabulário

Acesso a cultura

Etc.

Saúde física

Traumas danificam cérebro e outros órgãos – hypothalamic-pituitary-adrenal (HPA)

Adverse childhood experiences – ACE scores

Emocional, não cogs

Estresse e córtex pré-frontal

Vítima de impulsos negativos incontroláveis (ansiedade)

Autocontrole afetado e aprendizado também

Relação entre

pobreza e não

aproveitamento

de

oportunidades

6

2. É possível aprendê-las em diversas idades

7


• Interrupção da descarga de adrenalina

• Cuidar e aprender a interromper

Teoria da “ligação”

attachment

• Adulto: proteger e estimular

• Intervenções precoces definem o sucesso cognitivo

• Há maior flexibilidade para o não cogntivo

Primeira infância

• Sistemas neurológicos: incentive processing system e cogntive control system. + HPA choques.

• Decisão: contexto difícil, mas possibilidade turning point (diferente das crianças)

Adolescência

Como proteger o córtex pré-frontal das descargas

de adrenalina (das situações de estresse)?

8


• YAP – Youth Advocate Programs (Chicago), programa de “mentoria”

• Mentor estabelece a “ligação”

• Da infância e juventude sem cuidados a busca por uma vida diferente

Keitha Jones

• One goal – reforço escolar e trabalho com não cognitivas para entrar na universidade

• Mexe com Ambição, esforço

• Ansiedade na espera desencadeou pessimismo e derrotismo

• Capacidade de se auto motivar de novo, replanejar (locus de controle, auto-estima, auto-gerenciamento etc)

Kewona

Adolescentes e jovens: má decisões

e resultados avassaladores. Turning point

9

3. É possível ensiná-las na escola

10


• Crianças de origem pobre

• Autocontrole, atitudes para aprender, disciplina

• Garra e persistência

Kipp

• Crianças filhas da elite

• Desconforto com o excesso de disciplina

• Não fracasso Riverdale

• Bom desempenho na escola

• Saber aprender

• Escolher o caminho profissional, risco (a leveza de fracassar e recomeçar)

Exemplos (Paul Tough, Steve Jobs)

Errar, responsabilizar-se, escolher

11


• “controle de tráfego de avião” – parar (controlar impulso, autocontrole cognitivo), compreender, especular (contrafactuais, flexibilidade cognitiva) e decidir o que é melhor.

Função executiva

• observar sua forma de pensar e conseguir alterá-la quando julgar necessário (pensar fora da caixinha). Ter consciência do que sabe e o que não sabe e precisa aprender(autoeficácia)

Metacognição

• Estudos sobre o bom jogador: não é cognitivo! É o “pessimismo imediato”.

• Otimismo, autoestima e locus de controle interno

Foco no erro X viés da confirmação

O jogo de xadrez – a forma de aprender

12


• “controle de tráfego de avião” – parar (controlar impulso, autocontrole cognitivo), compreender, especular (contrafactuais, flexibilidade cognitiva) e decidir o que é melhor.

Função executiva

• observar sua forma de pensar e conseguir alterá-la quando julgar necessário (pensar fora da caixinha). Ter consciência do que sabe e o que não sabe e precisa aprender(autoeficácia)

Metacognição

• Estudos sobre o bom jogador: não é cognitivo! É o “pessimismo imediato”.

• Otimismo, autoestima e locus de controle interno.

Foco no erro X viés da confirmação

O jogo de xadrez – a forma de aprender

Responsabilizar o aluno – levar

seu raciocínio, suas perguntas

muito a sério

Sempre desafiá-los, levá-los

ao seu limite

Cria excesso de foco?

13

Desperdício na vida desses jovens. Se nós tivéssemos dado a eles

oportunidades melhores mais cedo...

Admiração e esperança ao ver jovens que, apesar de tudo, fizeram

escolhas por um caminho novo. Esses, trabalham mais do que muitos

de nós jamais fizemos ou faremos.

Ao Instituto Ayrton Senna não cabe só aplaudir. Esses jovens não

chegaram lá sozinhos. Alguém os ajudou nos primeiros passos.

Queremos estar lá com eles!!!


Implicações

14

4. Plano de aula

15

Plano de aula

1

• As competências não cognitivas (sócio emocionais) importam

2

• É possível desenvolvê-las em muitas idades, inclusive mais avançadas

3 • É possível ensiná-las também na escola

4 • Como são medidas as competências não cognitivas

5 • Proposta da área de avaliação do IAS

16








Laura Pizzo (IAS)

Eduardo Silva (IAS)

Parte 2

Instrutor: Daniel Santos

17

Escola e personalidade

18

Capital Humano: a verdadeira riqueza das

nações

Diferenças nos indicadores econômicos tendem a

desaparecer entre países com nível educacional parecido

(Europa do pós-guerra).

Desigualdade de renda (e bem-estar) é majoritariamente

explicada pela desigualdade educacional

19

Primórdios: “saber fazer coisas”

Resultados futuros dependem de habilidades, que podem ser aprendidas.

Preferências e atributos socioemocionais tidos como fixos (inatos) e

pouco relacionados com resultados

Mischel: Capacidade de postergar recompensas prediz resultados

importantes

XXI: ênfase no desenvolvimento não cognitivo

20

Motivação: caso do GED. Comparação entre alunos formados no 2º grau, jovens que abandonaram e fizeram exame de equivalência, e jovens que abandonaram e não o fizeram

Distribuição de QI nos dois primeiros grupos é semelhante, e domina a dos que abandonaram e não fizeram o exame

Distribuição dos atributos não-cognitivos é semelhante entre os dois tipos de abandono, e é dominada pelos alunos do ensino formal

Salários são maiores entre os formados no ensino formal do que nos outros 2 grupos

Explicação deve passar por atributos não cognitivos

Benefícios da escola também passam por

canais não-cognitivos

24

Perry Preschool/ High Scope

Ypsilanti (MI), 1962 – 1967

Crianças vulneráveis (negros pobres), 3-4

Currículo High Scope (Piagetiano), professores especialmente

treinados

Período integral

Visitas aos pais para aconselhamento e acompanhamento do

desenvolvimento

25

Impacto cognitivo – Perry School

Perry School/ High Scope

26

Impacto não cognitivo – Perry School


27


Impacto não cognitivo – Perry School

28

$

3

K

$6K $9K $13K $58K $88,433

$12,356

$0 $20.000 $40.000 $60.000 $80.000 $100.000

Costs

Benefits

$7 return for every dollar invested

Welfare Special educationTaxes on earnings Justice systemCrime victims Preschool

Retorno econômico do programa Perry School

(exclui ganho salarial líquido de $20 mil)

Análise de custo-benefício – Perry School

29

Mediadores dos benefícios do programa

Perry School

30


Perry School

31


Perry School

32


Perry School

33

Análise de custo-benefício - Abecedarian

$7K$47K $50K $6K $12K

$143,674

$44,092

(preK & college)

$0 $20.000 $40.000 $60.000 $80.000 $100.000 $120.000 $140.000

Costs

Benefits

Education Maternal Earnings

Participant Earnings Future Generations

Smoking Health Preschool

34

$5K $28K $13K $2K

$6,692

$47,759

$0 $5.000 $10.000 $15.000 $20.000 $25.000 $30.000 $35.000 $40.000 $45.000 $50.000

Costs

Benefits

Education Human Services

Participant Earnings Crime

Child Care Preschool

Análise de custo-benefício - Abecedarian

35

O que compõe o capital humano?

i. Habilidades cognitivas

Percepção de que resultados em testes eram fortemente correlacionados ao

longo da vida sugeriam que existisse Inteligência. Desenvolvimento de

filtros estatísticos permitiram detectar atributos não observáveis que

explicassem comportamentos observáveis - fator G

ii. Teorias de personalidade: Big Five

Tentativa de utilizar os mesmos métodos bem sucedidos do fator G para

detectar talentos não cognitivos

36

Abertura a novas experiências: propensão a aceitar novas experiências

estéticas, culturais ou intelectuais

Facetas:

• Fantasia (imaginativo)

• Estética (artístico)

• Sensibilidade (excitável)

• Ações (interesses amplos)

• Ideias (curioso)

• Valores (não convencional)

O que compõe o Capital Humano?

ii. Big Five

37

Consciência: Tendência a ser organizado, esforçado e responsável

Facetas:

• Competência (eficiente)

• Ordem (organizado)

• Autonomia (não espera ajuda)

• Batalha por objetivos

• Disciplina (não preguiçoso)

• Deliberação (não impulsivo)

Atributos relacionados: Firmeza de caráter, Perseverança, Postergar recompensa, Controle de impulsos, Planejar e batalhar por objetivos, Ambição, Ética no trabalho


ii. Big Five

38

Extroversão: Orientação de interesses e energia em direção ao mundo externo e pessoas e coisas (ao invés do mundo interno da

experiência subjetiva)

Facetas:

• Acolhimento (amigável)

• Agregador (sociável)

• Afirmação (autoconfiante)

• Atividade (energético)

• Procurar excitação (aventureiro)

• Emoções positivas (entusiasmado)


ii. Big Five

39

Cooperatividade: Tendência a agir de modo cooperativo e não

egoisticamente

Facetas:

• Confiança no próximo (tolerante)

• Objetividade (direto quando se dirige a alguém)

• Altruísmo

• Obedecer (não teimoso)

• Modéstia

• Docilidade (simpático)

Atributos relacionados: Empatia, Olhar diferentes ângulos dos problemas, Cooperação, Competitividade


ii. Big Five

40

Estabilidade emocional: Previsibilidade e consistência de reações emocionais, sem mudanças bruscas de humor

Facetas:

• Ansiedade (preocupado)

• Hostilidade (irritadiço)

• Depressão

• Introspecção (tímido)

• Impulsividade

• Vulnerabilidade a estresse (não autoconfiante)

• Otimismo

• Psicopatologias (desordens mentais) incluindo depressão e desordens de ansiedade

Atributos relacionados: Lócus de controle, Autoestima, Autoeficácia


ii. Big Five

41

Teoria do Capital Humano

Capital Humano:

Conjunto das características

produtivas de um indivíduo

Características

Cognitivas

Características

Físicas

Características

Sócio-emocionais

Sucesso

profissional

Estabilidade familiar,

Felicidade

Saúde, nutrição,

drogas, crime e violência

42

Como o Capital Humano se desenvolve?

i. Modelo causal (Cunha et al 2010)

• Permite que atributos dependam de componente inato e ambiente

• Confirma a existência de idades sensíveis. Cognitivos cristalizam

precocemente e não cognitivos permanecem maleáveis por mais tempo

• Investimentos parentais são mais produtivos em idades menores e

produzem complementaridades dinâmicas

• Maiores níveis iniciais não cognitivos facilitam desenvolvimento cognitivo,

mas o oposto não ocorre

43

Acumulação de Capital Humano

Fatores ontogênicos e sociogênicos

Acidentes e indução química

Investimento em capital humano

Privado Público

Direto

Indireto

44

Economia e desenvolvimento infantil

Natureza

Cognitivas

Não cognitivas

Indivíduo adulto Resultados

Cognitivas

Não cognitivas

Trabalho

Educação

Saúde

Família

Crime

Não cognitivas são ao menos tão importantes quanto as cognitivas na determinação de resultados

- Ambiente (ontogênico e sociogênico)

- Investimento em KH: f(natureza, ambiente)

45

0 a 0,2 anos de estudo por desvio-padrão

Segundo atributo em importância nas notas (magnitude pode ser

semelhante à inteligência, NY). Responsável ainda por parte do efeito de

inteligência

Cursos mais difíceis. Menor absenteísmo

Mercado de trabalho: não afeta produtividade e salários

Mulheres: menor absenteísmo e maior chance de ocupar posições de

liderança

Poder preditivo de talentos não cognitivos

i. Abertura a novas experiências

46

Domínio mais importante. Ex: marshmellow

Educação: (i) 0,2 ano a mais de estudo por desvio-padrão (maior para homens); (ii) Mesmo impacto de inteligência sobre notas. Cresce em idades maiores (ao contrário de QI e abertura); (iii) Explicação para maior preferência por faculdade entre mulheres

Trabalho: (i) impacto salarial para além da educação (50% de QI); (ii) afeta todas as ocupações (QI mais importante nas complexas)

Crime: menor envolvimento com delinquência juvenil

Família: menor chance de divórcio e maior duração do casamento


ii. Consciência

47

Efeitos difíceis de captar: não monotônicos e forte influência de

experiências pregressas e incentivos na hora de responder

Salários maiores em profissões administrativas, de gerência e vendas; e

menores em profissões técnicas

Pode afetar decisão de permanecer na escola por mais tempo

Menor incidência de tabaco, mas maior de álcool


iii. Extroversão

48

Agressividade na infância prediz conclusão do segundo grau

Contribui para desempenho educacional no primeiro grau

Homens: menor absenteísmo e maior chance de ser gerente

Principais impactos surgem em saúde, crime e família: principal

determinante de envolvimento com crime e delinquência juvenil

Maior longevidadde e menor incidência de tabagismo

Menos divórcio e casamentos mais duradouros


iv. Cooperatividade

49

Trabalho: menor absenteísmo e impacto semelhante à inteligência sobre

produtividade e salários. Canal pode ser a busca mais cuidadosa por um

bom emprego

Saúde: maior longevidade, mais chance de usar drogas, álcool e tabaco.

Prediz depressão e obesidade aos 30 anos

Educação: mais chance de completar o 2º grau (principalmente homens e

entre pessoas com baixo locus de controle). Impactos indiretos via

promoção da cognição

Crime e família: prediz envolvimento com crime em nível semelhante ao

QI. Mais importante preditor de estabilidade conjugal


v. Estabilidade emocional

50

Habilidades cognitivas estabilizam cedo

51

Table 9.4 Correlations of IQ’s Measured during the Preschool Years and Middle Childhood, with IQ’s

Measured at Ages 10 and 18. SOURCE: Adapted from Honzik, MacFarlane, & Allen, 1948.

Habilidades cognitivas estabilizam cedo

Table 9.4 Correlations of IQ’s Measured during the Preschool Years and Middle Childhood, with IQ’s Measured at

Ages 10 and 18. SOURCE: Adapted from Honzik, MacFarlane, & Allen, 1948.

52

Não cognitivas permanecem maleáveis por

mais tempo

58

Escola pode ter papel especialmente importante

no desenvolvimento não cognitivo

Maleabilidade durante grande parte do ciclo permite modificar a

estrutura, não apenas adicionar conteúdo

Mesmo jovens com atraso cognitivo têm muito a ganhar indo para

a escola. Impacto não cognitivo pode ser especialmente importante

para vulneráveis

59

Por que medir características

socioemocionais na escola?

Características socioemocionais são ao menos tão importantes quanto “saber fazer coisas” para o sucesso na vida

Escola é capaz de modificar estas características

Características socioemocionais contribuem para o próprio aprendizado

São maleáveis em idades maiores – maior efeito em grupos vulneráveis

Fonte: Heckman, Stixrud e Urzua (2006)

61

Como medir?

Poder preditivo: características associadas ao sucesso

Factibilidade: linguagem, custo, duração

Maleabilidade na idade escolar

Capacidade transformadora da escola

Estabilidade

62








Laura Pizzo (IAS)

Eduardo Silva (IAS)

Parte 3

Instrutora: Laura Pizzo

63

Projeto

Competências não cognitivas na política

educacional brasileira

64

Introdução

Parceria • IAS - OCDE/CERI/ESP

Colaboração/ Participação • Secretaria Estadual da Educação do Rio de Janeiro

• Secretaria Municipal da Educação do Rio de Janeiro

O Projeto

• Elaboração de um instrumento de avaliação não cognitiva para aplicação periódica nas redes públicas de ensino para subsidiar a elaboração de políticas públicas que visem o desenvolvimento dessas competências

• Instrumento final para recomendações a outros países

65

Desenho do piloto: Amostra

Estratos: regionais e tipos de

atendimento.

6º Ano EF

10º Ano EM

Amostra estratificada por

regionais de ensino:

resultados não serão

significativos

ao nível de escolas

5º Ano

EF

9º Ano

EF

12º Ano

EM

Rede municipal

Rede estadual

55.000 ALUNOS

66

Parte 3: Desenho do piloto

Estratégia de coleta

• Questionário (60 perguntas para 5º e 6º anos e 90 perguntas para 9º, 10º e 12º anos)

• Questionário Socioeconômico

• Reteste => 3.000 alunos (1 mês depois)

Aluno

• Ambiente de aplicação

• Questionário do aluno (3.000 alunos) Professor

• Resultados da primeira e da segunda avaliações formativas

Informação adicional do aluno

67

Desenho do projeto:

Escolha do instrumento para o piloto

Definição do

Instrumento

Escolha dos instrumentos

Tradução

Pré-teste 1 tempo

Pré-Teste 2 Análise

Quali

68

1. As perguntas são adequadas para as idades de aplicação (entendimento cognitivo e emocional dado a idade)?

2. As perguntas são adequadas ao contexto escolar? São úteis para o planejamento da Secretaria?

3. As perguntas são adequadas para a realidade social das crianças (contexto de pobreza, violência, algo pode

ser traumático ou difícil de ser falado)?

4. As crianças da rede terão dificuldades cognitivas para responder independente da idade?

5. Alguma pergunta pode gerar risco de estigmatização da criança ou das turmas de forma não administrável

pela Secretaria?

6. Alguma pergunta pode gerar problemas maiores com o grupo dos professores e sindicatos?

7. Alguma pergunta pode gerar qualquer dificuldade com os pais?

8. Algum outro problema?

Perguntas orientadoras

69

Sistemática de Tradução

1 • Revisão de traduções já validadas e utilizadas no Brasil

2

• Revisão da tradução: equipe IAS e equipe das secretarias estadual e municipal; especialistas

3

• Consolidação das traduções dos itens 1 e 2 para formatação de uma tradução final única

4

• Back Translation: tradutor nativo retraduz para inglês para validação dos autores.

70

Seleção dos instrumentos para o piloto

N Instrumentos Idade Construtos

1 Big Five

Inventory

14+ Big 5

2 SDQ

(temperament)

11-17 Tradição Big 5: sintomas emocionais

(neuroticismo, problemas de conduta

(amabilidade), hiperatividade

(conscienciosidade e neuroticismo), problemas

com colegas ( extroversão) e pro-social

(amabilidade).

Habilidades

sociais

Não encontramos um instrumento adequado

até o momento.

Personalidade


5 Core self-

evaluations

10+ Autoestima

5 Escala de

autoestima de

Rosemberg

10+ Autoestima


3 Self-efficacy

Questionnaire for

Children

14-17 Autoeficácia

4 The resilience

scale

13+ Resiliência

4 The grit scale 10+ Garra

Self-efficacy

Questionnaire for

Children

Inteligência emocional

Auto-estima


6 Norwick-

Strickland

Locus of

controle scale

9+ Locus de

controle

Lócus de controle Auto-controle e outros

71

Pré-teste 1: objetivo

Testar o tempo de resposta dos alunos para cada teste selecionado

Estratégia de minimizar risco de subestimar tempo

1) Priorizar escolas com desempenho educacional um pouco abaixo da média da rede

2) Priorizar séries mais baixas (alunos mais jovens, a princípio, tem maior dificuldade)

72

Quantidade de alunos (Total de 224 alunos)

Rede municipal: aplicação nos 5º e 6º anos na mesma escola

2 turmas de 5º ano: turnos diferentes (60 alunos)

2 turmas de 6º ano: turnos diferentes (42 alunos)

Rede estadual: aplicação no 1º ano em duas escolas distintas

4 turmas de 1º ano do EM divididos: 2 turnos (126 alunos)

Tempo de aplicação: 50 minutos.

Pré-teste 1: Desenho

73

Pré-teste 1: Aplicação

Logística

• Entrega de um questionário por vez

• Anotação da hora inicial e final

• Alunos receberam 2 canetas (azul e vermelha) Troca de canetas a cada 10 minutos

Informações Adicionais

• Folha de rosto (idade; se já repetiu; como se vê (bom aluno, mediano, com dificuldade de aprendizado)

• Ambiente de aplicação

• Perguntas sobre a escola e sobre as turmas

Dificuldade de aplicação

• Expectativa de que os alunos menores responderiam no máximo a 2 instrumentos. Muitos terminaram antes (correção no 2º dia)

74

Pré-teste 1 – análise do tempo por

instrumento

• Dado que os alunos mais velhos conseguem

responder a mais testes, a maioria (71%) da amostra

está concentrada no 1º ano do EM.

• O 5º ano responde, em média, a 3 testes

• Já o 6º ano responde a 4 testes

• O 1º ano do EM responde a 7 testes

14,5%

14,7%

70,9%

Grade 5

Grade 6

Grade 10

SÉRIE MANHÃ TARDE TOTAL

5o ANO 3,1 2,8 3,0

6o ANO 3,6 4,7 4,2

1o ANO 6,8 6,9 6,8

TOTAL 4,5 4,8 4,6

Total de testes realizados por série

Média de testes por série

75


instrumento

5º ano 6º ano

• O 1º ano do EM responde sempre mais rápido que o 5º e o 6º ano

• O 6º ano responde sempre mais rápido do que o 5º ano, exceto pelo Rosemberg (mede

autoestima)

• Embora Grit seja o instrumento mais curto é um dos instrumentos com maior demora por

Item (para todas as séries)

• O mesmo é verdade para os instrumentos de autoestima (Rosemberg e Core)

• BFI e BFC têm menor tempo de resposta por item para todas as séries!

TESTENúmero

de itens

N

respond

entes

MédiaMédia por

item

AUTO 24 21 8,6 0,36

BFC 65 31 20,3 0,31

BFI 44 32 15,2 0,35

GRIT 8 22 6,5 0,81

LOCUS 21 25 10,8 0,52

ROSEMBERG 10 23 5,4 0,54

SDQ 25 21 8,7 0,35

TESTENúmero

de itens

N

respond

entes

MédiaMédia por

item

AUTO 24 23 6,6 0,28

BFC 65 30 15,7 0,24

BFI 44 32 11,9 0,27

GRIT 8 25 4,6 0,57

LOCUS 21 23 6,5 0,31

ROSEMBERG 10 20 6,8 0,68

SDQ 25 24 6,5 0,26

1º ano EM

TESTENúmero

de itens

N

respond

entes

MédiaMédia por

item

AUTO 24 124 4,0 0,17

BFC 65 124 8,7 0,13

BFI 44 120 5,9 0,13

GRIT 8 123 2,2 0,27

LOCUS 21 122 5,1 0,24

CORE 10 122 2,7 0,27

SDQ 25 121 4,3 0,17

76


instrumento

5º ano 6º ano

• Poderia se imaginar que a demora por item observada nos instrumentos Grit, Rosemberg e

Core são explicadas por outliers

• No caso do Rosemberg, a razão máx/min indica a presença de outliers (pois são os valores

mais altos da série)

• No Grit, a razão máx/min não é das maiores!

• E no Core também não

1º ano do EM

TESTEVariabilid

ade (CV)

Razão

Max/Min

Razão

90+/25-

AUTO 4,4 6 3

BFC 4,3 10 2

BFI 4,0 7 2

GRIT 6,0 8 3

LOCUS 4,4 5 2

ROSEMBERG 4,8 13 2

SDQ 6,4 11 4

TESTEVariabilid

ade (CV)

Razão

Max/Min

Razão

90+/25-

AUTO 4,3 12 3

BFC 3,7 6 2

BFI 4,6 8 2

GRIT 3,7 4 2

LOCUS 3,4 7 2

ROSEMBERG 13,5 22 4

SDQ 2,4 3 2

TESTEVariabilid

ade (CV)

Razão

Max/Min

Razão

90+/25-

AUTO 3,5 10 2

BFC 3,6 10 2

BFI 4,0 8 2

GRIT 4,8 8 2

LOCUS 4,2 13 2

CORE 0,3 5 2

SDQ 2,6 4 2

77


instrumento

• Nesta tabela, corrigimos o outlier que havia na Rosemberg

• Tradicionalmente, o turno da tarde tem proficiência mais fraca que o turno da manhã

• Nossos dados mostram que no 6º ano isso não ocorreu

• Para essas séries, há certamente um viés de aplicação, pois aprendemos melhor sobre

a aplicação na parte da tarde e fizemos um rodízio da equipe aplicadora entre as séries

MANHÃ TARDE

DIF

TARDE-

MANHÃ

MANHÃ TARDE

DIF

TARDE-

MANHÃ

AUTO 07:13 09:35 02:22 05:53 07:04 01:11 07:26 00:19

BFC 19:33 20:45 01:12 19:34 14:31 05:03 18:36 00:17

BFI 15:52 14:39 01:13 12:32 11:25 01:07 13:37 00:19

GRIT 04:00 08:30 04:30 05:00 04:13 00:47 05:26 00:41

LOCUS 11:06 10:40 00:26 06:42 06:18 00:24 08:42 00:25

SDQ 08:11 08:22 00:11 06:22 06:32 00:10 07:22 00:18

ROSEMBERG 05:00 05:55 00:55 09:43 05:14 04:29 06:28 00:39

TOTAL

GERAL

5o ANO

TOTAL/

ITEMINSTRUMENTO

6o ANO

Rede Municipal

78


instrumento

• Na rede estadual, uma das escolas rompeu esse padrão de melhor desempenho no turno

da manhã, o que foi notado pela equipe aplicadora no momento da aplicação (conversado inclusive

com a equipe escolar)

• O interessante é que o BFC é o instrumento com maior diferença de tempo médio entre

turnos

Rede Estadual

MANHÃ TARDE

DIF

TARDE-

MANHÃ

MANHÃ TARDE

DIF

TARDE-

MANHÃ

AUTO 03:51 03:30 00:21 03:47 04:51 01:04 04:00 00:10

BFC 07:47 09:02 01:15 07:26 10:25 02:59 08:40 00:08

BFI 05:44 05:42 00:03 05:43 06:33 00:50 05:55 00:08

CORE 02:49 02:26 00:23 02:39 02:51 00:12 02:41 00:16

GRIT 02:15 02:00 00:15 02:03 02:20 00:17 02:10 00:16

LOCUS 04:32 04:54 00:21 05:04 05:45 00:41 05:04 00:14

SDQ 04:29 04:06 00:22 04:02 04:43 00:41 04:20 00:10

INSTRUMENTOTOTAL/

ITEM

CE AMARO CAVALCANTI CE PIERRE PLANCHER

TOTAL

GERAL

79

OBJETIVO

Avaliar adequação dos instrumentos: Análise quantitativa

PERFIL

Escolas com resultado na média da Rede

APLICAÇÃO

Aplicado pelos professores

Ambiente de teste

um dia de aplicação

50 minutos

Pré-teste 2: objetivo

80

Rede municipal

Número de testes

Kit TEST 1

Items

Test 1 TEST 2

Items

Test 2

Itens

Total Students

Classes

5th

Grade

Classes

6th

Grade

Classes

9th

Grade

1 BFC 65 SDQ 25 90 85

2 LOCUS 21 BFC 65 86 85

3 BFC 65 AUTO 24 89 85

4 ROSEMBERG 10 BFC 65 75 85

5 BFC 65 GRIT 8 73 85

6 BFI 44 SDQ 25 69 85

7 BFI 44 LOCUS 21 65 85

8 AUTO 24 BFI 44 68 85

9 BFI 44 ROSEMBERG 10 54 85

10 GRIT 8 BFI 44 52 85

11 SDQ 25 LOCUS 21 46 85

12 SDQ 25 AUTO 24 49 85

13 ROSEMBERG 10 SDQ 25 35 85

14 GRIT 8 SDQ 25 33 85

15 LOCUS 21 AUTO 24 45 85

16 ROSEMBERG 10 LOCUS 21 31 85

17 LOCUS 21 GRIT 8 29 85

18 GRIT 8 AUTO 24 32 85

19 AUTO 24 ROSEMBERG 10 34 85

20 ROSEMBERG 10 GRIT 8 18 85

1700 24 24 24TOTAL

6 6 6

6 6 6

6 6 6

6 6 6

AUTO 510

BFC 425

BFI 425

GRIT 510

LOCUS 510

ROSEMBERG 510

SDQ 510

5º ano 6º ano 9º ano

4 3 3

1 3 2

4 3 3

2 2 2

3 3 3

1 2 3

2 2 2

3 3 3

4 3 3

24 24 24

Quantidade de turmas escolhidas

81

Rede estadual

Número de testes

• 7 escolas considerando 2 turmas por

série

Kit TEST 1

Items

Test 1 TEST 2

Items

Test 2 TEST 3

Items

Test 3

Itens

Total Students

Classes

10th

Grade

Classes

12th

Grade

1 BFI 44 AUTO 24 CORE 10 78 120 2 2

2 AUTO 24 SDQ 25 BFC 65 114 120 2 2

3 SDQ 25 LOCUS 21 BFI 44 90 120 2 2

4 CORE 10 BFC 65 LOCUS 21 96 120 2 2

5 GRIT 8 CORE 10 SDQ 25 43 120 2 2

6 BFC 65 BFI 44 GRIT 10 119 120 2 2

7 LOCUS 21 GRIT 10 AUTO 24 55 120 2 2

840 14 14TOTAL

AUTO 360

BFC 360

BFI 360

CORE 360

GRIT 360

LOCUS 360

SDQ 360

82

1

• Testar compreensão de itens: nova redação X adaptação X exclusão

2

• Testar necessidade de exclusão do teste inteiro: conteúdo X tamanho

3 • Testar quantos itens as crianças conseguem responder

4

• Descrever estratégias mentais/emocionais utilizadas pelas crianças para responder

Quali: Objetivos

83

1

• Testar compreensão de itens: nova redação X adaptação X exclusão

Nova redação

• Compreendido porém há termos mais usuais

• Falta de vocabulário

Adaptação

• Situação não captura a atitude investigada por razões culturais

Exclusão

• Comportamento não faz sentido na cultura

• Falta de vivência

Quali: Objetivos

84

2

• Testar necessidade de exclusão do teste inteiro: conteúdo X tamanho

Conteúdo

• Quantos itens (%) inadequados inviabilizam um teste?

• Quantos itens (%) reformulados inviabilizam um teste?

Tamanho

• Testar se vale a pena aplicar pedaços de testes

Quali: Objetivos

85

3 • Testar quantos itens as crianças conseguem responder

Tamanho

• Testar a partir de recomendações do pré-teste 1 quantos itens no máximo a criança responde com atenção. Hipótese: 60

Hipótese validada!

Quali: Objetivos

86

4

• Descrever estratégias mentais/emocionais utilizadas pelas crianças para responder

Processo

• Como raciocinam para responder a uma escala Likert?

• Chegam a um comportamento médio?

• Como lidam com o depende?

Gostam?

• A dificuldade desmotiva para responder?

• Que sentimentos o teste desperta que possam afetar motivação para responder?

Quali: Objetivos

87

Priorizar itens: (a) classificados como abstratos, (b) classificados com dificuldade

de vocabulário, (c) classificados com dificuldade de maturidade. Forão testados 154 itens de 200.

• 3 construtos

• 1 turma de 5º e 1 de 9º anos por construto

Dinâmica em grupo a partir de leitura

direcionada dos itens (investigar + explicar

lógica do teste).

• 2 constutos

• 1 turma de 5º e 1 de 9º anos por construto

Observação de aplicação com

dinâmica ao final (investigar)

Total de 56 alunos

Quali: Desenho e métodos

88

Participação

• A grande maioria dos alunos teve participação ativa, mesmo os de 5º ano

• Demonstração de muito interesse por parte dos participantes

• Muitos alunos participaram de mais de um grupo (baixa presença na escola – greve geral)

Avaliação dos métodos

• Os participantes preferiram o método 1 ao método 2, facilitando em muito a obtenção de resultados no primeiro método

• Por responderem antes no método 2, os avaliadores puderam extrair informações adicionais de entendimento, não possíveis no método 1

Resultados

• Confirmação de tempo de resposta esperados

• Nova redação de diversos itens devido ao não entendimento de vocabulário e/ou inadequação à cultura e a falta de vivência, principalmente por parte dos alunos mais novos

Quali: Resultados

89

Projeto

Sistema de acompanhamento dos fatores

associados ao aprendizado

Colégio Estadual Chico Anysio

90

Introdução

A Escola

• Escola de Ensino Médio de tempo integral

• 2013: apenas 1º ano

O Currículo

• Currículo inovador que engloba ações voltadas ao desenvolvimento das não cognitivas

O Projeto (área de Avaliação)

• Sistema de acompanhamento de competências não cognitivas do aluno (instrumento pedagógico)

91

1 • Ficha de desenvolvimento Socioemocional

2 • Quem Preenche?

3 • Quantas aplicações por ano?

4 • Relatórios

5 • Plano de Ação

Desenho do projeto

92

Desenho do projeto

• Um instrumento de registro e acompanhamento do desenvolvimento de competências socioemocionais que têm impacto comprovado no processo de aprendizagem, tais como curiosidade, autocontrole, inteligência social etc.

O que é?

• Combinando a experiência dos professores em sala de aula com o resultado de estudos acadêmicos, a Kipp de Nova Iorque, em parceria com a Dra. Angela Duckworth, da Universidade da Pensilvânia, selecionou sete competências consideradas centrais para o processo formativo dos alunos e elaborou um roteiro de avaliação dessas competências por parte dos professores

Como foi desenvolvida?

1 • Ficha de Desenvolvimento socioemocional

93

COMPETÊNCIAS SOCIOEMOCIONAIS

QUAIS SÃO AS COMPETÊNCIAS SOCIOEMOCIONAIS AVALIADAS PELA FICHA DE

DESENVOLVIMENTO SOCIOEMOCIONAL?

A competência Gratidão foi

excluída do instrumento

adaptado por não se

adequar ao currículo da

Escola Chico Anysio

A ficha foi traduzida pela

equipe pedagógica do

projeto e adaptada à

realidade e ao currículo da

escola

94

AVALIAÇÃO DAS COMPETÊNCIAS SOCIOEMOCIONAIS

PADRONIZAÇÃO: A descrição das competências se refere ao ideal de comportamento esperado

para cada uma delas. Esse ideal de comportamento deve estar atrelado ao que se espera do aluno de acordo com o Projeto Político-Pedagógico da Chico Anysio

A avaliação de cada competência deve ser pautada em relação a esse ideal (quanto o aluno se parece com o ideal?)

Diferente dos instrumentos apresentados no projeto anterior, neste caso o ideal é sempre o máximo que o aluno pode alcançar (na escala o máximo é 5)

Descrição do ideal de cada comportamento da maneira mais concreta possível de modo a tornar a avaliação mais objetiva. Foram definidos critérios de observação aplicáveis a todas as situações de aprendizagem (aulas disciplinares e projetos do núcleo)

95

MODELO DE FICHA DO ALUNO (esquema

para ilustrar como se calcula a média)

Escala de resposta:

1. Muito diferente do que é o aluno

2. Diferente do que é o aluno

3. Mais ou menos como é o aluno

4. Parecido como é o aluno

5. Exatamente como é o aluno

FICHA DE DESENVOLVIMENTO SOCIOEMOCIONAL

Aluno B2 2º bimestre

Média das avaliações

4,30

port

mat

hist

geo

Ing

Energia 4,28

1 Participa ativamente 4,5 4 5 4 4 5

2 Mostra entusiasmo 4,17 5 4 3 4 4

3 Contagia os outros 4,17 3 4 5 4 5

Garra

4 Termina o que começa 4,11

5 Tenta com afinco mesmo após experimentar fracasso

6 Trabalha com independência e foco

Autocontrole – trabalho escolar 4,33

7 Vem para as aulas preparado(a)

8 Presta atenção e resiste às distrações

9 Lembra e segue instruções

10 Começa o trabalho imediatamente ao invés de adiar

Autocontrole: intrapessoal 4,54

11 Permanece calmo mesmo quando criticado ou provocado

12 Deixa os outros falar sem interrupção

13 É educado com adultos e colegas

14 Controla bem seu temperamento (não perde a cabeça)

Otimismo 4,25

15 Supera frustrações e obstáculos rapidamente

16 Acredita que o esforço vai melhorar seu futuro

Gratidão 4,25

17 Reconhece e demonstra apreço pelos outros

18 Reconhece e demonstra apreço pelas oportunidades que tem

Inteligência social 4,33

19 Consegue encontrar soluções durante conflito com os outros

20 Demonstra respeito pelos sentimentos dos outros

21 Sabe quando e como incluir os outros

Curiosidade 4,28

22 É ávido por explorar coisas novas

23 Faz e responde perguntas para aprofundar a compreensão

24 Escuta os outros com atenção

96

2 • Quem Preenche?

TODOS OS PROFESSORES

• A avaliação de todos os professores permite captar todas as nuances de comportamento dos alunos (considera afinidades, dilui problemas de conflito)

• Os professores preenchem as avaliações online, em sistema desenvolvido especificamente para este projeto

Consideração importante: Independentemente da carga horária, cada professor deverá ter

pelo menos dois meses de convivência com os alunos para estar apto a preencher a Ficha.

Além disso deverá responder à seguinte questão ao avaliar cada aluno:

Me sinto:

Nada seguro para avaliar este aluno

Pouco seguro para avaliar este aluno

Seguro para avaliar este aluno

Muito seguro para avaliar este aluno

Desenho do projeto

97

3 • Quantas Aplicações por ano?

2013

• Fase de Testagem do instrumento

• Serão realizadas 2 aplicações: setembro e novembro

• A primeira aplicação será amostral (todos os professores preencherão para poucos alunos selecionados para treinamento e ajuste da ferramenta)

• A segunda aplicação será total

Próximos anos

• 2 Aplicações anuais:

• A primeira aplicação é feita no final do primeiro bimestre e todos os professores avaliam todas as competências de todos os alunos

• A segunda aplicação ocorrerá no final do ano (novembro)

Desenho do projeto

98

4 • Relatórios: com gráficos, de fácil leitura

Aluno

• O aluno recebe um relatório com o resultado das avaliações de cada competência (média da avaliação de todos os professores)

• Junto com o professor orientador, o aluno escolherá uma competência para aprimorar durante o ano (deverá estar alinhada com o Projeto de Vida que está sendo desenvolvido)

• Ao final do ano, o aluno recebe o relatório com a evolução da competência escolhida comparada com a primeira medição

Professor

• O professor terá acesso a diversos relatórios: de cada aluno individualmente, da turma, comparativo de sua turma com as demais turmas do mesmo ano

• Futuramente poderá também comparar com as demais escolas da Regional e da Rede, sempre comparando o mesmo ano em questão

• Relatórios comparativos entre anos

Diretor/ Coordenador Pedagógico

• O Diretor/ Coordenador Pedagógico poderá acessar todos os relatórios do Professor e do Aluno e;

• Terão acesso à qualidade da aplicação: quantos professores preencheram no prazo; coerência das respostas (professores que preencheram a mesma resposta para todos os alunos; alunos com muita variabilidade)

Desenho do projeto

99

5 • Plano de Ação (aluno com professor orientador)

Definição da Competência

• Escolha da competência a melhorar (deverá estar alinhada com o Projeto de Vida)

Plano de Ação (desenvolvimento em

2014)

• Desenho do Plano de Ação

• Acompanhamento do Plano de Ação durante o ano

• Avaliação do resultado da segunda medição (comparação com meta de melhoria)

Desenho do projeto

100

Dificuldades de implementação

• Quão sensível é o instrumento no curto prazo (6 meses)?

• Adaptação ao contexto do Colégio Estadual Chico Anysio

Instrumento ainda em

desenvolvimento

• O que é uma meta aceitável para ser alcançada em poucos meses?

Definição de metas

Necessidade de

pesquisa aplicada

e continuidade dos

estudos após

aplicações iniciais

para aprimorar a

escala

101

Próximos passos

Testagem e melhoria das propriedades psicométricas

• Por meio de análise das correlações entre as respostas, testar quantas competências, de fato, a escala consegue capturar para a nossa população de alunos

• Testar o quão sensível as medidas são às ações de curto prazo da escola e propor redefinição dos comportamentos observados e melhoria nos indicadores para tornar as medidas mais sensíveis

• Correlacionar os resultados não cognitivos com outros indicadores para busca de maior robustez das estimativas (testes cognitivos, novas coletas tais como autorresposta)

Expansão do escopo para maior aderência à proposta pedagógica da escola

• Desenvolver piloto para expandir o número de competências atualmente avaliadas => adaptação ao currículo mais amplo

• Apoiar a equipe pedagógica a aprimorar o manual conceitual, sinalizando padronizações necessárias, novas definições

• Associar com maior precisão resultados cognitivos às diferentes ações previstas no currículo da escola

Escalabilidade

• Expandir o processo e o sistema para outras escolas da rede

vii reuniÃo da abave minicurso 2: a importância das...

Documents