Oficina de Apropriação de Resultados para

Professores

PAEBES 2014Matemática

PAEBES 2014

2

Momentos de formação

1º Momento: Avaliação Externa e em Larga Escala.

2º Momento: Resultados.

1º MomentoAvaliação Externa e em Larga Escala

PAEBES 2014

O que é avaliar?

Coletar

Diagnosticar

Decidir Agir

Produzir algum julgamento sobre a realidade.

Dados e informações sobre determinada realidade.

Tomar decisão em função de um objetivo que se deseja alcançar.

Traçar estratégias de uma ação sobre o objeto avaliado.

PAEBES 2014

4

Avaliação Interna e Externa

PAEBES 2014

5

Provas abertasProvas objetivas

Observação/RegistroPortfólio

TEORIA CLÁSSICATEORIA DA RESPOSTA

AO ITEM

Avaliação Interna/Escola

Processo da aprendizagem

AVALIAÇÃO EDUCACIONAL

Avaliação Externa/Sistemas

Testes de proficiência Questionários contextuais

Desempenho dos alunos

PAEBES 2014

6

Os Sistemas de Avaliação

• Um Sistema de Avaliação da Educação tem por objetivo fornecer dados sobre o desempenho dos estudantes, a fim de contribuir para o aprimoramento da educação oferecida pela rede de ensino.

PAEBES 2014

Etapas básicas dos Sistemas de Avaliação

•Determinação da população a ser avaliada

1

•Elaboração da Matriz de Referência

•Construção de itens

•Pré-testagem dos itens

•Análise estatística e pedagógica dos itens

2

•Montagem dos cadernos de testes (BIB)

•Elaboração dos testes

•Elaboração dos questionários contextuais

3

•Aplicação dos instrumentos

•Processamento e constituição da base de dados da avaliação

4

•Análise dos resultados: TCT e TRI

•Produção dos resultados

•Construção e interpretação das Escalas de Proficiência

•Divulgação dos resultados

5

7

PAEBES 2014

8

Desenho da Avaliação

PAEBES ALFA 1ª onda

Edição 1º ano EF

2008 Língua Portuguesa

2009 Língua Portuguesa

2010 Língua Portuguesa e Matemática

2011 Língua Portuguesa e Matemática

2012 Língua Portuguesa e Matemática

2013 Língua Portuguesa (Leitura e Escrita) e Matemática

2014 Língua Portuguesa, Leitura, Escrita e Matemática

PAEBES 2014

9

Desenho da Avaliação

PAEBES ALFA 2ª onda

Edição 1º ano EF 2º ano EF 3º ano EF

2008 LP LP LP

2009 LP LP LP

2010 LP e MAT LP e MAT LP e MAT

2011 LP e MAT LP e MAT LP e MAT

2012 LP e MAT LP e MAT LP e MAT

2013LP (Leitura e Escrita) e

MATLP (Leitura e Escrita) e

MATLP (Leitura e Escrita) e

MAT

2014LP, Leitura, Escrita e

MATLP, Leitura, Escrita e

MATLP, Leitura, Escrita e

MAT

PAEBES 2014

10

Desenho da Avaliação

PAEBES

Edição 5º ano EF 9º ano EF 1º ano EM 2º ano EM 3º ano EM

2009 LP e MAT LP e MAT LP e MAT - -

2010 LP e MAT LP e MAT LP e MAT - LP e MAT

2011 LP e MAT LP e MAT - -LP, MAT, BIO,

FIS, QUI

2012 LP e MATLP, MAT, GEO e

HIST -LP e MAT(estudo

secretaria)

LP, MAT, GEO, HIST

2013 LP e MAT LP, MAT e CIEN - -LP, MAT, BIO,

FIS, QUI

2014 LP, MAT, PTLP, MAT, HIST,

GEO- -

LP, MAT, HIST,GEO

PAEBES 2014

11

Como utilizar os resultados?

Uso dos ResultadosProfessor

12

PAEBES 2014

Projetos de intervenção pedagógica

Elaboração de projetos especiais

Foco nos alunos com dificuldades

Planejamento das ações de sala de aula

Ações de reforço escolar

Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica

Uso dos ResultadosAluno e família

13

PAEBES 2014

Acompanhamento individual do desempenho escolar pelos alunos e seus familiares

Informações sobre a qualidade dos serviços educacionais oferecidos

2º MomentoResultados

PAEBES 2014

15

Como trabalhar os resultados na escola

• O trabalho de intervenção realizado em cada escola, deve ser desenvolvido pensando criticamente na prática de hoje ou anteriores e nos resultados alcançados.

• Conhecendo esses elementos, pode-se pensar em estratégias para melhorar a prática que será aplicada.

PAEBES 2014

16

Os grupos de trabalho e o modo de contato/intervenção para cada grupo

– Qual o trabalho desenvolvido com a equipe gestora (direção e coordenação)?

– Qual o trabalho desenvolvido com equipe pedagógica (coordenadores e professores)?

PAEBES 2014

17

Equipe Pedagógica

• Conhecer os resultados gerais da escola:

1. Etapas avaliadas e percentual de participação;

2. Etapas avaliadas e proficiência média em cada disciplina;

3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;

PAEBES 2014

18

Como os dados podem ser acessados?

– Revista Impressa;

– Acesso ao portal – PAEBES

PAEBES 2014

19

Como os dados podem ser acessados?

Acesso ao portal: http://www.paebes.caedufjf.net/

PAEBES 2014

20

PAEBES 2014

21

PAEBES 2014

22

PAEBES 2014

23

PAEBES 2014

24

PAEBES 2014

25

Resultados:

- Por escola:

- foco na TRI;

- Por aluno:

-foco na TCT.

PAEBES 2014

26

PAEBES 2014

27

PAEBES 2014

28

PAEBES 2014

29

O que representa a Proficiência Média?

• O que são itens?– São os elementos que compõem os testes ouquestionários

• O que é proficiência?– É a medida que representa um determinado traçolatente (aptidão)

• Teoria da Resposta ao Item (TRI)– Grupo de modelos matemáticos e estatísticos quedescrevem a associação entre a aptidão de um indivíduoe a probabilidade de uma resposta a um item

PAEBES 2014

ITEM

DistratoresGabarito

Comando

Suporte

É o estímulo para que o aluno mobilize recursos para solucionar o problema apresentado.

Dado sob a forma de complementação ou de interrogação, deve estar atrelado à habilidade que se pretende avaliar

Devem ser plausíveis referindo-se a raciocínios possíveis

PAEBES 2014

30

PROFICIÊNCIA

Ao realizarem os testes, os alunos obtêm um determinado nível de desempenho nas habilidades testadas que chamamos PROFICIÊNCIA.

A proficiência não depende apenas do valor absoluto de acertos, depende também da dificuldade e da capacidade de discriminação das questões que o aluno acertou e/ou errou.

31

PAEBES 2014

TRI – TEORIA DE RESPOSTA AO ITEM

32

PAEBES 2014

PADRÕES DE DESEMPENHO

33

PAEBES 2014

São categorias definidas a partir de cortes numéricos queagrupam os níveis da Escala de Proficiência, com base nasmetas educacionais estabelecidas pelo PAEBES. Esses cortesdão origem a quatro Padrões de Desempenho – Abaixo dobásico, Básico, Proficiente e Avançado, os quais apresentamo perfil de desempenho dos estudantes.

O que representam os Padrões de Desempenho?

34

PAEBES 2014

• RECUPERAÇÃO: Os estudantes demonstram um desenvolvimento ainda incipiente das principais habilidades associadas à sua etapa de escolaridade.

• REFORÇO: Os estudantes respondem itens com habilidades mais complexas, quando comparados com o verificado no padrão anterior.

•APROFUNDAMENTO: Esses estudantes demonstram atender às condições mínimas para que avancem em seu processo de escolarização.

• DESAFIO: Esses estudantes costumam responder corretamente a um maior quantitativo de itens, o que sugere a sistematização do processo de aprendizagem de forma consolidada para aquela etapa de escolaridade.

Do mais básico...

Ao mais avançado...

35

Como realizar a leitura e interpretação dos resultados?

• O VÍDEO de Apropriação de Resultados

• As REVISTAS publicadas pelo sistema

PAEBES 2014

36

PAEBES 2014

37

Organize os dados na tabela...

PAEBES 2014

38

Equipe Pedagógica1. Etapas avaliadas e percentual de participação

• Observe o número de estudantes e o percentual de participação (acima ou abaixo de 80%?);

• Analise os resultados de participação (por que este resultado está acima ou abaixo de 80%?);

• Quais intervenções podem ser feitas pela equipe pedagógica da escola?

PAEBES 2014

39

Equipe Pedagógica2. Etapas avaliadas e proficiência média em cada disciplina

• Observe a proficiência média;

• Vamos alocar esse dado na escala de proficiência;

PAEBES 2014

PAEBES 2014

40

41

Equipe Pedagógica2. Etapas avaliadas e proficiência média em cada disciplina

• Observe a proficiência média;

• Relacione a proficiência média com o padrão desempenho;

• Identifique habilidades e competências desenvolvidas (com base nesse padrão de desempenho);

PAEBES 2014

42

Equipe Pedagógica2. Etapas avaliadas e proficiência média em cada disciplina

• Reflita sobre o desempenho alcançado no teste e o resultado esperado pela escola: – Qual o desempenho alcançado pelos

estudantes em relação ao esperado?

– Quais habilidades e competências devem ser trabalhadas com o objetivo de alcançar o desenvolvimento esperado dos estudantes?

PAEBES 2014

43

Equipe Pedagógica2. Etapas avaliadas e proficiência média em cada disciplina

• Relacione o resultado alcançado com as ações/intervenções pedagógicas implementadas na escola;

PAEBES 2014

44

Equipe Pedagógica2. Etapas avaliadas e proficiência média em cada disciplina

• Observe, na escola, os resultados alcançados em diferentes etapas de escolaridade;

• Com base nesses resultados, elabore possíveis ações de intervenção para cada etapa, com o objetivo de recuperar alunos com desempenho abaixo do esperado, de acordo com as possibilidades da escola.

PAEBES 2014

45

Equipe Pedagógica2. Etapas avaliadas e proficiência média em cada disciplina

• Com base nesse resultado, podemos fazer as seguintes inferências:– Como possibilitar que os estudantes que chegarão

à esta etapa desenvolvam as habilidades esperadas?

– Como recuperar os estudantes que já passaram pela etapa avaliada para que, ao final da Educação Básica, tenham desenvolvido habilidades e competências esperadas?

PAEBES 2014

46

PAEBES 2014

47

Organize os dados na tabela...

PAEBES 2014

48

Equipe Pedagógica

3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;

• Identifique o percentual de estudantes em cada padrão de desempenho;

• A(s) turma(s) dessa escola é(são) homogênea(s) e todos desenvolveram as habilidades no mesmo grau de complexidade?

PAEBES 2014

49

Equipe Pedagógica

3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;

• O padrão de desempenho com maior percentual de estudantes é o mesmo padrão representado pela proficiência média alcançada pela escola?

PAEBES 2014

50

Equipe Pedagógica

3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;

• Calcule o número de estudantes em cada padrão de desempenho;

– Conseguimos identificar quem são os estudantes alocados em cada padrão, na escola?

PAEBES 2014

51

Equipe Pedagógica

3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;

• Apresente as habilidades e competências desenvolvidas por cada grupo de estudantes (observar, em relação às habilidades e às competências, o desempenho alcançado por alunos que estão alocados em padrões de desempenho diferentes).

PAEBES 2014

52

PAEBES 2014

53

PAEBES 2014

54

Organize os dados na tabela...

PAEBES 2014

55

Equipe Pedagógica

4. Etapa de escolaridade e percentual de acerto por descritor

• Observe o percentual de acerto geral da escola em cada descritor e etapa de escolaridade;

PAEBES 2014

56

Equipe Pedagógica

4. Etapa de escolaridade e percentual de acerto por descritor

• Relacione cada habilidade (descritor) com o percentual de acerto;

• Observe a relação existente entre descritores (habilidades de uma mesma competência ou habilidades trabalhadas no desenvolvimento de um determinado conteúdo);

PAEBES 2014

57

Equipe Pedagógica

4. Etapa de escolaridade e percentual de acerto por descritor

• Observe descritores menos acertados :

– Estão relacionados a um mesmo tema/domínio/tópico?

– Estão relacionados às habilidades com grau de complexidade mais alto para aquela etapa de escolaridade?

PAEBES 2014

58

Equipe Pedagógica

4. Etapa de escolaridade e percentual de acerto por descritor

• Observe descritores menos acertados :– São habilidades desenvolvidas naquela etapa

avaliada ou são desenvolvidas ao longo do Ensino Fundamental?

– Qual a relação de cada habilidade com os conteúdos trabalhados em sala de aula? Quais as práticas pedagógicas adotadas pelos professores da escola em relação a cada um desses conteúdos?

PAEBES 2014

59

Equipe Pedagógica

4. Etapa de escolaridade e percentual de acerto por descritor

• Observe descritores menos acertados:– Como possibilitar a compreensão dos

estudantes em relação a cada uma dessas habilidades: Modificar por outras ações pedagógicas? Pesquisar/estudar outras formas de abordagem do conteúdo? Utilizar outros recursos pedagógicos? Outros...

PAEBES 2014

60

Equipe Pedagógica4. Etapa de escolaridade e percentual de acerto por descritor

• Observe os descritores mais acertados: – Estão relacionados a um mesmo

tema/domínio/tópico?– Estão relacionados às habilidades com grau de

complexidade menor para essa etapa de escolaridade?

– Podem auxiliar no desenvolvimento de descritores menos acertados? Como?

PAEBES 2014

61

Equipe Pedagógica

4. Etapa de escolaridade e percentual de acerto por descritor

• Dentre os temas apresentados, quais são aqueles com os menores percentuais de acerto por descritor?

• Qual a relação desse resultado com o trabalho feito pelo professores em sala de aula?

• Este trabalho é adequado e suficiente para alcançar os resultados esperados? O que pode ser modificado? O que deve continuar?

PAEBES 2014

62

Equipe Pedagógica5. Avaliação externa e interna

• Os resultados da avaliação interna são comparáveis àqueles extraídos da avaliação externa:– As habilidades avaliadas pelos professores são as

mesmas avaliadas pelo programa de avaliação externa?

– Os conteúdos desenvolvidos pelos professores da escola, com base no currículo, estão relacionados com as habilidades da matriz de referência?

PAEBES 2014

www.caed.ufjf.br

oficinasecursos@caed.ufjf.br

63