avalia maceiÓ 2015avaliamaceio.caedufjf.net/wp-content/uploads/2015/09/maceio_2015... · • os...

AVALIA MACEIÓ 2015

Oficina de Apropriação de Resultados

Objetivos Específicos

1. Apresentar os conceitos e as características da avaliação educacional externa.

2. Apresentar os canais de divulgação de resultados.

3. Promover a apropriação dos resultados da escola.

PARTE 2

1º Momento: Retomada de pontos importantes sobre Avaliação em Larga Escala.

2º Momento: Interpretação e apropriação dos Resultados

1º Momento:

Retomada de pontos importantes sobre Avaliação em Larga Escala.

O que é avaliar?

ColetarDiagnosticar

Decidir Agir

Dados e informações sobre determinada realidade.

Produzir algum julgamento sobre a realidade.

Tomar decisão em função de um objetivo que se deseja alcançar.

Traçar estratégias de uma ação sobre o objeto avaliado.

Como funciona a avaliação em larga escala?

Etapas básicas dos Sistemas de Avaliação

• Determinação da população a ser avaliada

1

• Elaboração da Matriz de Referência

• Construção de itens• Pré-testagem dos itens• Análise estatística e

pedagógica dos itens

2

• Montagem dos cadernos de testes (BIB)

• Elaboração dos testes• Elaboração dos

questionários contextuais

3

• Aplicação dos instrumentos

• Processamento e constituição da base de dados da avaliação

4• Análise dos resultados: TCT e TRI• Produção dos resultados• Construção e interpretação das

Escalas de Proficiência• Divulgação dos resultados

5

Instrumentos da Avaliação em Larga Escala

Matriz de Referência Itens Escala de Proficiência Padrões de Desempenho

Matriz de Referência• É formada por um conjunto de habilidades que tem como fonte as

diretrizes curriculares da rede avaliada (estado ou município) e é ela quedá origem aos itens que compõem os testes das avaliações em largaescala.

• Pode ser compreendida como um recorte do currículo e, por isso, nãodeve ser confundida com o mesmo.

• Os conhecimentos selecionados para a composição dos testes sãoescolhidos por serem considerados essenciais para o período deescolaridade avaliado e por serem passíveis de medição por meio detestes padronizados de desempenho, compostos, na maioria das vezes,apenas por itens de múltipla escolha.

• Há, entretanto, outros conhecimentos necessários ao plenodesenvolvimento do estudante que não se encontram na Matriz deReferência por não serem compatíveis com o modelo de teste adotado.

Matriz de Referência

Itens

• Avalia uma única habilidade, portanto o item éunidimensional.

• Obtém um resultado por estudante, que permiteavaliar as hipóteses levantadas por ele.

• Na formulação de um item, deve-se considerar:

GRAU DE DIFICULDADE(diz respeito à adequação entre a formulação do item e a capacidade

de resposta do estudante)

DISCRIMINAÇÃO(capacidade de o item de distinguir estudantes com diferentes níveis de

habilidade)

Itens

ENUNCIADOSUPORTE

COMANDO

GABARITO DISTRATORES

Como os testes são corrigidos?

Parâmetros da Teoria de Resposta ao Item (TRI), que é utilizada para correção dos testes aplicados pelo CAEd

15

2 + 2

2 x 3

2/7³

2² x (√3)

Como são corrigidos os testes

16

Como são corrigidos os testes

http://blogs.estadao.com.br/mateus-prado/o-primeiro-simulado-que-te-ajuda-a-entender-o-calculo-da-nota-do-enem/

Escala de Proficiência

• Tem como objetivo traduzir medidas emdiagnósticos qualitativos do desempenho escolar.

• Apresenta os resultados de um teste de largaescala em uma espécie de régua onde os valoresobtidos são ordenados e categorizados emintervalos ou faixas que indicam o grau dedesenvolvimento das habilidades para osestudantes que alcançaram determinado nível dedesempenho


Ainda não desenvolveram a habilidade.

Começam a desenvolver a competência.

Identificam o tema de textos curtos, de

linguagem simples, cujo tema vem indicado no

título.

Identificam o tema de um

texto valendo-se de pistas textuais.

Identificam o tema a partir da conjugação das pistas textuais e do conhecimento de mundo do leitor, desde que seja em textos de temática e gênero

familiares.

Identificam o tema em textos menos

familiares que exijam a realização de

inferências. Esses estudantes já

consolidaram essa habilidade.

Padrões de Desempenho

Baixo Recuperação

Básico Reforço

Adequado Aprofundamento

Avançado Desafio

2º Momento:

Interpretação e apropriação dos Resultados

Divulgação de Resultados

• Os Resultados por Escola (TRI) são divulgados no site:

http://www.avaliamaceio.caedufjf.net/

Divulgação de ResultadosClique em “RESULTADOS”.

Divulgação de ResultadosClique em “Escola”, em seguida, em “Resultados”.

Divulgação de ResultadosClique em “Abrir Resultados”

Divulgação de ResultadosApós inserir “Usuário” e “Senha”, visualize o “Filtro de Pesquisa de Resultado(s) Escola”.

Cada unidade escolar visualiza apenas o próprio resultado, por isso o “Filtro” é

automaticamente preenchido.

Divulgação de ResultadosComponentes do Resultado por Escola (TRI)

Identificação da Escola e do Resultado

• Escola• Município• Região Administrativa• Etapa• Disciplina

Níveis de Resultado

• Em cada agrupamento: Resultado Rede, Resultado Região Administrativa e Resultado Escola

• Em cada coluna: 1. Proficiência Média, 2. Participação e 3. Evolução


Identificação da Escola e do Resultado


Resultado - REDE


Resultado - REDE

Proficiência Média


Resultado - REDE

Participação


Resultado - REDE

Evolução do Percentual de Estudantes por Padrão de Desempenho


Resultado – Região Administrativa


Resultado - Regional

Proficiência Média



Participação



Evolução do Percentual de Estudantes por Padrão de Desempenho


Resultado - Escola

Divulgação de ResultadosComponentes do Resultado por Escola (TRI)

Percentual de Estudantes por Padrão de Desempenho

• Em cada agrupamento: Rede, Regional e Escola• Distribuição por Níveis de Desempenho

(Intervalos)• Distribuição por Padrões de Desempenho


Padrão BAIXO

Padrão BÁSICO

Padrão ADEQUADO

Padrão AVANÇADO


• Os Resultados por Aluno (TCT) são divulgados no site:

http://www.avaliamaceio.caedufjf.net/

Divulgação de ResultadosClique em “RESULTADOS”.

Divulgação de ResultadosClique em “Aluno”, em seguida, em “Resultados”.

Divulgação de ResultadosApós inserir “Usuário” e “Senha”, visualize o “Filtro de Pesquisa de Resultado(s) Aluno”.

Cada unidade escolar visualiza apenas o próprio resultado, por isso o “Filtro” é

automaticamente preenchido.


Descritores avaliados, número de acertos e número de itens apresentados no teste de cada estudante

Percentual Médio de Acertos, Categoria de Desempenho,

Proficiência e Padrão de Desempenho

• ATENÇÃO, no painel de Resultados por Aluno (TCT), entenda:

• Identifica, por meio de cores diferentes, o quartil de categoria de desempenho em que o estudante está alocado – até 25% de acerto, de 25% até 50% de acerto, de 50% até 75% de acerto e acima de 75% de acerto.

Categoria de Desempenho

• Identifica o Padrão de Desempenho em que o estudante está alocado, de acordo com Proficiência Média alcançada por ele. Os Padrões possuem nomenclaturas próprias, conforme os cortes na Escala de Proficiência.

Padrão de Desempenho


Dinâmica:

1) Preenchimento das planilhas TRI;

2) Preenchimento da planilha TCT.

51

Equipe Gestora

• Conhecer os resultados gerais da escola:1. Etapas avaliadas e percentual de participação;2. Etapas avaliadas e proficiência média em cada

disciplina;3. Etapas avaliadas, proficiência média e distribuição

por padrão de desempenho em cada disciplina;

Dinâmica:

52

Equipe Gestora1. Etapas avaliadas e percentual de participação

• Observe o número de estudantes e o percentual de participação (acima ou abaixo de 80%?);

• Analise os resultados de participação (por que este resultado está acima ou abaixo de 80%?);

• Quais intervenções podem ser feitas pela equipe de gestores e professores da escola?

Dinâmica:

53

Equipe Gestora2. Etapas avaliadas e proficiência média em cada disciplina

• Observe a proficiência média;• Relacione a proficiência média com o padrão

desempenho;• Identifique habilidades e competências

desenvolvidas (com base nesse padrão de desempenho);

Dinâmica:

54


• Reflita sobre o desempenho alcançado no teste e o resultado esperado pela escola ou pela rede: qual o desempenho alcançado pelos estudantes em relação ao esperado? Quais habilidades e competências devem ser desenvolvidas para alcançar o resultado esperado?

Dinâmica:

55


• Relacione o resultado alcançado com as políticas públicas e ações/intervenções pedagógicas implementadas na escola (o que podemos perceber/identificar?);

Dinâmica:

56


• Observe, na escola, os resultados alcançados em diferentes etapas de escolaridade;

• Com base nesses resultados, elabore possíveis ações de intervenção para cada etapa, com o objetivo de recuperar alunos com desempenho abaixo do esperado, de acordo com as possibilidades da escola.

Dinâmica:

57


• Com base nesse resultado, podemos fazer as seguintes inferências:– Como possibilitar que os estudantes que chegaram ou

chegarão a esta etapa desenvolvam as habilidades esperadas?

– Como recuperar os estudantes que já passaram pela etapa avaliada para que, ao final da Educação Básica, tenham desenvolvido habilidades e competências esperadas?

Dinâmica:

58

Equipe Gestora3. Etapas avaliadas, proficiência média e distribuição por padrão de desempenho em cada disciplina;

• Identifique o percentual de estudantes em cada padrão de desempenho;

• A(s) turma(s) dessa escola é(são) homogênea(s) e todos desenvolveram as habilidades no mesmo grau de complexidade?

59


• Calcule o número de estudantes em cada padrão de desempenho;– Conseguimos identificar quem são os estudantes

alocados em cada padrão na escola? Considerar, em um primeiro momento, apenas o resultado por escola.

Dinâmica:

60


• Apresente as habilidades e competências desenvolvidas por cada grupo de estudantes (observar, em relação às habilidades e às competências, o desempenho alcançado por alunos que estão alocados em padrões de desempenho diferentes).

Dinâmica:

61

Equipe Pedagógica

• Conhecer os resultados de desempenho e habilidades desenvolvidos pelos estudantes:

1. Proficiência média e padrões de desempenho;2. Etapa de escolaridade e percentual de acerto por

descritor;3. Avaliação externa e interna.

Dinâmica:

62

Equipe Pedagógica1. Proficiência média e padrões de desempenho

• Observe a proficiência média;• Relacione proficiência média com o padrão

desempenho;• Identifique habilidades e competências

desenvolvidas (com base nesse padrão de desempenho);

Dinâmica:

63

Equipe Pedagógica1. Proficiência média e padrões de desempenho

• Qual o desempenho alcançado pelos estudantes em relação ao esperado? Quais habilidades e competências devem ser desenvolvidas para alcançar o resultado esperado?

• Relacione o resultado alcançado com as ações/intervenções pedagógicas implementadas na turma (o que podemos perceber/identificar?);

Dinâmica:

64

Equipe Pedagógica2. Etapa de escolaridade e percentual de acerto por descritor

• Observe o percentual de acerto geral da escola em cada disciplina e etapa de escolaridade;

Dinâmica:

65


• Relacione cada habilidade (descritor) com o percentual de acerto;

• Observe a relação existente entre descritores (são habilidades de uma mesma competência ou conteúdo comum?);

Dinâmica:

66


• Observe descritores menos acertados (relacionar às habilidades/descritor):– Estão relacionados a um mesmo tema/domínio/tópico?– Estão relacionados às habilidades com grau de

complexidade maior que as demais habilidades do teste?– São habilidades desenvolvidas naquela etapa avaliada ou

são desenvolvidas ao longo do Ensino Fundamental?

Dinâmica:

67


• Observe descritores menos acertados (relacionar às habilidades/descritor):– Qual a relação de cada habilidade com os conteúdos

trabalhados em sala de aula? Quais as práticas pedagógicas adotadas pelos professores da escola em relação a cada um desses conteúdos?

– Como possibilitar a compreensão dos estudantes em relação a cada uma dessas habilidades: ações pedagógicas? Formação dos professores? Utilização de recursos pedagógicos?

Dinâmica:

68


• Observe os descritores mais acertados (relacionar às habilidades/descritor): – Estão relacionados a um mesmo

tema/domínio/tópico?– Estão relacionados às habilidades com grau de

complexidade menor que as demais habilidades do teste?

– Podem auxiliar no desenvolvimento de descritores menos acertados? Como?

Dinâmica:

69


• Dentre os temas apresentados, quais são aqueles com os menores percentuais de acerto por descritor?

• Qual a relação desse resultado com o trabalho feito pelo professores em sala de aula?

• Este trabalho é adequado e suficiente para alcançar os resultados esperados? O que pode ser modificado? O que deve continuar?

Dinâmica:

70

Equipe Pedagógica3. Avaliação externa e interna

• Os resultados da avaliação interna são comparáveis àqueles extraídos da avaliação externa:– As habilidades avaliadas pelos professores são as

mesmas avaliadas pelo programa de avaliação externa?

– Os conteúdos desenvolvidos pelos professores da escola, com base no currículo, estão relacionados com as habilidades da matriz de referência?

Dinâmica:

Resultado por Escola (TRI)

Padrões de Desempenho

Resultado por Aluno (TCT)

Até o nível “Turma”

Dúvidas???

Muito obrigado!

[email protected]

mailto:[email protected]

avalia maceiÓ 2015avaliamaceio.caedufjf.net/wp-content/uploads/2015/09/maceio_2015... · • os...

Documents