oficina de apropriaÇÃo de resultados 2011 · avaliar. É refletir sobre uma determinada...

OFICINA DE APROPRIAÇÃO

DE RESULTADOS 2011

OFICINA DE APROPRIAÇÃO DE RESULTADOS SAEPI 2011

AVALIARÉ refletir sobre uma determinada realidade, a partir de

dados e informações, e emitir um julgamento que possibilite uma ação.


O CAEd – Centro de Políticas Públicas e Avaliação daEducação, da UFJF, é uma instituição que elabora edesenvolve programas de avaliação sobre orendimento escolar dos alunos de escola públicas,promovidos pelas Secretarias Estaduais de Educação.Também cria e promove cursos de formação,qualificação e aprimoramento aos profissionais daEducação de diversos Estados do Brasil, além dedesenvolver software para a gestão de escolaspúblicas (como por exemplo, os projetos SisLame eSIMADE) com o objetivo de modernizar a gestãoeducacional.O CAEd também presta serviços de apoio para odesenvolvimento de projetos educacionaispromovidos por iniciativas privadas, a exemplo dealgumas ações da Fundação Roberto Marinho, doInstituto Unibanco e da Fundação Oi Futuro.


Tipos de Avaliação

•Avaliação Interna• Processo de Aprendizagem• Diversos Instrumentos de Avaliação• Avaliação Formativa• Teoria Clássica dos Testes (Nota)

•Avaliação Externa• Produto (habilidades)• Teste de Múltipla Escolha• Teoria de Resposta ao Item (TRI)


Por que avaliar um sistema educacional

Obter informações sobre o nível de desenvolvimento das habilidades dos estudantes com vistas à implementação de políticas públicas e à organização dos processos de ensino e de aprendizagem


•Quais são os objetivos do SAEPI?

• O que o SAEPI avaliou em sua edição de 2011?

•Você acha que os resultados dessa avaliação podem ser utilizados para a melhoria da educação em nossa escola? Se sim, como?

Algumas características do SAEPI


Algumas características do SAEPI

• Programa que visa diagnosticar o desempenho

dos estudantes em diferentes áreas do

conhecimento e níveis de escolaridade, bem

como subsidiar a implementação, a

(re)formulação e o monitoramento de políticas

educacionais, contribuindo ativamente para a

melhoria da qualidade da educação no estado.


Alguns objetivos do SAEPI

•Desempenho escolar;• Análise dos resultados possibilita intervençãopedagógica;• Dados do SAEPI devem fazer parte daproposta de melhoria da qualidade daeducação ofertada pela escola

Seção 1

Matriz de Referência



Aspectos a serem considerados em uma Matriz

• Constitui um parâmetro de orientação para avaliação;• Apresenta o objeto da avaliação;• Caráter de universalidade; • Orientação na elaboração de itens.


Ressaltamos que as matrizes de referêncianão englobam todo o currículo escolar.

Um recorte é feito com base no que épossível aferir por meio do tipo deinstrumento de medida utilizado na avaliaçãoe que, ao mesmo tempo, é representativo doque está contemplado nos currículos.

Vejamos um exemplo:

Simulação de Pesquisas

Elaboração e aplicação de

questionários

Interpretação dos resultados da

Pesquisa

Tabelas

Gráficos

Resolver problemas envolvendo informações

apresentadas em Gráficos e Tabelas

Ler, selecionar e interpretar

informações em Gráficos

Construção de Tabelas

Construção de Gráficos

Conteúdo: Probabilidade e EstatísticaExemplo:

A Matriz de Matemática está estruturada em TEMAS:

I − Espaço e Forma;II – Grandezas e Medidas;III – Números e Operações / Álgebra e Funções;IV – Tratamento da Informação.



Destes temas selecionados:Espaço e Forma, Grandezas e Medidas, Números e Operações e Tratamento da

Informação

temos cada um deles representandoconteúdos com base nos quais sãoelaborados descritores que expressamhabilidades em Matemática.

Matriz de Referência para Avaliação

Elemento base de origem dos testes utilizados no SAEPI.Garante legitimidade e transparência à avaliação.

É formada por um conjunto de descritores que, agrupadosem tópicos/temas, apresentam as habilidades consideradasbásicas e possíveis de serem aferidas por meio do instrumentoutilizado em avaliações em larga escala.

Não abarca todo currículo escolar. Por isso, não pode serconfundida com parâmetros curriculares, Base CurricularComum - BCC, procedimentos ou estratégias de ensino ouOrientações Teórico-Metodológicas - OTM, nem com o conteúdoa ser trabalhado pelo professor em sala de aula.


Como a Matriz de Referência dá origem aos testes?

• Constitui um parâmetro de orientação;

• Apresenta o objeto da avaliação;

• Caráter de universalidade;

• Orienta a elaboração de itens.


MATRIZ DE REFERÊNCIA

Conjunto de descritores

Conteúdo programático na

área de conhecimento a

ser avaliada

Descritores originados do cruzamento entre conteúdos

programáticos e as habilidades e competências cognitivas

que lhes são próprias.

Nível de operação mental

necessário para a

aprendizagem


Algumas interpretações teóricas

Competências e Habilidades

Competências referem-se às diferentes modalidadesestruturais da inteligência que compreendem determinadasoperações que o sujeito utiliza para estabelecer relações com eentre os objetos físicos, conceitos, situações, fenômenos epessoas.

As habilidades instrumentais referem-se especificamente aoplano do saber fazer e decorrem, diretamente, do nível estruturaldas competências já adquiridas e que se transformam emhabilidades.

PERRENOUD, P. Práticas pedagógicas, profissão docente e formação. Lisboa: Dom Quixote, 1993


Aspectos a considerar sobre Descritores

• Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo estudante que se traduzem emcertas habilidades.

• Constituem uma sumária “descrição” dashabilidades esperadas ao final de cada períodoescolar avaliado.


21

• A função dos descritores é, portanto, indicar as habilidades queserão objeto de avaliação, no conjunto de itens que compõe oteste em cada período de escolaridade.

• Os descritores:- pretendem indicar quais as habilidades que se espera

que os alunos tenham desenvolvido;- constituem a referência para a elaboração dos itens que

devem compor o teste de desempenho.

• É a matéria-prima para elaboração dos itens.



O QUE É UM ITEM?

• É uma questão do teste de larga escala.• Avalia uma única habilidade, portanto o item é

unidimensional.• Obtém um resultado por estudante, que

permite avaliar as hipóteses levantadas por ele.


•Descreve cada uma das habilidades da Matriz

• Avalia apenas uma única habilidade

• Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades.

• Agrupa as habilidades passíveis de avaliação em um teste de proficiência.

Matriz Tema Tópico

DescritorItem

Das Matrizes aos itens dos testes de proficiência


Considerar

Grau de Dificuldade – diz respeitoà adequação entre a formulaçãodo item e a capacidade deresposta do estudante.

Discriminação – capacidade do itemde distinguir estudantes comdiferentes níveis de habilidade.


Comando

Distratores

Gabarito

O ITEM E SUAS PARTES


Suporte

- enfocar uma única situação-problema;- incluir no enunciado uma figura, um

recorte de jornal ou revista, uma fotografia,ua elaboração;

- redigir o enunciado de forma direta e afirmativa;

- utilizar vocabulário adequado ao nível de escolaridade do estudante;


- excluir qualquer referência discriminatória quanto a etnia;

religião, gênero ou orientação sexual;- observar as normas da ABNT na

apresentação de textos e figuras;- não utilizar “pegadinhas” nem “dicas”;- não utilizar termos como “sempre”,

“nunca”, “todo”, “totalmente”.


estar diretamente relacionada a um único descritor da Matriz de Referência;

formular de maneira positiva;

a tarefa desejada em conexão com o problema proposto.


Quanto à Redação

Enunciado: deve ser claro, preciso e conciso.

Gabarito: exclusivamente um.

Distratores: devem ser plausíveis.

Suportes: devem conter informações relevantes.



Como são construídos os testes de proficiência que permitem medir o desempenho escolar?


Objetivos da oficina

Agora, vamos analisar os descritores da matriz de referência do SAEPI que norteiam a elaboração dos itens presentes nos testes de Matemática.


• Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo aluno que se traduzem em certashabilidades.

• Constituem uma sumária “descrição” das habilidades esperadas ao final de cada período escolar avaliado.


• Constitui um parâmetro de orientação;

• Apresenta o objeto da avaliação;

• Caráter de universalidade;

• Orienta a elaboração de itens.

Como a Matriz de Referência dá origem aos testes?


Objetivo

• Analisar e interpretar os resultados do SAEPIpara (re)planejamento das ações pedagógicasimplementadas em sala de aula, a seremdefinidas pelas escolas envolvidas no processode avaliação.


Atividade 1: Os Itens do Teste

Resolvam os itens.

Identifiquem a habilidade avaliadapelo item em análise.

Elaborem hipóteses cognitivas paraos distratores (alternativas erradas).


Acertos por descritor – SAEPI – MT 9EF


Interpretação pedagógicados resultados

Seção 2


Formas de Apresentação dos Resultados

Proficiência média – médias comparadas

Participação

Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho

Evolução do percentual de alunos por padrão de desempenho


Os padrões de desempenho estudantil são os balizadores dos diferentes graus derealização educacional alcançados pela escola. Por meio deles é possível analisar adistância de aprendizagem entre o percentual de estudantes que se encontra nosníveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. Adistância entre esses extremos representa, ainda que de forma alegórica, o abismoexistente entre aqueles que têm grandes chances de sucesso escolar e,consequentemente, maiores possibilidades de acesso aos bens materiais, culturais esociais; e aqueles para os quais o fracasso escolar e a exclusão social podem sermera questão de tempo, caso a escola não reaja e promova ações com vistas àpromoção da equidade.


Padrões de desempenho

estudantil

Estabelecimento e monitoramento das metas de qualidade

educacional

Caracterização do desempenho escolar

Grau de realização das ações

educacionais

Políticas públicas voltadas à promoção

da equidade

Identificação do percentual de alunos em risco pedagógico (evasão, reprovação

ou abandono)


SAEPI 2011Formas de Apresentação dos Resultados

Proficiência média – médias comparadas

Participação

Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho

Evolução do percentual de alunos por padrão de desempenho


.


Como você interpreta a posição de “sua” escola?

Vamos observar a escala...Vamos localizar as proficiências médias na escala de proficiência?

.


Como você interpreta a participação?


Se 7 fosse o número de estudantes que NÃO participaram da avaliação no

MUNICIPIO? Como seria esse percentual?

80%

Participação

De que forma você acha que a participação pode interferir nos resultados de nossa escola?

Pense em aspectos positivos e negativos!

Tempo para os participantes pensarem e apontarem esses aspectos....

Apontar percentual suficiente para retratar a realidade da escola.

Exemplo (próximo slide).


Quais são as habilidades desenvolvidas por aproximadamente 38,7% dos estudantes?E por 48,4% dos estudantes? E por 12,9% dos estudantes?


12 15 4

Cálculo... variação proporcional direta

? = x31. 38,7 = 100.x1199,7 = 100.x1199,7/100 = x

11,997 = xX= 12

Número de Alunos Percentual31 100%? 38,7%

73


1 13

7

Retomando os conceitos

• Vocês viram que, na escala de proficiência,

existem diferentes cores. O que isso quer dizer?

• Quais são os intervalos, na escala de proficiência,

para cada padrão de desempenho?


77

Como você interpreta a posição de “sua” escola em relação ao resultado do município?

Vamos localizar as proficiências médias na escala de proficiência?

Qual é a quantidade de estudantes do MUNICÍPIO em cada padrão de desempenho?

Qual é o percentual de estudantes do MUNICÍPIO que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO?

Qual é a quantidade de estudantes da “sua” escola em cada padrão de desempenho?

Qual é o percentual de estudantes da “sua” ESCOLA que estão ABAIXO DO BÁSICO, BÁSICO, ADEQUADO e AVANÇADO?

Como você interpreta a participação de alunos no MUNICÍPIO e em “sua” escola? Essa participação é representativa?

Qual é o percentual de estudantes do Município nos intervalos anteriores ao padrão de desempenho “Básico”? E na “sua” escola?

De Rede: Planejamento e execução de políticas públicas;

Criação de metas de qualidade e equidade educacionais;

Implementação de medidas de responsabi-lização;

Políticas de incentivos diretos ou indiretos;Ações de formação continuada de

professores.

De Escola: Elaboração do projeto da escolaMonitoramento da qualidade de ensino Subsídio para avaliação institucional

Uso dos Resultados1. Gestor


Uso dos Resultados2 . Professor

• Intervenção pedagógica

• Elaboração de projetos especiais

• Foco nos estudantes com dificuldades

• Ações de reforço escolar

• Planejamento das ações de sala de aula

• Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica


Uso dos Resultados3. estudante

• Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares

• Informações sobre a qualidade dos serviços educacionais oferecidos


Quais ações pedagógicas podemos implementar em

sala de aula para o desenvolvimento de habilidades

nesses grupos de estudantes?”


OFICINA DE APROPRIAÇÃO

DE RESULTADOS 2011

oficina de apropriaÇÃo de resultados 2011 · avaliar. É refletir sobre uma determinada...

Documents