OFICINA DE APROPRIAÇÃO DE RESULTADOS 2011

O CAEd – Centro de Políticas Públicas e Avaliação daEducação, da UFJF, é uma instituição que elabora e desenvolveprogramas de avaliação sobre o rendimento escolar dos alunosde escola públicas, promovidos pelas Secretarias Estaduais deEducação . Também cria e promove cursos de formação,qualificação e aprimoramento aos profissionais da Educaçãode diversos Estados do Brasil, além de desenvolver softwarepara a gestão de escolas públicas (como por exemplo, osprojetos SisLame e SIMADE) com o objetivo de modernizar agestão educacional .O CAEd também presta serviços de apoio para odesenvolvimento de projetos educacionais promovidos poriniciativas privadas, a exemplo de algumas ações da FundaçãoRoberto Marinho, do Instituto Unibanco e da Fundação OiFuturo .

AVALIAR

É refletir sobre uma determinada realidade, a partir de dados e informações, e emitir um julgamento que

possibilite uma ação.

•Avaliação Interna

• Processo de Aprendizagem

• Diversos Instrumentos de Avaliação

• Avaliação Formativa

• Teoria Clássica dos Testes (Nota)

•Avaliação Externa

• Produto (habilidades)

• Teste de Múltipla Escolha

• Teoria de Resposta ao Item (TRI)

Tipos de Avaliação

Por que avaliar um sistema educacional

Obter informações sobre o nível dedesenvolvimento das habilidadesdos estudantes com vistas àimplementação de políticas públicase à organização dos processos deensino e de aprendizagem

•Quais são os objetivos do Sistema Baiano de Educação?

• O que o Avalie Ensino Médio avaliou em sua edição de

2011?

• Você acha que os resultados dessa avaliação podem ser

utilizados para a melhoria da educação em nossa escola? Se

sim, como?

Algumas características do SABE

•Rede Estadual

• Avalie Ensino Médio: Linguagens e Códigos,Matemática, Ciências Humanas e CiênciasNaturais

• 1ª SÉRIE DO ENSINO MÉDIO;

• 2ª SÉRIE DA EDUCAÇÃO PROFISSIONALINTEGRADA AO ENSINO MÉDIO.

•Rede Estadual e Municipal

• Avalie Alfa: Língua Portuguesa e Matemática

• 2º ano EF.

•Desempenho escolar;

• Análise dos resultados possibilita intervençãopedagógica;

• Dados do Avalie Ensino Médio devem fazer parte daproposta de melhoria da qualidade da educaçãoofertada pela escola.

Alguns objetivos do Avalie Ensino Médio

O CAEd e o Sistema Baiano de Educação

Nessas avaliações, utilizam-se instrumentos chamados detestes de proficiência e também questionárioscontextuais aplicados aos estudantes, professores ediretores das unidades escolares, com o objetivo deoferecer à sociedade uma medida do desempenhoescolar.

Como são construídos os testes de proficiência que permitem medir o

desempenho escolar?

Objetivo

• Analisar e interpretar os resultados do SABEpara (re)planejamento das ações pedagógicasimplementadas em sala de aula, a seremdefinidas pelas escolas envolvidas no processo deavaliação.

Seção 1

Matriz de Referência

Como a Matriz de Referência dá origem aos testes?

• Constitui um parâmetro de orientação;

• Apresenta o objeto da avaliação;

• Caráter de universalidade;

• Orienta a elaboração de itens.

Ressaltamos que as matrizes de referência nãoenglobam todo o currículo escolar.

Um recorte é feito com base no que é possível aferirpor meio do tipo de instrumento de medida utilizadona avaliação e que, ao mesmo tempo, é representativodo que está contemplado nos currículos.

A Matriz de Matemática e suas tecnologias está estruturada em Temas:

I. Espaço e Forma;II. Grandezas e Medidas;III. Números e Operações, Álgebra e Funções;IV. Tratamento de Informações.

Destes temas selecionados:Espaço e Forma, Grandezas e Medidas, Números e

Operações e Tratamento da Informação

temos cada um deles representando conteúdos com basenos quais são elaborados descritores que expressamhabilidades em Matemática.

Matriz de Referência para Avaliação

Elemento base de origem dos testes utilizados no Avalie EnsinoMédio. Garante legitimidade e transparência à avaliação.

É formada por um conjunto de descritores que, agrupados emtópicos/temas, apresentam as habilidades consideradas básicas epossíveis de serem aferidas por meio do instrumento utilizado emavaliações em larga escala.

Não abarca todo currículo escolar. Por isso, não pode ser confundidacom parâmetros curriculares, Base Curricular Comum - BCC,procedimentos ou estratégias de ensino ou Orientações Teórico-Metodológicas - OTM, nem com o conteúdo a ser trabalhado peloprofessor em sala de aula.

Simulação de Pesquisas

Elaboração e aplicação de

questionários

Interpretação dos resultados da

Pesquisa

Tabelas

Gráficos

Resolver problemas envolvendo informações

apresentadas em Gráficos e Tabelas

Ler, selecionar e interpretar

informações em Gráficos

Construção de Tabelas

Construção de Gráficos

Conteúdo: Probabilidade e EstatísticaExemplo:

MATRIZ DE REFERÊNCIA

Conjunto de descritores

Conteúdo programático na

área de conhecimento a

ser avaliada

Descritores originados do cruzamento entre conteúdos

programáticos e as habilidades e competências cognitivas

que lhes são próprias.

Nível de operação mental

necessário para a

aprendizagem

Algumas interpretações teóricas

Competências e Habilidades

Competências referem-se às diferentes modalidadesestruturais da inteligência que compreendem determinadasoperações que o sujeito utiliza para estabelecer relações com eentre os objetos físicos, conceitos, situações, fenômenos epessoas.

As habilidades instrumentais referem-se especificamente aoplano do saber fazer e decorrem, diretamente, do nível estruturaldas competências já adquiridas e que se transformam emhabilidades.

PERRENOUD, P. Práticas pedagógicas, profissão docente e formação.

Lisboa: Dom Quixote, 1993

Aspectos a considerar sobre Descritores

•Os descritores têm origem na associação entre osconteúdos curriculares e as operações mentaisdesenvolvidas pelo aluno que se traduzem em certashabilidades.• Constituem uma sumária “descrição” dashabilidades esperadas ao final de cada períodoescolar avaliado.

Aspectos a considerar sobre Descritores

O QUE É UM ITEM?

• É uma questão do teste de larga escala.• Avalia uma única habilidade, portanto o item é

unidimensional.• Obtém um resultado por estudante, que

permite avaliar as hipóteses levantadas por ele.

ͻDescreve cada uma das habilidades da Matriz

ͻ Avalia apenas uma única habilidade

ͻ Representa uma subdivisão de acordo com o conteúdo, competências de área e habilidades.

ͻ Agrupa as habilidades passíveis de avaliação em um teste de proficiência.

MatrizTema

Tópico

DescritorItem

Das Matrizes aos itens dos testes de proficiência

Considerar

Grau de Dificuldade – diz respeitoà adequação entre a formulaçãodo item e a capacidade deresposta do estudante.

Discriminação –capacidade do itemde dist inguir estudantes comdiferentes níveis de habilidade.

Distratores

Comando

O ITEM E SUAS PARTESEnunciado

Suporte

Comando

DistratorDistrator

GABARITODistrator

- redigir o enunciado de forma direta e af irmat iva;

- ut ilizar vocabulário adequado ao nível de escolaridade do estudante;

- enfocar uma única situação-problema;

- incluir no enunciado uma f igura, um recorte de j ornal ou revista, uma

fotografia,sua elaboração;- redigir o enunciado de forma direta

e af irmat iva;- ut ilizar vocabulário adequado ao

nível de escolaridade do estudante;

- excluir qualquer referência discriminatória quanto a etnia; religião, gênero ou

orientação sexual;- observar as normas da ABNT na apresentação

de textos e f iguras;- não ut ilizar “ pegadinhas” nem “ dicas” ;- não ut ilizar termos como “ sempre” ,

“ nunca” , “ todo” ,“ totalmente” .

estar diretamente relacionada a um único descritor da Mat riz de Referência;

formular de maneira posit iva;

a tarefa desej ada em conexão com o problema proposto.

Quanto à Redação

Enunciado: deve ser claro, preciso e conciso.

Gabarito: exclusivamente um.

Dist ratores: devem ser plausíveis.

Suportes: devem conter informações relevantes.

Atividade 1: Os Itens do Teste

Resolvam os itens.

Identifiquem a habilidade avaliada pelo itemem análise.

Elaborem hipóteses cognitivas para osdistratores (alternativas erradas).

42,3

31,037,3

28,9 26,223,0 23,5

27,1 25,531,2

49,4

28,623,5

28,0

15,9

49,0

32,7

41,0

24,6 25,4 26,1

35,3

25,421,9

26,3 24,9 26,1

35,829,9

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

1ª SÉRIE EM - MATEMÁTICARede Estadual

48,8

36,042,0

34,329,4

21,724,7

27,9 26,5

38,9

57,4

31,1

22,5

30,5

17,4

58,2

35,4

51,2

30,8 28,525,5

40,4

28,822,3

28,325,5

33,1

42,0

33,6

0,0

10,0

20,0

30,0

40,0

50,0

60,0

70,0

80,0

90,0

100,0

2ª SÉRIE EDUCACAO PROFISSIONAL INTEGRADO

Objetivos da oficinaNessa etapa da nossa oficina, iremos:

• apresentar a descrição dos Intervalos de Proficiência de Matemática,e a sua relação com as Matrizes de Referência para a Avaliação.

• interpretar os Intervalos de Proficiência de Matemática considerandoos agrupamentos de seus intervalos (Padrões de DesempenhoEstudantil).• analisar e interpretar pedagogicamente os resultados

Seção 2

Interpretação pedagógicados resultados

Os padrões de desempenho estudantil são os balizadores dos diferentes graus derealização educacional alcançados pela escola. Por meio deles é possível analisar adistância de aprendizagem entre o percentual de estudantes que se encontra nosníveis mais altos de desempenho e aqueles que estão nos níveis mais baixos. Adistância entre esses extremos representa, ainda que de forma alegórica, o abismoexistente entre aqueles que têm grandes chances de sucesso escolar e,consequentemente, maiores possibilidades de acesso aos bens materiais, culturais esociais; e aqueles para os quais o fracasso escolar e a exclusão social podem sermera questão de tempo, caso a escola não reaja e promova ações com vistas àpromoção da equidade.

Formas de Apresentação dos Resultados

Proficiência média – médias comparadas

Participação

Distribuição do percentual de alunos por nível de proficiência e padrão de desempenho

Evolução do percentual de alunos por padrão de desempenho

Como você interpreta a participação?

Se 50 fosse o número de estudantes que NÃO participaram da avaliação na

ESCOLA? Como seria esse percentual?

Participação

De que forma você acha que a participação pode interferir nos resultados de nossa escola?

Pense em aspectos positivos e negativos!

Tempo para os participantes pensarem e apontarem esses aspectos....

Apontar percentual suficiente para retratar a realidade da escola.

Exemplo (próximo slide)

Quais são as habilidades desenvolvidas por aproximadamente 48,1% dos estudantes?E por 34,4% dos estudantes? E por 16,4% dos estudantes? E por 1,1 % dos estudantes?

Número de alunos Percentual64 100%? 22,7%

104 74 36

2

Cálculo... variação proporcional direta

? = x216x 48,1 = 100.x103.896 = 100.x103.896/100 = x

104= xX= 104

Número de Alunos Percentual216 100%? 48,1%

Como você interpreta a participação?

Participação

De que forma você acha que a participação pode interferir nos resultados de nossa escola?

Pense em aspectos positivos e negativos!

Tempo para os participantes pensarem e apontarem esses aspectos....

Apontar percentual suficiente para retratar a realidade da escola.

Exemplo (próximo slide)

Quais são as habilidades desenvolvidas por aproximadamente 30,8% dos estudantes?E por 50,0% dos estudantes? E por 15,4% dos estudantes? E por 3,8 % dos estudantes?

8 13 4

1

Cálculo... variação proporcional direta

? = x26x 30,8 = 100.x

800,8 = 100.x800,8/100 = x

8 = xX= 8

Número de Alunos Percentual26 100%? 30,8%

Padrões de desempenho

estudantil

Estabelecimento e monitoramento das metas de qualidade

educacional

Caracterização do desempenho escolar

Grau de realização das ações

educacionais

Políticas públicas voltadas à

promoção da equidade

Identificação do percentual de

alunos em risco pedagógico (evasão,

reprovação ou abandono)

86

Como você interpreta a posição de “sua” escola em relação ao resultado do estado?

Vamos localizar as proficiências médias nos níveis de proficiência?

Qual é a quantidade de estudantes do ESTADO em cada padrão de desempenho?

Qual é o percentual de estudantes do ESTADO que estão MUITO CRÍTICO, CRÍTICO, BÁSICO e AVANÇADO?

Qual é a quantidade de estudantes da “sua” escola em cada padrão de desempenho?

Qual é o percentual de estudantes da “sua” ESCOLA que estão MUITO CRÍTICO, CRÍTICO, BÁSICO e AVANÇADO?

Como você interpreta a participação de estudante no ESTADO e em “sua” escola? Essa participação é representativa?

Uso dos Resultados1. Gestor

De Rede: Planejamento e execução de políticas públicas;Criação de metas de qualidade e equidade

educacionais;Implementação de medidas de responsabilização;Políticas de incentivos diretos ou indiretos;Ações de formação continuada de professores.

De Escola : Elaboração do projeto da escolaMonitoramento da qualidade de ensino Subsídio para avaliação institucional

Uso dos Resultados2 . Professor

• Intervenção pedagógica

• Elaboração de projetos especiais

• Foco nos estudantes com dificuldades

• Ações de reforço escolar

• Planejamento das ações de sala de aula

• Visão proativa quanto ao desenvolvimento de habilidades e competências ao longo da educação básica

Uso dos Resultados3. Estudante

• Acompanhamento individual do desempenho escolar pelos estudantes e seus familiares

• Informações sobre a qualidade dos serviços educacionais oferecidos

Muito obrigado!Raquel Carvalho Gravinaraquelcgravina@hotmail.com