avalia maceiÓ 2015avaliamaceio.caedufjf.net/wp-content/.../09/...resultados_parte1-1.pdf ·...

AVALIA MACEIÓ 2015

Oficina de Apropriação de Resultados

• Promover a compreensão e a interpretação de resultados da avaliação educacional externa, com foco na escola.

OBJETIVO

PARTE 1

Objetivos Específicos

1. Apresentar as características – fundamentos e metodologias – da avaliação educacional externa.

2. Apresentar o desenho e os instrumentos do AVALIA MACEIÓ.

3. Apresentar os aspectos contextuais da avaliação.

Sensibilização

• Qual a sua expectativa em relação à Oficina de Apropriação de Resultados?

PENSE A RESPEITO

Sensibilização

• Para começar, reflita sobre o tema. Este momento propõe conhecimento abrangente, a fim de prepará-lo para o usos dos resultados, identificando as possibilidades e os limites no contexto de trabalho.

O que é avaliar?

COLETAR

Dados e informações sobre determinada realidade.

DIAGNOSTICAR

Produzir algum julgamento sobre a realidade.

DECIDIR

Tomar decisão para alcançar determinado objetivo.

AGIR

Traçar estratégias de ação sobre o objeto avaliado.

Tipos de Avaliação

AVALIAÇÃO

Diagnóstica

Interna ESCOLA

Externa SISTEMA

Formativa

Interna ESCOLA

Externa SISTEMA

Somativa

Interna ESCOLA

Externa SISTEMA

Pequena escala Larga escala

Tipos de Avaliação

Critério Tipo de AvaliaçãoDiagnósticaSomativaFormativaInternaExternaEm pequena escalaEm larga escalaCensitáriaAmostralTransversalLongitudinal

Objetivo

Subjetivo

Abrangência

Metodológico

Temporal

Linha do Tempo da Avaliação

Características dos Sistemas Próprios

Características dos Sistemas Próprios

Saeb(TCT)1990

1995Saeb(TRI)

Matrizes de Referência e Escalas de Proficiência

1997

2001Reformulação

Matrizes (baseada nos PCNs)

Prova Brasil2005

2007IDEB

Avalia Maceió

2015

2013ANA

PNE2014

2015BCN

Vantagens dos Sistemas Próprios

Desenho próprio, adequado às necessidades da rede.

Alinhamento entre currículo, ensino e avaliação

Definição das etapas e componentes curriculares.

Menor periodicidade entre os ciclos avaliados e a divulgação de resultados.


Diagnóstico confiável e específico da rede

Construção de base de dados com série histórica

Monitoramento da qualidade da educação

Monitoramento da equidade

Monitoramento da efetividade de políticas públicas


Questionamento de aspectos educacionais

Identificação de alunos em situação de risco pedagógico

Indicação de caminhos para o trabalho

Identificação de fatores intra e extraescolares

Indicação de possibilidades de ação a partir do contexto

Possibilidades dos Sistemas Próprios

• Entendendo que a avaliação educacional em larga escala subsidia informações sofisticadas para o diagnóstico, por meio da metodologia adotada, reflita sobre quais são as possibilidades dos sistemas próprios.

Possibilidades dos Sistemas Próprios

Subsídio para tomada de decisão

Servir como fonte para planejamento político-pedagógico

Utilização dos resultados, como foco na escola.

Estabelecimento de Padrões de Desempenho e Metas.

Desenvolvimento de planos de ação.

Prestação de contas.

Discussões acadêmico-pedagógicas.

Contextualização

Por que implementar o sistema próprio de

avaliação?

Por que há dúvidas sobre o diagnóstico externo?

Quais são as vantagens da avaliação educacional

externa?

Qual o lugar do profissional de educação

nesse contexto?

Por que avaliar?

Contextualização

• Para que diagnósticos sejam estabelecidos, é preciso avaliar. Não há melhoria na qualidade da educação possível sem que processos avaliativos acompanhem, continuamente, os efeitos das políticas educacionais propostas para tal fim.

Contextualização

EVOLUÇÃO DA PROFICIÊNCIA MÉDIA EM MATEMÁTICA Rede Estadual – Minas Gerais

196,5205,2

218,2226,2

235,1246,3250,9 255,8

261,4

268,9274,7 282,4 282,2284,0

290,6

175,0

200,0

225,0

250,0

275,0

300,0

2006 2007 2008 2009 2010

5º ano EF 9º ano EF 3º ano EM

Fonte: Proeb 2006/2010

Contextualização

EVOLUÇÃO DA DISTRIBUIÇÃO POR PADRÕES EM MATEMÁTICARede Estadual – Minas Gerais

13,1%

14,1%

11,8%

17,5%

19,1%

17,3%

59,5%

60,2%

54,8%

27,0%

28,8%

28,8%

59,4%

59,7%

56,9%

36,7%

36,2%

41,1%

60,0%

57,1%

59,4%

23,2%

21,2%

25,8%

3,8%

3,7%

4,1%

2012

2011

2010

2012

2011

2010

2012

2011

2010

5EF

9EF

3EM

Baixo Intermediário Recomendado

Fonte: Proeb 2010/2012

Contextualização

MAPA DA ALFABETIZAÇÃOCeará (SPAECE ALFA 2007)

Fonte: Spaece-Alfa 2007

Contextualização



Contextualização

• Para ajudar as redes de ensino a organizarem-se, a fim de caminharem rumo à melhoria da qualidade, implanta-se sistemas próprios de avaliação, em que uma das vantagens, como vimos, reside na menor periodicidade entre a aplicação dos testes – mais frequentes – e a divulgação dos resultados, em relação às avaliações nacionais.

• Isso implica desenvolvimento de ações em prol da melhoria em curto/médio prazo.

Contextualização

É possível estipular metas e elaborar ações, utilizando

diagnósticos “mais próximos”. O acompanhamento regular pode ser

mais eficaz.

Contextualização

• Com isso, identificamos os avanços.

Avanços dos Sistemas Próprios

Maior transparência no processo de avaliação e divulgação dos resultados.

Ampliação das oportunidades educacionais e o reconhecimento do direito de aprender.

Debate sobre as responsabilidades.

Atenção especial aos alunos de baixo desempenho.

Avanços dos Sistemas Próprios

Discussão sobre a construção de propostas curriculares inovadoras, bem desenhadas e de fácil compreensão por diferentes públicos.

Contextualização

• E também identificamos os desafios, observáveis a partir dos resultados transversais ou longitudinais.

Desafios dos Sistemas Próprios

Município

Região

Escola

Turma

Aluno


• DA REDE– Planejamento e execução de políticas públicas– Criação de metas de qualidade e equidade educacionais– Implementação de medidas de responsabilização– Políticas de incentivos diretos ou indiretos– Ações de formação continuada de professores

• DA ESCOLA– Elaboração do projeto da escola– Monitoramento da qualidade de ensino– Subsídio para avaliação institucional

USO DOS RESULTADOS PELO GESTOR


• Projetos de intervenção pedagógica• Elaboração de projetos especiais• Foco nos alunos com dificuldades• Ações de reforço escolar• Planejamento das ações de sala de aula• Visão proativa quanto ao desenvolvimento de

habilidades e competências ao longo da educação básica

USO DOS RESULTADOS PELO PROFESSOR


• Acompanhamento individual do desempenho escolar pelos alunos e seus familiares

• Informações sobre a qualidade dos serviços educacionais oferecidos

USO DOS RESULTADOS PELO ALUNO E FAMILIARES


Resistência

Abrangência

Comunicação e engajamento

Divulgação

Penetração nos atores educacionais

Limites da Avaliação

• É sempre importante lembrar que a avaliação é uma ferramenta de apoio, mas não é capaz de agir em prol de todas as mudanças necessárias. Ela possui alguns limites.

Limites da Avaliação

Avaliação é meio, não fim

Interrompe sua contribuição na etapa do diagnóstico

É submetida ao uso que lhe é atribuído

Dados isolados não detectam realidade

Depende da apropriação dos resultados

Possibilidades relacionadas ao esforço empenhado

Etapas da Avaliação

• Para compreender a avaliação educacional em larga escala, seus limites e possibilidades, e utilizar, de maneira eficaz, os resultados produzidos por ela, é importante conhecer e entender a metodologia.

Metodologia

• A produção da medida de desempenho dos estudantes, na avaliação educacional em larga escala, pode ser feita de duas formas:

– Teoria Clássica dos Testes (TCT).– Teoria da Resposta ao Item (TRI).

Metodologia

• Teoria Clássica dos Testes:

– É calculada de uma forma muito próxima das notas dadas pelas avaliações realizadas pelo professor.

– Consiste, basicamente, no percentual de acertos em relação ao total de itens do teste, apresentando também o percentual de acerto para cada descritor avaliado.

Metodologia

• Teoria de Resposta ao Item:

– Produz uma medida mais robusta do desempenho dos estudantes porque leva em consideração características importantes dos itens que compõem o teste e que são medidas antes dele, nos chamados pré-testes.

– A TRI é, portanto, um conjunto de modelos estatísticos capazes de determinar um valor/peso diferenciado para cada item que o estudante respondeu no teste de proficiência.

Metodologia

Parâmetro “a”DISCRIMINAÇÃOÉ a capacidade do item de discriminar os alunos que desenvolveram habilidades daqueles que não desenvolveram.

Parâmetro “b” DIFICULDADE Está relacionado ao percentual de alunos que responde corretamente ao item. Assim quanto menor o percentual de acerto, maior a dificuldade do item.

Parâmetro “c”PROBABILIDADE DE ACERTO AO ACASOLeva em consideração a probabilidade de o aluno “chutar” e acertar o item.

Parâmetros da TRI

Impactos do Sistema

• Tomemos como exemplo a definição dos Padrões de Desempenho, para definirmos possíveis intervenções.

Padrões de Desempenho

PADRÕES DE DESEMPENHO ESTUDANTIL

Estabelecimento e monitoramento das metas de qualidade

educacional

Caracterização do desempenho escolar

Grau de realização das ações

educacionais

Políticas públicas voltadas à promoção

da equidade

Identificação do percentual de alunos em risco pedagógico (evasão, reprovação

ou abandono)


PADRÕES DESCRIÇÕES

BAIXO

Os alunos que se encontram neste Padrão de Desempenho demonstram um desenvolvimento ainda incipiente das principais habilidades associadas à sua etapa de escolaridade, de acordo com a Matriz de Referência. Nos testes de proficiência, tendem a acertar apenas aqueles itens que avaliam as habilidades consideradas basilares, respondidos corretamente pela maior parte dos estudantes e, portanto, com maior percentual de acertos. A localização neste padrão indica carência de aprendizagem em relação ao que é previsto pela Matriz de Referência e aponta, à equipe pedagógica, para a necessidade de planejar um processo de recuperação com esses estudantes, a fim de que se desenvolvam em condições de avançar aos padrões seguintes.

BÁSICO

Neste Padrão de Desempenho, os alunos ainda não demonstram desenvolvimento considerado apropriado das habilidades básicas avaliadas pela Matriz de Referência, para a etapa de escolaridade em que se encontram. Contudo, respondem itens com menor percentual de acerto e que avaliam habilidades mais complexas, quando comparados com o verificado no padrão anterior. A equipe pedagógica deve elaborar um planejamento em caráter de reforço para os estudantes que se encontram neste padrão, de modo a consolidar aquilo que eles já aprenderam, sistematizando esse conhecimento e dando suporte para uma aprendizagem mais ampla e densa.


PADRÕES DESCRIÇÕES

ADEQUADO

As habilidades básicas e essenciais para a etapa de escolaridade avaliada, baseadas na Matriz de Referência, são demonstradas pelos alunos que se encontram neste Padrão de Desempenho. Esses estudantes demonstram atender às condições mínimas para que avancem em seu processo de escolarização, ao responder aos itens que exigem maior domínio quantitativo e qualitativo de competências, em consonância com o seu período escolar. É preciso estimular atividades de aprofundamento com esses estudantes, para que possam avançar ainda mais em seus conhecimentos.

AVANÇADO

Quando o estudante demonstra, nos testes de proficiência, ir além do que é considerado básico para a sua etapa escolar, como ocorre com os alunos que se encontram neste Padrão de Desempenho, é necessário proporcionar desafios a esse público, para manter seu interesse pela escola e auxiliá-lo a aprimorar cada vez mais seus conhecimentos. Esses estudantes costumam responder corretamente, com base na Matriz de Referência, a um maior quantitativo de itens, englobando aqueles que avaliam as habilidades consideradasmais complexas e, portanto, com menor percentual de acertos, o que sugere a sistematização do processo de aprendizagem de forma consolidada para aquela etapa de escolaridade. Entretanto, há que se considerar que o desenvolvimento cognitivo é contínuo, permitindo aprendizagens constantes, conforme os estímulos recebidos.

Possíveis intervenções

BAIXO Recuperação

BÁSICO Reforço

ADEQUADO Aprofundamento

AVANÇADO Desafio

Impactos do Sistema

REFLITA: Em relação ao contexto de trabalho, de que maneira você relaciona-se/lida com a avaliação externa, no caso o AVALIA MACEIÓ?

Impactos do Sistema

• Para responder, você precisa saber mais sobre o sistema próprio.

Características do AVALIA MACEIÓ

LÍNGUA PORTUGUESAMATEMÁTICA

Características do AVALIA MACEIÓ

EDIÇÃO ETAPA AVALIADA COMPONENTE CURRICULAR

2015

3º ano do Ensino Fundamental

Língua Portuguesa - Leitura

Língua Portuguesa - Escrita

Matemática


Língua Portuguesa

Matemática


Língua Portuguesa

Matemática

Características do Avalia Maceió

• Atualmente, com AVALIA MACEIÓ, avalia-se o desempenho e o contexto. Outras avaliações, como o PISA, buscam observar também as competências socioemocionais.

Fatores Associados ao Desempenho

• Antes de abordarmos dados sobre o desempenho (Parte 2) , vamos falar sobre o contexto (Parte 1).


FATORES EXTRAESCOLARES

Fatores socioeconômicos

Fatores familliares

Fatores individuais

FATORES INTRAESCOLARES

Gestão e administração

Prática pedagógica

Condições de infraestrutura

Qualificação de profissionais


Por que considerá-los? Investigação dos fatores intra e

extraescolares específicos de cada sistema.

Avaliação do impacto do programa implementado pela Secretaria.

Estudos de casos de sucesso (escolas eficazes).

Correções entre fatores de desigualdades educacionais.


Estudantes com poucas aspirações sobre seu

próprio futuro refletem, mesmo que de forma

inconsciente, essa posição em seu desempenho

escolar.

Aqueles com mais aspirações acabam por ser

mais ambiciosos e mais cientes da necessidade de

superar eventuais dificuldades nos estudos

para atingir seus objetivos.

O mesmo vale para expectativas - aqueles

estudantes que não têm expectativas positivas

sobre seu futuro tendem a apresentar menor ímpeto para a realização de suas

aspirações.

58

Por que as Expectativas e Aspirações são importantes para o desempenho dos alunos?


59

Por que falar de Clima Escolar é importante?

A percepção do clima escolar positivo mostra uma qualidade da vida escolar, que está associada a melhores resultados de desempenho dos alunos nos testes.

Há uma relação significativa entre a percepção do clima escolar e o desenvolvimento emocional e social dos estudantes, dos professores e da gestão.

A aprendizagem dos estudantes depende das condições geradas no ambiente escolar.


60

O que indica um bom de clima escolar?

Sensação de bem-estar geral na escola.

Sensação de confiança nas próprias

habilidades para realizar o trabalho

escolar.

Crença na importância do que se aprende na

escola.

Identificação, por parte dos agentes, com a

escola em que estudam ou trabalham.

Qualidade e frequência com que se estabelecem relações

uns com outros nesse ambiente, entre outros

aspectos.

• Condições socioeconômicas dos alunos em uma escola influenciam o desempenho apresentado nos testes, assim como o clima escolar.

• Precisamos observar, simultaneamente, as características socioeconômicas e de clima escolar, para entender melhor o que afeta os resultadosescolares.


61

Como estabelecemos a conexão entre o Clima Escolar e o Desempenho dos Alunos?

• Para observar as condições socioeconômicas na escola, criamos o Índice Socioeconômico (ISE), considerando a escolaridade dos pais dos alunos, posse de bens e conforto no domicílio.

• Assim como o ICE, o ISE é calculado no nível dos alunos, mas o conjunto de seus valores dentro da escola é nossa referência para a análise.


62

Como estabelecemos a conexão entre o Clima Escolar e o Desempenho dos Alunos?

Algumas Reflexões

avalia maceiÓ 2015avaliamaceio.caedufjf.net/wp-content/.../09/...resultados_parte1-1.pdf ·...

Documents