Tania Cristina Arantes Macedo de AzevedoSuperintendente Acadêmica - VUNESP

DESAFIOS NA DIVULGAÇÃO E

COMPREENSÃO DOS RESULTADOS DA

AVALIAÇÃO EDUCACIONAL DE LARGA

ESCALA PELAS UNIDADES

A avaliação é parte integrante do trabalho escolar.A avaliação é parte integrante do trabalho escolar.

Avaliar exigeAvaliar exige, em princípio, , em princípio, disposição e capacidade de observação disposição e capacidade de observação

dos profissionais envolvidos, bem como, procedimentos metodológicos dos profissionais envolvidos, bem como, procedimentos metodológicos

formais e científicos.formais e científicos.

AvaliarAvaliar o rendimento escolar pelo processo ensino/aprendizagem o rendimento escolar pelo processo ensino/aprendizagem não não

é um trabalho descontextualizado e desenvolvido por leigos,é um trabalho descontextualizado e desenvolvido por leigos, mas de mas de

profissionais conhecedores da realidade escolar, preparados e profissionais conhecedores da realidade escolar, preparados e

conscientes de suas responsabilidades. conscientes de suas responsabilidades.

Entende-se que “Entende-se que “AvaliarAvaliar”, em suas diferentes áreas de abrangência, ”, em suas diferentes áreas de abrangência,

para o gestor escolar, deve ser a base do processo construtivopara o gestor escolar, deve ser a base do processo construtivo e e

dinâmico do novo fazer presente no projeto político pedagógico da dinâmico do novo fazer presente no projeto político pedagógico da

escola. escola.

• Perrenoud (1999), a avaliação da Perrenoud (1999), a avaliação da aprendizagem um processo aprendizagem um processo mediador na construção do mediador na construção do currículo e se encontra currículo e se encontra intimamente relacionada à gestão intimamente relacionada à gestão da aprendizagem dos alunos.da aprendizagem dos alunos.

Avaliação externa: vilã ou salvadora? Fernando Almeida Nova Escola em novembro de 2009.

• Afinal, como aqueles que não conhecem as lutas vencidas numa instituição podem falar mal dela?

• Como as avaliações externas, feitas por agentes desconhecidos e, pior ainda, com critérios não anunciados explicitamente, são consideradas benéficas para as redes de ensino?

• Na pesquisa Perfil dos Diretores de Escola da rede Pública, realizada pelo Ibope/FVC, apenas 22% dos gestores citam essas provas como um avanço recente da Educação brasileira.

• Mesmo aplicadas há dez anos, as avaliações não têm prestígio nem popularidade. Ainda há 36% dos gestores entrevistados que não sabem como sua escola se saiu no Ideb, o indicador nacional de qualidade mais importante.

• O primeiro efeito que as avaliações provocam é a rejeição.

As As avaliaçõesavaliações devem representar devem representar instrumentosinstrumentos imprescindíveis à imprescindíveis à

verificação do aprendizado efetivamente realizado pelo alunoverificação do aprendizado efetivamente realizado pelo aluno, ao , ao

mesmo tempo devem mesmo tempo devem fornecer subsídios ao trabalho docentefornecer subsídios ao trabalho docente, ,

direcionando o esforço empreendido no processo de ensinodirecionando o esforço empreendido no processo de ensino e e

aprendizagem de forma a contemplar a melhor abordagem aprendizagem de forma a contemplar a melhor abordagem

pedagógica e o mais pertinente método didático adequado à pedagógica e o mais pertinente método didático adequado à

disciplina.disciplina.

A A avaliação da aprendizagem possibilita a tomada de decisãoavaliação da aprendizagem possibilita a tomada de decisão e a e a

melhoria da qualidade de ensino, informando as implicações das melhoria da qualidade de ensino, informando as implicações das

ações em desenvolvimento e ações em desenvolvimento e possibilitando indicação das diretrizes e possibilitando indicação das diretrizes e

necessidades para as decisões da gestão.necessidades para as decisões da gestão.

Nos 14 anos de existência do Nos 14 anos de existência do SARESPSARESP, o processo de avaliação , o processo de avaliação

educacional educacional experimentou contínuo aprimoramentoexperimentou contínuo aprimoramento e, a partir de e, a partir de

2007, incorporou mudanças teóricas e metodológicas, tornando-o 2007, incorporou mudanças teóricas e metodológicas, tornando-o

uma avaliação criterial e não normativa, de características censitária uma avaliação criterial e não normativa, de características censitária

e externa do desempenho dos alunos do Ensino Fundamental (EF) e e externa do desempenho dos alunos do Ensino Fundamental (EF) e

do Ensino Médio (EM) do Estado de São Paulo. do Ensino Médio (EM) do Estado de São Paulo.

O atual modelo, anual e contínuo, com utilização, na concepção, O atual modelo, anual e contínuo, com utilização, na concepção,

elaboração e correção das provas, de um conjunto de técnicas elaboração e correção das provas, de um conjunto de técnicas

estatísticas conhecido como Teoria da Resposta ao Item (TRI), estatísticas conhecido como Teoria da Resposta ao Item (TRI),

permite expressar seus resultados na mesma métrica de edições permite expressar seus resultados na mesma métrica de edições

anteriores e também na métrica de avaliações externas de âmbito anteriores e também na métrica de avaliações externas de âmbito

estadual e nacional, como o SAEB e a Prova Brasil. estadual e nacional, como o SAEB e a Prova Brasil.

Decisões administrativas fundamentais para Decisões administrativas fundamentais para

a implantação do modelo de avaliação:a implantação do modelo de avaliação:

. prova construída por itens pré-testados;. prova construída por itens pré-testados;

. cadastro eletrônico das escolas e dos alunos;. cadastro eletrônico das escolas e dos alunos;

. definição das Matrizes de Referência para a Avaliação de Língua . definição das Matrizes de Referência para a Avaliação de Língua

Portuguesa, Matemática, Ciências (Ensino Fundamental), Portuguesa, Matemática, Ciências (Ensino Fundamental),

Biologia, Física e Química (Ensino Médio), História e Geografia, Biologia, Física e Química (Ensino Médio), História e Geografia,

construídas com base na Matriz Referência Curricular do Estado construídas com base na Matriz Referência Curricular do Estado

de São Paulo (implantado em 2007).de São Paulo (implantado em 2007).

A matriz de A matriz de Referência Curricular do Estado de Referência Curricular do Estado de

São PauloSão Paulo, referência , referência comum a todas as escolas comum a todas as escolas

da rede,da rede, descreve o elenco de metas de descreve o elenco de metas de

aprendizagem desejáveis em cada área, aprendizagem desejáveis em cada área,

estabelecendo os conteúdos disciplinares estabelecendo os conteúdos disciplinares a a

serem desenvolvidos em cada ano ou ciclo e serem desenvolvidos em cada ano ou ciclo e o o

que se espera que os alunos sejam capazes de que se espera que os alunos sejam capazes de

realizar com esses conteúdosrealizar com esses conteúdos, expresso na , expresso na

forma de competências e habilidades forma de competências e habilidades

claramente avaliáveis.claramente avaliáveis.

Uma matriz de referência de avaliação pode Uma matriz de referência de avaliação pode

ter muitas finalidades. ter muitas finalidades.

A mais importante delas é o seu poder de A mais importante delas é o seu poder de

sinalização das estruturas básicas de conhecimentos sinalização das estruturas básicas de conhecimentos

a serem construídas por crianças e jovens por meio a serem construídas por crianças e jovens por meio

dos diferentes componentes curriculares em cada dos diferentes componentes curriculares em cada

etapa da escolaridade básica.etapa da escolaridade básica.

No caso do SARESP, a No caso do SARESP, a Matriz de AvaliaçãoMatriz de Avaliação foi foi

elaborada a partir da Proposta Curricular do Estado elaborada a partir da Proposta Curricular do Estado

de São Paulo.de São Paulo.

Com isso, configuram-se as referências que possibilitam, de um lado, Com isso, configuram-se as referências que possibilitam, de um lado,

a construção das provas por seus elaboradores (CENP), e de outro, a a construção das provas por seus elaboradores (CENP), e de outro, a

posição (segundo os níveis de desempenho) dos alunos que a posição (segundo os níveis de desempenho) dos alunos que a

realizarem.realizarem.

Os indicadores relativos a esta posição são obtidos Os indicadores relativos a esta posição são obtidos

por umapor uma Escala de Proficiência, Escala de Proficiência, por intermédio da por intermédio da

qual se define o quanto e o que cada escola (não qual se define o quanto e o que cada escola (não

aluno) realizaram no contexto desse exame. aluno) realizaram no contexto desse exame.

Instrumentos de AvaliaçãoInstrumentos de Avaliação

– – Provas ObjetivasProvas Objetivas

- Redação- Redação

– – Questionários contextuais – alunos, Questionários contextuais – alunos, professores e gestoresprofessores e gestores

A A avaliaçãoavaliação é em sua essência, plural e é em sua essência, plural e

multidimensional, com utilização de coletas multidimensional, com utilização de coletas

multivariadas de informações, com multivariadas de informações, com

aplicação de diferentes instrumentosaplicação de diferentes instrumentos como como

questionários, provas, geração e análise de questionários, provas, geração e análise de

relatórios pedagógicos, relatórios pedagógicos, discussão em discussão em

grupos específicosgrupos específicos, como o “Dia do SARESP , como o “Dia do SARESP

na Escola”. na Escola”.

ORIGEM DA AVALIAÇÃO DE LARGA ESCALA.ORIGEM DA AVALIAÇÃO DE LARGA ESCALA.

Existem registros datados de 1887 sobre relatos sobre uma pesquisa Existem registros datados de 1887 sobre relatos sobre uma pesquisa

avaliativa utilizada para estabelecer a relação entre o tempo de avaliativa utilizada para estabelecer a relação entre o tempo de

treinamento e o rendimento em ortografia, revelando que uma grande treinamento e o rendimento em ortografia, revelando que uma grande

ênfase em exercícios não levava necessariamente a um melhor ênfase em exercícios não levava necessariamente a um melhor

rendimento.rendimento.

As duas primeiras décadas do século XX foram marcadas pelo As duas primeiras décadas do século XX foram marcadas pelo

desenvolvimento de testes padronizados para medir as habilidades e desenvolvimento de testes padronizados para medir as habilidades e

aptidões dos alunos e influenciados, principalmente nos Estados Unidos.aptidões dos alunos e influenciados, principalmente nos Estados Unidos.

EVOLUÇÃO DA AVALIAÇÃO EDUCACIONAL E EVOLUÇÃO DA AVALIAÇÃO EDUCACIONAL E DE LARGA ESCALADE LARGA ESCALA

A evolução da concepção da avaliação educacional A evolução da concepção da avaliação educacional pode se analisada em quatro fases bem pode se analisada em quatro fases bem determinadas, segundo sua abordagem :determinadas, segundo sua abordagem :

1 – 1 – MensuraçãoMensuração2 – 2 – DescritivaDescritiva3 – 3 – JulgamentoJulgamento4 – 4 – NegociaçãoNegociação

Negociação – geração atual, a avaliação é um processo interativo, negociado,

que se fundamenta num paradigma construtivista. A avaliação é responsiva

porque, diferentemente das anteriores que partem inicialmente de variáveis,

objetivos, tipos de decisão e outros, ela se situa e desenvolve a partir de

preocupações, proposições ou controvérsias em relação ao objetivo da

avaliação, seja ele um programa, apresenta um foco de atenção. Ela é

construtivista em substituição ao modelo científico, que tem caracterizado, de

um modo geral, as avaliações mais prestigiadas neste século.

Mensuração – não distinguia avaliação e medida. O papel do avaliador era,

eminentemente técnico, os testes/exames eram elaborados com objetivos

classificatório dos alunos e para se determinar seu progresso frente ao

conteúdo/programa avaliado.

O Sistema de Avaliação do Rendimento O Sistema de Avaliação do Rendimento

Escolar do Estado de São PauloEscolar do Estado de São Paulo

SARESPSARESP

1996 - 20111996 - 2011

A Escala de Proficiência do SARESP, a partir de 2007, A Escala de Proficiência do SARESP, a partir de 2007,

está na mesma métrica utilizada pelo Saeb, que é o está na mesma métrica utilizada pelo Saeb, que é o

exame nacional de referência para a Educação Básica exame nacional de referência para a Educação Básica

do Brasil desde 1996. do Brasil desde 1996.

A partir de 2007 os resultados obtidos pelos alunos A partir de 2007 os resultados obtidos pelos alunos

paulistas nos dois exames ao longo dos anos paulistas nos dois exames ao longo dos anos

tornaram-se passíveis de comparação.tornaram-se passíveis de comparação.

Os vértices do triângulo contêm os três aspectos

fundamentais da Matriz.

Ela se refere à verificação de conteúdos disciplinares, por intermédio da utilização de

habilidades, graças às quais se poderá inferir o grau de proficiência das competências

cognitivas desenvolvidas pelos alunos em seu processo de escolarização.

A avaliação de competências, por intermédio destes dois indicadores A avaliação de competências, por intermédio destes dois indicadores

(habilidades associadas a conteúdos em uma situação de prova) (habilidades associadas a conteúdos em uma situação de prova)

justifica-se pelo compromisso assumido no currículo.justifica-se pelo compromisso assumido no currículo.

Trata-se do propósito de caracterizar a missão da escola, entendida Trata-se do propósito de caracterizar a missão da escola, entendida

como um lugar e um tempo em que competências fundamentais ao como um lugar e um tempo em que competências fundamentais ao

conhecimento humano são aprendidas e valorizadas.conhecimento humano são aprendidas e valorizadas.

Essas competências expressam a função emancipadora da escola, ao Essas competências expressam a função emancipadora da escola, ao

assumir que dominar competências é uma forma de garantir que assumir que dominar competências é uma forma de garantir que

houve aprendizagem efetiva dos alunos.houve aprendizagem efetiva dos alunos.

As habilidades possibilitam inferir, pela Escala de As habilidades possibilitam inferir, pela Escala de

Proficiência adotada, o nível em que os alunos Proficiência adotada, o nível em que os alunos

dominam as competências cognitivas, avaliadas dominam as competências cognitivas, avaliadas

relativamente aos conteúdos das disciplinas e em cada relativamente aos conteúdos das disciplinas e em cada

série ou ano escolares. série ou ano escolares.

Os conteúdos e as competências (forma de raciocinar e Os conteúdos e as competências (forma de raciocinar e

tomar decisões) correspondem, assim, às diferentes tomar decisões) correspondem, assim, às diferentes

habilidades a serem consideradas nas respostas às habilidades a serem consideradas nas respostas às

diferentes questões das provas.diferentes questões das provas.

As competências que estruturam a avaliação possibilitam verificar o quanto

o aluno que concluiu a etapa avaliada pode levar consigo os termos de

linguagem, compreensão de conceitos científicos, enfrentamento de

situações-problema, argumentação e condição de compartilhar e contribuir,

como jovem, para a sociedade da qual faz parte.

Grupo I: Competências para observar: Grupo I: Competências para observar:

O grupo I refere-se aos esquemas representativos, propostos por Piaget. O grupo I refere-se aos esquemas representativos, propostos por Piaget.

Graças a eles, os alunos podem ler a prova, em sua dupla condição: registrar Graças a eles, os alunos podem ler a prova, em sua dupla condição: registrar perceptivamente o que está proposto nos textos, imagens, tabelas ou quadros e perceptivamente o que está proposto nos textos, imagens, tabelas ou quadros e interpretar este registro como informação que torna possível assimilar a questão e interpretar este registro como informação que torna possível assimilar a questão e decidir sobre a alternativa que julgam mais correta.decidir sobre a alternativa que julgam mais correta.

Grupo II: Competência para realizarGrupo II: Competência para realizar

As habilidades relativas às competências do Grupo II caracterizam-se pelas As habilidades relativas às competências do Grupo II caracterizam-se pelas capacidades de o aluno realizar os procedimentos necessários às suas tomadas capacidades de o aluno realizar os procedimentos necessários às suas tomadas

de decisão em relação às questões ou tarefas propostas.de decisão em relação às questões ou tarefas propostas.

Grupo III: Competências para Grupo III: Competências para compreender.compreender.

Estas competências implicam o uso de esquemas operatórios. Referem-se a operação Estas competências implicam o uso de esquemas operatórios. Referem-se a operação mentais mais complexas, que envolvem pensamento proposicional ou combinatório, mentais mais complexas, que envolvem pensamento proposicional ou combinatório, graças ao qual o raciocínio pode ser agora hipotético-dedutivo.graças ao qual o raciocínio pode ser agora hipotético-dedutivo.

A análise pedagógica, com leituras críticas dos A análise pedagógica, com leituras críticas dos resultados de desempenho dos alunos em resultados de desempenho dos alunos em questões presentes nas provas do SARESP, é, questões presentes nas provas do SARESP, é, sistematicamente apresentada, nos “Relatórios sistematicamente apresentada, nos “Relatórios Pedagógicos” das disciplinas avaliadas e Pedagógicos” das disciplinas avaliadas e integram a série de publicações do SARESP, integram a série de publicações do SARESP, com o propósito de servirem de guia de com o propósito de servirem de guia de trabalho pedagógico dos docentes.trabalho pedagógico dos docentes.

Convite: Quer tornar a Escala útil?Convite: Quer tornar a Escala útil?

Situar turmas nos diferentes pontos da escala

Refletir sobre o efeito da descrição de cada um dos pontos da escala sobre a prática pedagógica

Organizar avaliação relacionada a um dado intervalo da escala pontos da escala

125 150 175 200 225 250 275 300 325 350 375 400 425

Situar turmas nos diferentes pontos da escala

Refletir sobre o efeito da descrição de cada um dos pontos da escala sobre a prática pedagógica

Organizar avaliação relacionada a um dado intervalo da escala pontos da escala

125 150 175 200 225 250 275 300 325 350 375 400 425

Pensar situações pedagógicas que favoreçam a aprendizagem dos alunos com menor desempenho.

Propor desafios aos alunos com maior desempenho.

Convite: Quer tornar a Escala útil?Convite: Quer tornar a Escala útil?

SARESP : Produtos da AvaliaçãoSARESP : Produtos da Avaliação

Relatórios Pedagógicos: identificar e localizar diferenças•o que foi ensinado e o resultado do aprendizado•o que ainda tem que ser ajustado•o que precisa ser abordado porque não se conseguiu perceber no alunado a demonstração de compreensão ou conhecimento que qualifica para a resposta bem sucedida •o resultado positivo de correções e ajustes já introduzidos

SARESP : Relatório PedagógicoSARESP : Relatório Pedagógico

Parte I Parte I – Dados Gerais

Parte II Parte II – Resultados do SARESP 2010

SARESP : Relatório PedagógicoSARESP : Relatório Pedagógico

Parte III – Análise Pedagógica dos ResultadosParte III – Análise Pedagógica dos Resultadosaspectos pedagógicos envolvidos na avaliaçãoprincípios curriculares e aspectos da organização das

Matrizes de Referência análise do desempenho do alunadoapresentação, análise e discussão pedagógica de

exemplos de itens selecionados das provas aplicadas

SARESP : Relatório PedagógicoSARESP : Relatório Pedagógico

Parte III – Análise Pedagógica dos ResultadosParte III – Análise Pedagógica dos ResultadosTarefas que ensejam recomendações para promover a melhoria do ensino e da aprendizagem.Exemplos cujas propriedades estatísticas permitem classificá-los como questões que descrevem corretamente a habilidade investigada e distinguem os grupos de alunos com menor e maior desempenho.

SARESP : Relatório PedagógicoSARESP : Relatório Pedagógico

Identificar pontos fortes e fragilidades Identificar pontos fortes e fragilidades do processo educacional.do processo educacional.

SARESP : Relatório PedagógicoSARESP : Relatório Pedagógico

Convite:Convite: usem exemplos do relatório para inspirar atividades pedagógicas.

Muito Obrigada