Sistema Nacional de Avaliação da Educação Básica - SAEB

O O Sistema Nacional de Avaliação da Educação Básica - SAEB implantado em 1990, é coordenado pelo Instituto Nacional de Estudos e Pesquisas Educacionais - INEP e conta com a participação e o apoio das

Secretarias Estaduais e Municipais de Educação das 27 Unidades da Federação.

Os levantamentos de dados do SAEB são realizados, a cada dois anos, em uma amostra probabilística representativa dos 26 estados brasileiros e do

Distrito Federal. A cada aplicação de instrumentos são pesquisados aproximadamente 700 municípios, 3.000 escolas públicas e privadas, 25.000

professores, 3.000 diretores e 220.000 alunos do Ensino Básico (da 4ª e 8ª séries do Ensino Fundamental e da 3ª série do Ensino Médio) nas disciplinas Língua Portuguesa, Matemática e Ciências. A partir de 1999 serão incluídas

as disciplinas História e Geografia. A análise dos resultados dos levantamentos do SAEB permite acompanhar

a evolução do desempenho dos alunos e dos diversos fatores incidentes na qualidade e na efetividade do ensino ministrado nas escolas, possibilitando a definição de ações voltadas para a correção das distorções identificadas e o aperfeiçoamento das práticas e dos resultados apresentados pelas escolas e

pelo sistema de ensino brasileiro. Essas informações são utilizadas por gestores e administradores da educação, pesquisadores e professores.

SAEB: Breve Histórico Criado em 1988 e tendo já realizado quatro levantamentos, o SAEB vem

sendo aperfeiçoado, sucessivamente, a cada aplicação, tanto do ponto de vista metodológico, como nos procedimentos, operacionalização e abrangência. O primeiro levantamento foi realizado em 1990, somente para a rede

pública do Ensino Fundamental, sendo avaliadas a 1ª, a 3ª, a 5ª e a 7ª séries e em três áreas: Português, Matemática e Ciências. Em 1993, os levantamentos

tiveram as mesmas características e seguiram os mesmos procedimentos. A partir de 1995, a preocupação com a comparabilidade dos dados foi

incorporada aos procedimentos. Dentre as mudanças metodológicas realizadas destacam-se:

as avaliações passaram a se concentrar no final de cada ciclo de estudos, ou seja, na 4ª e 8ª séries do Ensino Fundamental e na 3ª série do Ensino

Médio; modernas técnicas de construção e análise de itens passaram a ser

utilizadas, avançando-se dos modelos e técnicas clássicos de testes e medidas à Teoria de Resposta ao Item e ao modelo de amostragem matricial de itens; do ponto de vista operacional, inicialmente executado de forma direta pelo Ministério, partiu-se para a execução do SAEB por entidade externa,

contratada especificamente para essa finalidade; a abrangência foi ampliada: expandiu-se a aplicação para todas as redes de ensino - pública (federal, estadual e municipal) e particular - e incorporou-

se o Ensino Médio. Em 1995 alcançou-se a cobertura nacional, pois, pela primeira vez, todas as unidades da Federação participaram dos levantamentos. Para a aplicação do SAEB em 1997 foram mantidas as mesmas séries e níveis de ensino, a mesma forma de execução (por entidade externa ao Ministério).

Ampliaram-se as áreas avaliadas com a inclusão da área de ciências para o Ensino Fundamental e das áreas de Física, Química e Biologia para o Ensino Médio. Sempre buscando o aperfeiçoamento do SAEB, já no levantamento de 1997 foi introduzida uma nova atividade de apoio a sua operacionalização: o

início da constituição do Banco Nacional de Itens, a partir do qual o MEC/INEP passou a contar com um banco de itens nacionalmente calibrado e

validado, donde vêm sendo selecionadas as questões a serem utilizadas.

crição do SAEB

I - Tipo de informação coletada

i. Cobertura: As informações são coletadas por meio de amostras aleatórias - cuja característica principal é a sua natureza probabilística - representativas do País e de cada uma das 27 unidades da Federação.

ii. População alvo: são avaliados os alunos das 4º e 8ª séries do Ensino Fundamental e da 3ª série do Ensino Médio.

iii. Âmbito da Avaliação: as áreas avaliadas são Língua Portuguesa, Matemática e Ciências, sendo que na 3ª série do Ensino Médio a área de

Ciências compreende as disciplinas Física, Química e Biologia. iv. Periodicidade: o Sistema Nacional de Avaliação da Educação Básica

- SAEB é aplicado de dois em dois anos. Já foram realizadas 4 avaliações, sendo a primeira em 1990, a 2ª em 1993, a 3ª em 1995 e a 4ª em 1997. A

próxima aplicação será realizada em outubro de 1999. v. Outros aspectos: são verificados alguns fatores contextuais e escolares que incidem na qualidade do Ensino Básico, tais como: as características de

infra-estrutura e de disponibilidades da unidade escolar (questionário da escola), o perfil do diretor e os mecanismos de gestão escolar (questionário do

Diretor), o perfil e a prática docente (questionário do Professor), as características socioculturais e os hábitos de estudo dos alunos (questionário

do aluno).

II - Procedimentos e análises

i. Tipos de instrumentos

a. Em relação aos testes: são aplicados testes de desempenho dos alunos, elaborados com base em matrizes curriculares validadas nacionalmente.

Esses testes medem tanto os conteúdos quanto as habilidades (em seus diversos níveis de complexidade) das diversas séries e disciplinas avaliadas. b. Em relação ao tipo de resposta: para a área de Língua Portuguesa os

testes contêm tanto respostas fechadas (de múltipla escolha) quanto respostas

abertas (respostas construídas, curtas e longas). Nas demais disciplinas os testes são de resposta fechadas (múltipla escolha).

c. Em relação aos procedimentos de aplicação, os testes para os alunos são aplicados por agentes externos à escola, com procedimentos unificados e com tempo controlado. Os mesmos agentes externos coletam as informações sobre a escola. Os questionários do diretor e do professor são auto-administrados.

ii. Tipos de processamento

a. A entrada de dados dos questionários ocorre por meio da digitação das informações. Os questionários de alunos e as respostas aos itens dos cadernos

de provas, são processados por meio de leitura ótica. b. Análise dos Dados: para as análises dos dados são utilizados diversos tipos de softwares, de acordo com o nível de análise. Na análise de itens das provas, são utilizados softwares como o Bimain, Bilog, Microcat e outros,

dependendo do tipo de item e do tipo de análise que se deseja (estimação de parâmetros TRI e da Teoria Clássica e cálculo de estatísticas para verificação das estimativas), Testfact e Microfact (para análise da unidimensionalidade

dos itens). Para estimação das proficiências individuais são utilizados os softwares Bilog e Bimain, entre outros, dependendo do modelo utilizado. Para

a tabulação dos dados e análises estatísticas são usados pacotes estatísticos, tais como SAS, SPSS e EXCEL.

c. Tipos de Análises: são realizadas, primeiramente, análises dos itens de prova utilizados nos levantamentos, isto é, a análise de unidimensionalidade dos itens; a estimativa dos parâmetros dos itens (dificuldade, discriminação,

acerto ao acaso, entre outros, dependendo do modelo utilizado); a verificação da qualidade do ajuste ao modelo TRI; a estimação de parâmetros da Teoria

Clássica (proporção de acertos, correlação bi-serial e outras). Em seguida são calculadas as proficiências individuais dos alunos. São calculados também

indicadores de aproveitamento curricular, obtidos através das probabilidades de acerto aos itens, por meio da utilização da técnica de Pontuação

Verdadeira. d. Tipos de Análises: a partir dos dados dos questionários e dos resultados de Proficiência e de Aproveitamento Curricular, são efetuados diversos tipos

de análises - cruzamentos de informações, correlações, comparação de médias, proporções, regressões, análises de informações socioeconômicas de alunos, confecção de "escalas" para interpretação dos resultados, indicando o que e quanto os alunos sabem fazer, comparação com indicadores do Censo

Educacional, entre outras.

iii. Disseminação da informação

i. O que é disseminado: os resultados são divulgados tanto em termos gerais (nível nacional) quanto desagregados por região, estado, localização

(capital, interior), zona geográfica (urbano, rural), dependência administrativa (estadual, municipal, federal e particular). Os resultados englobam tanto

aqueles relacionados ao desempenho dos alunos quanto aqueles referentes às variáveis da escola, do diretor, do professor e dos hábitos de estudo e

condições socioculturais dos alunos. ii. Como se divulga: os resultados são divulgados por meio da distribuição de relatórios técnicos, relatórios estaduais, boletins e documentos específicos (sobre o desempenho, condições da escola, características dos professores e

diretores, etc.), de material preparado para a imprensa (televisão, jornais, rádio) e de promoção e participação em seminários locais, nacionais e

internacionais. iii. Níveis de análises: os relatórios técnicos contêm toda a descrição

metodológica da aplicação, além dos resultados dos diversos instrumentos (questionários e testes de desempenho). Esses resultados são apresentados de

forma descritiva (porcentual, média, etc.) e, também, com algumas associações simples (associação do desempenho dos alunos com a formação do diretor, do professor, participação destes em cursos de capacitação, etc.). São elaborados também documentos mais sintéticos - boletins e informes -

focalizando aspectos específicos dos resultados, como descrito no item anterior.

iv. Quem são os usuários: os usuários dos resultados são o próprio Ministério da Educação, as Secretarias estaduais e Municipais de Educação, as

Universidades, os Institutos de Pesquisa, as Escolas e o público em geral (incluindo os alunos e seus familiares).