MÉTRICAS DE DESEMPENHO DE ESCOLAS DE ENSINO ?· Essa ferramenta operacional recebeu os dados “refinados”,…

Download MÉTRICAS DE DESEMPENHO DE ESCOLAS DE ENSINO ?· Essa ferramenta operacional recebeu os dados “refinados”,…

Post on 12-Dec-2018

212 views

Category:

Documents

0 download

Embed Size (px)

TRANSCRIPT

68 Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012

MTRICAS DE

DESEMPENHO DE

ESCOLAS DE ENSINO

FUNDAMENTAL CICLADAS

E NO CICLADASIVANETE BELLUCCI PIRES DE ALMEIDA

FRANCISCO CARLOS BENEDETTI

RESUMO

A pesquisa que originou o presente texto mediu a eficincia das escolas pblicas cicladas e no cicladas de ensino fundamental centrando-se nos municpios de Campinas, Belo Horizonte e Rio de Janeiro. Variveis foram construdas para entender a influncia do trabalho pedaggico do professor em relao ao tipo de escola ( ciclada e no ciclada) e, simultaneamente, interessou-nos verificar a associao desse trabalho docente com outras variveis: (a) as vari-veis de proficincia mdia em leitura e matemtica dos alunos, que foram medidas em dois momentos distintos de suas vidas escolares, a saber, na 1 srie e na 3 srie; e (b) a varivel nvel socioeconmico, investigada junto a um questionrio respondido pelos pais. As asso-ciaes entre tais variveis nos permitiram a obteno de nveis de eficincia das escolas.

PALAVRAS-CHAVE ESTUDO LONGITUDINAL EFICINCIA

ANLISE DE DADOS ENSINO FUNDAMENTAL

DESEMPENHO ESCOLAR.

TEMA EM DESTAQUE

Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012 69

ABSTRACT

The study that gave rise to this article measured the effectiveness of cy-cled and non-cycled public elementary schools located in Campinas, Belo Horizonte and Rio de Janeiro. We are not concerned with specific concepts involved in the evaluation process of reading and mathematics, but we fo-cus on the quantitative performance in these disciplines by many students of the abovementioned cities, and analyzed them by schools. Variables were built to help understand the influence of the teachers pedagogical practice in relation to the type of school (cycled and non-cycled). Simultaneously, we were interested in establishing the association between this pedagogical practice and other variables, for instance: (a) average proficiency variables of students in reading and in mathematics, with data collected at two different moments in their educational lives, the 1st and 3rd grades; (b) the socioeconomic level variable, the data of which were collected in a survey with the parents. The associations between these variables helped us in the evaluation of the schools efficiency.

KEYWORDS LONGITUDINAL RESEARCH EFFICIENCY

DATA ANALYSES ELEMENTARY SCHOOL EDUCATIONAL

PERFORMANCE.

RESUMEN

La investigacin que origin el presente texto midi la eficacia de las escuelas pblicas cicladas y no cicladas de enseanza fundamen-tal, centrndose en los municipios de Campinas, Belo Horizonte y Rio de Janeiro. Se construyeron variables para entender la influencia del trabajo pedaggico del profesor en relacin con el tipo de escuela (ciclada y no ciclada) y, al mismo tiempo, nos interes verificar la asociacin de ese trabajo docente con otras variables: a) las variables de rendimiento medio de los alumnos en lectura y matemtica, que fueron medidas en primero y tercer grado, dos momentos distintos de sus vidas escolares; b) la variable del nivel socioeconmico, investigada por medio de un cuestionario respondido por los padres. Las asocia-ciones entre esas variables nos permitieron obtener niveles de eficacia de las escuelas.

PALABRAS CLAVE ESTUDIO LONGITUDINAL EFICIENCIA

ANLISIS DE DATOS ENSEANZA FUNDAMENTAL

DESEMPEO ESCOLAR.

70 Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012

INTRODUO

O presente texto tem por objetivo discutir as potencialidades de pesquisas quantitativas em Educao, mais especificamente, no ensino fundamental pblico, e apresentar um modelo de avaliao com perfil estatstico, possvel de ser articulado com uma abordagem qualitativa. A discusso baseia-se nos resultados obtidos na pesquisa de doutorado de Almeida (2009), cuja hi-ptese que escolas pblicas cicladas tm, em relao s no cicladas, desempenhos no mnimo semelhantes nos processos gerais de ensino e aprendizagem em Leitura e Matemtica, ao menos nos polos de Belo Horizonte, Campinas e Rio de Janeiro, nos quais se realizou a pesquisa.

CONTEXTO E METODOLOGIA DA PESQUISA

O caminho metodolgico percorrido seguiu os seguintes passos:

AS ESCOLAS ESTUDADAS. O BANCO GERES

Os dados dos participantes deste estudo foram extrados do Projeto Geres: Gerao Escolar 2005, projeto concebido, primordialmente,

Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012 71

para estudar o valor agregado das escolas ao longo dos primei-ros anos de escolarizao no Brasil.

Em nossa pesquisa, no perodo de 2005 a 2006, traba-lhamos com 12.678 alunos nos polos de Campinas (SP), Belo Horizonte (MG) e Rio de Janeiro (RJ). As quantidades de alunos avaliados em leitura e matemtica foram distribudas por polo, rede e tipo de escola (ciclada e no ciclada), sendo 10.201 perten-centes ao grupo de escolas cicladas e 2.477, ao de no cicladas.

Essa diferena numrica parece ser indesejvel, porm a pes-quisa se concentrou nos rendimentos por escola, contemplando 110 escolas pblicas organizadas em ciclos e sries. O motivo para a escolha desses trs polos, diante de outros possveis, que eles possuam uma maior quantidade de escolas cicladas.

APRESENTAO DAS VARIVEIS ESTUDADAS

Estabelecido o contexto e os participantes da pesquisa, par-timos para a seleo das variveis relevantes para o objetivo visado, qual seja, analisar a eficincia das escolas cicladas e no cicladas dos trs polos pesquisados.

Procuramos trabalhar com variveis que a prpria litera-tura em Educao aponta como possveis condicionantes de eficincia. Foram elas: (a) varivel nvel socioeconmico (NSE), calculado por meio do critrio Abep/Abipeme; (b) varivel tra-balho pedaggico do professor; (c) varivel proficincia mdia das escolas em leitura e matemtica (resultado das proficincias dos alunos ao responder aos dois testes analisados).

ANLISE POR ENVOLTRIA DE DADOS

A Anlise por Envoltria de Dados (DEA) foi usada para aferir a eficincia das escolas analisadas, ou seja, forneceu as informa-es finais do estudo. Essa ferramenta operacional recebeu os dados refinados, aps terem sido trabalhados e estudados de acordo com as variveis descritas no item anterior.

DETALHAMENTO DAS VARIVEIS

Antes de tratarmos da forma como foram obtidos os dados, necessrio apontar, ainda que sucintamente, as caractersticas gerais dos instrumentos de coleta de dados. Eles foram utili-zados de forma praticamente simultnea: durante a coleta de dados junto aos estudantes em novembro de 2005, ou seja, em

72 Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012

meio s realizaes das avaliaes em Leitura e Matemtica, um questionrio foi aplicado aos pais, a fim de obter infor-maes para a composio da varivel NSE; e os professores responderam a questes sobre suas prticas pedaggicas, de modo que seus desempenhos pudessem ser mensurveis.

Assim, a partir de cada questionrio, desenvolvemos estru-turas de anlise das variveis escolhidas.

A VARIVEL NSE

A varivel NSE serviu como entrada de dados, indicando a ca-racterstica de cada aluno a partir de indicadores familiares de escolaridade, renda, situao de emprego e profisso. Tal varivel foi definida como incontrolvel, pois o aluno traz hbitos e cos-tumes da famlia para o interior das escolas.

Decidimos trabalhar com esses dados por entender que possvel identificar uma relao desigual entre alunos vindos das classes sociais menos favorecidas e aqueles que, j na sua entrada no sistema de ensino, trazem maiores ndices na sua bagagem cultural, ou seja, capital sociocultural pressuposto que pode permitir maior eficincia no aprendizado em relao aos demais num mesmo grupo, numa mesma sala de aula. H consenso na literatura de que o diagnstico do desempenho inicial dos alunos deve ser considerado para futuras medidas de desempenho.

O questionrio dos pais forneceu as informaes necessrias para compor o NSE mdio das escolas. Nesse questionrio, o pai, me ou responsvel respondeu aos itens referentes a: nvel de escolaridade, acomodaes internas da habitao fa-miliar, nmero de aparelhos domsticos em geral, endereo residencial atual e principal ocupao (situao empregatcia).

Para obter o NSE, usamos os clculos da tabela Abep/Abipeme. Combinamos as informaes obtidas nos questio-nrios respondidos pelos pais com o Critrio de Classificao Econmica Brasil. Essa opo de calcular o NSE mdio das escolas pela Abep/Abipeme um procedimento adotado pelo Laboratrio de Estudos Descritivos (Loed-Unicamp).

Desse modo, foi gerada uma tabela de NSE e feita uma correlao de Pearson entre a medida de NSE cedida pelo Projeto Geres e a calculada pelo Critrio Brasil, cujo resulta-do foi de 94%, significando que a metodologia era adequada.

Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012 73

Mais detalhes sobre a construo dessa tabela podem ser en-contrados em Almeida (2009).

A VARIVEL TRABALHO DO PROFESSOR

O questionrio do professor, aplicado a 416 professores, continha 124 itens. Como preza a literatura em Estatstica, sempre interessante, diante de uma considervel quantidade de dados, realizar uma anlise exploratria dos mesmos.

CONSTRUTOS: UMA ANLISE EXPLORATRIA DE DADOS

Nessa anlise, pudemos constatar uma diviso de temas nas questes em cinco partes: a primeira referia-se s polticas da escola, ao desenvolvimento do projeto poltico pedaggi-co e aos relacionamentos dos professores com a comunidade escolar de modo geral; a segunda, s influncias do compor-tamento dos alunos e do ambiente escolar para melhora da aprendizagem; a terceira, s frequncias de usos de materiais didticos; a quarta parte, aos mtodos e didtica adotados; e a quinta, a caractersticas mais pessoais do professor.

Aqui vale um comentrio: na pesquisa completa de Almeida (2009), essa anlise exploratria foi mais ampla do que se poderia mostrar nos limites deste texto. O conceito de construto, com respectivas bibliografias pertinentes rea (CARVALHO, 2003), foi adotado para a identificao dessas cinco partes. Alm dis-so, utilizaram-se outras ferramentas estatsticas, como o teste Qui-Quadrado, para a anlise da relao entre o tipo de escola (ciclada e no ciclada) e as respostas dos professores dentro daqueles construtos.

Verificou-se que as partes 2, 3 e 4 do questionrio tiveram, estatisticamente, comportamento similar para escolas cicladas e as no cicladas, porm os percentuais dos grupos 1 e 5 apre-sentaram indicadores melhores para as cicladas. O quadro 1, a seguir, ilustra alguns resultados desse grupo 5, rotulado como um construto de perfil do professor, envolvendo as questes 98 a 127:

74 Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012

QUADRO 1 Construto perfil do professor (G5)

CONSTRUTO ESPECIFICAOOPERACIONALIZAO COM O ITEM DO QUESTIONRIO

Quinto grupo: perfil do professor

Trabalho de leitura que desenvolve em sala de aula

Maneiras de alfabetizar/ experincia de trabalho

Escolaridade

Tipo de Instituio de Ensino Superior

Modalidade do curso de ps

Carga horria de trabalho

Anos de trabalho na escola

Idade

Renda familiar

Leitura de textos de educao

Leitura de revista de educao

Frequncia cinema

pera e concertos

Livraria

Q98

Q99

Q100

Q101

Q102

Q106

Q107

Q110

Q114

Q116

Q118

Q119

Q121

Q124

Os dados coletados no quinto grupo apontam uma tendncia de ndices mais elevados para as escolas cicladas. Os professores responderam a questes sobre gosto por leitura desde o tempo de aluno(a), trabalho com turma heterognea, realizao do curso de pedagogia, formao em instituies particulares ou pblicas, ps-graduao, horas semanais de trabalho, idade, renda familiar, leituras atuais em educao, frequncia a cinema (concertos, livrarias, etc.), dentre outros temas.

No se pode, no entanto, perder de vista parte da questo central do estudo: esses dados do professor devem compor um quadro mais amplo com as outras variveis, para se chegar s se-melhanas e diferenas entre escolas cicladas e no cicladas em termos de desempenho. E a anlise questo por questo pode no nos levar a uma caracterizao mais objetiva dos professores. Assim, tratou-se de descartar as variveis que no exerciam uma influncia significativa no trabalho do professor e de agrupar as que se mostraram relevantes. Esse processo foi realizado por uma ferramenta estatstica conhecida como Anlise Fatorial.

AGRUPAMENTO DE VARIVEIS POR ANLISE FATORIAL

Em face de mtodos de vrias naturezas (ou tcnicas) em pesquisas educacionais, julgamos de extrema importncia

Est. Aval. Educ., So Paulo, v. 23, n. 52, p. 68-84, maio/ago. 2012 75

aquelas que usam mtodos quantitativos. No mbito deste estudo, adotamos tcnicas estatsticas agrupadas, que se con-vencionou chamar de Anlise Multivariada.

Na definio de Hair et al. (2005), a anlise multivariada refere-se ao uso de tcnicas conjuntas de estatstica avanada, que tratam as variveis em pacotes, levando em conta muitas delas simultaneamente. Para Corrar, Paulo e Dias Filho (2007, p. 2), trata-se de um conjunto de mtodos estatsticos que torna possvel a anlise simultnea de medidas mltiplas para cada indivduo, objeto ou fenmeno observado, ou seja, teorias que permitem um estudo de vrias variveis conjuntamente.

Antes de detalharmos uma das teorias em anlise multiva-riada, necessrio voltarmos a uma ideia bsica da Estatstica, que a correlao linear entre duas variveis. Esse conceito determina o grau com que duas variveis esto linearmente associadas, sendo que uma medida que varia de -1 a 1. Valores prximos desses extremos indicam correlao forte, enquanto valores prximos de 0 indicam fraca associao entre as variveis1. No entanto, como indicam Aranha e Zambaldi (2008), tal medida no pode ser interpretada como um ndice de causalidade: correlao forte indica associao forte entre as variveis, e no o fato de que uma varivel necessariamente cause ou determine a outra.

Entre as vrias tcnicas de anlise multivariada (ver CORRAR, PAULO, DIAS FILHO, 2007, p. 91), optamos pela Anlise Fatorial (AF), a mais adequada para situaes com muitas variveis, como o caso da nossa pesquisa. Essa tcnica tem como um de seus principais objetivos tentar descrever um conjunto de variveis originais atravs da criao de um nmero menor de dimenses ou fatores (p. 74). As variveis so agrupadas em funo das suas altas correlaes e tais agrupamentos tornam-se novas variveis, em nmero menor e mais abrangente de fenmenos mais gerais. Essas novas variveis se chamam fatores.

Cada fator um grupo de variveis que se relacionam entre si com maior intensidade. Por exemplo, se as variveis A, B, C e D tm forte correlao entre si, elas compem um fator X. O mesmo vale para variveis E, F e G, que compem um fator Y. Nesse exemplo, X e Y so as novas variveis que provavelmente facilitaro as anlises de fenmenos envolvendo as variv...