as quest~oes de f sica e o desempenho dos estudantes no enem · objetivos: de uma...

Revista Brasileira de Ensino de Fısica, v. 36, n. 1, 1402 (2014)www.sbfisica.org.br

As questoes de fısica e o desempenho dos estudantes no ENEM(Physics items and student’s performance at ENEM)

Wanderley P. Goncalves Jr1,2, Marta F. Barroso1

1Instituto de Fısica, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil2Colegio de Aplicacao, Universidade Federal do Rio de Janeiro, Rio de Janeiro, RJ, Brasil

Recebido em 7/6/2013; Aceito em 7/8/2013; Publicado em 26/2/2014

O Exame Nacional do Ensino Medio (ENEM) passou por uma reformulacao no ano de 2009, modificando seusobjetivos: de uma auto-avaliacao de competencias ao final do Ensino Medio para uma avaliacao que possibilitao acesso as universidades e ao financiamento estudantil. Nesta mudanca, de uma unica prova passa-se a quatroprovas por grandes areas, constroi-se uma matriz de referencia com domınios cognitivos, competencias, habili-dades e objetos de conhecimento, e muda-se tambem a metodologia de analise, com a utilizacao da Teoria daResposta ao Item, que possibilita a comparacao longitudinal dos resultados de anos diferentes, com a intencao demonitorar o Ensino Medio no paıs. Neste trabalho, apresentamos um estudo sobre as questoes de fısica da provade Ciencias da Natureza do ENEM 2009, 2010 e 2011, posteriores a mudanca. A partir de categorias definidas,sao propostas variaveis qualitativas para caracterizar o tipo de prova. Tambem sao analisadas as respostas dosestudantes participantes da prova de Ciencias da Natureza em 2009, usando dados disponibilizados pelo INEP.A analise qualitativa revela as caracterısticas da prova nestes anos: questoes longas, com pouca exigencia de ra-ciocınios mais complexos caracterısticos da resolucao de problemas, e uma tendencia de distribuicao de questoespor objetos de conhecimento diferente do tradicional no Ensino Medio. A analise do desempenho dos alunostambem e reveladora dos processos efetivos de aprendizagem da disciplina, indicando que o percentual de acertosnos itens quase sempre e baixo, e que questoes que exigem algum tipo de conhecimento disciplinar ou que exigemutilizacao de raciocınios matematicos apresentam um desempenho sensivelmente mais fraco.Palavras-chave: ENEM, ensino de fısica, avaliacao de larga escala.

The Brazilian National Assessment of Secondary Education (ENEM, Exame Nacional do Ensino Medio) haschanged in 2009: from a self-assessment of competences at the end of high school to an assessment that allowsaccess to college and student financing. From a single general exam, now there are tests in four areas: Mathe-matics, Language, Natural Sciences and Social Sciences. A new reference matrix is build with components ascognitive domains, competencies, skills and knowledge objects; also, the methodological framework has changed,using now Item Response Theory to provide scores and allowing longitudinal comparison of results from differentyears, providing conditions for monitoring high school quality in Brazil. We present a study on the issues dis-cussed in Natural Science Test of ENEM over the years 2009, 2010 and 2011. Qualitative variables are proposedto characterize the items, and data from students’ responses in physics items were analysed. The qualitativeanalysis reveals the characteristics of the exam in these years: long items, only a few of them demanding morecomplex reasoning, a characteristic of problem solving skills. The analysis of student performance also revealsthat learning physics is not attained, with a percentage of correct answers on items that is almost always small,and that items that require some type of disciplinary knowledge or require use of mathematical reasoning pre-sents a performance significantly weaker.Keywords: ENEM secondary education assessment, physics education, large scale assessments.

1. Introducao

O Exame Nacional do Ensino Medio (ENEM) foi conce-bido com o objetivo de “avaliar o indivıduo ao terminoda escolaridade basica, para aferir o desenvolvimentode competencias fundamentais ao exercıcio pleno da ci-dadania”, conforme o Documento Basico do ENEM [1]

elaborado pelo Instituto Nacional de Estudos e Pes-quisas Educacionais Anısio Teixeira (INEP), orgao doMinisterio da Educacao.

No perıodo de 1998 a 2008, a avaliacao foi feita pormeio da aplicacao de um exame unico, com 63 questoesobjetivas de multipla escolha e uma redacao. O de-sempenho dos participantes era mensurado pela nota

1E-mail: [email protected].

Copyright by the Sociedade Brasileira de Fısica. Printed in Brazil.

1402-2 Goncalves Jr e Barroso

da prova objetiva, cujo valor correspondia ao percen-tual de questoes respondidas corretamente (num totalde 0 a 100), e pela nota da redacao, tambem valendo100 pontos. Em vez de um programa para este exame,foi elaborada uma Matriz de Referencia, termo que serefere as multiplas dimensoes a serem avaliadas simul-taneamente pelas questoes, algumas delas envolvendoconceitos abstratos, como por exemplo as competenciasdos examinandos, as habilidades desenvolvidas por elese os conteudos aprendidos. A Matriz de Referencia parao ENEM, segundo o Documento Basico [1], pressupu-nha “a colaboracao, a complementaridade e integracaoentre os conteudos das diversas areas do conhecimentopresentes nas propostas curriculares das escolas brasi-leiras de ensino fundamental e medio”, e considerava“que conhecer e construir e reconstruir significados con-tinuamente, mediante o estabelecimento de relacoes demultipla natureza individuais e sociais”.

Neste contexto, o ENEM fornecia um indicador daqualidade do sistema, mas nao uma mensuracao pre-cisa desta qualidade e, por apresentar caracterısticasincomuns para uma avaliacao em larga escala [2], comonao ser um exame obrigatorio e nao utilizar mecanis-mos de amostragem, seus resultados possibilitavam aavaliacao do desempenho individual dos candidatos e,eventualmente, forneciam um indicador para as escolasque possuıam mais de 90% de seus concluintes partici-pando do exame.

Aos poucos, os resultados do ENEM tambem pas-saram a servir como indicadores para financiamento decursos superiores (Programa Universidade para Todos– PROUNI, a partir de 2005) e para ingresso em uni-versidades, tornando-se assim um exame cada vez maisimportante para os estudantes no paıs.

No ano de 2009, ocorreu uma reformulacao noENEM. Metodologicamente, sua Matriz de Referenciafoi substituıda e as notas dos estudantes passaram aser escores calculados usando-se a Teoria da Respostaao Item. Os objetivos do Novo ENEM modificaram-se:alem de seus resultados servirem de referencia para aauto-avaliacao do candidato, eles tambem passaram acompor os mecanismos de acesso a programas gover-namentais e aos cursos profissionalizantes, pos-mediose a Educacao Superior. Passaram a fornecer, ainda, acertificacao de conclusao do Ensino Medio para jovense adultos e a ser utilizados na avaliacao do desempenhoacademico dos ingressantes nas Instituicoes de EnsinoSuperior (como componente dos resultados do ExameNacional de Desempenho de Estudantes, o ENADE, noSistema Nacional de Avaliacao do Ensino Superior, SI-NAES).

Em relacao a seu formato, o exame passou a se cons-tituir de 4 provas com 45 questoes de multipla escolhacada, nas areas de Ciencias Humanas, Ciencias da Na-tureza, Linguagens e Codigos e Matematica e suas Tec-nologias alem de uma prova de redacao. O candidatodispoe de 4 horas e meia, num primeiro dia, para resol-

ver as 90 questoes das provas de Ciencias da Naturezae Ciencias Humanas, e de 5 horas e meia num segundodia para as 90 questoes da prova de Linguagens e Ma-tematica e para a prova de redacao.

A Matriz de Referencia passou a ser composta por 5eixos cognitivos, comuns a todas as areas (dominar lin-guagens, compreender fenomenos, enfrentar situacoes-problema, construir argumentacao, elaborar propos-tas), com uma matriz especıfica para cada uma dasareas, apresentando nessa uma lista de competenciase habilidades.

Essas reformulacoes do exame fizeram com que oENEM se tornasse uma avaliacao muito procurada pe-los estudantes que estao concluindo o Ensino Medio.Ja era um exame bastante procurado desde o inıcio dautilizacao de seus resultados no programa PROUNI, deconcessao de bolsas para o sistema de ensino superiorprivado; em 2011, quando muitas instituicoes federaisde ensino superior aderiram ao Sistema de Selecao Uni-ficada (SiSU), o numero de inscritos superou 5 milhoes.

Tudo isso faz com que o ENEM forneca indicadoresrelevantes sobre a qualidade da educacao basica bra-sileira, mesmo com seus vıcios de origem: ele nao foiproposto para ser uma avaliacao de sistema, e sim paraser uma avaliacao individual e, principalmente, o examenao e universal nem amostral para os estudantes do En-sino Medio.

Neste trabalho, apresenta-se um estudo sobre as-pectos qualitativos das questoes de fısica do ENEM dosanos de 2009, 2010 e 2011 [3]. Com base em um con-junto de variaveis qualitativas construıdas a partir dascaracterısticas do ensino de fısica no nıvel medio, todasas questoes de fısica foram classificadas. Os microdadosdo exame de 2009 foram disponibilizados pelo INEP, ea analise destes dados permite observar as dificuldadesdos estudantes que prestaram o exame. Em particu-lar, foi possıvel relacionar os aspectos qualitativos dasquestoes com o desempenho dos alunos. Observa-se porexemplo que as questoes que envolvem qualquer tipo demanipulacao matematica apresentam um percentual deacerto mais baixo do que os itens estritamente qualita-tivos. Com base neste estudo, e possıvel apresentaralgumas conclusoes a respeito do que o exame revelaem relacao a aprendizagem em fısica dos estudantes aofinal do Ensino Medio, e sobre as possıveis repercussoesno ensino e aprendizagem de fısica e ciencias no En-sino Medio proporcionado pela utilizacao macica desteexame para ingresso ou financiamento nas instituicoesde ensino superior.

2. Avaliacoes em larga escala

A avaliacao e uma peca fundamental no ensino e apren-dizagem; no entanto, os professores em geral simples-mente reproduzem os processos avaliativos que conhe-ceram em sua formacao, refletindo muito pouco sobreestes.

As questoes de fısica e o desempenho dos estudantes no ENEM 1402-3

Enquanto as avaliacoes se restringiam as paredes desala de aula, cada professor aplicava-as e interpretavaseus resultados de forma individual ou no maximo den-tro de sua instituicao de ensino. A partir da decada de90, com o Sistema de Avaliacao da Educacao Basica(SAEB), em 1998 com o ENEM, e com o SINAES(ENADE) na decada de 2000, o paıs comecou a seguiruma tendencia internacional [2] de realizacao de proces-sos de avaliacao externa da aprendizagem dos alunos eda qualidade do ensino. Esta polıtica passou a gerarpolemicas e preocupacoes, ao possibilitar a criacao depolıticas de responsabilizacao [4] e comparacao entreescolas. Tal preocupacao aumentou no Ensino Medioapos as mudancas ocorridas em 2009 no ENEM.

Dentro deste contexto, torna-se necessaria uma re-flexao em relacao a avaliacao, em especial aos metodosem larga escala, para que seus resultados sejam compre-endidos e, principalmente, possam ser utilizados comoagentes de melhoria da aprendizagem.

As avaliacoes em larga escala constituem um tipode avaliacao educacional que tem como objetivo a ob-tencao de dados e a realizacao de analises que permi-tam diagnosticar a situacao da educacao, fornecendosubsıdios para a implementacao, a manutencao e a re-formulacao de polıticas educacionais. O termo “largaescala” refere-se a um numero muito grande de testesaplicados ou a utilizacao de algum tipo de amostragemestatıstica. Uma das caracterısticas desse tipo de ava-liacao e que elas possibilitam o monitoramento contınuodos processos educativos, permitindo detectar tanto osbenefıcios quanto os malefıcios decorrentes de polıticaseducacionais adotadas [5]; e, em geral, essas avaliacoesnao se destinam a analisar e fornecer dados de alunosou escolas individualmente [2].

A partir da decada de 90, o numero de avaliacoes emlarga escala cresce substancialmente em todo o mundo[2, 6]. Essas avaliacoes sao focadas, quase sempre, emLinguagens, Matematica e Ciencias. Alguns exemplosinternacionais sao o PISA (Programme for Internatio-nal Student Assessment), o TIMSS (Trends in Mathe-

matics and Science Study), e um exemplo nacional eo SAEB. O ENEM e uma avaliacao em larga escalapelo numero de estudantes que presta o exame: comoa realizacao do exame e opcional para o estudante, elenao se constitui numa avaliacao universal nem em umaavaliacao amostral, exigindo portanto um certo cuidadonas extrapolacoes de seus resultados para a analise dossistemas de ensino.

A compreensao e entendimento desse tipo de ava-liacao tornam-se fundamentais, principalmente para osprofessores, a partir do momento que, ao servir de basepara as acoes das polıticas publicas em educacao, pas-sam a determinar, direta e indiretamente, o currıculo aser ensinado nas escolas, as cargas horarias das disci-plinas e, finalmente, o perfil dos alunos que ingressamnas universidades.

3. O Exame Nacional do Ensino Medio

O ENEM e um exame com questoes, denominadasitens, de multipla escolha, elaboradas segundo a con-cepcao [7] de que a questao deve conter um texto base,um enunciado e as alternativas. O texto base deveapresentar as informacoes necessarias para a solucao dasituacao problema proposta; o enunciado oferece umaformulacao objetiva da tarefa a ser realizada; e as al-ternativas sao as possibilidades de resposta apresenta-das. Este modelo, adotado pelo INEP, e um dos muitopossıveis na elaboracao de questoes de multipla escolha[8] e a princıpio fornece informacoes relevantes sobre osobjetivos do processo avaliativo.

Os itens sao elaborados a partir de uma Matriz deReferencia [9] que contem quatro dimensoes: domınioscognitivos, competencias, habilidades e objetos de co-nhecimento. Os eixos cognitivos sao 5, comuns a todasas areas: dominar linguagens, compreender fenomenos,enfrentar situacoes-problema, construir argumentacaoe elaborar propostas. As competencias sao diferentesem cada area; as da area de Ciencias da Natureza sao8, e estao apresentadas no Quadro 1.

⌋

Quadro 1. As competencias da area de Ciencias da Natureza da Matriz de Referencia do ENEM.

Competencia 1 - Compreender as ciencias naturais e as tecnologias a elas associadas como construcoes humanas, percebendo seuspapeis nos processos de producao e no desenvolvimento economico e social da humanidade.Competencia 2 - Identificar a presenca e aplicar as tecnologias associadas as ciencias naturais em diferentes contextos.Competencia 3 - Associar intervencoes que resultam em degradacao ou conservacao ambiental a processos produtivos e sociais e ainstrumentos ou acoes cientıfico-tecnologicos.Competencia 4 - Compreender interacoes entre organismos e ambiente, em particular aquelas relacionadas a saude humana, relaci-onando conhecimentos cientıficos, aspectos culturais e caracterısticas individuais.Competencia 5 - Entender metodos e procedimentos proprios das ciencias naturais e aplica-los em diferentes contextos.Competencia 6 - Apropriar-se de conhecimentos da fısica para, em situacoes problema, interpretar, avaliar ou planejar intervencoescientıfico-tecnologicas.ompetencia 7 - Apropriar-se de conhecimentos da quımica para, em situacoes problema, interpretar, avaliar ou planejar intervencoescientıfico-tecnologicas.Competencia 8 - Apropriar-se de conhecimentos da biologia para, em situacoes problema, interpretar, avaliar ou planejar intervencoescientıfico-tecnologicas.


A cada uma dessas competencias sao associadas ha-bilidades, que totalizam 30 na area de Ciencias da Na-tureza.

Os objetos de conhecimento sao divididos disci-plinarmente. Na area de fısica, sao associados em 7grandes areas, apresentadas no Quadro 2.

Quadro 2. Os objetos de conhecimento em fısica.

1. Conhecimentos basicos e fundamentais;2. O movimento, o equilıbrio e a descoberta de leis fısicas;3. Energia, trabalho e potencia;4. A mecanica e o funcionamento do universo;5. Fenomenos eletricos e magneticos;6. Oscilacoes, ondas, optica e radiacao;7. O calor e fenomenos termicos.

O desempenho do aluno nao e medido por umanota, como na denominada Teoria Classica dos Tes-tes, quando a nota e apenas a soma (ou media pon-derada) dos acertos nas questoes. A metodologia deobtencao dos resultados fornece escores individuais pormeio da utilizacao da Teoria da Resposta ao Item [10],que possibilita a criacao de uma escala correspondentea aptidao do estudante que pode ser comparada lon-gitudinalmente (em anos sucessivos). A adocao destametodologia, mais robusta do ponto de vista de atri-buicao de uma medida a aprendizagem dos estudantes,exige um numero grande de itens em cada uma das pro-vas para que o resultado seja confiavel. A construcaoda prova aplicada aos estudantes deve levar em contaas multiplas dimensoes da Matriz de Referencia (habi-lidades, competencias, disciplina e objetos do conheci-mento, alem dos eixos cognitivos).

4. A metodologia de analise

As provas (enunciado dos itens) e os microdados (asinformacoes com relacao ao padrao de preenchimentodas questoes da prova e dos dados socio-economicos,sem possibilidade de identificacao do respondente) saodisponibilizadas na pagina do INEP. No entanto, ape-nas recentemente (janeiro de 2012) os microdados doENEM 2009 foram divulgados.

O processo de analise desses dados e importantepara que esses resultados possam ser utilizados pelosprofessores, para compreensao da aprendizagem dos es-tudantes ao final do Ensino Medio. Essa analise podeser realizada em multiplas dimensoes e perspectivas.Neste trabalho, pretendeu-se fazer uma primeira veri-ficacao do que esses resultados revelam a respeito daaprendizagem de fısica no Ensino Medio no Brasil.

A analise qualitativa de questoes de multipla esco-lha permite comparar a relacao entre o que e o objetivoexplıcito do processo de avaliacao e o que efetivamente emensurado. Para esta analise qualitativa, considerou-seque o exame possui uma Matriz de Referencia publica[9], contendo domınios cognitivos, competencias, habi-

lidades e objetos de conhecimento. Portanto, uma pri-meira categoria [11] foi a adequacao das questoes aoobjetivo avaliativo proposto.

Foram selecionadas as provas de Ciencias da Natu-reza do Exame Nacional do Ensino Medio a partir doano de sua reformulacao. Sao cinco as provas: 2009 (aprimeira versao, nao aplicada devido ao vazamento den-tro da grafica, e a segunda versao, aplicada), a de 2010(a primeira e segunda aplicacoes; a segunda aplicacaofoi feita por defeitos de impressao da prova) e a de 2011.

Fez-se a analise das questoes de fısica dessas provas[6, 12]. As “questoes de fısica” sao as que abordamdiretamente o conteudo especıfico disciplinar de fısica.No caso de questoes que apresentam tracos inter, multiou transdisciplinares, a identificacao foi feita de acordocom o conhecimento exigido para escolher a alternativacorreta do item.

A partir da selecao disciplinar, escolheram-sevariaveis qualitativas dentro das categorias propostaspara o estudo (adequacao aos objetivos propostos nosdocumentos oficiais, tipos de raciocınio utilizados e ade-quacao ao conteudo disciplinar de fısica tradicional noEnsino Medio): o domınio da habilidade avaliada noitem (segundo a classificacao proposta pelo INEP); otamanho dos textos; a existencia ou nao de objetos vi-suais (graficos, tabelas, entre outros); o nıvel de con-textualizacao; a exigencia de conhecimentos especıficosdisciplinares de fısica para resolucao; a classificacao danecessidade de calculos quantitativos ou nao para a re-solucao do item.

Os resultados da analise dessas variaveis foram va-lidados qualitativamente. Para isso, a classificacao dasquestoes nas variaveis foi feita individualmente por maisde um pesquisador, com a comparacao dos resultados.No caso de discrepancias na classificacao, era feita umadiscussao coletiva ate uma conclusao consensual.

Cada uma das questoes foi classificada segundo ascompetencias e habilidades exigidas para sua resolucao.Em caso de duvida entre duas ou mais habilidades parao mesmo item, identificou-se dentre elas qual, na Ma-triz de Referencia, estava associada a competencia maisadequada. Se ainda restasse duvida entre duas habili-dades dentro de uma mesma competencia, classificava-se o item na habilidade ainda nao contemplada.

Em seguida, foi feita a classificacao dos conteudosabordados nos itens utilizando a lista dos objetos deconhecimento associados a Matriz de Referencia deCiencias da Natureza.

Outras categorias utilizadas relacionaram-se aotempo de reflexao na realizacao do exame, que impactanos resultados; o tipo de contextualizacao [13] propostono item; a utilizacao de processos cognitivos de nıveismais elevados [14], com a utilizacao de raciocınios abs-tratos. Para todas essas categorias, foram buscadasvariaveis que permitissem a construcao de um indicadoroperacional do conceito a ser empiricamente observado[15].


Para a variavel que mede o tempo de reflexao na re-solucao da questao, utilizou-se uma medida do tamanhodas questoes, a partir do numero de linhas do texto-basee dos enunciados das questoes. Para isso, considerou-se a formatacao original da prova, com as paginas docaderno de questoes divididas em duas colunas.

O nıvel de contextualizacao do item foi classificadosegundo Nentwig [13], que pressupoe que um item temum alto nıvel de contextualizacao se no texto estao pre-sentes as informacoes relevantes para sua solucao, isto e,se a extracao e processamento da informacao contida notexto e necessaria para a resolucao do item; por outrolado, um baixo nıvel de contextualizacao esta presente

se a informacao fornecida no texto nao e essencial pararesponder ao item. Adicionou-se a proposta de classi-ficacao como pre-texto [16] para a situacao em que otexto e completamente desnecessario para a solucao doitem.

A necessidade de conhecimento especıfico de fısicapara a solucao do item tambem foi avaliada: classificou-se como inexistente quando a resposta esta contida notexto do item, ou existente quando e necessaria algumainformacao especıfica nao contida no texto. Um exem-plo de item que nao exige conhecimento especıfico defısica esta indicado no Quadro 3, correspondendo aquestao 63 da prova Azul de 2011.

⌋

Quadro 3 - Questao 63, Prova Azul, 2011 – sem exigencia de conhecimento especıfico.

⌈

Uma outra classificacao foi a de itens como quan-titativos, semiquantitativos e qualitativos. Quantita-tivos sao os itens que necessitam obrigatoriamente decalculo para a resolucao, semiquantitativos sao os quepodem ser resolvidos pela analise de proporcionalidade(relacoes como “maior que”, “menor que”, “igual”), equalitativos sao os itens cuja solucao prescinde da uti-

lizacao de raciocınio ou relacao matematica, sendo ape-nas conceituais. No Quadro 4, apresenta-se o exem-plo de uma questao classificada como semiquantitativa(Questao 77 da Prova Azul de 2011). No Quadro 5,uma questao classificada como qualitativa (Questao 78da Prova Azul de 2010).


Quadro 4 - Questao 77, Prova Azul, 2011 – uma questao semiquantitativa.

Quadro 5- Questao 78, Prova Azul, 2010/2 – uma questao qualitativa.

Para a analise quantitativa, preparou-se o banco dedados do ENEM 2009 (a prova aplicada) de acordocom os microdados disponıveis (em janeiro de 2012)na pagina do INEP.

Esses microdados foram estruturados e validados.Tomou-se como referencia a prova azul (foi feita a con-versao das provas das demais cores para correspondera numeracao da prova azul), e foram separados doisgrupos: todos os participantes (cerca de 4,3 milhoesde estudantes) e os autodeclarados concluintes em 2009

(cerca de 940 mil).

Com o banco de dados preparado, foi feita a analisedescritiva simples dos resultados, com a comparacaoentre as classificacoes feitas e os percentuais de acertosnas questoes.

O levantamento do percentual de acerto de cadauma das questoes de fısica da prova de Ciencias daNatureza foi elaborado, e esses resultados foram agru-pados de forma simples entre as varias classificacoesfeitas para os tipos de questao. No Anexo 1, publicado


apenas eletronicamente na pagina da revista, http:

//www.sbfisica.org.br/rbef, apresenta-se o quadrodas respostas dos estudantes concluintes em 2009 e detodos os estudantes nas questoes de fısica da prova deciencias da natureza do ENEM 2009 [3].

5. Resultados: as caracterısticas dasprovas segundo elementos da Matrizde Referencia

Ha uma regularidade nas provas analisadas: cerca deum terco da prova de Ciencias da Natureza, com 45itens, e composta de questoes de fısica. Na Fig. 1,apresentamos um histograma do numero de questoesem cada uma das provas (2009/1, a prova de 2009que nao foi aplicada pelo vazamento; 2009/2, a provaaplicada; 2010/1, a primeira prova aplicada; 2010/2,a prova aplicada extraordinariamente por defeitos naprimeira; 2011).

Figura 1 - O numero de questoes de fısica nas provas deCiencias da Natureza do ENEM.

Na area de Ciencias da Natureza, sao propostas 8competencias, apresentadas no Quadro 1, distribuıdasem 30 habilidades [9]. Ha, como pode ser observado daFig. 2, uma concentracao de questoes na competencia6, “Apropriar-se de conhecimentos da fısica para, emsituacoes problema, interpretar, avaliar ou planejar in-tervencoes cientıfico-tecnologicas”, que e especıfica deconteudos disciplinares de fısica.

A distribuicao das habilidades pelos itens das pro-vas indica que nem todas as 16 habilidades de fısica saosolicitadas em todas as provas; de fato, a construcaoda prova nao e baseada estritamente em consideracoesdisciplinares. Na Tabela 1, apresenta-se um quadro das

habilidades contempladas nos itens da competencia dearea 6.

Figura 2 - Distribuicao das competencias nas provas doENEM.

Tambem percebe-se que varios itens se encaixam emmais de uma habilidade. Isso se torna um problemaquando se leva em conta que a Teoria de Resposta aoItem [10] pressupoe que o item deve ser unidimensio-nal, isto e, contemplar somente um elemento ou celulada matriz de referencia.

Os denominados “objetos de conhecimento” (ouconteudos) na Matriz de Referencia de Ciencias da Na-tureza sao divididos em 7 grandes areas, como apresen-tado no Quadro 2.

Nas provas de 2009 a 2011, a distribuicao dos obje-tos de conhecimento pelas questoes de fısica esta apre-sentada na forma de graficos na Fig. 3.

Observa-se alguma regularidade na distribuicao dosconteudos, sendo privilegiadas as areas 5 (eletromag-netismo), 6 (oscilacoes e ondas) e 7 (fısica termica),com mais de 50% das questoes de cada prova. Osconteudos de mecanica (areas 2, 3 e 4) correspondema menos de 30% das questoes; os conhecimentos daarea 2 (dinamica, entre outros) sao avaliados em me-nos de 20% dos itens. Os itens classificados na area3 em sua maioria compreendem questoes genericas detransformacao de energia, no conteudo especıfico “con-ceituacao de trabalho, energia e potencia”. Verifica-seque a maior parte do conteudo de mecanica tem sidopouco abordado nas provas.

Tabela 1 - Distribuicao das habilidades na competencia de area 6.

Competencia Habilidade 2009/1 2009/2 2010/1 2010/2 2011/120 1 2 1 2 3

6 21 1 4 2 2 122 2 2 1 1 123 2 1 3 2 3

http://www.sbfisica.org.br/rbef

http://www.sbfisica.org.br/rbef


Figura 3 - Numero de itens por objeto de conhecimento em cada prova.

A discussao da distribuicao dos conteudos nos itensde fısica torna-se fundamental a partir do momento emque o ENEM passa a ser a unica forma de acesso a mui-tas das universidades publicas brasileiras e, portanto,torna-se referencia para a determinacao do currıculoensinado nas escolas. Das provas ate aqui aplicadas,observa-se que a mecanica passa a ser um conhecimentomenos exigido, e provavelmente menos ensinada. AMatriz de Referencia portanto pode, sem muitas dis-cussoes, promover mudancas profundas nos currıculosdo Ensino Medio no Brasil.

6. Resultados: As caracterısticas dasprovas

O grande numero (45 por area) de itens nas provas estarelacionado as necessidades geradas pela utilizacao daTeoria da Resposta ao Item. Os candidatos dispoem,em media, de 3 minutos para a solucao de cada item.Os textos-base dos itens possuem uma media de 10 (±4) linhas de extensao; alem do texto base, o enunciadotambem deve ser lido (em 2009, o numero medio foi de5 linhas), bem como as alternativas de resposta. Estetamanho e grande para o tempo medio disponıvel.

Na Fig. 4, apresenta-se a classificacao do nıvelde contextualizacao dos itens [12, 13]. Nesta clas-sificacao, um item tem alta contextualizacao se notexto estao presentes as informacoes relevantes para asua solucao, isto e, se a extracao e processamento dainformacao contida no texto e necessaria para a re-solucao do item; por outro lado, um baixo nıvel decontextualizacao esta presente se a informacao forne-cida no texto nao e essencial para responder ao item.A identificacao do nıvel de contextualizacao do texto-base foi entao classificada como pre-texto, onde ele po-

deria nao estar presente para a adequada resolucaodo item [14], baixa contextualizacao, quando as in-formacoes necessarias para solucao do item encontram-se em de 10% a 40% do numero total de linhas dotexto, media contextualizacao, quando a porcentagemsobe para entre 50% a 70%, e alta contextualizacao,quando o mais de 80% das linhas sao necessarias paraa resolucao do item.

Da Fig. 4, verifica-se que as provas mais recentestem nıvel de contextualizacao (tal como definido porNentwig [13]) mais altos.

Figura 4 - Nıvel de contextualizacao do itens porano/aplicacao.

Ha itens em que nao ha exigencia de algum conheci-mento especıfico de fısica para resolucao das questoes,como mostrado na Fig. 5. Cabe a reflexao sobre se aposa reformulacao do ENEM e importante que ele avalie,em algum nıvel, o conhecimento disciplinar dos alunos.

E importante ressaltar que nao se pretende com estetrabalho fazer qualquer discussao relativa a precisaoconceitual das questoes destas provas.


Figura 5 - Exigencia de cobranca de conhecimento especıficode fısica.

Na Fig. 6, sao apresentados os percentuais dasquestoes de fısica, em cada prova, que sao classificadascomo quantitativas, qualitativas ou semiquantitativas.Desta Fig. 6, observa-se que os itens da prova de fısicasao predominantemente qualitativos, nao exigindo ra-ciocınios quantitativos ou avaliacao da capacidade deresolucao de problemas.

Figura 6 - A distribuicao por carater quantitativo ou quali-tativo das questoes.

7. Resultados: o Desempenho dos Alu-nos

Os microdados do ENEM 2009 foram disponibilizadospelo INEP, permitindo a montagem de um banco de

dados com as respostas dos candidatos por questao. Aprova de referencia para as analises e a prova azul, deCiencias da Natureza. Foram eliminados os faltosos,e separaram-se todos os participantes (2.555.594) e osauto-declarados concluintes em 2009 (944.162), es-tudantes do terceiro ano do Ensino Medio em2009.

Na Fig. 7, apresenta-se o percentual de acertos emcada uma das questoes da prova aplicada de Cienciasda Natureza de 2009, anteriormente citada como2009/2. Em destaque, estao as questoes de fısicadesta prova.

Figura 7 - Percentual de acertos nas questoes de Cienciasda Natureza do ENEM 2009 – concluintes em 2009.

Na Tabela 2, esta o percentual de acertos entre osconcluintes e entre todos os participantes do ENEM2009, divididos entre as questoes de fısica classificadascomo qualitativas e quantitativas. O desempenho, emmedia, e inferior nas questoes que exigem algum tipode raciocınio matematico.

Na Tabela 3, esta o percentual de acerto nasquestoes classificadas segundo a exigencia de conheci-mento especıfico. Novamente, o desempenho revela-seem media mais fraco nas questoes que exigem conheci-mento de fısica. ⌋

Tabela 2 - O percentual de acerto nas questoes de fısica do ENEM 2009.

Itens qualitativos Itens qualitativos Itens quantitativosItem Concluintes Todos Item Concluintes Todos Item Concluintes Todos5 55.9 57.5 31 15.8 15.4 17 5.7 6.414 63.6 68.0 32 35.5 35.5 19 32.6 34.418 38.5 39.5 37 29.5 30.7 30 15.2 15.420 64.6 65.5 39 24.7 22.5 35 12.4 12.824 19.7 19.4 45 17.2 17.1 38 20.3 20.827 14.0 14.1 Media 34.5 35.0 Media 17.2 18.0


Tabela 3 - O percentual de acerto nas questoes de fısica do ENEM 2009.

Sem exigencia de conhecimento especıfico Exigencia de conhecimento especıfico Exigencia de conhecimento especıficoItem Concluintes Todos Item Concluintes Todos Item Concluintes Todos5 55.9 57.5 14 63.6 68.0 31 15.8 15.419 32.6 34.4 17 5.7 6.4 32 35.5 35.520 64.6 65.5 18 38.5 39.5 35 12.4 12.8Media 51.0 52.5 19 32.6 34.4 37 29.5 30.7

24 19.7 19.4 38 20.3 20.827 14.0 14.1 39 24.7 22.530 15.2 15.4 45 17.2 17.1

Media 24.6 25.1

As respostas por alternativa nas questoes de fısicada prova de Ciencias da Natureza do ENEM 2009 estaoapresentadas em detalhes na parte 1 do Anexo, e naparte 2 deste Anexo estao os percentuais de acerto emtodas as questoes da prova de Ciencias da Natureza.Esses resultados sao apresentados para todos os parti-cipantes da prova de 2009 (4,18 milhoes de candidatosinscritos, e 2,56 milhoes de candidatos participando daprova) e para os auto-declarados concluintes do EnsinoMedio em 2009 (940 mil candidatos).

8. Discussao final

Neste trabalho, apresentou-se uma analise das carac-terısticas qualitativas das questoes de fısica do ENEM,com base em categorias associadas a adequacao doexame aos objetivos propostos, ao tempo de reflexaona resolucao da prova, ao tipo de contextualizacao pro-posta no item e a utilizacao de procedimentos de ra-ciocınio menos elementares e mais abstratos.

Fez-se tambem uma comparacao entre os resultadosdo desempenho dos estudantes participantes do ENEM2009 e o dos concluintes do Ensino Medio neste ano.Esses resultados foram obtidos a partir dos dados dis-ponibilizados pelo INEP.

O perfil desse exame que emerge da analise e que elese caracteriza por apresentar itens predominantementequalitativos, extensos para o tempo disponıvel para re-solve-los e, de uma forma geral, bem contextualizados.

Alem da extensao dos itens, dois outros pontos sedestacam: o fato de que os itens podem representarmais de uma habilidade, ferindo assim o postulado daunidimensionalidade da Teoria de Resposta ao Item; ea distribuicao nao homogenea dos itens nos objetos es-pecıficos de conteudo, privilegiando os temas que abor-dam conceitos de eletricidade e termodinamica. Estefator, a medio e longo prazo, pode produzir serias dis-torcoes no currıculo de fısica do Ensino Medio no Brasil.

A avaliacao aponta para a necessidade de refor-mulacao da Matriz de Referencia do ENEM, para que osobjetos de conhecimento estejam mais alinhados com osapresentados no Ensino Medio, para que a distribuicaode habilidades e competencias se de de forma mais ho-mogenea, permitindo que o exame se torne um instru-

mento de maior utilidade para compor indicadores daqualidade da educacao no Ensino Medio do paıs.

A partir dos resultados dos estudantes, observa-sepreliminarmente que o percentual de acertos entre con-cluintes do Ensino Medio e candidatos em geral foi pra-ticamente o mesmo para todas as questoes da prova deCiencias da Natureza. Percebe-se diferenca nas mediasdos desempenhos em questoes que envolvem analisesquantitativas (com percentuais de acerto menores), namedia dos desempenhos quando ha exigencia de conhe-cimento especıfico de fısica (mais baixos). Tambem, deforma um pouco inesperada, os itens de fısica termicativeram em media um percentual de acerto bastantepequeno.

Avaliacoes em larga escala visam fornecer dadospara implementacao, manutencao e reformulacao depolıticas publicas e que avaliacoes governamentais delarga escala colocam muitas vezes em cheque o profes-sor em relacao as suas praticas avaliativas. Portanto,compreender, conhecer e refletir sobre as caracterısticasdestas avaliacoes torna-se primordial para o professor.

Agradecimentos

Este trabalho foi desenvolvido com apoio da CA-PES/MEC, Programa Observatorio da Educacao 2010,projeto “Avaliacoes Educacionais e o Ensino de Cien-cias e Matematica”.

Agradecemos a Marcelo Shoey de Oliveira Massu-naga e Gustavo Rubini, pelo auxılio na montagem dobanco de dados e pelas discussoes enriquecedoras sobreos resultados obtidos.

Referencias

[1] MEC/INEP, ENEM – Documento Basico(MEC/INEP, Brasılia, 1998)

[2] E.D. Britton and S.A. Schneider, in Handbook of Re-search on Science Education, editado por S.K. Abelland N.G. Lederman (Lawrence Earlbaum Associates,Mahwah, 2007).

[3] Documentacao detalhada em http://www.if.ufrj.

br/~marta/enem, consultada em 25/07/2013.

[4] N. Brooke, Cadernos de Pesquisa 36, 377 (2006).

http://www.if.ufrj.br/~marta/enem

http://www.if.ufrj.br/~marta/enem


[5] R. Klein e N. Fontanive, Em Aberto 15, 28(1995).

[6] W.P. Goncalves Jr, Avaliacoes em Larga Escala e oProfessor de Fısica. Dissertacao de Mestrado, Univer-sidade Federal do Rio de Janeiro, 2012.

[7] MEC/INEP, Guia de Elaboracao e Revisao de Itens –vol. I (MEC/INEP, Brasılia, 2010).

[8] T.M. Haladyna, Developing and Validating Multiple-Choice Test Items (Lawrence Earlbaum Associates,Mahwah, 2004), 3rd ed.

[9] MEC/INEP, Matriz de Referencia para o ENEM 2009(MEC/INEP, Brasılia, 2009).

[10] R. Hambleton, R. Swaminathan and H.J. Rogers, Fun-damentals of Item Response Theory (SAGE Publicati-ons, Newbury Park, 1991).

[11] Z. Brandao, Pesquisa em Educacao: Conversas com

Pos-Graduandos (Ed. Loyola & PUC, Rio de Janeiro,2002).

[12] W.P. Goncalves Jr e M.F. Barroso, ENEM: Os Itens eo Desempenho dos Estudantes em 2009. Anais do XIVEncontro de Pesquisa em Ensino de Fısica (SBF, SaoPaulo, 2012).

[13] P. Nentwig et al., Journal of Research in Science Tea-ching 46, 897 (2009).

[14] D.H. Jonassen, Learning to Solve Complex ScientificProblems (Lawrence Earlbaum Associates, New Jersey,2007).

[15] E. Babbie, Metodos de Pesquisas de Survey (UFMG,Belo Horizonte, 1999).

[16] L.V. Machado, Avaliacao de Larga Escala e Pro-ficiencia Matematica. Dissertacao de Mestrado, Uni-versidade Federal do Rio de Janeiro, 2010.

Anexo 1 – O desempenho dos estudantes nas questões de física da prova de Ciências daNatureza do ENEM 2009.

Parte 1 – O percentual de respostas em cada uma das alternativas, para os estudantes concluintes e paratodos os estudantes. O caractere entre parênteses corresponde ao gabarito do item. O número daquestão corresponde à prova azul.

Q05 (E)Concluintes (%) Todos (%)

A 17.2 16.1B 16.2 15.8C 5.9 6.1D 4.4 4.2E 55.9 57.5Branco 0.1 0.2Inválido 0.2 0.2Total 100.0 100.0







Q19 (D)Concluintes (%) Todos (%)




Q24 (A)Concluintes (%) Todos (%)








Q32 (B)Concluintes (%) Todos (%)


Q35 (A)Concluintes (%) Todos (%)


Parte 2 – O percentual de acertos por questão (Prova Azul, 2009) da prova de Ciências da Natureza paraconcluintes em 2009 (autodeclarados) e para todos os participantes.

Questão% acerto

Concluintes% acerto

Todos1 87.3 89.12 37.1 39.33 41.7 43.24 64.4 64.55 55.9 57.56 56.7 57.57 42.3 46.18 52.9 54.79 18.9 18.110 27.7 28.711 48.5 49.012 21.6 20.813 69.6 74.814 63.6 68.015 20.3 19.316 44.8 46.817 5.7 6.418 38.5 39.519 32.6 34.420 64.6 65.521 31.2 30.822 53.3 59.023 29.9 34.524 19.7 19.425 23.4 22.326 22.0 21.827 14.0 14.128 30.7 31.329 31.9 31.530 15.2 15.431 15.8 15.432 35.5 35.533 22.5 20.734 24.2 25.435 12.4 12.836 19.6 19.437 29.5 30.738 20.3 20.839 24.7 22.540 40.4 41.141 23.4 23.642 27.4 28.543 24.5 24.844 20.9 20.845 17.2 17.1

as quest~oes de f sica e o desempenho dos estudantes no enem · objetivos: de uma...

Documents