letramento em matemÁtica no pisa

LETRAMENTO EM MATEMÁTICA NO PISA

Maria Isabel Ramalho Ortigão Universidade do Estado do Rio de Janeiro, Brasil

[email protected]

Glauco da Silva Aguiar Professor do Colégio Militar do Rio de Janeiro, Brasil

[email protected]

RESUMO

Este trabalho é resultado de uma investigação que buscou conhecer as

concepções de letramento em Matemática que servem de base para a

Avaliação Internacional de Estudantes – PISA, conduzida pela OCDE. O

estudo analisou documentos do PISA e relatórios de pesquisa com base

nesta avaliação, discutindo-os à luz da literatura específica. Além disso,

processos estatísticos de análise descritiva foram aplicados aos dados da

avaliação do PISA 2003 com o intuito de descrever o desempenho médio

dos estudantes brasileiros. Os autores observaram que a noção de letramento

matemático no âmbito do PISA assemelha-se às noções de competências e

habilidades matemáticas presentes nos documentos curriculares brasileiros.

No entanto, os resultados evidenciam que os alunos, mesmo tendo

frequentado a escola por muitos anos, não estão alcançando as competências

em matemática esperadas. Isto ocorre inclusive com aqueles que nunca

passaram pela experiência de reprovação em alguma das séries em que

estudou.

Palavras-chave: PISA 2003, Letramento matemático; Competências e habilidades; Escala de proficiência em Matemática.

ABSTRACT

This study is the result of an investigation that sought to know the

conceptions of literacy in mathematics that serve as a basis for international

student assessment, PISA – led by OECD. The study looked at PISA

V SEMINÁRIO INTERNACIONAL DE PESQUISA EM EDUCAÇÃO MATEMÁTICA 2 28 a 31 de outubro de 2012, Petrópolis, Rio de janeiro, Brasil

documents and research reports on the basis of this assessment, discussing

them in the light of the specific literature. In addition, statistical processes

were applied in descriptive analysis findings of the evaluation of PISA

2003, which had as its main focus the Mathematics to describe the average

performance of Brazilian students compared to other countries, and discuss

the notion of mathematical literacy adopted within the framework of the

PISA.

Keywords: PISA 2003, mathematical literacy, skills and abilities; Scale proficiency in mathematics

1 Introdução

Este trabalho apresenta os resultados de uma investigação que buscou discutir as

concepções de letramento matemático do Programa Internacional de Avaliação de

Estudantes – PISA, conduzido pela Organização para Cooperação e Desenvolvimento

Econômico – OCDE. Para o PISA, o letramento matemático reflete uma perspectiva

relacionada a uma visão mais ampla das práticas sociais que utilizam a matemática e

que, portanto, reforçam o papel social da educação matemática cuja responsabilidade é

estabelecer o elo entre os conteúdos escolares e o cotidiano do aluno. Em 2012 o foco

da avaliação do PISA voltar-se-á, novamente, à área da matemática, o que por si só,

justifica a atualidade desse estudo. Esperamos contribuir para uma melhor compreensão

do significado de letramento em matemática, utilizando as definições consideradas no

relatório da OCDE/PISA que referenciam a elaboração dos itens da prova de

Matemática.

A divulgação dos resultados das avaliações em larga escala conduzidas pelo INEP

– Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira –, tais como,

PISA, SAEB - Sistema Nacional de Avaliação da Educação Básica, Prova Brasil ou

mesmo o ENEM - Exame Nacional do Ensino Médio, tem insistido em revelar níveis

insuficientes de aprendizagem pelas crianças e jovens nas escolas brasileiras. Tais

resultados vêm sendo acompanhados de uma crescente cobrança por medidas que

precisa dar lugar ao efetivo direito a uma educação de qualidade, com escolas que

ensinam e alunos que aprendem.

A literatura educacional tem ressaltado a importância e o papel desempenhado

pela avaliação nos avanços metodológicos e institucionais e no acompanhamento de


políticas educacionais de promoção de equidade (FRANCO et al, 2007; SOARES,

2005). É através das informações colhidas mediante os processos de avaliação que

gestores e demais agentes inseridos no processo educativo identificam prioridades e

alternativas a fim de alcançar a eficácia das ações e a otimização dos investimentos no

setor. Da mesma forma, indicam o que se deve esperar que os alunos aprendessem em

sua trajetória escolar à luz dos currículos propostos e identificam quais são os fatores

escolares ou extraescolares que favorecem ou limitam a aquisição das competências

esperadas (AGUIAR, 2008).

De modo geral, esses estudos, embora com características diferentes em virtude

do formato, periodicidade ou população avaliada, englobam dois objetivos

fundamentais: (a) construção de indicadores da área educacional e (b) explicação e

interpretação dos resultados alcançados. Neste sentido, o Brasil vem ampliando seus

interesses na área de avaliação educacional e com o intuito de comparar os resultados

brasileiros com os de outros países, voluntariamente, passou a participar, desde 2000, do

PISA.

O PISA avalia as competências e habilidades ao fim da escolarização básica e

examina o grau de preparação dos jovens para a vida adulta e, até certo ponto, a

efetividade dos sistemas educacionais de diferentes países. Esta efetividade refere-se às

realizações dos objetivos subjacentes dos sistemas educacionais, como definidos pela

sociedade. Ou seja, uma visão do Ensino Médio de caráter amplo, de forma que os aspectos e conteúdos tecnológicos associados ao aprendizado científico e matemático sejam parte essencial da formação cidadã de um sentido universal e não somente de sentido profissionalizante. (BRASIL, 1998, p.10)

A matriz conceitual de avaliação do PISA, que tem como referência principal a

articulação entre o conceito de educação básica e o de cidadania, está em perfeita

sintonia com os objetivos educacionais do Ensino Médio, propostos pelo Ministério da

Educação – MEC, como observado por Ubriaco e Muri em suas pesquisas de Mestrado

(UBRIACO, 2009; MURI, 2012). Ela está presente também no ENEM, cujos preceitos

demonstram seu caráter transdisciplinar e o entendimento do perfil terminativo desse

nível de ensino, complementando o aprendizado iniciado no Ensino Fundamental

(MURI, 2012). Esta estrutura de avaliação é desenhada a partir de um modelo dinâmico

de aprendizagem, em que, tal como definido tanto no texto constitucional como na Lei

de Diretrizes e Bases - LDB de 1996, os conhecimentos e habilidades devem ser


continuamente adquiridos, a fim de viabilizarem uma adaptação bem-sucedida, em um

mundo em constante transformação.

O conhecimento, as habilidades e competências, definidos pelo organismo

internacional que administra o PISA (OCDE), e foco da avaliação, medidos nos testes

cognitivos, têm mais a ver com as virtudes pessoais, competências diversas, atitudes e

disposições sociomotivacionais do que com a aprendizagem escolar sistemática,

assimilada de forma automática e sem conexão com o mundo real. Esta concepção

remete ao significado de letramento em matemática e para o conjunto de significados e

implicações que ele suscita. Por isso, não obstante à falta de consenso em torno do que

seja letramento matemático e das diferentes formas de avaliá-lo, entendemos que

discutir o significado do termo letramento matemático e suas implicações não pode ser

um exercício de retórica, nem para os gestores de políticas públicas, nem para a

comunidade de educadores matemáticos, tendo em vista que cada vez mais as

habilidades matemáticas são consideradas como parte de um indicador de alfabetismo

funcional.

2 O PISA e a avaliação em Matemática

O PISA é um programa internacional de avaliação comparada, desenvolvido pela

Organização para a Cooperação e Desenvolvimento Econômico (OCDE), que tem por

objetivos avaliar o desempenho de alunos, na faixa dos 15 anos de idade, e produzir

indicadores sobre a efetividade dos sistemas educacionais dos diversos países

participantes. As avaliações ocorrem a cada três anos, com ênfases distintas nas áreas do

conhecimento de Leitura, Matemática e Ciências. Em cada edição, o foco de análises e

interpretações mais detalhadas recai sobre uma dessas áreas. O primeiro ciclo de

avaliação ocorreu em 2000 e teve como principal domínio de avaliação a Leitura. Em

2003 o foco foi a Matemática e em 2006, terceiro ciclo de avaliação, a ênfase foi em

Ciências. Em 2009 o foco voltou a ser em Leitura e, este ano, 2012, a área principal a

ser avaliada será novamente a Matemática.

O objetivo principal do PISA é o de produzir indicadores que contribuam para a

discussão da qualidade da educação ministrada nos países participantes, de modo a

subsidiar políticas públicas de melhoria da educação. A avaliação procura verificar até

que ponto as escolas de cada país participante estão preparando seus jovens para

exercerem o papel de cidadãos na sociedade contemporânea. Além de avaliar as

competências dos estudantes, o PISA coleta informações básicas para a elaboração de


indicadores contextuais, os quais possibilitam relacionar o desempenho dos alunos às

suas características sociodemográficas. Os resultados desses estudos podem ser

utilizados pelos gestores dos vários países envolvidos, como instrumento para a

definição e/ou refinamento de políticas educacionais.

Particularmente, no ciclo de 2003, cuja ênfase foi dada ao Letramento em

Matemática, o estudo envolveu 41 países, incluindo a totalidade dos 30 membros da

OCDE e 11 países convidados, com a participação total de aproximadamente, 280 mil

alunos de 15 anos de idade. No Brasil, participaram cerca de 4500 alunos que, por

ocasião da realização dos testes, teriam idades compreendidas entre os 15 anos e três

meses e os 16 anos e dois meses, desde que cursassem a 7ª ou 8ª séries (atuais 8º e 9º

anos) do Ensino Fundamental ou o Ensino Médio (1ª, 2ª ou 3ª séries). Foram sorteadas

228 escolas, entre urbanas e rurais, públicas e privadas, de 179 municípios das cinco

regiões brasileiras. Estima-se que a avaliação do PISA 2012 seja aplicada em

aproximadamente 902 escolas, com a participação de aproximadamente 26 mil

estudantes.

Os testes realizados foram testes de “lápis e papel”, que deveriam ser respondidos

pelos estudantes, num período total de duas horas. As questões apresentadas incluíam

itens de múltipla escolha, cerca de um terço, e itens que requeriam dos alunos a

elaboração de respostas, umas mais curtas, outras mais elaboradas. A partir do estudo

piloto, foi selecionado um total de 167 itens, sendo 85 de Matemática, 28 de Leitura, 35

de Ciências e 19 de Resolução de Problemas.

Os procedimentos do PISA preveem que cada aluno responda, além do teste, um

questionário sobre si próprio, sobre seus hábitos de estudo e as suas percepções do

contexto de aprendizagem, sobre seu envolvimento na escola e suas motivações. Além

disso, os diretores das escolas selecionadas na amostra também preenchem um

questionário, contendo informações sobre as condições de funcionamento e

infraestrutura da escola.

Na sequencia, apresentamos nossas questões de pesquisa e a abordagem

metodológica. Em seguida, trazemos as concepções de letramento constantes na

literatura específica e as noções de letramento matemático do PISA e por fim,

discutimos os resultados de nossa investigação.


3 Questões de pesquisa e abordagem metodológica

O foco norteador do estudo que desenvolvemos teve como base os itens de

Matemática do PISA 2003. Este estudo objetiva a comparação de resultados dos alunos

brasileiros com os de outros países, no que tange a concepção do ensino da Matemática

em nossas escolas e à capacidade de mobilização, por parte dos alunos, de

conhecimentos matemáticos para a realização de tarefas ou para a resolução de

situações-problemas com as quais se deparam no dia a dia. Em última análise, buscamos

dimensionar a defasagem entre as reais competências de nossos alunos e as exigidas

pelos países mais avançados para o exercício pleno da cidadania.

Nosso objetivo desdobra-se nas seguintes questões de pesquisa:

Qual a definição de letramento matemático que norteia o programa de avaliação internacional PISA?

Como se encontram os alunos brasileiros em termos de letramento matemático?

Quais as articulações possíveis desses resultados com a Educação Matemática em nossas escolas?

A fim de respondê-las, analisamos todos os 84 itens da base do PISA 2003. Cabe

ressaltar que muitos desses itens são sigilosos e apenas os itens públicos,

disponibilizados pelo INEP, podem ser apresentados. A investigação acerca da

concepção de letramento em matemática adotado pelo PISA demandou uma observação

detalhada nas principais características dos itens, tais como: conteúdo, processo,

contexto e tipo de resposta exigida. Para uma comparação entre os desempenhos

conseguidos pelos alunos brasileiros e a média da OCDE e visando dimensionar as

diferenças de rendimento encontradas no letramento em matemática foram geradas as

frequências relativas aos acertos praticados por nossos alunos em cada item. Embora

cientes da importância e da riqueza de informações que se obtém ao considerar os

diferentes tipos de respostas dadas pelos alunos a um determinado item, ou ainda, o

percentual de alunos que deixou o item “em branco”, essa não foi a análise feita aqui.

Para descrever o desempenho de nossos alunos frente ao item em pauta consideraremos

apenas as porcentagens de ocorrência das respostas corretas.

A título de ilustração, apresentamos a seguir alguns itens públicos do PISA 2003.


3.1 Item da Subárea Espaço e Forma

Apresentamos a seguir um exemplo de item submetido aos estudantes na subárea

Espaço e Forma. A apresentação da imagem do item é feita tal como aparece nos

cadernos de teste, a exceção do tamanho original, que aqui se encontra reduzido.

A B

C D

10 m

6 m

10 m

10 m 10 m

6 m

6 m 6 m

A B

C D

10 m10 m

6 m6 m

10 m10 m

10 m10 m 10 m10 m

6 m6 m

6 m6 m 6 m6 m

CARPINTEIROQuestão 1: CARPINTEIRO M266Q01

Um carpinteiro tem 32 metros de tábua para cercar um canteiro em uma horta. Ele estápensando em utilizar um dos seguintes modelos para o canteiro.

Sim / NãoModelo D

Sim / NãoModelo C

Sim / NãoModelo B

Sim / NãoModelo A

Usando este modelo, o canteiro pode ser construído com 32 metros de tábua?Modelo de canteiro

Sim / NãoModelo D

Sim / NãoModelo C

Sim / NãoModelo B

Sim / NãoModelo A

Usando este modelo, o canteiro pode ser construído com 32 metros de tábua?Modelo de canteiro

Na tabela abaixo, faça um círculo em “Sim” ou “Não” para cada modelo, indicando se ele pode ou não ser feito com 32 metros de tábuas.

Figura 1: Exemplo de item do PISA 2003

Esse item avalia a competência conexões apresentando um contexto do tipo

educacional/ocupacional. De acordo com o relatório do PISA 2003, o percentual de

acerto desse item é de apenas 4,8%, o que evidencia que o mesmo foi extremamente

difícil para os alunos brasileiros. O conteúdo matemático subjacente requerido é o

conceito de perímetro. No entanto, o problema é proposto de uma forma não muito

usual e raramente encontrado nos livros didáticos. De qualquer forma, responde a um

dos objetivos gerais que é o de comparar figuras geométricas.

3.2 Item da Subárea Mudança e Relações

O item a seguir serve para ilustrar uma peculiaridade muito comum nos itens do

PISA, em que uma situação-problema se desdobra em duas ou mais questões ou tarefas.

O item a seguir, da subárea “Mudança e Relação”, refere-se a três situações problemas.


TAXA DE CÂMBIOMei-Ling, de Singapura, estava preparando-se para uma viagem de 3 meses à Áfricado Sul como aluna de intercâmbio. Ela precisava trocar alguns dólares de Singapura

(SGD) por rands sul-africanos (ZAR).

________________________________________________________________________Questão 1: TAXA DE CÂMBIO M413Q01 – 019

Mei-Ling descobriu que a taxa de câmbio entre o dólar de Singapura e o rand sul-africano era:

1 SGD = 4,2 ZAR

Mei-Ling trocou 3000 dólares de Singapura por rands sul-africanos a esta taxa de câmbio.

Quantos rands sul-africanos Mei-Ling recebeu?

Resposta: ...............................................

________________________________________________________________________

Questão 2: TAXA DE CÂMBIO M413Q02 – 019

Ao retornar a Singapura após 3 meses, Mei-Ling ainda tinha 3 900 ZAR. Ela trocou novamente por dólares de Singapura, observando que a taxa de câmbio tinha mudado para:

1 SGD = 4,0 ZAR

Quantos dólares de Singapura Mei-Ling recebeu?

Resposta:.............................................................

________________________________________________________________________

Questão 3: TAXA DE CÂMBIO M413Q03 - 01 02 11 99

Durante estes 3 meses, a taxa de câmbio mudou de 4,2 para 4,0 ZAR por SGD.

Foi vantajoso para Mei-Ling que a taxa de câmbio atual fosse de 4,0 ZAR em vez de4,2 ZAR, quando ela trocou seus rands sul-africanos por dólares de Singapura? Dê

uma explicação que justifique a sua resposta.

TAXA DE CÂMBIOMei-Ling, de Singapura, estava preparando-se para uma viagem de 3 meses à Áfricado Sul como aluna de intercâmbio. Ela precisava trocar alguns dólares de Singapura

(SGD) por rands sul-africanos (ZAR).

________________________________________________________________________Questão 1: TAXA DE CÂMBIO M413Q01 – 019

Mei-Ling descobriu que a taxa de câmbio entre o dólar de Singapura e o rand sul-africano era:

1 SGD = 4,2 ZAR

Mei-Ling trocou 3000 dólares de Singapura por rands sul-africanos a esta taxa de câmbio.

Quantos rands sul-africanos Mei-Ling recebeu?

Resposta: ...............................................

________________________________________________________________________

Questão 2: TAXA DE CÂMBIO M413Q02 – 019

Ao retornar a Singapura após 3 meses, Mei-Ling ainda tinha 3 900 ZAR. Ela trocou novamente por dólares de Singapura, observando que a taxa de câmbio tinha mudado para:

1 SGD = 4,0 ZAR

Quantos dólares de Singapura Mei-Ling recebeu?

Resposta:.............................................................

________________________________________________________________________

Questão 3: TAXA DE CÂMBIO M413Q03 - 01 02 11 99

Durante estes 3 meses, a taxa de câmbio mudou de 4,2 para 4,0 ZAR por SGD.

Foi vantajoso para Mei-Ling que a taxa de câmbio atual fosse de 4,0 ZAR em vez de4,2 ZAR, quando ela trocou seus rands sul-africanos por dólares de Singapura? Dê

uma explicação que justifique a sua resposta.


As duas primeiras questões propostas avaliam competências de reprodução e a

terceira de reflexão. As três inserem-se ao contexto público. Estas três situações-

problema que tratam de “Taxa de Câmbio” envolvem basicamente o raciocínio

proporcional. A proporcionalidade envolvida é direta e os cálculos requerem a

multiplicação ou divisão por números na forma decimal. Cabe destacar que a terceira

questão (M413Q03), não exige nenhum cálculo para a resposta correta. É necessária

apenas a compreensão do conceito matemático envolvido e uma argumentação coerente,

relacionada à interpretação e comparação de duas taxas de câmbio. O percentual de

acerto dos alunos brasileiros em cada uma delas foi de 36,5%, 24,8% e 15%,

respectivamente. A dificuldade maior de nossos alunos pode estar na forma de


apresentar a resposta, visto que a última questão apresenta o menor percentual de acerto

entre as três situações-problema (15%).

3.3 Item da Subárea Quantidade

Quantidade foi a área da Matemática em que nossos alunos obtiveram resultados

mais favoráveis, embora ainda bastante sofríveis se comparados com a média dos

demais países da OCDE.

Os itens dessa subárea da Matemática, de um modo geral, buscam avaliar se o

trabalho com números e operações está cumprindo a finalidade de proporcionar ao

aluno, neste nível de escolaridade, a capacidade de resolver problemas do cotidiano,

bem como operar com números inteiros e decimais finitos; operar com frações e, em

especial, com porcentagens. Além disso, se está sendo estimulado o desenvolvimento do

cálculo mental e a estimação da ordem de grandezas de números.

A seguir apresentamos um item utilizado na avaliação dos conteúdos e

competências relacionados com a “Quantidade”. Nessa subárea, basicamente as tarefas

solicitadas foram referentes à resolução de problemas com números e a resolução de

problemas envolvendo processos organizados de contagem.

ESTANTESQuestão 1: ESTANTES M484Q01

Para construir uma estante completa, um marceneiro precisa do seguinte material:

4 pranchas grandes de madeira,

6 pranchas pequenas de madeira,

12 braçadeiras pequenas,

2 braçadeiras grandes e

14 parafusos.

O marceneiro possui em estoque 26 pranchas grandes de madeiras, 33 pranchas pequenas de madeira, 200 braçadeiras pequenas, 20 braçadeiras grandes e 510 parafusos.

Quantas estantes completas o marceneiro poderá fazer?

Resposta: ......................................................







14 parafusos.



Resposta: ......................................................







14 parafusos.



Resposta: ......................................................


Esse item se insere no contexto educacional/ocupacional e avalia a capacidade do

aluno realizar conexões. O percentual de acerto dos alunos brasileiros foi de 29,3%.


Para responder corretamente este item o aluno deve realizar a operação de divisão por

números inteiros. O tipo de resposta curta e direta parece não ser um complicador para

nossos alunos.

Cabe ressaltar que os comentários sobre os itens foram feitos, separadamente,

pelos quatro blocos de conteúdos da Matemática adotados pelo PISA, aos quais os itens

estão relacionados, a fim de tornar possível uma análise mais sistemática. Isso não

significa que muitas das observações não possam ser generalizadas ou articuladas com

os demais itens, das outras subáreas, da mesma forma que acreditamos que os conteúdos

desses blocos devam ser trabalhados em sala de aula.

4 Letramento Matemático

O conceito de letramento é recente no cenário educacional brasileiro. Baseado nos

estudos de Brian Street (1984) passou a integrar o discurso de especialistas das áreas de

educação e linguística a partir das discussões iniciadas por Kleiman (1995) e Soares

(1998). Tomava impulso o debate acerca das novas formas de compreender a leitura e a

escrita como processos dinâmicos em contextos significativos da atividade social,

contextualizados, realizados em diferentes situações de uso e com finalidades diversas.

Segundo Soares (1999), a palavra letramento

(...) é a versão para o português da palavra da língua inglesa litteracy. (...), que corresponde ao estado ou condição que assume aquele que aprende a ler e escrever. Implícita nesse conceito está a ideia de que a escrita traz conseqüências sociais, culturais, políticas, econômicas, cognitivas, lingüísticas, quer para o grupo social em que seja introduzida, quer para o indivíduo que aprenda a usá-la. Em outras palavras: do ponto de vista individual, o aprender a ler e escrever - alfabetizar-se, deixar de ser analfabeto, tornar-se alfabetizado, adquirir a ‘tecnologia’ do ler e escrever e envolver-se nas práticas sociais de leitura e de escrita - tem conseqüências sobre o indivíduo, e altera seu estado ou condição em aspectos sociais, psíquicos, culturais, políticos, cognitivos, lingüísticos e até mesmo econômicos; do ponto de vista social, a introdução da escrita em um grupo até então ágrafo tem sobre esse grupo efeitos de natureza social, cultural, política, econômica, lingüística. O ‘estado’ ou a ‘condição’ que o indivíduo ou grupo social passam a ter, sob o impacto dessas mudanças, é que é designado por litteracy. (SOARES, 1999, p 17-18)

As discussões em torno dos processos de escolarização da leitura e da escrita, em

especial a partir dos estudos de Magda Soares, passam a considerar mais fortemente

esse seu aspecto sociocultural. Alguns autores, contudo, ao priorizar uma das dimensões

do letramento (individual ou social), explicitam definições de letramento que se

diferenciam, o que tem se constituído uma dificuldade a mais para os estudos que


abordam o tema. Há especialistas que chegam a sugerir a existência de letramentos, no

plural. Para eles, seria, provavelmente, mais apropriado referirmo-nos a “letramentos” do que a um único letramento, e devemos falar de letramentos, e não de letramento, tanto no sentido de diversas linguagens e escritas, quanto no sentido de múltiplos níveis de habilidades, conhecimentos e crenças, no campo de cada língua e/ou escrita. (STREET, 1984, p.47)

Soares (2002), no entanto, deixa claro que há imprecisão na conceituação do

termo letramento. Ao opor, em sua concepção, letramento e analfabetismo, entende a

alfabetização (aquisição do código da leitura e da escrita pelo sujeito) como pré-

requisito para o letramento (apropriação e uso social da leitura e da escrita pelo sujeito).

É nesse sentido que, para a autora, o fato de estarmos vivendo hoje, a introdução na

sociedade, de novas e incipientes modalidades de práticas sociais de leitura e de escrita,

favorecidas pelas recentes tecnologias de comunicação eletrônica [acrescentaríamos

também a armazenagem de dados] – o computador, a rede (web), a internet – é propício

a tornar o conceito de letramento mais claro e preciso.

Kleiman (1995) define letramento “como um conjunto de práticas sociais que

usam a escrita, enquanto sistema simbólico e enquanto tecnologia, em contextos

específicos, para objetivos específicos”. Assim, considera que a leitura e a escrita se

constituem em atividades sociais tais como ler um manual ou pagar contas e, portanto,

devem ser encaradas como atividades que servem a um propósito e não como atividades

fim.

Gradativamente, os estudos sobre letramento, antes restritos apenas à área de

linguística, começam a se expandir para as diversas áreas do conhecimento. O termo

letramento matemático se torna mais evidente no Brasil com a publicação, em 2004, do

livro Letramento no Brasil: habilidades matemáticas (FONSECA, 2004). Nesta

publicação, a concepção de Matemática como uma prática sociocultural, ou ainda, a

matemática escolar que consegue fazer uma conexão direta entre os conteúdos escolares

e formais e as diversas situações de vida dos alunos, é reportada com a utilização de

diferentes termos: alfabetismo, alfabetismo funcional, letramento, literacia, materacia,

numeracia, numeramento, literacia estatística, graficacia, alfabetismo matemático

(FONSECA, 2004, p.27). Apesar dessa multiplicidade, a ideia central de todos eles

refere-se à capacidade de desempenhar tarefas funcionais que demandam

conhecimentos e estratégias desenvolvidos em situações de uso sociocultural.


4.1 Letramento em Matemática no PISA

O PISA é desenhado a partir da ideia de aprendizagem como um processo

dinâmico, em que novos conhecimentos e habilidades devem ser continuamente

adquiridos, para uma adaptação bem sucedida em um mundo em constante

transformação. Para refletir a amplitude dos conhecimentos, habilidades e competências

que estão sendo avaliados, usa-se o conceito de letramento, que remete para a capacidade de um indivíduo identificar e compreender o papel que a Matemática desempenha no mundo real, de fazer julgamentos bem fundamentados e de usar e se envolver na resolução matemática das necessidades de sua vida, enquanto cidadão consciente, construtivo e reflexivo. (OCDE, 2000, p.21)

A noção de letramento adotada pelo PISA relaciona-se com o uso mais abrangente

e funcional da Matemática, o que exige do estudante a capacidade de reconhecer e

formular problemas matemáticos em variadas situações de sua vida.

Diferentemente de avaliações internacionais anteriores (IEA, TIMMS, OREALC,

dentre outras), o PISA não se concentra somente nos conteúdos curriculares, mas

enfatiza as competências necessárias à vida moderna. Busca, portanto, verificar a

operacionalização de esquemas cognitivos nas diferentes áreas de conhecimento. Em

Matemática, o letramento é avaliado em termos de três dimensões:

O conteúdo de Matemática, definido primeiramente em termos de conceitos matemáticos mais amplos (como estimativa, mudança e crescimento, espaço e forma, raciocínio lógico, incerteza e dependências e relações), e secundariamente em relação a ramos do currículo (como relações numéricas, álgebra, geometria e tratamento da informação);

O processo da Matemática, definido pelas competências matemáticas gerais. Essas incluem o uso da linguagem matemática, escolha de modelos e procedimentos e habilidades de resolução de problemas. No entanto, a ideia não é separar essas habilidades em diferentes itens de teste, já que se pressupõe que uma série de competências será necessária para desempenhar qualquer tarefa matemática. Essas competências são organizadas em três classes: a primeira consiste na realização de operações simples; a segunda exige o estabelecimento de conexões para resolver problemas; a terceira consiste de raciocínio matemático, generalização e descobertas, e exige que os alunos façam análises, identifiquem elementos matemáticos de uma dada situação e proponham problemas;

Os contextos, compreendidos como as situações nas quais a Matemática é usada, variando de contextos particulares àqueles relacionados com questões científicas e públicas mais amplas.

Para cada dimensão avaliada, existe uma escala contínua, em que os níveis de

desempenho dos alunos e o posicionamento destes ao longo da escala estão

representados pelo número de pontos alcançados. Particularmente em Matemática, as


competências são avaliadas em itens que abrangem desde a realização de operações

básicas até as habilidades de alta ordem, envolvendo raciocínio e descobertas

matemáticas.

Especificamente, estas habilidades são sintetizadas em três grupos: reprodução,

conexão e reflexão. O primeiro compreende os processos cognitivos que são requeridos

para que o aluno demonstre as habilidades matemáticas que estão ligadas de maneira

muito próxima ao que é usualmente entendido como conteúdo. Na maioria das vezes, a

solução do item da prova está apoiada em dados e fatos memorizados e na execução de

ações repetidas. O segundo parte do anterior, mas envolve os processos cognitivos

exigidos para que o aluno possa demonstrar habilidades relacionadas ao saber fazer,

mesmo que de maneira incipiente. A resolução das tarefas demanda a reunião de ideias

para solucionar problemas matemáticos diretos, com maior interpretação da situação. O

terceiro desenvolve-se a partir do grupo de conexão, mas abrange habilidades

necessárias para a resolução de tarefas que precisam de um pensamento matemático

mais amplo, exigindo insight, reflexão e até mesmo criatividade para a resolução do

problema. O quadro a seguir apresenta de modo sintético o desenvolvimento das três

dimensões citadas acima.

Quadro 2 : Resumo das dimensões avaliadas pelo PISA em Matemática

DIMENSÕES AVALIADAS EM MATEMÁTICA

Conteúdo Processo Contexto

Núcleo de áreas e conceitos matemáticos relevantes: Quantidade Espaço e forma Mudanças e relações Incerteza

As “constelações de competências” que definem as capacidades necessárias para a Matemática: Reprodução – operações matemáticas simples; Conexão – ligar ideias para resolver problemas de resolução direta; Reflexão – pensamento matemático mais abrangente.

As situações variam de acordo com a “distância” das mesmas, em relação ao dia-a-dia dos indivíduos: Pessoal; Ocupacional/educacional; Público/social; Científico.

No PISA os conteúdos matemáticos são organizados em quatro áreas

estruturantes, a saber: Quantidade, Espaço e forma, Mudanças e relações, Incerteza.

Para os organizadores da avaliação, as três primeiras constituem a essência de qualquer

currículo de Matemática da educação básica. A quarta (Incerteza) atende ao caráter mais

abrangente da Competência Matemática e se conecta com as necessidades da vida diária


do cidadão. Observa-se uma grande proximidade dessa organização com a que é

proposta no PCN (BRASIL, 1998), que embora apresente nomes ligeiramente

diferentes, usa as mesmas categorias.

Apresentamos até aqui uma breve discussão acerca das concepções de letramento

presentes na literatura específica e os sentidos de letramento matemático e como este

conceito está presente na avaliação do PISA. Na continuidade, discutimos os resultados

do PISA 2003, que focou especificamente, a avaliação das habilidades matemáticas

(letramento matemático) dos jovens brasileiros matriculados nas séries finais do ensino

fundamental e no ensino médio.

5 Escala de Proficiência em Matemática: concepções de letramento

De modo geral, dada a complexa tarefa de se definir letramento (BONAMINO et

al, 2002), os sistemas de avaliação partem de um nível de letramento que se espera que

os alunos de uma determinada faixa de idade e/ou escolar dominem, e elaboram itens de

prova que procuram verificar em uma escala de proficiência que habilidades esses

alunos desenvolveram. Cada avaliação revela e prioriza uma concepção de letramento.

O conceito de letramento utilizado no PISA é mais amplo do que a noção histórica

da capacidade de ler e escrever e é medido num continuum, não podendo ser reduzido à

dicotomia de ser ou não ser letrado. O letramento é definido como “a capacidade de um

indivíduo identificar e compreender o papel que a matemática desempenha no mundo,

de fazer julgamentos bem fundamentados e de usar e se envolver na resolução

matemática das necessidades da sua vida, enquanto cidadão construtivo, preocupado e

reflexivo” (OCDE, 2000, p.21). O PISA descreve os conhecimentos associados a

habilidades desenvolvidas pela escola em uma escala de proficiência. A escala de

proficiência em Matemática apresenta-se subdivida em quatro subescalas. Lembramos

que as escalas em que os resultados são apresentados foram construídas de forma que,

no conjunto dos países da OCDE, a média fosse de 500 pontos, e cerca de dois terços

dos alunos tivessem entre 400 e 600 pontos. As pontuações nas escalas de letramento

em matemática foram agrupadas em seis níveis de proficiência que representam

conjuntos de tarefas de dificuldade crescente, em que o nível 1 é o mais baixo, e o nível

6 o mais elevado. Os alunos que tiveram menos de 358 pontos na escala foram

classificados como estando “abaixo do nível 1” e representam 11% do total dos

estudantes dos países da OCDE. Estes alunos não foram capazes de utilizar as

capacidades matemáticas requeridas pelas tarefas mais simples do PISA. A proficiência


em cada um destes níveis pode ser compreendida através da descrição das competências

matemáticas requeridas para atingi-los. O quadro 3, a seguir, apresenta um sumário

dessas descrições.

Quadro 3: Níveis de Proficiência em Matemática – PISA 2003 – Escala geral Nível /

Faixa de proficiência

Proficiência em Matemática

Abaixo nível 1 Menor que

358 Não atingiu as habilidades básicas que o PISA objetivava mensurar.

Nível 1 De 358 a 420

No nível 1, os estudantes são capazes de responder a questões que envolvem contextos familiares, em que toda a informação relevante está presente e as questões são claramente definidas. São capazes de identificar a informação e de executar procedimentos de rotina, de acordo com instruções diretas, em situações explícitas. Conseguem executar ações que são óbvias e cujo desenvolvimento parte diretamente dos estímulos dados.


No nível 2, os estudantes são capazes de interpretar e reconhecer situações em contextos que não requerem mais do que inferência direta. São capazes de extrair informação relevante de uma única fonte e fazer uso de um único modelo de representação. Os estudantes conseguem empregar algoritmos, fórmulas, procedimentos ou convenções a um nível básico. São capazes de efetuar raciocínios diretos e de fazer interpretações literais de resultados.


No nível 3, os estudantes são capazes de executar, procedimentos descritos com clareza, incluindo os que requerem decisões sequenciais. Conseguem selecionar e aplicar estratégias simples de resolução de problemas. Neste nível, os estudantes são capazes de interpretar e usar representações, com base em diferentes fontes de informação, e de raciocinar diretamente a partir delas. Conseguem desenvolver comunicações curtas, que relatam os seus resultados, interpretações e raciocínios.


No nível 4, os estudantes são capazes de trabalhar eficazmente com modelos explícitos para situações concretas complexas, as quais podem envolver constrangimentos ou exigir a formulação de hipóteses. Conseguem selecionar e integrar representações diferentes, inclusivamente simbólicas, ligando-as diretamente a aspectos de situações da vida real. Neste nível, os estudantes são capazes de utilizar capacidades bem desenvolvidas e de raciocinar de modo flexível, com alguma perspicácia (insight), nestes contextos. São capazes de construir e de comunicar explicações e argumentos, com base nos seus argumentos, interpretações, e ações.


No nível 5, os estudantes conseguem desenvolver e trabalhar com modelos de situações complexas, identificando constrangimentos e especificando hipóteses. São capazes de selecionar, comparar e avaliar estratégias adequadas de resolução de problemas, para lidarem com problemas complexos relacionados com estes modelos. Neste nível, os estudantes são capazes de trabalhar estrategicamente, usando capacidades mentais e de raciocínio amplas e bem desenvolvidas, representações adequadamente ligadas, caracterizações simbólicas e formais e a perspicácia (insight) apropriada a estas situações. Conseguem refletir sobre as suas ações e formular e comunicar as suas interpretações e raciocínios.

Nível 6 Acima de 669

No nível 6, os estudantes são capazes de generalizar e utilizar informação, com base nas suas investigações e na modelação de situações problemáticas complexas. Conseguem estabelecer a ligação entre diferentes fontes de informação e diferentes representações e fazer transferências entre elas, com flexibilidade. Neste nível, os estudantes dispõem de pensamento e raciocínio matemáticos avançados. Estes estudantes são capazes de aplicar a perspicácia (insight) e a compreensão, a par do domínio de operações e relações matemáticas simbólicas e formais, no desenvolvimento de novas abordagens e estratégias em face de situações novas. São capazes de formular e comunicar com exatidão as suas ações e reflexões no que diz respeito às suas descobertas, interpretações, argumentos, bem como a adequação dos mesmos às situações originais.

Fonte: OCDE. PISA 2003.


A criação dos níveis de desempenho na escala contínua possibilita que um grande

número de valores de proficiências seja agrupado dentro de uma determinada faixa de

valores. Em cada nível são descritas as habilidades e competências que um aluno

possui, ou é esperado que o possuísse, quando situado em diferentes pontos da escala.

Assim, em cada nível são descritas as tarefas que ele é capaz de realizar, de acordo com

o conceito de letramento em matemática adotado na avaliação.

6 Apresentação dos Resultados

Com relação especificamente ao letramento matemático, de modo geral percebe-

se que as avaliações buscam compreender a capacidade de mobilização de

conhecimentos associados à quantificação, à ordenação, à orientação e às suas relações,

operações e representações, na realização de tarefas ou na resolução de situações-

problema, tendo sempre como referencia as tarefas e situações com as quais os sujeitos

se deparam cotidianamente.

Mas, essa noção de letramento e as formas de avaliá-lo variam entre os países e

podem variar também entre escolas de uma mesma rede de ensino. Na avaliação, de

acordo com Magda Soares, os critérios segundo os quais os testes são construídos é que definem o que é letramento em contextos escolares: um conceito restrito e fortemente controlado, nem sempre condizente com as habilidades de leitura e escrita e as práticas sociais fora das paredes da escola. (SOARES 1999, p.86)

Nesse sentido, a análise dos itens evidenciou a preocupação do PISA com a

dimensão social da Matemática (lidar com questões familiares e cotidianas, interpretar,

argumentar e comunicar explicações, com base em seus argumentos e interpretações).

Ou seja, o PISA avalia os conhecimentos e habilidades de Matemática necessários às

mais diversas situações da vida real.

A descrição do desempenho dos alunos no letramento matemático requer uma

interpretação educacional dos níveis das escalas de proficiência da avaliação

educacional. Esta análise permite uma aproximação das habilidades dominadas pelos

estudantes e do currículo por eles aprendido. Assim, para que se possa tirar proveito das

potencialidades da interpretação educacional da escala é fundamental que se considere

não apenas a média, mas também a distribuição percentual dos alunos nos diversos

níveis da escala. As tabelas a seguir apresentam, respectivamente, o desempenho médio


dos alunos brasileiros na escala global e nas subescalas e o percentual de alunos em

cada nível da escala de proficiência em Matemática.

Tabela 1: Desempenho médio em Matemática - escala global e subescalas – PISA 2003

Escala global de Matemática

Subescalas de Matemática Espaço e Forma

Mudança e Relação

Quantidade Incerteza

Desempenho médio 356 350 333 360 377 Desvio padrão 0,06 0,06 0,08 0,07 0,06

Tabela 2: Distribuição percentual de alunos em cada nível da escala de Matemática – PISA 2003

Níveis de proficiência da escala de Matemática (Em %) Abaixo nível 1 Menor que 358






Nível 6 Acima de 669

54,4

21,7

13,9

6,5

2,5

0,8

0,2

A análise das tabelas acima revela que a situação média dos alunos brasileiros na

avaliação internacional é no mínimo preocupante. As médias em todas as escalas

situam-se abaixo da média do PISA, que é de 500 pontos. Ao mesmo tempo, a tabela 2

evidencia que mais da metade (54,4%) dos alunos brasileiros não desenvolveram as

habilidades básicas que o PISA almejava avaliar. Se considerarmos apenas os níveis

mais baixos da escala, percebemos que 76,1% dos alunos brasileiros de 15 anos

encontram-se no níve1 1 da escala do PISA, ou abaixo dele, e, portanto, são capazes de

responder apenas a questões que envolvem contextos familiares, em que toda a

informação relevante está presente e as questões são claramente definidas. Além disso,

identificam a informação de executar procedimentos de rotina, de acordo com

instruções diretas, em situações explícitas, conseguindo executar ações que são óbvias e

cujo desenvolvimento parte diretamente dos estímulos dados. Esses alunos não são

capazes de interpretar e usar representações, com base em diferentes fontes de

informação ou de raciocinar diretamente a partir delas. Tampouco, comunicam

explicações e argumentos, com base nos seus argumentos, interpretações, e ações. A

análise dos resultados evidencia que esses alunos desenvolveram um nível de

letramento matemático bastante inferior quando comparados com “seus colegas” de

outros países.

Fonte: INEP 2004; Base de dados do PISA 2003

Fonte: INEP 2004; Base de dados do PISA 2003


De acordo com um estudo realizado por Aguiar (2008), a partir dos dados do

PISA 2003, com a finalidade de comparar os resultados do desempenho médio entre

estudantes brasileiros e portugueses, o autor conclui que

(...) Embora o Brasil tenha apresentado melhora desde o primeiro ciclo da avaliação, em 2000, quando o percentual de alunos abaixo do nível 1 era de 62,6%, a situação ainda é muito grave, pois mais da metade de nossos alunos não foi capaz de utilizar as habilidades matemáticas requeridas pelas tarefas mais simples da avaliação. Portugal apresenta apenas 11% de seus alunos neste patamar. Por outro lado, ao compararmos o percentual de alunos nos níveis mais altos, vemos que enquanto Portugal tem 19% de seus estudantes nos níveis mais altos da escala (4, 5 e 6), o Brasil tem apenas 3,5% de seus alunos nesses níveis. (AGUIAR, 2008, p. 85)

Pesquisadores e avaliadores há muito desenvolvem modelos explicativos de

rendimento escolar e pode-se dizer que existe um consenso em relação a algumas

variáveis tradicionais que, já testadas, mostraram-se significativas para interpretar e

explicar resultados alcançados. São variáveis que podem ser intrínsecas ao sistema e,

portanto, suscetíveis a ações a partir de um ponto de vista educacional e escolar. Ou

podem ser do tipo em que a atuação sobre elas já não seja tão simples, como é o caso do

nível socioeconômico e cultural dos alunos. Mas, em ambos os casos, devem ser

consideradas sempre que o objetivo for explicar os rendimentos alcançados pelos alunos

avaliados. O fio condutor desse nosso estudo tem origem no primeiro tipo de variáveis.

Com relação às articulações desses resultados com a Educação Matemática,

considerando o fato de que o letramento em Matemática, definido pelo PISA, é

entendido como “capacidade de um indivíduo identificar e compreender o papel que a

Matemática desempenha no mundo, de fazer julgamentos bem fundamentados e de usar

e se envolver na resolução matemática das necessidades da sua vida, enquanto cidadão

consciente, construtivo e reflexivo” (OCDE,2003), muitas vezes a categorização dos

itens e os diagnósticos para o desempenho alcançado se mostraram bastante difíceis.

Parte dessa dificuldade se deve ao fato de que a grande maioria dos itens do PISA não

se destina a avaliar especificamente um determinado conteúdo, mas sim determinadas

competências matemáticas, o que muitas vezes envolve várias ideias ou conceitos

matemáticos. De qualquer forma não é difícil perceber que, para os padrões do PISA, o

resultado obtido pelos alunos brasileiros está muito aquém do esperado para este nível

de escolaridade. Fica claro também que a melhoria desses resultados passa pelo

rompimento definitivo da visão tradicional, em nossas escolas, que trata a Matemática

como uma ciência neutra e acabada. É preciso valorizar mais o desenvolvimento das


competências básicas necessárias para o exercício da cidadania em oposição ao ensino

propedêutico e toda a situação de ensino e aprendizagem deve agregar o

desenvolvimento de habilidades que caracterizam o “pensar matematicamente”. Nesse

sentido é preciso dar prioridade à qualidade do processo e não a quantidade de

conteúdos a serem trabalhados.

Além disso, repensar os conteúdos a serem ensinados, com destaques para a

resolução de problemas e a inclusão de novas áreas de conteúdo que propiciem ao aluno

um “fazer matemático” por meio de um processo investigativo que auxilie na

apropriação de conhecimento.

7 Considerações finais

Letramento matemático compreende tanto as habilidades matemáticas que o

sujeito adquiriu ao longo de sua vida quanto a forma como ele coloca em prática essas

habilidades quando lida com situações cotidianas nas quais a matemática se faz presente

e é imprescindível. Assim, no âmbito do PISA, o letramento é definido como a

capacidade de um indivíduo identificar e compreender o papel que a matemática

desempenha no mundo, de fazer julgamentos bem fundamentados e de usar e se

envolver na resolução matemática das necessidades da sua vida, enquanto cidadão

construtivo, preocupado e reflexivo.

No PISA 2003, verificou-se existir uma porcentagem significativa de estudantes

brasileiros de 15 anos com nível de letramento matemático inferior ao nível 1 da escala,

o que configura uma situação grave para cerca de metade dos nossos estudantes. A

comparação de resultados obtidos em Matemática no PISA 2000 com os resultados

obtidos em 2003 indica que, neste domínio, houve uma ligeira melhora. Temos, no

entanto, que considerar que, do primeiro para o segundo estudo, existiu uma alteração

na população alvo: se em 2000 foram selecionados alunos de 15 anos entre os 5º e 11º

anos de escolaridade, em 2003 o intervalo diminuiu, correspondendo agora aos

estudantes entre os 7º e 11º anos de escolaridade.

Os resultados do PISA evidenciam que os alunos, mesmo depois de frequentarem

a escola por muitos anos, não estão alcançando as competências em matemática

esperadas. De modo geral, há evidências de que os alunos brasileiros não desenvolvem

as suas capacidades de lidar com a matemática em situações que exigem raciocínio,

criatividade e argumentação. Esses resultados exigem uma reação do sistema

educacional brasileiro, para que nossas escolas cumpram o papel de preparar os


estudantes para as sociedades modernas, cada vez mais permeadas pela Ciência e pela

Tecnologia.

Referências bibliográficas

AGUIAR, G. (2008). Estudo comparativo entre Brasil e Portugal sobre diferenças nas

ênfases curriculares de Matemática a partir da análise do Funcionamento Diferencial do

Item (DIF) do PISA-2003. Tese de Doutorado. PUC-Rio, 2008.

AGUIAR, G. (2010). O Funcionamento Diferencial do item (DIF) como Estratégia para

captar ênfases curriculares diferenciadas em Matemática. Estudos em Avaliação

Educacional. S. Paulo. V. 21 , nº 45, p.169-190, jan/abr 2010.

ALVES, F. ORTIGÃO, I. e FRANCO, C. Origem Social e Risco de Repetência:

interação raça-capital econômico. Cadernos de Pesquisa (Fundação Carlos Chagas.

Impresso), v.37, p.161 - 180, 2007.

BONAMINO, A; COSCARELLI, C; FRANCO, C. Avaliação e letramento: concepções

de aluno letrado subjacente ao SAEB e ao PISA. Educação e Sociedade. V. 23, n. 81,

Campinas, dez. 2002.

BRASIL Parâmetros Curriculares Nacionais – Matemática / 5a a 8a séries. Brasília:

MEC/SEEF, 1998.

BRASIL. PISA 2000: Relatório Nacional. Brasília: INEP/MEC, 2001. Disponível em:

http://www.inep.gov.br/download/internacional/pisa/PISA2000.pdf. Acesso em: junho

de 2010.

FONSECA, M.C.F.R. (Org.) Letramento no Brasil: Habilidades Matemáticas /

reflexões a partir do INAF 2002. São Paulo: Global Editora. Ação Educativa, Pesquisa e

Informação. Instituto Paulo Montenegro, 2004.

FRANCO, C.; SZTAJN, P.; ORTIGÃO, M. I.R. (2007). Mathematics Teachers, Reform

and Equity: Results from the Brazilian National Assessment. Volume 38, Number 4, pp.

393-419. In: Journal for Research in Mathematics Education., July, 2007.

KLEIMAN, Angela B. (Org.). Os significados do letramento. Campinas, S.P.:

Mercado de Letras, 1995. 294 p. p. 15-61.

LEON, F.L.L. e MENEZES-FILHO, N.A. Reprovação, Avanço e Evasão escolar no

Brasil. Pesquisa e Planejamento Econômico/PPE, volume 32 (3), Rio de Janeiro:


IPEA/IBGE, 2002.

MURI. A.F. A formação científica e o PISA 2006. Dissertação de Mestrado.

UERJ/FEBF, 2012.

OCDE. PISA 2003. Technical Report. OCDE. Disponível em:

http://www.pisa.oecd.org/. Acesso em: maio de 2010.

SOARES, J.F. Qualidade e equidade na educação básica brasileira: fatos e

possibilidades. In: BROCK, C. & SCHWARTZMAN, S. Os desafios da educação no

Brasil, Rio de Janeiro: Nova Fronteira, 2005, pp. 91-118.

SOARES, M.B. Letramento: um tema em três gêneros. Belo Horizonte: Autêntica,

1999.

STREET, B. Literacy in theory and practice. Cambridge, Cambridge University

Press, 1984. 242 p.

UBRIACO, F.E.C.A. Interpretação de Escalas de Medida da Competência

Matemática. Dissertação de Mestrado. UFMG, 2005.

letramento em matemÁtica no pisa

Documents