instrumento de avaliaÇÃo sobre os livros...
TRANSCRIPT
INSTRUMENTO DE AVALIAÇÃO SOBRE OS LIVROS DIDÁTICOS E
O ALINHAMENTO CURRICULAR EM PORTUGAL: CRÍTICAS,
NECESSIDADES E OPINIÕES.
Braga, Marcel Bruno Pereira – [email protected]
Universidade de Coimbra, Dep. de Física.
Rua Larga 3004-516
Coimbra – Portugal
Dep. de Física/ Univ. Fed. de Santa Catarina
Trindade, Florianópolis - SC, 88040-900
Florianópolis – Santa Catarina
Martins, Décio Ruivo – [email protected]
Universidade de Coimbra, Dep. de Física
Rua Larga 3004-516
Coimbra – Portugal
Nascimento, Maria Augusta – [email protected]
Universidade de Coimbra, Dep. de Matemática
Rua Larga 3004-516
Coimbra – Portugal
Silva, Silvio Aparecido – [email protected]
Instituto Federal de Santa Catarina, Diretoria de Gestão do Conhecimento.
Rua 14 de Julho, 150 – Coqueiros – SC, 88075-010
Florianópolis – Santa Catarina
Resumo: A investigação tem o objetivo inicial de analisar a opinião de 39 professores de
Física do 10º ano do ensino secundário, com relação à adequação de cinco dos diferentes
livros didáticos adotados com seu respectivo programa curricular, assim como dos conteúdos
corretos e relevantes. A amostra se distribui em 20 escolas públicas da Região Centro de
Portugal, onde três dos cinco livros são os mais adotados a nível nacional e representam a
nível regional 86%, e 90% dentro da amostra. Um estudo preliminar do instrumento oficial
utilizado e uma reflexão sobre o design na sua aplicação acaba por remeter a investigação a
seguinte questão: Quais as implicações para o alinhamento curricular no processo
avaliativo de “certificação” e “seleção”, a partir da utilização de um instrumento oficial na
apreciação de livros didáticos pelos professores de Física do 10º ano? Resultados
preliminares indicam a existência de ameaças à “validade” interna e externa pela estratégia,
falta de “pertinência” na finalidade do instrumento e de alguns itens, e na “fiabilidade” pela
escala de medição adotada, argumenta-se uma necessidade de atualização dos critérios
avaliativos oficiais para o processo de certificação. As inconsistências limitam a análise dos
resultados, e suscita melhoramentos na reelaboração do instrumento e processo de
abordagem. A partir disso são apresentadas novas perspectivas para o processo avaliativo de
certificação e seleção dos livros. Os resultados serão incorporados a um estudo mais amplo,
com a opinião de professores no contexto de Florianópolis (Santa Catarina – Brasil), em 26
escolas públicas.
Palavras-chave: Alinhamento curricular; Livros didáticos; Opinião docente; Limitações e
necessidades; Novas perspectivas.
1 INTRODUÇÃO
Considerando o livro didático como produto, temos aquilo que “apresenta e intenciona”, ou
seja, aquilo que poderá oferecer no sentido de contribuir para o ensino-aprendizagem, sem
garantias que isso ocorra. Na recepção, tem-se aquilo que o livro “representa e influencia”
dentro (e fora) do contexto escolar para os seus utilizadores, estando em função da conduta
humana e de seus valores na prática educativa, e é nesta perspectiva que este trabalho se situa,
onde se defende que parte desta dimensão deva colaborar concomitantemente com a dimensão
do livro como processo em sua “concepção e elaboração” antes de sua difusão como produto
(CHOPPIN, 1994 apud CABRAL, 2005). Apesar da existência de uma tensão entre os
saberes acadêmicos e profissionais (ZEICHNER, 1998), uma negociação é necessária para
uma concepção construída e fundamentada dialeticamente pelo rigor teórico cientificista de
especialistas com uma visão mais epistemológica, e de saberes profissionais, onde as opiniões
subjacentes, experiências e necessidades dos destinatários (professores e alunos), situam-se
mais próximos da realidade. Dessa forma, acredita-se que uma unidade dialética entre os
saberes negociados (teóricos e práticos) poderá estabelecer uma “identidade” para o livro
didático coerente dentro do contexto escolar. A partir desse juízo, surgem muitas implicações
na dimensão do processo, na qual serão apresentadas algumas delas neste trabalho.
As críticas preliminares voltam-se para o instrumento de avaliação de manuais em si, onde
são apresentados alguns aspectos que demonstram pontos fracos na sua elaboração e
aplicação, que acabam por ameaçar a sua: validade interna e externa seja pela formatação e
estratégia (design ou desenho experimental); pertinência a finalidade do instrumento,
natureza dos itens e legitimidade aos inqueridos; e, fiabilidade pela escala de medida.
É um grande desafio e uma necessidade dentro de qualquer sistema de ensino estabelecer um
alinhamento curricular (WEBB, 1997) entre os objetos educacionais, práticas pedagógicas e
rendimento escolar, diante dos programas, metas e orientações curriculares como base
reguladora do sistema educativo, que por fim, devem estar coerentes com as necessidades
sociais, econômicas, geográficas e culturais do contexto. Em especial, um alinhamento na
perspectiva dos livros didáticos2 é apenas uma “teia” nesse emaranhado complexo, mas
considera-se que possa apresentar, como ponto de partida, subsídios na verificação da
existência de um alinhamento curricular vertical.
Como provocação ao iniciar esta discussão, tem-se uma crítica quanto à finalidade prática
declarada para o instrumento, na qual apresenta uma intenção desvirtuada e pretenciosa, pois
utilizá-lo para avaliar uma adequação ao programa político-pedagógico (PPP) escolar é no
mínimo ingênuo e inapropriado, visto que deveriam ser considerados itens que associassem
aspectos peculiares de cada projeto escolar e livro didático recomendado analisado, dessa
forma: Como validar um instrumento oficial com itens gerais, incompletos e desassociados3
entre os livros didáticos e os PPPs tendo a finalidade de adequação entre eles?
2 O termo livro didático será sinónimo de livro didático ou livro escolar. 3 São gerais pela falta de especificidade, incompletos por não apresentarem uma maior diversidade de encargos pedagógicos,
e desassociados pela articulação ser mediada no máximo pelo programa curricular em alguns itens.
2 LIMITAÇÕES DO INSTRUMENTO: Análises e Críticas Preliminares
Divulgado em 26 de março de 20135 pela Direção Geral de Educação (DGE), denominado
“Registo de apreciação, seleção e adoção de livros didáticos”. O cabeçalho dispõe das
seguintes informações: (1) Ano de Escolaridade; (2) Área Disciplinar/Disciplina; (3) Título
do Livro; (4) Editora. Destina-se a dois tipos de livros didáticos: os não certificados e os
certificados, sendo os critérios de apreciação, seleção e adoção de livros didáticos
certificados idênticos aos dos não certificados, com a ausência do domímio relacionado aos
aspectos materiais. De imediato, pode-se indagar: De que forma aspectos relacionados com
os encargos técnicos representam um diferencial na apreciação entre duas categorias de
manuais (certificados e não certificados) pelos professores? Quando o livro é certificado,
acredita-se que estejam garantidos os padrões técnicos por um órgão regulador estatal (ou
não), de forma independente da opinião dos professores sobre esses aspectos, então, qual a
pertinência de ser questionado aos professores se suas opiniões aparentemente não são
valorizadas?
Ainda que seja um aspecto a ser analisado por um órgão regulamentado pelo governo, o que
significa no instrumento dizer: “(3.1) Apresenta robustez suficiente para resistir à normal
utilização?” Que tipo de utilização é essa para que se possa ter uma noção da sua capacidade
de resistência? Como se mede uma robustez suficiente? E qual a sua relevância no sentido de
adotar ou não o livro? O que é mais adequado e legítimo aos professores na tomada de
decisão de escolha do livro, os encargos técnicos ou pedagógicos? O 18º artigo na Lei n.º
47/2006 de 28 de agosto reforça a responsabilidade dos professores na avaliação e adequação
de aspectos técnicos.
No que se refere ao item: “(3.2) O formato, as dimensões e o peso do livro (ou de cada um
dos seus volumes) são adequados ao nível etário do aluno?”. O que significa ser adequado
ao nível etário do aluno? É no mínimo estranho responder a esta pergunta sem conhecer um
padrão quanto aos formatos, dimensões e pesos supostamente adequados à faixa etária, sem
contar com uma falta de pertinência dessa pergunta ser direcionada aos professores, e não a
um grupo técnico de controle e normalização, afinal, os professores são formados e
preparados para tomar decisões de caráter pedagógico e não técnico, pois qualquer um pode
opinar de forma intuitiva e equivalente sobre esses aspectos, indiscriminadamente de ser
professor ou não.
O item: “(3.3) Permite a reutilização?”. Também não está claro e não faz muito sentido, pois
permitir uma reutilização poderá sugerir um fato relacionado com a sua natureza física (que
iria reincidir como consequência do item 3.1) ou do seu formato interno de utilização, do tipo:
o livro sugere que sejam realizadas atividades nas próprias páginas, o que, uma vez feito, não
iria permitir uma nova utilização, entretanto, o item não deixa claro a quem responde.
Observam-se ainda alguns problemas relacionados à escala de medição adotada:
Sim Não
Muito bom Bom Suficiente Insuficiente
+++ ++ + –
Figura 2 – Escala adotada para a medição no instrumento.
Facilmente pode-se identificar que esta escala apresenta-se como ordinal bipolar (positiva e
negativa) decrescente, sendo tendenciosa a ser positiva pela falta de simetria entre o “sim” e o
“não”. O fato é que uma variável ordinal serve para medir uma determinada característica
identificada dentro de uma classe e pressupõe que as diferentes subclasses estão ordenadas
sob um determinado ranking, ou seja, os seus valores estão definidos em diferentes níveis.
5 Recentemente foi relançado, em 5 de maio de 2014, para o ano 2014/2015, sem nenhuma modificação. Ver em
http://www.dgidc.min-edu.pt/index.php?s=directorio&pid=355#i.
A escala de medição para uma variável é ordinal quando: (1) os dados têm propriedades
nominais e (2) podem ser usados para as observações de uma variável. Um problema é o fato
dos pólos representarem semânticas distintas, e assim, favorecer a geração de estímulos
diferentes dentro de um mesmo continuum, violando o processo de construção de escala de
diferencial semântico de Osgood, na qual os itens devem ser formados por pares de adjetivos
opostos (VALLEJO et al., 2003). Neste caso, o diferencial semântico de “bom” seria “mau”
(dimensão de qualidade) e não “insuficiente”, assim como o diferencial de “insuficiente” seria
“suficiente” (dimensão de satisfação) e não “muito bom”. Apesar da proximidade das
dimensões, elas são distintas, sendo a qualidade (objeto) antecedente à satisfação (sujeito),
mas sem garantias da existência de relação causal entre elas. Com isto, está explícita uma
incoerência de semânticas dentro de um mesmo continuum, com estímulos diferentes.
A finalidade principal pretendida por Osgood apud Vallejo et al. (2003) era a de utilizar o
diferencial semântico para explorar os significados (de onde a designação “diferencial
semântico”) e ver que conceitos estão mais próximos ou distantes entre si, e não como
frequentemente é usado no sentido de verificação de perfis de grupo, verificando como
grupos distintos avaliam (ou percebem) o mesmo objeto, no caso, o livro didático de Física.
Aparecem ainda lacunas equivocadas de medição sobre os tópicos dos itens que causaram
também dúvidas no momento do preenchimento. Estes erros grotescos de formatação
permaneceram propositalmente neste estudo e foi objeto de observação. Na análise foram
observados uma interferência em 12 dos 39 professores participantes.
Um aspecto peculiar é o fato do instrumento apresentar dois títulos, primeiro como “registo
de apreciação, seleção, e adoção de livros didáticos” e em seguida, “critérios de apreciação,
seleção e adoção de livros didáticos (não) certificados”. De início, há uma necessidade na
diferenciação desses termos, pois representam ações dintintas na suposta finalidade deste
instrumento, onde segundo o artigo 8º da Lei n.o 47/2006 diz:
“Os procedimentos de adopção, avaliação e certificação desenvolvem-se em duas
fases: a) Uma fase de avaliação e de certificação dos manuais escolares, a cargo de
comissões de avaliação, que se traduz na atribuição de uma certificação de qua-
lidade científico-pedagógica; b) Uma fase de avaliação e adopção, a realizar pelos
docentes nas escolas, tendo em vista a apreciação da adequação dos manuais
certificados ao projecto educativo respectivo”.
Primeiro que no caso dos livros didáticos de Físico-Química A, nunca foram antes
certificados8, apesar de serem adotados e recomendados desde o ano letivo 2008-2009 pelo
DGE. A finalidade também perde sentido por três motivos: (1) por uma ingênua tentativa
adequação generalidada a projectos educativos diferenciados; (2) pela inviabilidade de
referenciar aos mais diversos e peculiares aspectos relacionados aos projectos educativos
existentes; (3) por apresentar e possibilitar inferência a apenas sobre encargos pedagógicos
e técnicos do próprio livro em adequação com documentos oficiais.
Observa-se que a opinião docente manifestada no instrumento esta desvinculada do processo
de concepção e certificação, onde são utilizados critérios de avaliação. O fato é que não são
realizadas análises no tratamento dos dados, e tão pouco elaborados indicadores que visem
valorizar esta apreciação, no sentido de cooperar para uma sistematização, generalização e/ou
regulação no processo de concepção, escolha, adoção e difusão, ou ainda para melhorá-los.
Considera-se por tanto uma necessidade de (re)elaborar um instrumento avaliador mais
estruturado e com finalidade prática e útil, a serviço do processo de concepção, certificação,
seleção e difusão para os livros didáticos. Já no caso de uma adequação entre os livros e
PPPs, deve ser elaborado um instrumento instrutivo para um ajuste entre suas especificidades.
8 Após 6 anos de vigência, está previsto a certificação para ano letivo 2015-2016, segundo Despacho n.º 11421/2014.
3 CRITÉRIOS DE AVALIAÇÃO: Uma Realidade em Dois Contextos.
A “filosofia” no sistema de certificação que predomina tanto em Portugal como no Brasil (e
de um modo geral) é do predomínio hegemônico do saber acadêmico sem uma adequada ou
talvez uma ajustada valorização ao saber profissional. Em Portugal o modelo de acreditação
de entidades avaliadoras e certificadoras é composto por equipes científico-pedagógicas
qualificadas, representadas denominadamente como: (1) entidades acreditadas ligadas a uma
instituição superior; ou (2) por uma comissão de avaliação. Estas são organizadas por ciclo,
por ano de escolaridade, por disciplina e são constituídas por um mínimo de 3 e um máximo
de 5 especialistas de reconhecida competência, integrando, designadamente: a) docentes e
investigadores do ensino superior das áreas científica e pedagógica; b) docentes do quadro de
nomeação definitiva em exercício no mesmo nível de ensino a que se refere o manual de
avaliação; c) membros de sociedades ou associações científicas e pedagógicas de área
relacionada com a avaliação em causa, a título excepcional, podendo ainda as comissões de
avaliação integrar outros peritos de reconhecida competência. Recentemente, em Portugal, o
Despacho n.º 11421/2014, de 11 de setembro, apresenta especificidades quanto aos critérios
avaliativos publicados na Lei n.º 47/2006, de 28 de agosto. Os critérios avaliativos são gerais
para todos os livros didáticos de forma incondicional aos níveis de ensino e componente
disciplinar. No caso, pode-se considerar 20 critérios mínimos distribuídos em 6 blocos: Rigor
Linguístico, Científico e Conceptual (7 indicadores); Conformidade com os Programas e
Orientações Curriculares (4 indicadores); Qualidade Didático–Pedagógica (3 indicadores);
Valores (3 indicadores); Reutilização e Adequação ao Período de Vigência Previsto (1
indicador); Qualidade Material, nomeadamente a Robustez e o Peso (2 indicadores). Ressalta-
se que o Decreto-Lei n.º 5/2014, de 14 de janeiro, onde suscita a necessidade da atualização
de critérios de avaliação e certificação.
No Brasil, um dos grandes mercados de livros didáticos do mundo, vem avançando sobre
esses aspectos. Tem-se a publicação do documento oficial Definição de Critérios para
Avaliação dos Livros Didáticos, em 1994, pelo próprio Ministério da Educação (MEC, 1994),
seguido dos primeiros Guias Nacionais do Livro Didático (GNLD) em 2000/2001, voltados
para o ensino fundamental. Mais recentemente, uma comissão técnica e científica de 36
especialistas (entre 21 universidades federais) a colaborar com o Plano Nacional do Livro
Didático (PNLD) concentram esforços para melhorar os critérios de avaliação dos livros
didáticos de Física no Brasil. Lançaram nos últimos meses o Guia Nacional dos Livros
Didáticos-2015 para a componente da Física (GNLD-FÍSICA/2015), com um total de 72
critérios mínimos9 divididos em 5 blocos, sendo os blocos 1 e 5 transversais (absolutos ou
gerais) e os outros incluindo critérios condicionantes da disciplina (específicos) e alguns
identificados condicionantes ao livro do aluno/professor. Os indicadores se distribuem nos
seguintes blocos para o livro texto: Legislação e Cidadania (13 indicadores); Abordagem
Teórico-Metodológica e Proposta Didático-Pedagógica (14 indicadores); Conceitos,
Linguagens e Procedimentos (16 indicadores); Livro do Professor (19 indicadores); Projeto
Editorial (10 indicadores).
Pela primeira vez apresentam 49 critérios mínimos para os objetos educacionais digitais
(onde incluem os livros didáticos digitais): Legislação e Cidadania (6 indicadores);
Abordagem Metodológica e Proposta Didático-Pedagógica (8 indicadores); Conceitos,
Linguagens e Procedimentos (9 indicadores); Orientações Didáticas dos Objetos
Educacionais Digitais (5 indicadores); Projeto Editorial, Organização e Apresentação do
Conteúdo Digital (18 indicadores). Uma avaliação mais geral (e não restrita a um único
investigador ou professor) de livros didáticos é realizada por uma comissão de especialistas,
sendo geralmente acadêmicos, relativamente afastados da realidade escolar. Acredita-se que
9 Eliminatório.
os critérios de avaliação não levam em consideração, ou não valorizam de forma mais justa e
significativa à opinião dos professores no sentido mais amplo e alinhado às necessidades da
vida escolar. Por fim, defende-se, para um melhor alinhamento curricular são necessários
critérios avaliativos integradores sob dois argumentos: (1) pelos encargos pedagógicos
constituírem os mesmos objetos de análise nos diferentes processos avaliativos; (2) para que
os critérios estejam a serviço dos diferentes indivíduos relacionados ao processo de
concepção, elaboração, certificação e seleção, antes de sua generalização e difusão.
4 PRESSUPOSTOS DE UM ALINHAMENTO CURRICULAR VERTICAL
Um alinhamento curricular entre o programa de Física e respectivo livro didático é condição
sine qua non para a sua legitimidade no sistema de ensino em cada contexto, e com isso, o
caráter verificativo destes aspectos é considerado motivante neste estudo ao considerar o livro
como principal objeto de investigação. É óbvio que o âmbito do alinhamento curricular
ultrapassa as fronteiras de adequação do livro didático, porém este foi o recorte considerado.
O objetivo desta investigação no sentido amplo será analisar o atual (des)alinhamento
curricular vertical10
entre o programa curricular da disciplina de Física que contempla a
componente termodinâmica e os respectivos Livros Didáticos de Física correspondentes em
cada contexto (variáveis intrasistema – Brasil e Portugal, com vista a possíveis variáveis
intersistema). Este trabalho apresenta-se no sentido restrito, buscando apenas fornecer
subsídios para a continuação de um estudo mais profundo e alargado. As conclusões finais do
estudo visam por fim, elaborar uma carta sobre encargos pedagógicos à disposição dos
decisores sobre as necessidades (ou não) para um melhor ajustamento.
Na concepção de Normam L. Webb (1997) o alinhamento curricular pode ser tanto horizontal
quanto vertical.
ESQUEMA 1 – Síntese elaborada baseada no alinhamento de Normam L. Webb (1997), com ênfase ao alinhamento vertical
que representa a área de interesse do estudo.
Alinhamento horizontal (ajuste na filosofia do sistema)
Ali
nh
am
ento
ver
tica
l (a
just
e n
a p
ráx
is d
o s
iste
ma)
Política
Políticas sobre os Manuais
Documentos oficiais do MEC
Expectativas Avaliações (Decisores e reguladores)
Prática
Ensino
Manuais
Aprendizagem
Resultados
Rendimento dos estudantes
Segundo Webb (1997), o alinhamento pode ser realizado de três modos: 1. Desenvolvimento
Sequencial: Ajuste por meios de análise de testes padrões aplicados sequencialmente (sendo
muito utilizado nos Estados Unidos da América, e atualmente muito criticado). 2. Revisão
especializada: Ajuste realizado por grupo de pesquisadores especializados na área curricular
(semelhante ao ocorrido no ensino secundário em Portugal iniciado em 2000/2001 e
10
O alinhamento curricular vertical baseado em Webb (1997) também inclui implicações na aprendizagem para
o desenvolvimento de competências. Este elemento será considerado posteriormente.
finalizado em 2004/2005, seguindo continuamente de ajustes por documentos oficiais). 3.
Análise de documentos: Ajuste por meio de análise e reformulação de propostas curriculares
vigentes que estejam inadequadas ou pouco eficazes em determinados aspectos. Este último
incide na concepção restrita e alargada desta investigação, restringindo-se a uma análise que
contemple especificamente um alinhamento curricular vertical, tendo como referência os
objetivos e finalidades educativas apresentadas nos documentos oficiais do MEC. No sentido
restrito deste trabalho, têm-se uma análise do ajustamento baseado nas opiniões docentes
quanto aos livros didáticos adotados.
O alinhamento segue na direção do documento regulador, que no caso é o currículo (base do
sistema educacional), com o recorte apenas sobre as considerações docentes dos livros
didáticos. Portugal possui atualmente apenas o programa curricular de 2001 para a disciplina
de Físico-Química A como único documento regulador, estando prevista a sua substituição
por um novo programa de ensino recentemente aprovado, e as metas curriculares para esta
disciplina que entram em vigor meados de 2015, segundo calendarização divulgada pela
DGE.
5 NOVAS PERSPECTIVAS
Nesta inquietação investigativa, mais recentemente, foi elaborado outro instrumento de
apreciação sobre livros didáticos, aplicado a professores (em Brasil e Portugal), com 173
itens, distribuídos em 6 categorias de encargos pedagógicos e 23 subcategorias. A elaboração
dos itens foi regulada pelos critérios reguladores do GNLD-2015 e mais 123 aspectos
baseados nos trabalhos de Gérard & Roegiers (1998). Neste eixo, está em processo de
construção um indicador denominado Coeficiente de Fiabilidade na Apreciação dos
Encargos Pedagógicos de Livros Didáticos, que pretendemos validar para quaisquer tipos
de livros didáticos. Serão elaborados construtos sobre cada categoria, onde a partir de um
projeto-piloto serão revistos e definidos a relevância dos critérios a priori através de uma
análise fundamentada qualitativamente por meio destes indicadores sobre os livros didáticos
de Física que não fazem parte da amostra dentro da mesma temática, e quantitativamente11
através de cálculos estatísticos da Psicometria Moderna12
na modelagem de Samejima13
para
variáveis ordinais politômicas, tendo em vista a opção pela escala de concordância Likert nos
questionários aplicados a professores14
, alunos e autores. Os critérios quantitativos (a
posteriori) estarão ao serviço dos critérios qualitativos identificados e definidos.
Os construtos (qualitativos) a serem elaborados a partir da base de informações pelos
instrumentos serão reanalisados, fundamentados, justificados e definidos durante o estudo
dentro da função pedagógica estabelecida, e em função da elaboração desses critérios, serão
construídos indicadores (quantitativos) estatísticos. As categorias fornecem subsídios na
elaboração de constructos e respectivos indicadores, que na qual são: (1) conteúdo científico:
alinhamento didático; (2) estrutura do conteúdo logicidade organizacional; (3)
legibilidade: compreensibilidade ajustada; (4) ilustrações: adequação representacional; (5)
avaliação: coerência avaliacional; (6) autonomia de utilização: acessibilidade articulativa.
A Partir destes indicadores, possibilitar a elaboração de um Coeficiente de Fiabilidade na
Apreciação dos Encargos Pedagógicos de Livros Didáticos.
A escala utilizada é a Escala Sumativa Likert (ou tipo-Likert) de concordância em cinco
medidas no sentido crescente (--, -, ±, +, ++) – escala de atitudes ordinais (qualitativa) ou
intervalar (quantitativa), sempre bipolares. Foram incluídas as opções de Desconheço (D) e
11 A pesquisa configura-se de caráter misto (quali-quantitativo). 12 Referente à Teoria Clássica de Testes e Teoria da Resposta ao Item. 13 Andrade, Dalton et al (2000). 14 Este trabalho refere-se a um ensaio inicial de estudo mais amplo e profundo, levando em consideração apenas alguns
aspectos técnicos e pedagógicos, sob a luz de uma estatística descritiva.
Não se aplica (NA) para atender uma completude de opiniões/situações possíveis.
Além de poder fornecer medidas de forma simples e eficaz, semelhante à diferencial
semântica de Osgood, o uso da escala Likert caracteriza-se pelo princípio da
unidimensionalidade, ou seja, todos os itens são indicadores de uma mesma característica. Por
ser intervalar, não possui ponto de nulidade15
e portanto caracteriza-se como bipolar,
positivo ou negativo. Quanto à formulação dos itens, justifica-se pela intenção de medir itens
de atitude com a mesma intensidade (ou claramente favorável, ou claramente desfavorável),
tendendo a estar em um dos extremos do continuum. Para os critérios sobre cada item, de cada
subcategoria, no Quadro 1 é proposto uma tabela de critérios, a servir como base no estudo.
No caso do critério informativo, eliminatório e complementar estiver relacionado às
tendências contemporâneas de inovação pedagógica e/ou associadas a novas mídias e objectos
educacionais digitais do projeto editorial será representado por !+, ∂
+, ∆
+.
QUADRO 1 - Critérios operacionais gerais e condicionados16 para o processo de avaliação de Livros Didáticos.
Critérios Função Operacional Legenda dos critérios operacionais para os itens
Ger
ais
! «critério de tipo
informativo»
O critério informativo possui caráter técnico onde depende apenas de verificação sobre aspectos
físicos ou observação de incidência de ocorrência. O que não for informativo será «apreciativo»,
e como a intenção está voltada para a apreciação dos utilizadores, somente esta será valorizada..
∂
«critério mínimo ou
eliminatório»
Válido para quaisquer que sejam as escolhas pedagógicas, ou seja, para manuais de todas as áreas
disciplinares. Os critérios mínimos devem ser baseados por recomendações e indicadores,
quando não for possível será usada uma interpretação interpessoal justificada e fundamentada de
especialistas. Esses critérios são aqueles que devem ser respeitados a qualquer custo, caso
contrário deve-se reprovar o livro para a sua difusão.
∆
«critério de
desenvolvimento ou
complementar»
Critério de aperfeiçoamento é complementar, sendo relativo aos aspectos positivos, relevantes e
julgados desejáveis, mas não necessariamente mínimo.
Co
nd
icio
na
do
s
A
«critério seletivo
discente –
unicamente para os
manuais dos alunos»
Critério condicionado exclusivamente ao livro do aluno, ou seja, o item está em função da
aprendizagem. Considerado um critério seletivo, devendo ser associado a um critério geral
operacional (informativo, eliminatório ou complementar), perdendo o status de gerais para
condicionado, e tendo sentido apenas na função operacional. Por exemplo: !A (informativo ao
livro do aluno); ∂A (eliminatório ao livro do aluno); ∆A (complementar ao livro do aluno).
P
«critério seletivo
docente –
unicamente para os
manuais do
professor»
Critério condicionado exclusivamente ao livro do professor, ou seja, o item esta em função do
ensino. Quando não for condicionado ao professor (P) ou aluno (A) indica ser válido para ambos,
e é denominado critério absoluto de independência aos destinatários. Por exemplo: !P
(informativo ao livro do professor); ∂P (eliminatório ao livro do professor); ∆P (complementar
ao livro do professor).
F
«critério seletivo
disciplinar –
unicamente para os
manuais de física»
Critério condicionado exclusivamente ao livro de Física (F), podendo no entanto ser outra
componente disciplinar. Quando não for condicionado a uma componente disciplinar específica
indica ser válido para qualquer componente, ou seja, tem caráter universal ou geral aos manuais
e é denominado critério absoluto de independência as componentes disciplinares. No caso,
como o estudo se concentra apenas nos livros didáticos de Física, esse critério condicionante se
torna desnecessário na sua função seletiva, e por isso, deve ser omitido, já que esta implícito o
seu condicionamento.
5 AMOSTRA, ABORDAGEM E O DESIGN: Algumas Considerações.
No caso, a amostra (n = 20) de escolas está distribuída em três (03) Distritos (Aveiro,
Coimbra e Viseu) e onze (11) Concelhos (Aveiro – Águeda, Aveiro, Estarreja; Coimbra –
Cantanhede, Coimbra, Figueira da Foz, Lousã, Montemor-o-Velho e Soure; Viseu – Viseu).
Dentro desta amostra, os professores da disciplina de Físico-Química A correspondem a: (1)
32 no Distrito de Aveiro; (2) 86 no Distrito de Coimbra; e (3) 14 no Distrito de Viseu, ou seja,
o quantitativo total da unidade amostral corresponde a 127 professores (Nprofessores = 127).
Entretanto, nesse estudo temos a participação de 39 professores (nprofessores = 39,
15 Esse aspecto também possui um caráter de risco aos respondentes, no sentido em que sugere ser crescente e monopolar,
porém o controlo é feito na instrução do questionário com a interpretação numérica (1 – discordo plenamente; 2 – discordo
parcialmente; 3 – indeciso; 4 – concordo parcialmente; 5 – concordo plenamente). 16 Deve haver critérios condicionados a natureza do campo do conhecimento científico, no caso, se tem a componente de
Física envolvida.
correspondente a 33% do total de professores). A representatividade dos professores poderá
ainda ser maior, pois serão analisados os motivos de não participação e reforçado o pedido
aos professores que não responderam, mas sempre respeitando seu poder de escolha e o
direito da voluntariedade.
A pesquisa configura-se como quasi-experimental tendendo a uma aproximação do desenho
de Solomom de 4 grupos. O grupo A e C (experimental – mesmo livro como critério de
corte18
, no caso, o Livro 1119
como o mais adotado), e os grupos B e D (controle – outros
livros).
A abordagem da pesquisa nas escolas partiu da autorização formal da direção, seguida da
identificação de um professor de Física ou agente pedagógico que teria maior articulação com
os outros professores (coordenador de grupo, líder de área na componente curricular,
supervisão pedagógica, direção, etc.), devido à inviabilidade de conseguir localizar e
conversar com cada professor, entretanto, foram enviados e-mails aos articuladores e
contactados antecipadamente por telefone. Segundo as condições em que foram coletados os dados, pode-se caracterizar como sendo um “Projeto
pré-experimental”. Os dados encontram-se disponíveis sem a interferência do investigador, portanto
há um grupo estático a ser analisado na forma como manifesta as suas opiniões num único momento.
Como não se tem a intenção de comparar grupos dentro da amostra, mas sim identificar um perfil
conceptual, foi escolhido um projeto pré-experimental “Estudo de Caso Único” (CRESWEL, 2010).
No sistema de notação clássico de Campbell e Stanley (1963), o “grupo” corresponde aos professores
inquiridos, (X) é o tratamento, no caso, a familiaridade diante do livro didático de Físico-Química A
adotado na escola, independente da forma como se utiliza ou de como se estabelece
representativamente no processo pedagógico. O tempo de vigência do livro é simbolizado pelo
traço entre o (X) e o (O). Atendendo ter sido realizada a coleta os dados no final do ano letivo de
2013/2014, supõe-se que todos os professores conheçam o livro e tenham passado pelo tratamento.
O símbolo (O) representa o momento único de observação mediado pelo instrumento. Design: Estudo de Caso Único
Suponha-se o mesmo procedimento na abordagem no processo de seleção dos manuais
realizado pelo MEC, entretanto há alguns aspectos a serem levados em consideração. Um
aspecto é que os professores não são submetidos ao tratamento, ou seja, eles não utilizaram a
priori nenhum dos manuais para realizar a escolha (no caso, 12 manuais que estão disponíveis
à adoção no estado vigente), não que essa seja uma condição sine qua non para a escolha, mas
considera-se uma limitação no poder de escolha dentro do prazo de algumas semanas
estabelecido.
Design: ?
Grupo X1 ? O1
: : :
X12 ? O12
Uma limitação geral são evidências de que os professores não tiveram uma formação que os
preparasse para uma tomada decisão sobre a escolha mais adequada e pertinente de recursos
didáticos dentro do seu contexto, em especial, para livros didáticos. É recorrente o professor,
sem um olhar mais crítico, definir o livro apenas “folheando” algumas páginas, com leitura
dinâmica sobre os textos, exercícios e atividades, manifestando por vezes ceticismo quanto a
18 Este critério possui suas limitações e não representa a ambição de relacionar a diferenciar os manuais tendo como
referência o mais adotado, pois esse não é um critério a priori de padrão ou qualidade garantida. Este corte foi feito mais no
sentido de organizar e tratar as variáveis de maneira mais inteligível sobre esse e muitos outros aspectos dentro do estudo. 19 Livro 11 é uma codificação, representada em uma tabela mais abaixo.
Grupo X O
possíveis mudanças significativas no novo projeto editorial do livro, sendo por vezes
pessimista quanto a uma renovada contribuição de uma nova edição pelo mesmo autor.
6 OS LIVROS DIDÁTICOS E ALGUMAS OPINIÕES DOCENTES
Os três livros didáticos mais utilizados em Portugal Continental, em ordem são os de número:
11, 8 e 9, que na qual coincidiu porporcionalmente com a população da Região Centro em um
levantamento prévio. O percentual da adoção dos livros didáticos de Física distribuídos no
total de escolas secundárias (N = 100) na Região Centro é dado pelo quadro abaixo: TABELA 2 - Lista dos Livros Didáticos de Físico-Química A (LFA) recomendados pelo DGIDC a adoção pelas
escolas no biênio 2012/2013 em Portugal, com destaque para o de Nº 5, 8, 9 e 11 (adotados na amostra).
N Física e Química A – Curso Científico Humanistico
Título, Autores e Editora. %
1 “Física A 10”– Fernanda Resende, António José Silva e Manuela Ribeiro, Areal Editores, SA. 2
2 “Livro de Física 10º”– Laila Ribeiro, Asa Editores II, AS. 1
3 “Física e Química A 10º ano – A Física do nosso mundo”– Luísa M., Máximo F., Constância Ed. 0
4 “Física, uma Aventura – Física A 10.º Ano”– Vítor Teodoro, Didáctica Editora, Lda. 1
5 “Desafios da Física A 10”– Daniel Marques Silva, Lisboa Editora, S.A./Raiz Editora. 3
6 “Ver + 10.º Ano Física A (Novo)” – Alexandre C., Augusto M. e Francisco C. Plátano Editora, Lda. 1
7 “Eu e a Física – Física e Química A - 10”– Maria J. C., Maria M. Gradim, Noémia M. Porto Editora. 0
8 “Ontem e Hoje – Física A - 10”– Adelaide Bello, Helena Caldeira. Porto Editora. 25
9 “Física na Nossa Vida – Física e Química A – 10º/11º”– Fernando M., M. Margarida. Porto Editora. 12
10 “Energias 10 – Física A”– Maria Fernanda Barbosa, Maria João Morgado. Santillana-Constância. 6
11 “10F – A” – António J. F., Carlos Fiolhais, Graça Ventura, João Paiva, Manuel Fiolhais. SM – Editorial. 49
12 “Física A – 10.º Ano” – Maria Teresa Marques de Sá. SM – Editorial. 0
Os resultados indicam (MB – Muito Bom; B – Bom; S – Suficiente; I – Insuficiente) que a
maioria dos 39 professores das 20 escolas da amostra considera “muito bom” a condição dos
livros de Física, de modo geral, em respeitar os programas e metas curriculares. Há um
consenso proporcional na opinião sobre a “qualidade” e/ou “satisfação” dos aspectos
curriculares, que supostamente coincide na mesma ordem dos mais adotados (11, 8 e 9).
TABELA 3 – Opinião docente quanto ao LFA respeitar os
programas e metas curriculares.
Respeita os prog. e metas curriculares Total
LFA MB B I
11 17 1 0 18
8 2 3 0 5
9 5 3 1 9
10 0 4 0 4
5 2 1 0 3
Total 26 12 1 39
TABELA 4 – Opinião docente quanto ao LFA apresentar um
conhecimento correto tendo em conta as orientações
curriculares.
Conhecimento correto Total
LFA MB B S
11 15 3 0 18
8 3 2 0 5
9 1 5 3 9
10 0 3 1 4
5 3 0 0 3
Total 22 13 4 39
Há de considerar as proporções diferenciadas dos respondentes, entretanto percebe-se de
modo geral, certa tendência positiva dos respondentes, talvez por influência pela escala. É
importante considerar que os livros 10 e 5, possuem menor representativa de respondentes,
mas também sinalizam positivo, e sugere que o fato de ser menos adotado não implica ter
uma menor qualidade, e talvez muito ao contrário, pois sendo inovador ou demasiado
desafiador quanto às mudanças na prática docente, este poderá ser um viés para que não seja
adotado, e, portanto um aspecto que deve ser analisado com cautela em estudo mais profundo.
TABELA 5 – Opinião docente quanto ao LFA apresentar um
conhecimento relevante tendo em conta as orientações curriculares
Conhecimento relevante Total
LFA MB B S I
11 14 4 0 0 18
8 1 3 0 0 4
9 1 5 2 1 9
10 0 2 2 0 4
5 1 2 0 0 3
Total 17 16 4 1 38
Quanto ao conhecimento correto levando em conta as orientações curriculares, a maioria
sinaliza-se “satisfeito” ou que “há qualidade” nos conteúdos apresentados. De maneira geral,
há um consenso acentuado naqueles relacionados com o livro 11. O mesmo padrão segue
quanto ao conhecimento relevante veiculado nos manuais, e observa-se uma única rejeição
para com o livro 9.
7 CONSIDERAÇÕES FINAIS
Verificam-se limitações quanto ao uso do instrumento de avaliação dos manuais tanto para a
validade da estratégia, fiabilidade da escala adotada, quanto para a pertinência dos itens.
Observa-se também certa necessidade de uma reorganização/atualização de critérios
avaliativos oficiais diante da multidimensionalidade e especificidades do processo de
avaliação e certificação, visto a inexistência de crtitérios votados para os objetos educacionais
digitais, apesar de estarem incluidos há anos nos projetos editoriais vigentes de muitos livros
adotados. Há de se considerar que o programa curricular provavelmente esteja defasado
(desde 2001), e não há metas curriculares vigentes (previstas para 2015-2016).
Devido a uma série de inconsistências supracitadas, os resutados são pouco úteis numa
avaliação sobre um alinhamento dentro dos três aspectos curriculares, pois necessita de um
estudo mais detalhado para uma consistência na elaboração de juízo de valor. Para novas
perspectivas, acredita-se na necessidade da elaboração de um novo instrumento, de investigar
aspectos na multidimensionalidade e especificidades dos encargos pedagógicos inerentes, e
principalmente, valorizar uma representatividade da opinião docente no alinhamento no livro
no processo.
Agradecimentos
Ao apoio dado da pela CNPq e pela Fundação para a Ciência e Tecnologia de Portugal.
8 REFERÊNCIAS BIBLIOGRÁFICAS
1. ANDERSON, L. W. Curricular Alignment: A Re-Examination In A Taxonomy for
learning, teaching and assessing: A revision of Bloom´s Taxonomy of Educational
Objectives. Logman, 256-264, 2001
2. ANDRADE, D. F. et al. Teoria da Resposta ao Item: Conceitos e aplicações. SINAPE
2000, 2000.
3. CABRAL, M.. Como analisar livros didáticos. Texto Editores, 2005.
4. CRESWEL, J. W. Projeto de pesquisa: Métodos qualitativo, quantitativo e misto. Editora
Artmed, 2010.
5. GÉRARD, F-M.; ROEGIERS, X. Conceber e avaliar livros didáticos. Porto Editora,
1998.
6. OSGOOD et al. The measurement of meaning. Illinoi Books, 1957.
7. WEBB, N.. Determining Alignment of Expectations and Assessments in Mathematics
and Science Education. University of Wisconsin–Madison. National Center for
Improving Science Education Funded by the National Science Foundation. Vol.1, Nº. 2,
1997.
8. VALLEJO et al. Construcción de escalas de actitudes tipo Likert. Editorial La Murala, S.
A, 2003.
9. ZEICHNER, Kenneth M. Para além da divisão entre professor-pesquisador e pesquisador
acadêmico In: GERALDI, Corinta M.; FIORENTINI, Dario & PEREIRA, Elisabete M.
(orgs.) Cartografia do trabalho docente: professor(a)-pesquisador(a). Campinas, Mercado
de Letras?ABL, 1998. pp. 207-236.
INSTRUMENT RATING ON TEXTBOOKS AND CURRICULUM
ALIGNMENT IN PORTUGAL: CRITICAL, NEEDS AND OPINIONS.
Abstract: The research has the objective of analyzing the initial opinion of 39 physics
teachers of the 10th year of secondary education, with regard to the suitability of five
different textbooks adopted with their respective curriculum, as well as the correct and
relevant content. The sample is distributed in 20 public schools in the Central Region of
Portugal, where three of the five books are the most widely adopted nationally regionally and
represent 86%, and 90% within the sample. A preliminary study of the official instrument,
and a reflection on the design in your application just by referring to the following research
question: What are the implications for curriculum alignment in the evaluation process of
"certification" and "selection" from the use of a official instrument of the assessment by
teachers teaching Physics 10th grade books? Preliminary results indicate the existence of
threats to internal and external "validity" for the strategy, lack of "relevance" in the purpose
of the instrument and some items, and "reliability" by the scale of measurement adopted, it is
argued a need to update the official evaluation criteria for the certification process.
Inconsistencies limit the analysis of the results, and raises improvements in redesigning the
instrument and process approach. From this new perspective for the evaluation process of
certification and selection of books are presented. The results will be incorporated into a
larger study, with the opinion of teachers in the context of Florianópolis (Santa Catarina -
Brazil) in 26 public schools.
Keywords: Aligning curriculum; Textbooks; Teaching opinion; Limitations and needs; New
perspectives.