dossier anpefa - avaliação crítica dos estudos

Educação e Formação de Adultos em Portugal, uma prioridade, um contributo

para vencer a crise

ANPEFA – Associação Nacional de Profissionais de Educação e Formação de Adultos

Email: [email protected]

Pági

na1

O XIX Governo Constitucional prometeu, no início do mandato, a realização de uma avaliação própria da Iniciativa Novas Oportunidades antes de tomar decisões sobre as diversas medidas que a integram.

Sem que qualquer avaliação estivesse disponível, o governo decidiu retirar Portugal do PIAAC, estudo internacional da OCDE para a medição da literacia dos adultos, que permitiria aferir objetivamente os progressos realizados no país; encerrou mais de metade da rede de Centros Novas Oportunidades, deixando centenas de milhares de adultos sem resposta e milhares de profissionais no desemprego e, no caso das instituições públicas, sem o pagamento das indemnizações devidas, enquanto se prepara para encerrar grande parte dos restantes depois de Agosto; operou a separação entre os sistemas de educação e de formação sobre cuja cooperação assentou nos últimos anos o conceito de dupla certificação; tem vindo a protelar a abertura de cursos de Educação e Formação de Adultos (EFA) e de Formações Modulares Certificadas (FMC); condicionou extraordinariamente os processos de reconhecimento, validação e certificação de competências (RVCC); limitou as áreas da educação profissional e da componente profissional da EFA a um número ridículo e inaceitavelmente limitado às profissões manuais; aumentou os parâmetros para o funcionamento de cursos profissionais e de turmas dos cursos EFA que, nomeadamente pela dimensão mínima das turmas, inviabiliza o funcionamento do sistema com um mínimo de qualidade e de dispersão geográfica; anunciou a reinvenção do ensino recorrente para adultos, modalidade cuja total ineficácia e absoluta ineficiência é há muito conhecida. Enfim, tem vindo sistematicamente ou a desmantelar, ou a desmobilizar por ausência de orientações, o sistema que tinha criado em Portugal um movimento de massas de regresso dos adultos à aprendizagem ao longo da vida (ALV) e de manutenção dos jovens da escola até à conclusão do secundário, como todos os organismos e estudos internacionais têm posto em relevo.

Esta situação é grave porque se estão a desperdiçar recursos e a quebrar dinâmicas de recuperação do atraso educativo português, de valorização do ensino profissional e de reforma do sistema de educação e formação. Grave é, também, o perigo de ideias preconceituosas virem a ser apresentadas como a proposta portuguesa para a negociação do próximo quadro de programação dos Fundos Estruturais da União Europeia, produzindo assim um efeito de longo prazo que impediria o país de alcançar os objetivos da estratégia 2020. Quando o país, pela primeira vez na sua história, estava a começar a alinhar-se com padrões europeus, foi-lhe cortado o passo e surge no horizonte a ameaça do regresso a uma política educativa seletiva, a qual constituía uma das faces de uma economia pouco produtiva, assente em trabalho intensivo e pouco qualificado. Não é aceitável que se desperdice uma nova oportunidade para nos aproximarmos dos padrões europeus.

Há cerca de duas semanas o governo apresentou dois estudos de avaliação assinados por uma equipa do Instituto Superior Técnico, um sobre o impacto dos processos RVCC e outro sobre o impacto dos EFA e das Formações Modulares Certificadas (FMC) no emprego e na progressão salarial. Supostamente seriam os estudos que sustentam as medidas entretanto



Pági

na2

tomadas. Mas tal não é o caso. Solicitámos pareceres técnicos a especialistas em avaliação de políticas públicas e o veredicto é insofismável: os relatórios não possuem consistência nem credibilidade, como se pode ver em detalhe no dossier anexo.

Como tal, consideramos que não foi cumprida a promessa, que se mentiu aos portugueses, que se desviaram as atenções dos problemas essenciais. Por tudo isso há que exigir do governo que assuma as suas responsabilidades.

A ANPEFA, representante dos profissionais de Educação e Formação de Adultos, tem solicitado várias vezes audiências à tutela no sentido de compreender qual a política do governo. Ainda não foi ouvida. Cada mês que passa mais difícil se tornará a recuperação do tempo perdido.

Decidimos, por isso, alertar a Assembleia da República, os Partidos Políticos, os Ministros da Economia e da Educação, o Conselho Nacional da Educação, a Comissão Europeia, as Confederações Sindicais do setor da Educação e a opinião pública para a gravidade das decisões que têm vindo a ser tomadas, para o perigo de hipotecar o futuro do país com uma negociação inadequada do próximo período de programação e para a necessidade de retomar a trajetória que vinha a ser seguida e que nenhum estudo, até ao momento, veio por em causa, sendo pelo contrário vários os que a apontam como adequada no contexto complicado que o nosso país atravessa.



Pági

na3

Dossier técnico

Análise dos Relatórios da responsabilidade de Francisco Lima (Instituto Superior Técnico) sobre os impactos do sistema de Reconhecimento, Validação e Certificação de Competências

(RVCC) e dos Cursos de Educação e Formação de Adultos (EFA) e das Formações Modulares Certificadas (FMC) na

empregabilidade e nas remunerações dos participantes.



Pági

na4

Na sequência da apresentação pelo autor, Francisco Lima (Instituto Superior Técnico), em sessão organizada com a presença de membros do governo, dos relatórios em referência, a ANPEFA solicitou pareceres a especialistas em avaliação de políticas públicas a respeito dos mesmos. As conclusões são eloquentes: Os relatórios não possuem qualquer validade técnica e, portanto, não podem sustentar qualquer decisão política.

Seguem-se os argumentos em que assenta esta conclusão, em detalhe.

1. A avaliação é metodologicamente insustentável e compara o que não pode, em rigor, ser comparado

“O centramento da Avaliação na comparação de desempenhos no mercado de trabalho entre participantes e não participantes nas diferentes modalidades, tendo como elemento de aferição a estimativa do efeito na empregabilidade e na evolução das remunerações, constitui uma opção metodológica legítima. No entanto (…) e tomando por referência o Estudo relativo aos Processos RVCC (…) Na metodologia adoptada os “não participantes” não revestem as características de um grupo de controlo, na medida em que existem diferenças significativas em matéria de enquadramento profissional (os ”participantes” pertencem, sobretudo, às actividades do comércio, serviços, indústrias com baixo índice tecnológico). Para uma avaliação centrada na empregabilidade e nas remunerações, deveriam ser comparáveis as condições de mercado de trabalho dos grupos que, inseridos em composições de sectores e de estrutura de profissões distintas, se deparam com modalidades de recrutamento, sistemas remuneratórios e dinâmicas de criação e sustentação de emprego com diferenças acentuadas.” (E1)

No mesmo sentido vai uma opinião manifestada num segundo parecer:

“Para o estabelecimento de comparações com a população alvo de RVCC optou-se por criar um grupo de controlo. Neste caso, o grupo de controlo deveria ser semelhante ao dos participantes em RVCC, tal como sugerido pela equipa de avaliação – “A partir do universo dos não participantes, procurar-se-á encontrar pessoas semelhantes aos participantes, nas dimensões disponíveis no registo da Segurança Social e num período anterior à tomada de decisão sobre a participação (p. 34)”.

Em primeiro lugar, não são explicados os critérios de selecção que suportaram a escolha dos indivíduos incluídos neste grupo de controlo. Em segundo lugar, e mais importante, os grupos não são semelhantes. Antes pelo contrário. O grupo do RVCC tem menor escolaridade, pertence a sectores económicos menos qualificados, tem salários mais baixos e maior incidência de desemprego. Para se ter uma ideia da disparidade entre os dois grupos, refira-se que o grupo dos não participantes manteve exatamente a mesma percentagem de desempregados em 2007 e em 2011, enquanto a taxa de desemprego em Portugal evoluiu de 7,9% no segundo trimestre de 2007 para 14% no final de 2011. Trata-se claramente de um conjunto de indivíduos muito especial, que não é comparável, nem poderá servir de grupo de controlo, o que inviabiliza boa parte das comparações e conclusões.



Pági

na5

Este problema é identificado pela equipa de avaliação ao longo do documento, de tal forma que até justifica a inclusão de um método de estimação. O que não se percebe, é a razão pela qual não se alterou o grupo de controlo logo na génese (apresentando, já agora, os critérios de selecção).

Desde logo, o diferencial entre os dois grupos é tão gritante que o método de estimação, por um lado não resolve o problema e, por outro, afasta ainda mais a informação estatística de base dos fenómenos teoricamente retratados – e para os quais não há formas de validação/verificação empírica.

Refira-se, ainda, que compreendemos o esforço em tentar solucionar o problema da falta de informação sobre as qualificações de partida dos participantes na RVCC, contudo, é por demais evidente que a extrapolação feita a partir dos sectores de actividade está muito mais ancorada no senso comum, no que em evidências empíricas, não dando garantias algumas de ser uma boa base de comparação.” (E2)

A tese de que a metodologia utilizada é totalmente inadequada aparece ainda salientada num terceiro parecer:

“O estudo representa uma fraude metodológica. Conscientemente, subverte todas as regras do método de avaliação de impactes de uma política pública. A partir apenas da análise de informação secundária (duas bases de dados) o estudo visa proceder à avaliação do impacto do RVCC na empregabilidade (acesso ao emprego e duração do desemprego) e no reconhecimento do valor dos diplomas pelas empresas (medido através da progressão salarial daqueles que concluíram um determinado nível de escolaridade), procedendo à comparação dos participantes em processos RVCC com não participantes.

Trata-se, à partida, de uma metodologia típica da avaliação de impactes. Mas essa metodologia exige que as características sociodemográficas e socioprofissionais dos dois grupos (o grupo sob análise, as pessoas que concluíram processos RVCC) e o grupo de controlo (os não participantes), sejam iguais. Ora, o estudo reconhece (pp. 37) que o “(…) grupo de participantes tem uma menor escolaridade do que a generalidade dos trabalhadores”, isto é, do que o grupo de não participantes. Além disso, como se diz na página 57, “Os dados que estamos a usar não resultaram de uma experiência, em que teríamos um grupo de participantes e um grupo de não participantes iguais em termos de probabilidade de participar no RVCC (…) temos de recorrer à observação do comportamento dos participantes e não participantes, sabendo que constituem grupos distintos (…). Por exemplo, existem diferenças assinaláveis ao nível da idade e experiência profissional.” Ainda assim, o estudo faz comparações entre grupos incomparáveis e retira daí conclusões. Compara o que não pode ser comparado. Todas as conclusões que retira perdem, assim, qualquer validade técnico-científica e resultam de uma distorção fraudulenta do método que conduz a uma visão preconceituosa da realidade.” (E3)



Pági

na6

2. Os Pressupostos são errados e não aderem ao estado atual do conhecimento sobre a matéria em que incidem.

“NOVAS OPORTUNIDADES – avaliar efeitos com ou sem apriori” é o título geral de um dos comentários recebidos. Salienta o autor, comparando os relatórios em análise com exercícios anteriores:

“Os Cursos de Educação e Formação de Adultos (EFA), as Formações Modulares Certificadas (FMC) e o Reconhecimento, Validação e Certificação de Competências (RVCC) constituem exemplos das respostas disponíveis para enquadrar um conjunto relativamente vasto de destinatários-alvo e respectivas necessidades de intervenção.

Estas modalidades formativas foram sendo objecto de diversos Estudos de Avaliação1 sob iniciativa de entidades com responsabilidade na gestão e no financiamento das Intervenções Operacionais. De um modo geral, esses estudos identificaram resultados, dimensões-problema e necessidades de correcção que constam das respectivas Recomendações, sendo disso exemplo a Avaliação de Impacte dos Activos Empregados Beneficiários de Acções Financiadas pelo FSE e a Avaliação de Operacionalização das Formações Modulares Certificadas (FMC).

Os Estudos referidos enquadraram a avaliação de efeitos das medidas destinadas a adultos activos (empregados e desempregados) numa perspectiva ampla, compreendendo as dimensões desenvolvimento pessoal, das aprendizagens adquiridas e do emprego, abrangendo nesta última os resultados em matéria de inserção profissional, de remuneração e de progressão na carreira.

Esta abordagem multifacetada (que segue de perto orientações metodológicas da OCDE, do Banco Mundial e da Comissão Europeia) afigura-se absolutamente indispensável na medida em que a vocação fundadora daquele conjunto de Modalidades de Educação/Formação de Adultos reside nas aprendizagens como via privilegiada para proporcionar competências aos destinatários-alvo.” (E1)

O parecer de um segundo especialista diz-nos que há “Pressupostos enviesados. Todo o exercício de avaliação está ancorado em dois pressupostos que carecem de fundamentação. Neste caso, temos, por um lado, o pressuposto de que o RVCC não implica a aquisição de novos conhecimentos (p. 2) e, por outro, o pressuposto de que o RVCC serve [unicamente] para reduzir a assimetria de informação sobre a qualificação do trabalhador. Em síntese, “o RVCC não é formativo, como o próprio nome indica, é possível que actue essencialmente como um veículo de transmissão de informação sobre as competências do trabalhador (p. 34)”.

A carência de fundamentação destes dois pressupostos está relacionada: (i) em primeiro lugar, com o facto dos estudos anteriores atestarem exactamente o contrário, isto é, quer a avaliação de 2003, quer o trabalho do Conselho Nacional de Educação de 2011, quer mesmo a avaliação coordenada por R. Carneiro de 2010, comprovam que o RVCC traduz-se na aquisição de novas

1 Avaliação de Impacte dos Activos Empregados Beneficiários de Acções Financiadas pelo FSE, QUATERNAIRE/IESE - Instituto de Gestão do Fundo Social Europeu (2007), Avaliação de Operacionalização das Formações Modulares Certificadas (FMC), Autoridade de Gestão do POPH/Gabinete Oliveira das Neves (2010/2011) e Avaliação Externa da Iniciativa Novas Oportunidades, Agência Nacional para a Qualificação (ANQ)/CEPCEP-Universidade Católica (2009/2012).



Pági

na7

competências e possui um alcance muito para além da mera função de informação – o leque de efeitos que o RVCC pode vir a ter no posicionamento dos indivíduos no mercado de trabalho é bastante amplo incluindo domínios como a aquisição de e-competências, de soft-skills, desenvolvimento da motivação pessoal, autoconhecimento e auto-estima, aquisição de um projecto/estratégia pessoal, etc.; (ii) em segundo lugar, com o facto do presente exercício de avaliação estar desprovido de informação e/ou de ferramentas metodológicas que permitam aferir seja lá o que for sobre as competências/conhecimentos adquiridos ou sobre o papel do RVCC junto dos empregadores. (E2)

E conclui: “Resultado da inconsistência dos pressupostos e da desadequação da metodologia face aos objectivos temos conclusões que, não só carecem de fundamentação aceitável, como também surgem em forte oposição aos resultados das avaliações anteriores, das quais deixamos dois exemplos:

• “Os participantes em processos RVCC (…) têm uma maior probabilidade de estar desempregados e de experimentarem durações de desemprego mais longas (p. 73)” - o carácter enviesado do grupo de controlo retira toda a solidez desta conclusão.

• “A generalidade dos resultados obtidos indica que os RVCC não têm impacto na evolução das remunerações do trabalho (p. 74)” – a incapacidade de isolar o impacto do RVCC das outras variáveis que influenciam a evolução dos salários, retira toda a consistência a esta conclusão.” (E2)

“O estudo é um embuste político”, afirma um outro especialista, sintetizando dessa forma a demonstração de que os estudos, mais do que a critérios técnico-científicos, obedece à agenda política de quem o encomendou. “Mostra-o o facto de produzir afirmações sem sustentação em nenhum elemento analítico. Por exemplo, logo na página 2, afirma-se a ideia, repetida ao longo do documento, de que o RVCC não se associa a uma componente formativa. Apenas produz resultados estatísticos. Replica assim, sem qualquer esforço crítico, as declarações de membros do governo e dos partidos que o sustentam. Mas como pode o “estudo” fazer tal afirmação se não incide sobre a aquisição de conhecimentos ou competências por parte dos participantes? Como pode ignorar as horas de formação fornecida a quase todos os participantes e que enriqueceram essas competências em domínios nos quais elas se revelavam insuficientes? E como pode ignorar os conhecimentos científicos hoje disponíveis sobre o efeito de aprendizagem efetiva resultante do próprio processo de reflexividade autobiográfica?

Em que partes do estudo constam dados que permitam a insinuação de que o alargamento da rede de Centros Novas Oportunidades se traduziu numa lógica de competição, em vez da cooperação em redes locais para a qualificação que se multiplicaram pelo país?

Na pp. 28 anuncia-se a “…eminência (sic) de reconfiguração deste modelo…”. Como conhecem os autores essa iminência? O que contém esta frase para além do pontapé na gramática, mais do que o eco de intenções do governo?” (E3)



Pági

na8

3. A avaliação passa ao lado do objeto que era suposto avaliar

A avaliação “circunscreve os resultados e efeitos de medidas de política de educação/formação de adultos a dimensões que se situam a jusante do campo de intervenção dessas medidas (a obtenção de um emprego e/ou a melhoria das condições de integração profissional – salário, progressão na carreira, …);” (E1)

Do parecer de um outro especialista consta que: “Neste exercício de avaliação assume-se, desde logo, o objectivo de “avaliar o impacto dos processos de RVCC no mercado de trabalho (p. 2)”, descurando o facto dos objectivos matriciais da intervenção pública que acomoda o RVCC não estarem centrados objectivamente no mercado de trabalho. Isto é, tenciona-se analisar o impacto de uma intervenção em domínios para os quais ela não foi realmente criada. Porém, esta constatação não inviabiliza a realização do exercício de avaliação, porquanto se considera que uma avaliação de impacto está centrada na análise dos efeitos de longo prazo positivos ou negativos, primários ou secundários, produzidos directa ou indirectamente por uma intervenção, de forma intencional ou não.

No entanto, para a correcta concretização da avaliação deveriam ser acauteladas duas opções metodológicas. Em primeiro lugar, e uma vez que se trata de uma avaliação de impacto, deveria ser assegurada a abordagem de longo prazo (por exemplo, o percurso de um participante de RVCC três a cinco anos após a obtenção da certificação). Em segundo lugar, deveriam ser previamente clarificados os caminhos percorridos entre as realizações e os impactos e as respectivas relações causais entre os diferentes momentos, de modo a perceber quais as cadeias de impactos possíveis quando se trata de tentar ligar RVCC com impacto no mercado de trabalho (as cadeias seriam empiricamente validadas a posteriori).

Nenhum destes trabalhos prévios foi realizado tendo-se lançado a avaliação de impacto sem qualquer reflexão ou ideia sustentada sobre a forma como os elementos do sistema interagem uns com os outros e quais os processos inerentes à obtenção desse mesmo impacto. Umas das consequências da falta deste trabalho prévio são a desadequação e inconsistência dos pressupostos de partida, bem como da abordagem metodológica (…).” (E2)

“O governo anunciou que determinaria o que fazer com a Iniciativa Novas Oportunidades depois de ter nas mãos a sua própria avaliação. As avaliações anteriores não bastavam ao atual governo. Nem a audição que a Assembleia da República efetuou, nem a avaliação realizada por uma equipa de reconhecido mérito e independência da Universidade Católica que a UNESCO publicou como exemplo a nível mundial, nem a autoavaliação dos Centros Novas Oportunidades, nem os inúmeros trabalhos académicos sobre o impacto do RVCC na literacia das crianças, na aprendizagem ao longo da vida, e num longo etc. Insistia-se em que a Iniciativa Novas Oportunidades se limitava a certificar, sem qualificar. Ao mesmo tempo que, retirando Portugal do estudo sobre a literacia de adultos da OCDE, se perdia o ensejo para uma abordagem isenta e sem sofismas dessa matéria.

Estranhamente a presente “avaliação” é completamente omissa sobre o assunto. Por isso, para além de metodologicamente fraudulenta, é também cientificamente desonesta.”



Pági

na9

“Diz-se no documento que o objetivo da iniciativa Novas Oportunidades é o da “escolarização da população…”, “…promover a valorização social do investimento em educação e formação de adultos, numa ótica de aprendizagem ao longo da vida…” e “qualificar 1 milhão de ativos”. Poder-se-ia ter avaliado e colocado em questão estes objetivos, e as metas em que se desdobram. Mas em vez disso avalia-se o programa em função de objetivos que não são os dele. Mais um erro de palmatória, imperdoável até num estudante de primeiro ano em qualquer disciplina de métodos. Uma avaliação pode e deve julgar a pertinência e coerência dos objetivos do programa avaliado, mas não pode avaliar o seu impacto sem ter em conta esses objetivos e o domínio de política em que se situa. Não se podem avaliar as políticas de educação e de qualificação apenas através do seu impacto no emprego.

É certo que abunda a literatura que defende a existência de uma relação entre as qualificações da população e a produtividade da economia, ou entre as qualificações e o estatuto profissional das pessoas. Mas daí a afirmar que essa relação é mecânica e direta vai uma enorme distância. As qualificações contam, mas não são o único fator que afeta a evolução do emprego e da remuneração do trabalho. A conjuntura macroeconómica e fatores como a estratégia das empresas na adaptação à crise têm um papel decisivo, que o estudo omite de forma despudorada.

Portugal tem, há muito, um problema estrutural de absorção pelo mercado de trabalho das qualificações que produz. Essa absorção faz-se lentamente e não é imediata.

Por outro lado, como é evidente, há muito que não há, no mercado de trabalho, qualquer notícia positiva para os trabalhadores. Esse é, segundo vários estudos, um dos motivos da mobilização da população na adesão à INO, com o objetivo de melhorar as oportunidades num contexto cada vez mais agreste e ameaçador e que tem vindo a assumir, no último ano, contornos extremamente gravosos. Se o “estudo” revela, apesar de tudo, que se registaram com a INO alguns efeitos positivos junto de certos grupos; se os salários têm vindo a cair no país a um ritmo muito maior do que o que o estudo verifica entre os trabalhadores menos qualificados e mais idosos que frequentaram o RVCC, então existe motivo para retirar conclusões opostas às que são avançadas.

Seria importante que uma equipa independente tivesse acesso às mesmas bases de dados para testar de forma mais rigorosa e isenta esses mesmos efeitos. Provavelmente os impactos são muito melhores do que o que seria de esperar face às condições que se têm criado no país.” (E3)

4. A avaliação não considera as variações de contexto

Um outro tema presente em todas as interpretações aponta para a ilegitimidade de se realizar a avaliação de impactos de uma medida de educação e formação no mercado de trabalho sem considerar os devidos elementos de contexto.

De facto, a avaliação “valoriza a estimação de impactos particularmente sensíveis (emprego e remunerações) a variações de contexto, as quais se mostram sobretudo, relevantes em



Pági

na10

conjunturas depressivas do mercado de trabalho, como a que temos atravessado desde meados da década anterior.”

• No tocante à comparação da condição perante o trabalho antes e depois do RVCC, a análise da distribuição dos diferentes estados no mercado de trabalho parece ser apenas atribuível à passagem pelos processos RVCC. Sucede, porém, que a condição perante o trabalho é fortemente medeada pela evolução do mercado de trabalho em situação de crise e desemprego crescentes, elementos explicativos chave que não são tomados em conta. O argumento segundo o qual a crise e o desemprego afectariam da mesma forma participantes e não participantes, não encontra eco na literatura. Tudo indica que o processo RVCC/NO teria muito provavelmente dado lugar a maior empregabilidade na ausência de crise do mercado de trabalho, muito especialmente para os menos qualificados, principais destinatários-alvo da Medida.”

• Em matéria de remunerações, o exercício efectuado não contempla o fenómeno da depressão das remunerações que acompanha o reingresso dos desempregados no mercado de trabalho. Com efeito, tendo a amostra de participantes maior peso de desempregados, o período durante o qual estiveram envolvidos nos processos RVCC/NO prolonga o período de interrupção da trajectória de trabalho, num contexto de crise de oportunidades proporcionadas pelo mercado de trabalho. Os efeitos da depressão das remunerações no reemprego pós-processo RVCC deveriam, assim, ter sido considerados na comparação com os não participantes que se mantiveram em maior percentagem empregados.

• O controle das condições específicas do mercado de trabalho constitui uma tensão permanente da metodologia de estudo e é frequentemente “resolvida” com hipóteses e/ou restrições bastante redutoras. A título de exemplo:

- a “remuneração resume os atributos do trabalhador”, os quais são considerados fixos desde 1 ano antes da participação (os ponderadores da regressão utilizada são os mesmos antes e após o processo RVCC);

- a “remuneração é um indicador perfeito de qualificações”, numa perspectiva que se afasta de todos os contributos teóricos da Economia da Educação e da Qualificação do Trabalho e que em contexto de crise económica não recolhe evidências (maiores e novas qualificações não são validadas pelo mercado de trabalho, como sucede com as qualificações superiores universitárias e politécnicas, frequentemente sub-remuneradas).” (E1)

Sobre o mesmo tema, titula um outro perito: “Incapacidade de isolar o impacto do RVCC.

O exercício de avaliação procura “avaliar o impacto dos processos de RVCC no mercado de trabalho (p. 2)”, no entanto, não há informação, nem forma, de isolar o impacto específico do RVCC no mercado de trabalho, de todos os outros elementos que também têm (alguns de modo muito mais expressivo) a capacidade de influenciar os domínios analisados. Ou seja, a abordagem utilizada interpreta a evolução de um fenómeno tão complexo como o desemprego tendo como único factor explicativo a existência ou não do RVCC.



Pági

na11

Por outro lado, não há igualmente instrumentos que permitam identificar/medir as relações causa-efeito entre a obtenção da RVCC e a situação no profissão/remuneração e o desemprego. Consequentemente, as análises estão suportadas, não só por relações causais não testadas empiricamente, nem verificadas na realidade, como recorrem a pressupostos enviesados, como referido anteriormente.

Acrescente-se, ainda, para reforçar a inépcia da metodologia no momento de isolar o impacto do RVCC, que o exercício de avaliação, no momento de avaliar o percurso dos participantes na RVCC, não incorporou, por exemplo, os elementos de evolução macro e micro económicos do período em analise, no âmbito do qual, a título de exemplo, a taxa de desemprego nacional quase que duplicou (facto que, como é lógico, não poderá ser explicado pela intervenção do RVCC).” (E2)

Um terceiro especialista cita o estudo: “A observação de uma pessoa no mesmo momento do tempo em dois estados distintos – com e sem RVCC – seria a situação ideal para a avaliação. A diferença entre estes dois estados, na duração do desemprego ou na remuneração, mediria o efeito do processo RVCC” (…). Como se pudéssemos controlar as variáveis macro e microeconómicas que afetam o emprego, o desemprego e os salários da mesma maneira que se controla o ambiente de uma experiência laboratorial (ainda por cima num quadro em que o mercado de trabalho sofreu as turbulências de todos conhecidas). Não é legítimo comparar as trajetórias das pessoas sem levar em linha de conta a evolução do mercado de trabalho.

Diz-se ainda na página 33: “Uma alternativa, ainda que inviável no presente, seria ter um conjunto de pessoas elegíveis, por exemplo, para um processo RVCC de 3º ciclo do ensino básico e inscrever aleatoriamente metade do grupo em processos de RVCC, mantendo a outra metade como grupo de controlo”. Como se fosse possível e legítimo decidir sobre opções que cabem a cada um e determinar que uma parte de um grupo de pessoas fica de fora de uma política só para servir uma experiência! Parece comédia, mas as consequências podem ser trágicas.” (E3)

5. Dois relatórios, dualidade nas opções metodológicas

Um dos peritos ouvidos pela ANPEFA chama a atenção para a possibilidade de existir uma dupla intenção nos dois relatórios: denegrir todas as medidas de educação e formação de adultos desenvolvidas nos últimos 12 anos, mas prioritariamente destruir a imagem do sistema de RVCC. As declarações da Secretária de Estado do Ensino Básico e Secundário durante a apresentação dos estudos sustentam esta hipótese. Disse ela que “os custos com o RVCC tinham sido 1.800 milhões de Euros. Ora, desse valor apenas 17,61% foram investidos nos Centros Novas Oportunidades, tendo 60,58 % sido utilizados nos cursos de Educação e Formação de Adultos e 21,82% nas Formações Modulares Certificadas. Houve, pois, um má-fé evidente nas declarações da Secretária de Estado.” (E3)

Nota o mesmo perito que, quando se compara o relatório relativo aos EFA e FMC com o que respeita ao RVCC são evidentes e notórias as diferenças de tratamento de algumas variáveis. Dá vários exemplos:



Pági

na12

• “Na pp iii do relatório EFA/FMC, face à desigualdade notória dos grupos de participantes e não participantes, “o método aplicado para determinar o impacto da formação procura selecionar, entre o grupo de não participantes, trabalhadores em igual situação de desvantagem e com características demográficas semelhantes às dos participantes.” Diz ainda o relatório na pp 2: “O método aplicado procura selecionar, entre o grupo de não participantes, trabalhadores em igual situação de desvantagem e com características demográficas semelhantes aos participantes”. Avança na pp 26 que “Os grupos são emparelhados nestes estratos (matching), excluindo-se os não participantes que se encontrem em estratos sem participantes em formação profissional”. Ora, sendo a base de dados dos não participantes a mesma, porque não se fez o mesmo no estudo do RVCC, tentando minorar os efeitos da desigualdade de partida?

• O etudo refere a páginas 35: “Quando o trabalhador se encontrava inicialmente desempregado, quatro trimestres antes, quando se mede a remuneração de partida, o efeito associado à FMC é negativo, no período mais recente (período B), entre 1,9% (para as mulheres) e 2,2% (para os homens). Não é de esperar que a FMC esteja associada a uma penalização na remuneração. Nesta transição em particular existirá um terceiro fator que estará relacionado com a frequência de uma FMC e a condição de desemprego que leva ao efeito negativo. Baixas qualificações e uma posição de desvantagem no mercado de trabalho serão os candidatos prováveis”. A questão é: porque razão neste caso se procura um terceiro fator, e no caso do RVCC não? Porque razão no caso da FMC não é lógico atribuir-lhes a causa do desempenho menos conseguido, ao contrário do que se faz para o RVCC?

• Enquanto no estudo dos RVCC se fala da articulação destes processos com os EFA e as FMC, possibilitando a construção de percursos flexíveis, no estudo dos cursos EFA isso é totalmente omisso. Porquê? Só se encontra uma explicação: tentar ocultar que a flexibilidade resultante da combinação das diversas medidas de educação e formação de adultos é uma das características fortes do sistema, em parte responsável pelo sucesso onde outras medidas, como o ensino recorrente, falharam rotundamente.

• Na página 14 está escrito: “…combinou-se o período do 1º trimestre de 2005 ao 2º trimestre de 2011”. Depois, na pp 16, já se diz que “A caracterização é feita no momento da inscrição na modalidade formativa e cobre o período em que se regista a maioria das inscrições (1º trimestre de 2008 ao 2º trimestre de 2011”. Por que é que no estudo do RVCC se ficaram por 2010? Se fossem a 2011 mudavam os resultados? Afinal qual é o período? E não há dados depois do 2º trimestre de 2011?

• Um exemplo mais da dualidade de critérios. A idade média dos participantes em FMC é de 39 anos e é considerada próxima dos não participantes, 41 anos (pp16). Porém, no estudo RVCC, uma diferença de dois anos era considerada relevante. Dois pesos e duas medidas?” (E3)



Pági

na13

6. Notas soltas sobre “estudos” de má nota

Terá ficado clara, nas páginas anteriores, a parcialidade e a invalidade dos estudos encomendados pelo governo à equipa do IST liderada por Francisco Lima. Nos próximos parágrafos abordaremos alguns detalhes que reforçam os argumentos já expostos, ilustrando-os com pormenores ou com aspetos parciais ainda não referidos.

6.1. Desconhecimento das matérias substantivas da educação e formação de adultos

• “Na página 6 apresenta-se o RVCC como “…uma nova metodologia começa a ser desenvolvida através dos Centros RVCC”. Só pode ser propositada a omissão das orientações internacionais, do que se passa nos outros países e das recomendações relativas ao reconhecimento e certificação de competências não formais e informais presentes em documentos oficiais da EU e da OCDE!” (E3)

• “…urge desencadear um novo estudo que permita, atendendo ao novo flagelo do desemprego e à necessidade de reestruturação do nosso tecido empresarial e redireccionamento para novos mercados, perceber quais os impactos desta Iniciativa, com destaque em particular para a vertente de reconhecimento, validação e certificação de competências (no presente relatório) na empregabilidade e na relação com o mercado de trabalho”, diz-se no relatório sobre os RVCC. Pergunta-se: só o RVCC é que deve ser avaliado pelos impactos no emprego? Ficarão todas as medidas de qualificação (ensino regular, exames, ensino superior, etc.) sujeitas ao mesmo critério? E o ensino recorrente, que é apresentado como alternativa apesar de se conhecer a ineficácia do modelo, nalgumas das avaliações de que foi objeto mostrou contribuir para o emprego? Esperam os responsáveis políticos pela educação e pela formação ser avaliados pelo andamento do mercado de emprego? Demitir-se-ão dos seus cargos e abandonarão as suas políticas se o desemprego aumentar ainda mais?” (E3)

• “A base de dados da Segurança Social só tem dados até 2010 (limitação apenas referido num dos relatórios, porque no outro vai-se até ao segundo trimestre de 2011). Mas porque é que a base de dados do SIGO não é utilizada até à atualidade nos aspetos que não implicam comparação? Até ao Verão de 2011 eram produzidos relatórios mensais. E agora, porque não há informação publicada? A questão é: quando começou o discurso do governo a ter um impacto negativo na procura de qualificações? (E3)

• “A Bibliografia é muito limitada. Não se citam várias teses de doutoramento que tiveram o RVCC como objeto, nem o estudo de Lucília Salgado sobre o impacto do RVCC na literacia emergente nas crianças, nem, sequer, os vários documentos internacionais (Cedefop, Comissão, OCDE) em que a INO é referida.” (E3)

• “É referida no “estudo” sobre o RVCC uma série de conclusões da avaliação coordenada por Roberto Carneiro. Afirma-se que a avaliação do IST é a primeira que mede efeitos reais e não opiniões, como se os registos estatísticos fossem mais reais do que o que as



Pági

na14

pessoas pensam. O que permite afirmar que a opinião das pessoas é uma pior aproximação à realidade do que a análise de bases de dados muito limitadas quanto aos objetivos da política avaliada e à sua complexidade? De qualquer forma, o que se refere, embora de modo truncado e parcial, contradiz de forma categórica afirmações de membros do governo que disseram do estudo de Roberto Carneiro que só identificava como ganho a autoestima. Fica aliás claro como era compreensiva, relevando os ganhos em todos os domínios de conhecimentos, atitudes e competências dos adultos abrangidos…E também, além dos ganhos do eu, os ganhos na vida profissional (32%). De caminho, desvaloriza-se de forma completamente inaceitável uma variável pessoal, social e até económica como a confiança das pessoas nas suas próprias capacidades, como se esse não fosse um produto dos mais importantes de qualquer processo de aprendizagem.

• Diz o “estudo”: “O RVCC tem a particularidade de atribuir um nível de escolaridade sem implicar a aquisição de novos conhecimentos no decorrer do processo de certificação” (pp1); depois: “A natureza inovadora do modelo e da metodologia em que assenta o processo de RVCC tende a fazer olhar para o mesmo com alguma desconfiança e a procurar estabelecer comparações com as aprendizagens que são realizadas no ensino dito regular (…) (pp. 22) E ainda: “O RVCC não se sustenta na aquisição de aprendizagens, mas antes no seu reconhecimento….” (idem). Estas afirmações estão totalmente desatualizadas em relação ao que se sabe hoje sobre os mecanismos de aprendizagem, quer de crianças quer, principalmente, de adultos. Os autores nunca ouviram falar do efeito cognitivo da reflexão sobre aquilo que se aprendeu e aquilo que se fez? Gera-se mais conhecimento. Além disso, ao RVCC associaram-se milhões de horas de formação complementar (não apenas EFA e FMC). Como podem manter-se na falácia do “mero reconhecimento” ou, o que é o mesmo, da mera certificação? De resto, há alguma dúvida sobre a atribuição de certificados a quem demonstre possuir os conhecimentos, as atitudes e as aptidões profissionais requeridas em referenciais exigentes e adequados aos padrões nacionais e europeus relativos a cada um dos níveis de qualificação? Uma nota sobre uma afirmação incrível: A inovação gera desconfiança, e nada mais do que isso?” (E3)

• “Escreve-se na pp 23: “o valor de um produto corresponde ao preço que estamos dispostos a pagar para o adquirirmos…”. Não é preciso ser economista para saber que há, para além do valor de troca, o valor de uso. E há vários fatores a afetar o preço de um produto. Desde logo, a relação entre a procura e a oferta. Ora, em matérias como a qualificação, se não há procura imediata, faz sentido acabar com a oferta? Quais as consequências de longo prazo se fosse seguida a lógica de abandonar a qualificação, ou a educação, por escassez da procura imediata? Que preço teríamos de pagar no futuro, quando formos confrontados com a necessidade de qualificações que levam décadas a produzir? Não se pode avaliar a educação e a formação como se de uma mera mercadoria se tratasse.” (E3)



Pági

na15

6.2. As “proxis” que visam atenuar os erros metodológicos de base são inadequadas

• “A hipótese de a data de registo na Segurança Social capturar a entrada no mercado de trabalho, constitui um pressuposto arriscado dada a precariedade que tem caracterizado a participação dos adultos de baixas qualificações no mercado de trabalho nos últimos anos.” (E1)

• “A abordagem da idade e experiência como proxy para a finalização de estudos, não considera elementos dinâmicos com peso (períodos de interregno entre o fim da escolaridade e o início da experiência profissional, interrupção da experiência de trabalho,…). Era importante ter considerado a existência destas possíveis descontinuidades, atenuando a inconsistência das hipóteses.” (E1)

• “A consideração do sector de actividade como proxy das qualificações de partida (limitação, aliás, reconhecida pelo Estudo) é superada pela agregação de sectores com capital intensivo e de baixa intensidade em capital. Mas esta opção tem como consequência juntar qualificações distintas e de áreas funcionais muito diferentes, ou seja, com potencial de estruturação do emprego e com padrões de remuneração bastante heterógenos.” (E1)

• Na pp 42 reconhece-se que não há informações sobre as qualificações de partida das pessoas que integram as bases de dados. Utiliza-se como proxi os setores de atividade. Que proxi é esta, num mercado de emprego como o nosso, segmentado não em função dos setores, mas das empresas, mesmo dentro de um mesmo sector? Um trabalho sério teria de incluir, pessoa a pessoa, a variável “qualificação” (E3)

6.3. Indicadores construídos sem rigor

• “Ressalva idêntica (à do setor de atividade como “proxy” das qualificações de partida) deve ser feita para a duração do desemprego, uma variável que dispõe na amostra de um nº de observações/trimestres muito pequeno para ajustar uma Survival. Sendo os participantes desempregados em maior percentagem, à partida, a crise do mercado de trabalho tenderia a reforçar esta sua situação, com maior probabilidade relativamente aos não participantes. A contra análise que o Estudo tenta fazer com as características dos trabalhadores (pg. 55) não se mostra inequívoca nos resultados.” (E1)

• “No Anexo Técnico e no tocante aos logaritmos da sobrevivência ao desemprego: faltam indicadores importantes da qualidade global [p.e., Hosmer-Lemenoshov; nível de significância do Qui-quadrado; e testes de Wald para os coeficientes (odds)].

As regressões estimadas para as remunerações apresentam, em todos os casos (homens, mulheres, TCO, independentes…) testes muito baixos da qualidade dos ajustamentos (R quadrado e R quadrado ajustado, especialmente). Em face do elevado



Pági

na16

nº de observações, tal não seria de esperar, o que pode indiciar estarmos em presença de um Modelo pouco apropriado face à natureza original dos dados que foram processados pelo Estudo.” (E1)

• “No primeiro período do ponto 3.2 (metodologia) diz-se que “ A observação de uma pessoa no mesmo momento do tempo em dois estados distintos – com e sem RVCC – seria a situação ideal para a avaliação. A diferença entre estes dois estados, na duração do desemprego ou na remuneração, mediria o efeito do processo RVCC”. (pp. 33). Não dá para acreditar. Os autores julgam mesmo que uma pessoa pode estar e não estar com RVCC ao mesmo tempo, ou trata-se de distração? É abaixo da lógica da batata!”

“Além disso, não se considera que a pessoa pode ser a mesma, mas o mercado de emprego não é, pelo que, como já se disse, a comparação é espúria se não se levarem em linha de conta os fatores que afetam a evolução desse mercado.” (E3)

• “No ponto 5.2. sobre o Método de Estimação (pp. 80), escreve-se: “A sua aplicação requer que seja observável um conjunto de variáveis no período antes da participação que sirva para aumentar a comparabilidade com o grupo de não participantes. No caso em estudo, o conjunto dessas variáveis é limitado”. Porém o estudo segue como se nada fosse. Arranjam-se umas fórmulas matemáticas “mágicas” e anulam-se os desvios. E tudo passa a ser estimado. E de estimativas tiram-se conclusões tão assertivas como se tivesse havido observação direta da realidade. A INO foi acusada de trabalhar para as estatísticas. Mas isto é nem sequer respeitar as estatísticas e a realidade que elas traduzem. O método é contorcionista para chegar à conclusão encomendada. Esta é a triste realidade do estudo em análise.” (E3)

• “A conclusão geral é de que os trabalhadores por conta de outrem que participam em processos RVCC são oriundos essencialmente de setores da indústria de menor intensidade tecnológica e dos serviços de menos intensidade de conhecimento, quando comparados com os não participantes nos processos RVCC” (pp45). Então, como podem ser comparados com os grupos em termos de exposição ao desemprego (e à sua duração) e de progressão salarial?” (E3)

6.4. Falta de validação empírica das afirmações e conclusões

• “Intimamente ligada à incapacidade de isolar o impacto do RVCC e de verificação das relações causais está a falta de validação empírica dos resultados. Na sua essência, o exercício de avaliação está suportado na análise de duas bases de dados, carecendo claramente de base empírica e de instrumentos de auscultação junto dos actores relevantes no processo (desde logo, trabalhadores e empregadores) e de quantificação de resultados no terreno, que nos permita validar em termos quantitativos e qualitativos as reais relações causais referidas anteriormente.

Na verdade, só com o recurso às bases de dados nada podemos saber sobre o impacto efectivo da obtenção do RVCC no domínio da empregabilidade ou dos salários, como é



Pági

na17

desde logo referido pela equipa de avaliação nas paginas 33-34 – “A mera observação de um aumento salarial ou a obtenção de um emprego em menos de seis meses para uma pessoa com um RVCC não permite medir o efeito do processo de certificação. O seu desempenho no mercado de trabalho pode advir das suas competências e não de possuir um grau de ensino reconhecido. Ou seja, não sabemos se a alteração de remuneração ou aumento de empregabilidade é devido a algo que o trabalhador já possuía (e era reconhecido pelos empregadores) ou se ao RVCC” – em suma, será necessário isolar o RVCC das outras variáveis, algo que não foi feito nem a metodologia utilizada o permite fazer. E este problema não se resolve com a criação de um grupo de controlo, desde logo, porque não se conhecem as variáveis que influenciam o comportamento deste (por exemplo, não sabemos se estes indivíduos, não participantes no RVCC, terão adquirido formação/competências noutros contextos).

Consequentemente temos inúmeras conclusões que não estão comprovadas em termos empíricos, nem, acima de tudo, será possível antever e compreender os fundamentos subjacentes a estes processos.” (E2)

• “Os “estudos” são baseado na comparação de duas bases de dados. Não há produção de qualquer informação primária. O exercício fica totalmente limitado pelas características das bases de dados e pelas dificuldades em cruzá-las.” (E3)

• Entre os participantes “A proporção de desempregados aumenta com o grupo etário, de 3,5% (na coluna Total) no grupo dos 15 aos 24 anos até 9,3% no grupo dos 45 aos 65 anos” (pp 47). Para além de se incluir uma faixa (de 15 aos 18 anos) que não é elegível, o que isso mostra é que os mais velhos, sendo em média menos qualificados, estão mais expostos ao desemprego. Aliás, o desemprego gera procura de qualificações, razão pela qual o peso dos desempregados nos CNO rondava, entre 2008 e 2011, 40% (mesmo antes das medidas do IEFP de encaminhar todos os desempregados para os CNO). Na pp. 52 conclui-se que o desemprego aumentou menos para os mais qualificados…o que explica duas coisas: que as pessoas da INO, menos qualificadas, estão mais expostas; que por terem consciência das desvantagens, se mobilizaram para a qualificação. Não são legítimas quaisquer outras conclusões.” (E3)

• “Atente-se na diferença entre o grupo de 25-34 anos e 45-64: ao fim de oito trimestres (dois anos) 75% dos trabalhadores do grupo 45-64 ainda permanece no desemprego, mas apenas pouco mais de 25% dos trabalhadores do grupo 25-34 aí permanecem” (pp 56). Conclusão lógica: são fatores como a idade e provavelmente a qualificação a ela associada o que faz a diferença. A qual se agrava num contexto de grande crise no mercado de emprego como o atual.” (E3)

6.5. Distorções nada ingénuas e politicamente comprometidas

• “Quando se fala do RVCC antes da INO dá-se destaque ao papel do Júri. Depois de 2005 desaparecem as referências aos avaliadores externos. Porquê?” (E3)



Pági

na18

• “Em virtude das campanhas publicitárias mudou o público: “Estes novos candidatos à certificação distinguem-se do público-alvo típico dos Centros RVCC. Tendo abandonado recentemente o ensino, com o secundário incompleto por incapacidade de conclusão…” (pp. 15). Mas a média de idades é de 38 anos! E são raros os casos entre os 15 e os 24, como se diz mais à frente. Nesta passagem, os autores limitam-se a repetir mais uma das atoardas dos detratores – a acusação totalmente infundada de que o RVCC serviria como via mais “fácil” de conclusão do secundário por parte de alunos que abandonam o ensino formal –, apesar de ser frontalmente contrária às próprias verificações do “estudo”. (E3)

• “Associa-se a criação de uma nova modalidade de conclusão do secundário (o DL 357/2007) à necessidade de os CNO se concentrarem na procura dos menos qualificados (pp. 16). Ora, a modalidade não é nova. De facto havia o precedente de um despacho de Manuela Ferreira Leite que o 357/2007, na prática, se limitou a atualizar. E os CNO não são envolvidos nisso, a não ser no eventual encaminhamento. Além disso, o volume não é significativo face aos clientes do CNO, pelo que não representa nenhum alívio.” (E3)

• “O “estudo” deixa uma insinuação: “desconhecendo-se ainda se sacrificando o último dos princípios enumerados na Carta de Qualidade: Rigor, exigência e eficiência no desenvolvimento de todos os processos de qualificação e certificação, bem como na gestão do Centro Novas Oportunidades.” (pp. 16). Se desconhecem, o que leva os autores a falar de um putativo “sacrifício da qualidade” a não ser a tentativa demagógica de levantar a suspeição e o descrédito sobre a qualidade do trabalho dos Centros, sem qualquer evidência para apontar? Trata-se de pura demagogia. O contrário da ciência.” (E3)

• “Nos anos seguintes, viria a consolidar-se publicamente a marca Novas Oportunidades, sendo porém desvirtuada a sua conceptualização inicial…” A INO passou a ser associada apenas ao RVCC (pp. 16) “Não havendo estudos consolidados e desenvolvidos especificamente nesta matéria, capazes de aprofundar o nascimento e consolidação desta marca, acredita-se que este fenómeno terá sido gerado, em grande medida, pelas sucessivas campanhas publicitárias…que se focaram essencialmente no processo de reconhecimento, validação e certificação de competências” (pp. 17). Novamente os autores retiram conclusões baseadas em…estudos que não existem! E omitem a campanha dirigida aos jovens para dizer que há mais profissões na tua escola, a campanha dirigida à conclusão do secundário, a campanha dirigida aos empresários, que são aliás a maioria. Se alguém é responsável de alguma distorção no sentido de associar a INO apenas ao RVCC foram precisamente os críticos que permanentemente apresentaram a Iniciativa como se se limitasse à certificação de competências.” (E3)

• “Na pp. 28 diz-se que a metodologia da avaliação da Universidade Católica “… integrou a realização de 6 focus-group e 13 entrevistas aprofundadas (num total de 50 entrevistas) e 40 estudos de caso”. É mentira. Pura e simplesmente. A avaliação envolveu um trabalho muito mais vasto, incluindo, além dos elementos referidos, inquéritos (vários, alguns a amostras representativas da população portuguesa, e sobre vários temas), a autoavaliação de toda a rede de Centros, entre outros elementos omitidos.” (E3)

• “As pessoas inscritas que desistiram ou que obtiveram certificações parciais são excluídas da base de dados” (pp. 31). Assim, como se testa a crítica do facilitismo? O



Pági

na19

volume de desistências (2/3) justifica a crítica de facilitismo, ou a de dificuldade excessiva?” (E3)

6.6. Erros que se repetem no relatório sobre os cursos EFA e as FMC

Vejamos agora alguns exemplos de erros presentes no relatório sobre os RVCC que se repetem no relatório sobre os EFA e as FMC.

• As “análises” apresentadas na pp iii “…permitem concluir que os cursos EFA estão associados a um aumento da probabilidade de transição do desemprego para o emprego, após a conclusão do curso. (…) A inscrição numa Formação Modular Certificada tem um efeito de redução da duração do desemprego”; “os resultados apontam para uma relação positiva entre a evolução da remuneração e a conclusão de um curso EFA”. Prossegue o relatório na pp 2: “Os resultados apontam para um efeito positivo da frequência de um EFA ou FMC quando o trabalhador passa por uma experiência de desemprego. O efeito dos cursos EFA é mais forte quando os cursos incluem uma componente de formação técnica”. Depois ainda se diz que “Os resultados (Quadro 11) indicam que a conclusão de um curso EFA está associada a um aumento da remuneração (em 4%) no caso dos homens, face à sua situação oito trimestres antes, quando se encontravam desempregados. O efeito não é significativo para as mulheres” (pp 32). Ora, se os efeitos são positivos (ainda que a conjuntura seja tão má como é, e embora não se compreenda porque é que há uma diferença entre homens e mulheres, quando a formação é do mesmo tipo, o que em nada preocupa os “avaliadores”), porque está parada a aprovação de cursos EFA e das FMC? Qual o sentido de reduzir a componente profissional dos cursos EFA (como aliás dos Cursos Profissionais) a um conjunto de 13 áreas das profissões “manuais”, incluindo o setor primário, mais 3 respeitantes a hotelaria e turismo e à proteção do ambiente? Portugal vai regredir em termos setoriais, para uma economia meio agrícola meio da segunda revolução industrial? Abandona-se a qualificação de trabalhadores nos setores dos serviços? Ou esses setores ficam reservados para algumas elites?” (E3)

Como vão funcionar os cursos EFA de dupla certificação com turmas com o mínimo de entre 26 e 30 alunos (mínimo de 20 nas FMC), o que torna a qualidade pedagógica inviável? Se se pretende encher turmas só para as estatísticas, os resultados vão ser os contrários, porque nestas condições os cursos não vão funcionar e verificar-se-á uma grande quebra na procura. Isto se chegar a haver oferta, porque entretanto a Comissão Ministerial de Coordenação do Quadro de Referência Estratégica Nacional decidiu suspender todos os atos administrativos e de gestão, o que quer dizer que não vão poder abrir os cursos pelos quais estão à espera, inscritos, dezenas de milhares de pessoas.



Pági

na20

Acrescente-se que nada justifica o encerramento dos EFA escolares nas escolas públicas, dado que eles produziam resultados positivos (ainda que, do ponto de vista do mercado de trabalho, compreensivelmente, possam ser menos visíveis do que os de dupla certificação), praticamente sem despesas adicionais para as escolas.

• Consta da pp ii que “Os participantes nos cursos EFA são mais novos, em média, e detêm uma menor experiência profissional do que os não participantes” (…) “Tal implica que entraram mais cedo no mercado de trabalho e que detêm menor nível de escolaridade” (…); na pp iii acrescenta-se que “Os participantes recebem remunerações menores que os não participantes e a diferença tem-se mantido constante ao longo do tempo”. (de €680 para €538, de €935€ para €794, de €825 para €635 conforme os grupos considerados); “É notório que os participantes constituem um grupo em desvantagem no mercado de trabalho, tanto pela incidência do desemprego como pelas baixas remunerações”; E ainda a página 2: “Adicionalmente, os participantes diferem dos não participantes nas suas características demográficas e laborais”. A fraude metodológica característica do relatório sobre o RVCC repete-se: nem os grupos são comparáveis, nem se controlam as variáveis de contexto, nomeadamente a evolução do emprego, do desemprego e das remunerações do trabalho. Os métodos de estimação econométrica que se diz utilizar para superar o primeiro dos problemas (quanto ao segundo, nunca é considerado) são remendos que acabam por não resolver o problema de base. Diz-se na pp23: “A avaliação de impacto da participação nos cursos EFA e nas FMC é conseguida pela comparação entre os participantes e os não participantes. Sem um ponto de comparação não é possível determinar o efeito da formação. (…) os não participantes servem de grupo de controlo. A literatura científica sobre a avaliação em causa é extensa e propõe diversas abordagens ao problema. As questões centrais têm a ver com as razões que levam uma pessoa a decidir participar ou não na formação e a comparabilidade entre participantes e não participantes que daí resulta. Na situação ideal, as pessoas deveriam ser distribuídas aleatoriamente pelo grupo de participantes e não participantes, como numa experiência controlada. Como tal não é possível, há que encontrar uma alternativa para tornar os grupos comparáveis”. Primeiro: não é só a probabilidade que conta. A primeira condição do método é a similitude dos grupos, que devem ser iguais em todas as variáveis menos a que está a ser testada. É isso que diz a literatura. Note-se que estamos sempre a encontrar alternativas para suprir lacunas de método. Neste estudo foram mais longe do que no do RVCC para suprir as lacunas, criando segmentos mais equiparados aos participantes, mas ainda assim fica-se tudo pela estimação e pela aproximação grosseira, quando não há manipulação pura e simples da informação.

• “A idade de entrada no mercado de trabalho e os anos de experiência profissional são calculados a partir da data da primeira inscrição na Segurança Social. Quando considerada em conjunto com a idade, serve como proxy do nível de escolaridade, admitindo que a maioria das pessoas entra no mercado de trabalho após terminar a frequência do sistema de ensino regular” (pp. 15). Revela-se aqui uma ignorância confrangedora. Desconhece-se a irregularidade atual da transição da escola para o mercado de trabalho. E principalmente esquecem-se fenómenos de grande dimensão,



Pági

na21

como as retenções e o abandono escolar precoce, que tornam esta “proxy” anedótica.” (E3)

• Na pp. 6-7 diz-se que “Os mesmos viriam, porém, a sofrer alterações, ajustando-se, em função de algumas lacunas que foram sendo detetadas, quer no modelo curricular quer na sua arquitetura ou funcionamento, conforme é recordado no preâmbulo do despacho nº 3447/2010” (…) “Estas lacunas ou dificuldades viriam a ser solucionadas com a entrada em vigor do despacho nº 26401/2006, de 29 de dezembro, alterado pela portaria nº 817/2007, de 27 de julho…”. Fica-se assima saber que as lacunas que foram sendo identificadas e recordadas num despacho de 2010 viriam a ser solucionadas num despacho de 2006, alterado por uma portaria de 2007. Que o estudo é fraudulento, já tínhamos visto. Mas que nem se dessem ao trabalho de evitar ausências de rigor e erros lógicos tão básicos como este…quem poderia acreditar? (E3)

• “Trata-se de uma resposta que, para já, terá de ficar pelas sensações e perceções…” (pp 12). Isto é, ficam-se pelo livre arbítrio e pelas impressões. E é com base nelas que o governo decide? (E3)

• “A dispersão regional dos participantes nas duas formações é maior do que a dispersão dos não participantes” (PP. 17). Porque não se retira a conclusão óbvia: a capilaridade da rede de agentes, CNO, entidades formadoras, etc., produzia um efeito que contraria a desvantagem das zonas mais desertificadas? (E3)

• “A informação sobre as qualificações dos trabalhadores poderia ser capturada pela sua profissão e posição dentro da empresa. Como não existe tal informação na base de dados, recorre-se ao setor de atividade das empresas …” (pp.18). Como se viu no relatório sobre o RVCC, a segmentação em Portugal não se faz pelos setores de atividade, mas sim pelo perfil empresarial. Como não há informação, os autores inventam-na.” (E3)

6.7. Inadequação das qualificações da equipa responsável

• Equipa responsável pelos estudos é constituída por um especialista em gestão, macroeconomia, métodos quantitativos de investigação e microeconomia e dois especialistas em engenharia informática ou matérias afins. Nenhum dos membros possui currículo relevante nem no campo da avaliação, nem no campo da educação. Não se compreendem os critérios de escolha. Não há nenhum especialista, sequer, em educação, quanto mais em educação de adultos. Por isso não percebem a correlação entre qualificações e empregabilidade, nem o que se aprende com o método auto-biográfico, nem uma série de outras matérias que seriam importantes.



Pági

na22

7. Notas finais

Primeira nota final: tratando-se de uma avaliação, que recomendações são feitas? Melhorar os aspetos apontados pelo relatório do CNE, eles próprios já reconhecidos pela ANQ no balanço da 1ª fase da INO (que o trabalho refere)? Ou os autores apenas foram pagos para descredibilizar, não para sugerir fosse o que fosse?” (E3)

Segunda nota final: a ANPEFA agradece a disponibilidade dos especialistas que colaboraram na organização deste dossier, reservando os seus direitos de autor e identidade.

dossier anpefa - avaliação crítica dos estudos

Documents