Ficha Técnica PRONACIEdição 2002

Avaliaçãoda formação na empresa

Ficha Técnica PRONACI

“Avaliação da formação na empresa”

Fundação Manuel Leão

PRONACI - Programa Nacional de Qualificação de Chefias IntermédiasAEP - Associação Empresarial de PortugalSetembro de 2002

1

ÍNDICE

Página 2Introdução

Página 3Conceitos e tipos de avaliação

Página 6Porquê avaliar? Objectivos da avaliação

Página 7O que avaliar? Níveis de avaliação

Página 10A avaliação como uma fase no ciclo da formação

Página 11Melhorias contínuas precisam-se!

Página 13Diálogos sobre deformações da formação

Página 15Quem envolver? O papel da chefia intermédia

Página 16Como preparar a avaliação da formação

Página 19Instrumentos e procedimentos

Página 23Erros que não vai cometer

2

INTRODUÇÃO

Valoriza-se cada vez mais a avaliação nas práticas de formação. Eisto compreende-se à luz de três elementos novos: i) as empresas eoutras organizações não vêem a formação como uma meraobrigação ou uma inevitabilidade, antes a consideram como umaestratégia de gestão e inovação; ii) aos responsáveis pela formaçãoou pela execução dos planos de formação exige-se agora oconhecimento dos resultados dos investimentos realizados emformação; iii) a formação permanente, ao longo de toda a vida, re-quer uma avaliação de cada etapa da formação que se desenvolve.

Sendo um investimento, é preciso, desde início, prever os seusresultados. Assim, a avaliação da formação vai fazendo parteintegrante dos próprios planos de formação, constituindo, àmedida que estes vão sendo executados, uma preciosa fonte deinformação para a gestão das pessoas, ao serviço das organizaçõese dos seus projectos.

Avaliar a formação não é, contudo, uma tarefa fácil. Fácil e usual éreproduzir os modelos de avaliação escolar e aplicá-los à avaliaçãoda formação contínua nas organizações. E esta é uma tendênciaque importa combater, evoluindo para uma avaliação maiscompleta e complexa do impacto da formação tanto nas pessoas eno seu desempenho como nas equipas de trabalho e na evoluçãoda organização.

Daí, pois, esta publicação, que pretende constituir um instrumentode apoio a todos quantos estão envolvidos na formação e na gestãodas pessoas, sobretudo das PME.

3

CONCEITOS E TIPOS DE AVALIAÇÃO

Avaliação da formação pode ser definida como a apreciação daqualidade ou do grau de eficácia de um processo de formação. Poroutras palavras, a avaliação resulta de uma reflexão sobre todos osmomentos e factores que intervêm na formação, a fim dedeterminar quais podem ser, estão a ser ou foram os resultados damesma.

Esta, como qualquer outra definição, não esgota as possibilidadesde sentido que a avaliação de uma acção de formação pode en-cerrar. De facto, uma intervenção com carácter formativo, ao assu-mir e colocar em prática diversos itinerários/formatos, pode ori-ginar actividades de avaliação específicas e directamenterelacionadas com uma dada vertente formativa em particular.

As possibilidades de definição do que é avaliação da formaçãopodem, desde logo, estar também aliadas a práticas de avaliaçãorealizadas tendo em conta tanto o momento da avaliação como oprocesso de avaliação.

Neste sentido, a avaliação da formação quanto ao momento, den-tro deste universo de possibilidades de definição, pode com-preender os seguintes tipos de formação:

Avaliação inicial ou diagnóstica

É feita no início da formação e serve quer para orientar os for-mandos quer para verificar o nível de conhecimentos face ao temaa desenvolver e o seu posicionamento perante ele. Este tipo deavaliação é de grande importância, de modo particular, quando,previamente à actividade formativa, não foi traçado um perfil de

entrada dos formandos.

Avaliação formativa ou contínua

É feita ao longo da formação e serve para o formando identificar assuas dificuldades e verificar de que modo está a atingir os seusobjectivos. Tem uma finalidade de regulação da aprendizagem e daacção do formador. Por outras palavras, permite avaliar o grau deenvolvimento e interesse dos formandos pela actividade formativae seu progresso em termos de aprendizagem.

Avaliação sumativa ou final

É feita no final da formação, procurando verificar o que foiaprendido, bem como apurar a qualidade da relação pedagógica. É globalizante e avalia o resultado final da formação, podendoservir para a certificar.

4

Avaliação prognóstica

É efectuada algum tempo após o final da formação. Serve para esta-belecer uma previsão sobre os resultados ou sobre o compor-tamento posterior das pessoas avaliadas. Por outras palavras, ser-ve para saber em que medida a actividade formativa irá contribuirpara alterar qualitativamente as suas competências profissionais anível de conhecimentos, aptidões e atitudes.

Avaliação de impacto

Esta avaliação tem como principal objectivo apurar o impacto daaprendizagem na valorização humana e técnico-profissional dosformandos e na organização. Este tipo de avaliação procuraresponder às seguintes perguntas:

• Os formandos mudaram mesmo?• E a empresa ou organização? Também mudou?

A avaliação da formação quanto ao processo pode, por seu turno,compreender os seguintes tipos de formação:

Avaliação normativa

Este procedimento consiste em submeter um grupo de formandosao mesmo teste. Os formandos são escalonados pelo valor obtidono teste e colocados por ordem decrescente (ou crescente). Estaavaliação consiste em estabelecer uma classificação das pessoas,na base de uma medida ou de uma observação.

Avaliação criterial

Pretende-se verificar os conhecimentos alcançados pelosformandos, em função de um critério, que são os objectivos oucomportamentos que têm que adquirir. Este critério é absoluto enão depende dos outros formandos.

Não raras vezes a definição de avaliação é confundida com outras defi-nições vizinhas e que também encerram práticas e princípios de ava-liação. Neste sentido, é útil referenciar aqui as definições de avaliaçãodo nível de formação, de avaliação de competências e também asdefinições, pelo menos duas, do âmbito da avaliação e certificação.

A aavvaalliiaaççããoo ddoo nníívveell ddee ffoorrmmaaççããoo pode ser entendida como aapreciação dos conhecimentos obtidos num curso ou programa deformação, podendo exigir uma prova de conhecimentos ou umexame final.

5

A aavvaalliiaaççããoo ddee ccoommppeettêênncciiaass tem vindo a ganhar uma importânciacrescente, dado que muitas vezes não existe uma correspondêncianecessária entre a aquisição de saberes e a capacidade para osmobilizar ou aplicar no contexto de trabalho. De facto, deter um sabernão confere a capacidade de o usar nos vários contextos laborais e devida. Por outro lado, a crescente desvalorização dos certificadosescolares tem originado, por parte das entidades empregadoras, aprocura de colaboradores que apresentem um leque de competên-cias, para além das tradicionais credenciais escolares.

Cada vez mais os processos de avaliação podem ter como intuito acertificação. Neste sentido, podemos falar de certificação daformação profissional ou de certificação profissional.

A cceerrttiiffiiccaaççããoo ddaa ffoorrmmaaççããoo pprrooffiissssiioonnaall é o reconhecimento oficialdo saber ou do saber-fazer adquiridos em acções de formação,tendo em conta a natureza das acções. Esta certificação pode terem conta o reconhecimento de formações e a correspondência dequalificações no âmbito da União Europeia.

A cceerrttiiffiiccaaççããoo pprrooffiissssiioonnaall consiste no reconhecimento e na com-provação da formação, da experiência adquirida ou das qua-lificações profissionais, bem como a verificação de outras condiçõesrequeridas para o exercício de uma dada actividade profissional. Éum processo mediante o qual é reconhecido oficialmente o nível dequalificação, o saber e o saber-fazer e é emitido um certificado.

Note-se, finalmente, que é crescente o número de pessoas quealcança um emprego e que acede à formação, ao longo da vida, semque haja lugar seja à verificação das certificações seja à emissão decertificações da formação.

6

PORQUÊ AVALIAR? OBJECTIVOS DA AVALIAÇÃO

Apesar de subsistirem dúvidas, diríamos quase eternas, sobre quala melhor forma de proceder ou quais as melhores práticas a adoptarna avaliação da formação, parece-nos que todos os actores directaou indirectamente relacionados com a formação demonstram inte-resse em conhecer os resultados, os impactos e o valor acres-centado da formação em que estão envolvidos e para a qual, cadaum à sua maneira, contribuem. Certamente com posicionamentosdiferentes, todos os intervenientes na formação reveriam e melho-rariam a sua actuação, a vários níveis, se pudessem contar com umainformação e avaliação credível sobre a formação realizada.

De facto, por um lado, muitos responsáveis e dirigentes queremsaber os resultados que as suas empresas obtêm com as acçõesque realizam e promovem. Por outro, os formadores e gestores deformação querem saber qual o impacto que os seus programas têmnos indivíduos e nas empresas e, por outro lado ainda, osformandos e as suas chefias querem saber que tipo de valoracrescentado podem esperar do tempo que passam fora do local detrabalho para participar em acções de formação.

Estas questões fornecem, desde logo, o mote para estabelecer,acolher e articular vontades em conhecer e acompanhar, por via depráticas de avaliação, todas as fases de um programa de formação.Cada empresa, ao mobilizar recursos para empreender umprograma de formação, deve, antes de mais, preocupar-se emdefinir o que é para a empresa um programa de formação bemsucedido.

Com as devidas adaptações ao contexto específico, actual edesejável de cada empresa, podemos definir que um programa deformação é bem sucedido quando os participantes certos(selecção) desenvolvem os conhecimentos, os comportamentos eas atitudes esperadas, através de processos de aprendizagemfomentados por métodos, meios e formadores adequados, nomomento e no local certo, de forma a satisfazer as necessidades doindivíduo e da organização em que se insere.

7

O QUE AVALIAR? NÍVEIS DE AVALIAÇÃO

Como vimos, dependendo do tipo de avaliação e dos seus objecti-vos, o que é objecto de avaliação pode assumir diferentes níveis econfigurações.

Os resultados de um processo de avaliação podem estarorientados, entre outros, para o conhecimento:

• das diferenças entre os objectivos e referenciais inicialmentefixados e os resultados efectivamente alcançados;

• dos efeitos da formação ao nível do desempenho dosformandos nos postos de trabalho;

• dos factores explicativos que estão na base dos resultadosesperados, quer estes tenham sido superados quer tenhamficado aquém do esperado.

Uma das metodologias mais referenciadas em toda a investigaçãosobre avaliação é a de Donald Kirkpatrick, que, há mais de quarentaanos, identificou os seguintes quatro níveis de avaliação:

Nível 1 – Reacção

Os formandos gostaram do curso?

É uma das formas mais tradicionais e usadas para avaliar. É fácil,rápida e com baixo custo de aplicação. Os resultados negativospodem significar dificuldades de aprendizagem no curso.

Nível 2 – Aprendizagem

Os formandos aprenderam com base nos objectivos do curso?

A aprendizagem pode ser medida através de pré e pós-testes, bemcomo através de testes escritos ou testes de performance.

Nível 3 – Comportamento

O comportamento dos formandos no posto de trabalho mudou? Os

formandos aplicam o que aprenderam?

Difícil de operacionalizar. Podem ser utilizados questionários ougrelhas de observação, após a formação.

Nível 4 – Resultados

Qual o impacto da formação na organização?

Trata-se de avaliar o impacto da formação em termos de resultadosna actividade da empresa. Este nível de avaliação é geralmenteaplicado a cursos de formação que procuram resolver problemasespecíficos causados por falta de conhecimentos e qualificações. Oautor nunca define, de uma forma simples e clara, como seprocessa este nível de avaliação. Dá alguns exemplos, entre outros,de reduções nos custos e no absentismo. Apesar de ser um nível deavaliação bastante atractivo e almejado por várias empresas, a sua

8

aplicação é extremamente difícil. As dificuldades em estabelecerrelações causais directas entre formação/resultados da empresa,bem como a dificuldade em isolar factores de influência nosresultados, não permitem afirmar, categoricamente, que uma dadaacção de formação originou um aumento percentual de x nosresultados y da empresa. Se estabelecemos relações directas entreuma dada formação e um certo tipo de resultados, podemos estara “enredar” muitos outros factores, externos à formação, e quepodem ter actuado em simultâneo para a obtenção desses mesmosresultados.

Mais recentemente, temos vindo a assistir à emergência de um“novo” nível de avaliação, que procura ir um pouco mais além donível 4.

Nível 5 – Retorno do investimento (ROI – Return On Investment)

O retorno do investimento é a comparação, em valores monetários,dos resultados líquidos obtidos face ao custo do programaformativo (expresso em percentagens). Este novo nível de avaliaçãotornou-se muito popular. Muitos directores não estão dispostos aempreender um projecto de formação se não lhes é garantido umbom nível de retorno do investimento que foi exigido para o levar acabo. Não lhes basta bons resultados, querem garantir umarecuperação do investimento. É importante não confundir Retorno

do investimento com Índice custo/ benefício.

Vejamos a diferença:

Suponhamos o seguinte exemplo:

Os custos de um dado programa de formação são 20.000 euros e osbenefícios são de 100.000 euros (os benefícios podem ser calcula-dos com base em múltiplos indicadores, tais como o aumento deprodutividade e a redução de absentismo, entre outros); logo:

Benefícios bbrruuttooss da formaçãoCustos do programa

IBC =

Benefícios llííqquuiiddooss da formaçãoCustos do programa

ROI =

100.00020.000

IBC = = 5

80.00020.000

ROI = x 100 = 400%

9

Como se pode constatar, a diferença fundamental consiste no factode o IBC considerar os benefícios brutos e o ROI considerar os be-nefícios líquidos, descontando os custos e sendo expresso empercentagens.

O problema de fundo deste quinto nível de avaliação consiste emisolar os benefícios ligados directamente ao programa de formação,isto é, saber como quantificá-los separadamente.

Esta técnica tem, evidentemente, dificuldades, mas, apesar disso,não deixa de ser um exercício relevante.

MMaass aaffiinnaall oo qquuee éé qquuee ssee ppooddee aavvaalliiaarr?

Muitos elementos se podem avaliar. Por exemplo:

- Os objectivos da formação;- As necessidades de formação;- A satisfação dos formandos;- Os métodos pedagógicos;- O desempenho dos formandos;- O desempenho dos formadores;- A competência dos formadores;- A adequação dos conteúdos;- A adequação dos programas aos formandos;- A duração da acção de formação;- A documentação de apoio;- O material pedagógico;- O funcionamento do grupo de formação;- A participação dos formandos;- As relações entre formandos e entre formandos e formadores;- As condições materiais e ambientais;- A aplicação dos conhecimentos adquiridos;- O grau de cumprimento dos resultados previstos;- Os efeitos inesperados da formação;- As mudanças no meio envolvente;- O impacto na instituição / empresa;- ...

Esta listagem, que não é exaustiva, mas indicativa, serve parasalientar que a focagem da avaliação depende sobretudo dosobjectivos e das finalidades da avaliação.

10

A AVALIAÇÃO COMO UMA FASE

NO CICLO DA FORMAÇÃO

Olhar para a formação como um ciclo possibilita perspectivar asactividades e intervenções de carácter formativo como algo quenão se esgota no momento em que se efectiva a realização de umadada acção de formação.

O ciclo da formação

De facto, de entre os vários domínios de intervenção (expressão daresponsabilidade do INOFOR para designar as fases de umprocesso formativo), não constituirá exagero afirmar que aavaliação tem vindo a constituir o centro prioritário das atenções.

Da avaliação das entidades formadoras (a acreditação junto doINOFOR) à importância crescente atribuída pelo IEFP aos momen-tos avaliativos que fundamentam (diagnóstico de necessidades) evalidam (acompanhamento e avaliação) os projectos de formaçãosubmetidos a financiamento, passando pelo controlo exercido peloDepartamento de Homologação de Cursos de Formação Inicial deFormadores do IEFP (em particular, no que diz respeito aointensificar de exigências na definição/estruturação das estra-tégias avaliativas) e ainda pela emergência de um movimentonacional no sentido da certificação de competências, são vários osindicadores a fazer crer que a avaliação é, cada vez mais, entendidacomo uma peça central do processo formativo, assumindo a triplafunção de diagnosticar, regular e certificar.

No entanto, este contexto de exigências não parece ter vindo aencontrar suficiente eco no que diz respeito às capacidades e com-petências avaliativas instaladas, quer por entidades formadoras querpor formadores. No caso das entidades formadoras, atente-se nadiminuta percentagem de entre elas que obteve acreditação nosdomínios do diagnóstico de necessidades (na prática, o primeiromomento avaliativo de uma acção de formação) e do acom-panhamento e avaliação da formação. Esta é, efectivamente, umadas áreas em que importa promover melhorias sensíveis nos pro-cessos de formação.

Concepção

Avaliação

Diagnóstico

Planeamento Organização

Desenvolvimento

11

MELHORIAS CONTÍNUAS PRECISAM-SE!

A formação conheceu nos últimos anos um grande incremento,tornando-se uma forte aliada das empresas, que reconhecem que énecessário manter os seus colaboradores a par de novos métodos,técnicas, tecnologias ou conceitos.

As mudanças no mundo empresarial são constantes, situando-seestas não só no plano tecnológico como também no plano organi-zacional e no domínio das atitudes. Não raras vezes as mudançasprocuradas pelas empresas situam-se sobretudo ao nível doscomportamentos e da maneira de pensar perante novas exigênciasde desempenho profissional.

A avaliação da formação pode dar um contributo precioso,fornecendo novas referências e sugestões de aperfeiçoamentospara incorporar tanto no decurso de acções de formação como emfuturas acções. Para além das melhorias que se podem introduzirnos dispositivos de formação, muitas vezes as informações obtidasa partir de processos contínuos de avaliação também permitem,inclusive, transportar de novo e directamente para o universolaboral ideias, sugestões e soluções válidas e directamenteaplicáveis.

A formação e a sua avaliação são duas faces de uma mesma moedaque fomentam a melhoria das organizações, na medida em queprocuram que as actividades formativas sejam consequentes,ajustadas e com impacto positivo nos processos de trabalho.

As repercussões da formação ao nível dos processos de trabalho sópodem ser apreendidas se a sua avaliação for de facto aproveitadae incorporada em processos de melhoria contínua. De facto, saberque uma dada acção correu bem ou mal não chega. É precisoconhecer os desvios entre uma situação desejada e a situação aque efectivamente chegámos. A avaliação deve ajudar-nos a(re)pensar as situações-problema na óptica da sua solução.

Mais do que proceder meramente ao controlo de resultados, éimportante aliar às actividades formativas momentos de reflexãointeractivos para captar efeitos de mudança. Por outras palavras, éimportante aliar a prática à análise, transformar uma vivência numaexperiência que ajude a tomar consciência, a verificar o valor eatribuir um sentido ao que é feito em formação. Esse sentidoassume cada vez mais importância enquanto sentido de mudança,de mudança necessária e contínua.

Avaliar é como aprender, é um processo contínuo. A avaliaçãoganha um sentido acrescido e utilitário a partir do momento em queé percebida como um processo de aprendizagem e conhecimentocontínuos. Se é verdade que uma acção de formação isolada só porsi não provoca a mudança, também é verdade que uma avaliaçãode uma dimensão isolada não se revela útil. É importante captar,

12

absorver e adaptar os resultados da avaliação e inseri-los nasactividades formativas de forma contínua.

O desenvolvimento das organizações e dos indivíduos que asintegram é um processo que implica mudanças, sendo importanteacolher a formação enquanto oportunidade facilitadora para queessas mudanças ocorram. Cabe à avaliação fornecer o sentido doque é feito, encontrar formas para que as melhorias desejadassejam, de facto, alcançadas.

13

A necessidade de reduzir os atrasos em termos de qualificaçõesprofissionais tem levado os poderes públicos a promover e adisponibilizar recursos financeiros para a realização de acções deformação profissional. Em Portugal e em especial a partir dachegada dos fundos comunitários, registou-se uma explosão daactividade formativa sem precedentes. No entanto, como é doconhecimento geral, a par de bons exemplos de práticas formativasverdadeiramente inovadoras e portadoras de mais-valias para osindivíduos e para as organizações, emergiram também algumaspráticas formativas menos boas.

Quando falamos em formação e, em particular, em avaliação daformação, existe sempre a necessidade de perceber as intençõesque estão na origem da realização de uma dada acção de formação.Na base da realização de uma acção deve existir sempre umconjunto de necessidades reais que a justifiquem e sustentem.

Quando estas necessidades não existem ou quando as trajectóriasde chegada dos indivíduos à formação não são acompanhadas poralguma vontade própria em mudar, aprender, aperfeiçoar ouprogredir, as avaliações que se fizerem apontarão sempre pararesultados débeis. Não é a avaliação que endireita a sombra deuma vara torta.

Para demonstrar aquilo de que estamos a falar, de seguidaapresentamos algumas deformações ou falsas utilizações daactividade formativa referenciadas por Paulo da Trindade Ferreira,em parte, citando Jean Dubois. Ambas as referências às“deformações” estão guarnecidas com afirmações frequentementeouvidas a dirigentes e gestores. É curioso notar que, apesar de oautor citado ter utilizado estes qualificativos em 1971, estesrevelam um grande realismo e oportunidade nos nossos dias.

AA ““FFoorrmmaaççããoo--ccaassttiiggoo””Do director de produção para o encarregado de manutenção:– “ Se a avaria de ontem tornar a repetir-se, vejo-me forçado a mandá--lo para um curso de formação”.

AA ““FFoorrmmaaççããoo--rreeccoommppeennssaa””Do gerente da empresa para o técnico administrativo:– “Dada a grande fidelidade que sempre tem demonstrado, a gerênciadecidiu mandá-lo tirar um curso de formação”.

AA ““FFoorrmmaaççããoo--ttaappaa--bbuurraaccooss””De um gestor de formação para um cliente:– “Quando a carteira de encomendas baixa, entretemos os trabalha-dores com uns ‘cursinhos’ de formação. É uma forma de estaremocupados”.

DIÁLOGOS SOBRE DEFORMAÇÕES

DA FORMAÇÃO

14

AA ““FFoorrmmaaççããoo--fféérriiaass””Do director comercial para o adjunto:– “Se o curso em que vai participar não interessar, aproveite otempo... e descanse”.

AA ““FFoorrmmaaççããoo--aannaallggééssiiccoo””Do director de pessoal para um consultor externo:– “ Para acalmar os refilões, nada melhor do que ‘despachá-los’ paraum curso de formação. Vêm de lá mansos que nem uns cordeiros”.

AA ““FFoorrmmaaççããoo--mmooddaa””De um gerente de empresa:– “Para que não digam que a nossa empresa está ultrapassada oujá perdeu o comboio, vamos começar a organizar umas acções deformação”.

AA ““FFoorrmmaaççããoo--eennllaattaaddoo””De um director-geral para um administrador:– “Não podemos perder muito tempo com essas coisas da for-mação. Sempre que precisamos de um curso, encomendamo-lo aempresas de fora que já têm tudo confeccionado”.

AA ““FFoorrmmaaççããoo--ssaaqquuee””De um director financeiro para um director de pessoal:– “Para ver se também nos calha ‘algum’, contratamos um consultorpara fazer um projecto de formação e tratar da papeladanecessária”.

AA ““FFoorrmmaaççããoo--eennggooddoo””De um director de produção para um chefe de equipa:– “Se, para nos candidatarmos aos financiamentos para a moderni-zação das empresas, nos obrigam a fazer determinadas horas deformação, há que fazê-las, custe o que custar”.

AA ““FFoorrmmaaççããoo--sseeccaa””De formandos para formador:– “De vez em quando, fazem-se lá na empresa uns cursos que nin-guém sabe bem para que servem. Chamam um ‘craque’ de fora, que,durante horas seguidas, faz ao pessoal uma verdadeira ‘lavagem aocérebro’...”.

15

Um processo de avaliação entendido como um processo de análise ereflexão deverá envolver um leque alargado de interlocutores. Esteenvolvimento é tanto mais importante quanto esperamos que daformação haja resultados positivos nas pessoas e nas organizações.

Neste sentido, para além dos formandos e formadores que têm umenvolvimento directo na formação, há que perspectivar a partici-pação das chefias intermédias. Em quê e como pode ser eficaz aacção das chefias intermédias nas empresas, sobretudo nas PME?

a) na identificação das lacunas de formação nos colaboradores aformar;

b) na ajuda à definição dos objectivos da formação, dandoinformações pertinentes e oportunas;

c) na mobilização e incentivo dos colaboradores das equipas detrabalho para adesão à formação;

d) no incentivo aos colaboradores em formação e já formados aaplicar os conhecimentos e competências adquiridos;

e) cooperando na avaliação do impacto real da formação naorganização;

f ) contribuindo para melhorar a eficácia e eficiência da formação.

Por estas razões, a chefia intermédia pode constituir uma peça--chave no processo de avaliação da formação, devendo ser eleita oelemento prioritário, a ser ouvido e envolvido em qualquer proces-so avaliativo.

QUEM ENVOLVER?

O PAPEL DA CHEFIA INTERMÉDIA

16

COMO PREPARAR A AVALIAÇÃO DA FORMAÇÃO

A - Antes e durante a preparação da formação

1. Definição dos objectivos e resultados esperados da avaliação:- Hierarquia- Chefia directa- Formandos- Formador- Serviço de formação.

2. Listagem dos aspectos que vão ser objecto de avaliação.

3. Definição de indicadores, em função dos objectivos da formação eda avaliação.

4. Definição dos papéis dos diferentes actores no processo deavaliação, para cada um dos objectivos e em cada momento daavaliação (fornece informações / é informado / valida / participa /conduz / anima directamente).

5. Concepção dos instrumentos de avaliação a utilizar.

6. Concepção do dispositivo de avaliação.

7. Divulgação do dispositivo de avaliação.

Instrumentos:

entrevistas; questionários; reuniões.

17

B - Durante a formação

1. Apreciação pelos formandos das componentes da acção de forma-ção, no final da cada módulo / acção de formação.

Instrumentos:

entrevistas; questionários; reuniões.

2. Avaliação pelos formadores dos componentes da acção de formação, no final de cada módulo / acção de formação.

Instrumentos:

entrevistas; questionários; reuniões.

3. Avaliação da aprendizagem realizada.

Instrumentos:

testes; grelhas de observação.

4. Aplicação dos conhecimentos no posto de trabalho(sobretudo se se tratar de formação em alternância ou formação--acção).

Instrumentos:

diário de bordo; relatórios; observação directa; entrevista à chefia

directa; reuniões.

5. Divulgação de informação seleccionada aos diferentes actores,para garantir o seu envolvimento e mantê-los informados.

Instrumentos:

comunicações internas; boletim da empresa; reuniões.

18

C - Depois da formação

1. Aprendizagem efectiva.

Instrumentos:

grelhas de observação; questionários; entrevistas; reuniões.

2. Repercussões da formação observadas pela chefia directa.

Instrumentos:

entrevistas; reuniões.

3. Aplicação dos conhecimentos adquiridos e seus resultados.

Instrumentos:

reuniões com formandos e chefias; informações de gestão e

produção.

4. Efeitos inesperados da formação.

Instrumentos:

entrevistas individuais; observações da hierarquia.

5. Novos pedidos de formação.

Instrumentos:

entrevistas com a hierarquia sobre os projectos do serviço;

elementos decorrentes da avaliação do desempenho; análise de

pedidos individuais.

Em síntese:

Avaliar a formação é, pois, uma forma de encontrar um sentido,compreender um investimento, apreender uma direcção que norteie amelhoria contínua do desempenho dos indivíduos e das organizações.

19

A avaliação da formação é, como já vimos, um processo amplo ecomplexo que supõe a necessidade de recolher informação emdiferentes momentos e a diferentes níveis tendo em vista a melhoriado dispositivo de formação e dos seus resultados.

Para levar a cabo um processo de avaliação importa, por um lado,levantar um conjunto de questões, no sentido de estabelecer oscritérios de escolha dos instrumentos de avaliação e as condições ne-cessárias à utilização dos instrumentos de avaliação. Por outro lado, éimportante observar os pontos-chave para construir um projecto deavaliação e ter a noção que é importante privilegiar a utilização demais de um instrumento. Neste sentido e antes da apresentação dealguns instrumentos de avaliação, passamos em revista cada um dosaspectos mencionados.

Critérios de escolha dos instrumentos de avaliação

1. Em que medida correspondem aos objectivos enunciados?

2. Custos (elaboração; aplicação; tratamento da informação).Em função das informações a recolher e da sua complexidade, qualé o tempo a investir no tratamento das respostas?

3. Grau de adesão dos actores.Quais as facilidades e dificuldades que o instrumento apresentapara o actor a quem deve ser aplicado (formando, chefia directa,etc)? Qual a utilidade para o actor?

4. Grau de integração no processo de formação.Como é apresentado? Que tempo lhe é consagrado? Qual autilização prevista para os resultados (sob que forma serãoapresentados? Em que prazos?)

5. Grau de utilização das informações existentes.Em que medida são exploradas as informações de gestão correnteda empresa?

6. Grau de adesão de quem tem que aplicar o instrumento (formador,responsáveis operacionais).Quais as precauções tomadas para que o utilizador do instrumentode avaliação esteja ao corrente dos seus objectivos, da forma deaplicá-lo correctamente?

INSTRUMENTOS E PROCEDIMENTOS

20

Condições necessárias à utilização dos instrumentos deavaliação

1. Clareza quanto à finalidade da avaliação

2. Clareza quanto às regras do jogo: utilização dos resultados,confidencialidade.

3. Compreensão da utilidade do instrumento por parte de todos osactores.

4. Retorno rápido da informação.

5. Compreensão das mudanças produzidas pela avaliação.

6. Facilidade de utilização (conteúdo, linguagem, apresentação).

Pontos-chave para construir um projecto de avaliação

1. Quem avalia?

2. O que vai ser avaliado?

3. Quem são os destinatários da avaliação?A utilização que cada um dos destinatários pode fazer dosresultados da avaliação determina o tipo e tratamento das infor-mações a prestar-lhe. A avaliação de um determinado aspecto daacção de formação, dirigida ao responsável pela formação, não temo mesmo conteúdo que a enviada ao responsável hierárquico. Domesmo modo, o responsável pela formação ou o formador podemapoiar-se nos resultados da avaliação para iniciarem um diálogocom o responsável operacional; este pode basear-se na avaliaçãopara fazer evoluir determinados aspectos do funcionamento do seuserviço.

4. Em que contexto decorre a formação e vai fazer-se a avaliação?A análise do contexto permite esclarecer os constrangimentos oulimitações que devem ser respeitados pelo processo de avaliação(normas, prazos, meios, etc.).

5. Com que finalidade?A decisão sobre o método de avaliação a utilizar (participativo,conduzido por um especialista, etc.) e os instrumentos de avaliaçãoa aplicar depende da finalidade principal da avaliação.

A resposta a estas cinco perguntas permite definir o conjunto deinstrumentos a utilizar na avaliação da acção de formação.

21

Porquê utilizar um conjunto de instrumentos?

- Porque a aplicação isolada de um instrumento pode correspondermais a um juízo, enquanto vários permitem avaliar a tendência, asvariações, a complexidade, os vários intervenientes.

- Porque cada momento do processo de formação presta-se adiferentes tipos de avaliação.

- Porque cada objectivo de avaliação requer um instrumentoapropriado.

Segue-se uma listagem de instrumentos de avaliação e umaexplicitação das condições da sua utilização.

Instrumentos de avaliação

1. Observação (pelo menos meio dia)VVaannttaaggeennss::Contacto directo com o terreno.DDeessvvaannttaaggeennss::Custos em tempo (construção de grelhas de observação; tempo deobservação; exploração dos resultados).

2. Entrevista individual semiestruturada (uma hora/pessoaaproximadamente)VVaannttaaggeennss::Contacto personalizado; possibilidade de expressão livre.DDeessvvaannttaaggeennss::Custos em tempo (preparação da entrevista; entrevista; tratamentoda informação); a imagem global fornecida acentua as opiniõesindividuais, em detrimento das colectivas ou institucionais.

3. Entrevista de grupo pouco estruturada (cerca de 1 h 30 m)VVaannttaaggeennss::Economia de tempo; possibilidade de analisar a situação para alémda expressão individual.DDeessvvaannttaaggeennss::Influência do clima ou características do grupo pode ser inibitóriada expressão individual; falta de tempo para recolha de opiniõesindividuais.

4. Reunião (cerca de 1 h 30 m)VVaannttaaggeennss::Economia de tempo; possibilidade de tomar decisões; implicaçãoda hierarquia.

22

DDeessvvaannttaaggeennss::Carácter oficial; peso da participação dos responsáveishierárquicos; pouca participação dos formandos na organização dareunião.

5. Questionários (5 a 20 minutos)VVaannttaaggeennss::Economia de tempo na recolha da informação; possibilidade deutilizar diferentes questionários (anónimo/identificado; curto/ex-tenso, etc.), com diferentes apresentações (perguntas abertas/fe-chadas; gráficos para completar; perguntas de escolha múltipla;frases para completar; etc.) em diferentes momentos da formação.DDeessvvaannttaaggeennss::Necessidade de esquematizar os aspectos propostos; custos emtempo de elaboração; necessidade de conceber questionáriosespecíficos, de acordo com os objectivos a atingir e o aspecto aobservar.

6. Utilização de diversos tipos de informação decorrentes daactividade da empresa (Gestão, Produção, etc.)VVaannttaaggeennss::Ligar a formação aos objectivos da empresa; implicar a hierarquia.DDeessvvaannttaaggeennss::As informações não têm relação directa com a acção de formação,pelo que têm muitas vezes de sofrer adaptações.

7. Aplicações informáticas, software específico ou desenvolvido àmedida.

23

ERROS QUE NÃO VAI COMETER

Um processo rigoroso de avaliação da formação deverá facultarinformação credível e, tanto quanto possível, liberta de algunsprocedimentos e decisões menos correctos.

Sem pretendermos ser exaustivos, de seguida apresentamos umconjunto de causas e/ou factores que com frequência originam aocorrência de equívocos, imprecisões e/ou resultados avaliativosdébeis:

FFaaccttoorreess ddee nnããoo qquuaalliiddaaddee::- A formação não resulta de necessidades, estratégicas ou opera-

cionais, devidamente explicitadas e resultantes de processoscredíveis de análise e diagnóstico.

- Ausência de coerência e eficiência nos sistemas de formação, emtermos de programas adequados, com processos pedagógicosque privilegiem as aprendizagens em ambientes mais próximosda “produção”.

- A formação implica investimentos desmesurados para os resul-tados pretendidos.

- As empresas e outras organizações, aquando da organização daformação, não criam condições de acolhimento que potenciem atransferência e a manutenção do saber adquirido para ocontexto do trabalho.

EEnnqquuaannttoo aavvaalliiaaddoorreess,, hháá qquuee pprroocceeddeerr ccoomm aallgguunnss ccuuiiddaaddooss:: - Não efectuar, abusivamente, juízos de valor directamente

centrados nas pessoas.

- Não utilizar critérios implícitos, ainda que evidentes, mas quenão foram explicitados, em referência a vivências pessoais.

- Não atribuir à formação todas as aquisições de capacidadesobserváveis num dado momento.

FFaaccttoorreess ddee ssuubbjjeeccttiivviiddaaddee ddoo aavvaalliiaaddoorr::- Ausência de critérios comuns.

A maior parte dos enviesamentos e da subjectividade presentena avaliação tem como causa a ausência de critérios comuns aosdiferentes avaliadores. Com objectivos definidos, explicitados epartilhados, evita-se a utilização de critérios pessoais, neces-sariamente diferentes entre avaliadores. Neste sentido, oprocesso de avaliação/verificação das aquisições/evoluçõestorna-se mais objectivo e comummente aceite.

- Informação prévia.Geralmente, o conhecimento de informação prévia relativa aosformandos tende a influenciar o avaliador, podendo influenciar o

24

juízo, ideia e opinião e, deste modo, criar um preconceito, tendorepercussões sobre a avaliação;

- Efeito de halo.Diz respeito à impressão produzida por uma pessoa que, ao serposteriormente avaliada, pode condicionar a avaliação nosentido da impressão produzida (positiva ou negativamente);

- Efeito de estereotipia.Tem a ver com o preconceito criado acerca de um dado forman-do, fazendo com que a avaliação tenha sempre um dado sentido,independentemente da sua evolução ou retrocesso. “Os bonstendem a avaliar-se sempre bem e os maus sempre mal”.

- Efeito de ordem de avaliação.Também designado por efeito contraste. A subjectividade estáaqui presente por via da comparação entre avaliações. Se, porexemplo, é efectuada uma avaliação excelente sobre umformando num dado momento, a avaliação seguinte de outroformando normal tende a ser medíocre. O inverso pode tambémocorrer.

- Infidelidade do mesmo avaliador.Resulta da discordância ou infidelidade do mesmo avaliador emavaliações sobre o mesmo objecto de avaliação, em momentosdiferentes. A razão principal desta subjectividade podeencontrar-se na ausência de critérios rigorosos ou, ainda, emalterações de comportamento do avaliador, estado físico,mental, etc..

Avisado sobre estes possíveis desvios nas práticas de avaliação, oavaliador pode evitar cair em equívocos e falhas que possamdesvirtuar de modo evidente os resultados do processo deavaliação.

BENTO, Luís e SALGADO, Cristina Tavares. A formação pragmática –

Um novo olhar, Cascais: Editora Pergaminho, 2001

CÂMARA, Pedro B. Da. Humanator – Recursos humanos e sucesso

empresarial, Lisboa: Publicações D. Quixote, 1997

CRUZ, Jorge Valadas Preto, Formação Profissional em Portugal – Do

Levantamento de necessidades de formação, Lisboa: EdiçõesSilabo, 1998

FERREIRA, Paulo T., Guia do Animador – Animar uma actividade de

formação, Lisboa: Multinova, 1999

HADJI, Charles, A Avaliação, regras do jogo – Das intenções aos

instrumentos, Porto: Porto Editora, 1994

MÃO-DE-FERRO, António, Na Rota da Pedagogia, Lisboa: EdiçõesColibri, 1987

MARC, Edmond e GARCIA-LOCQUENEUX, Guia de métodos e práticas

em formação, Instituto Piaget, 1995

MÉNDEZ, J.M. Álvarez, Avaliar para conhecer, examinar para excluir,Porto: Edições ASA, 2002

PAIN, Abraham, Évaluer les actions de formation, Paris: Les Éditionsd’Organisation, 1992

PARRY, Scott B. Evaluating the impact of training – a collection of

tools and techniques, Alexandria: ASTD, 1997

ROLDÃO, Maria do Céu et al., Avaliação do impacto da formação: um

estudo dos centros de formação da Lezíria e Médio Tejo – 1993/1998,Lisboa: Edições Colibri, 2000

TIRA-PICOS, António, A avaliação da formação profissional, Lisboa:IEFP, 1990

BIBLIOGRAFIA GERAL

AEP - Associação Empresarial de Portugal • PRONACI - Programa Nacional de Qualificação de Chefias Intermédias4450-617 Leça de Palmeira • Tel.: 22 998 15 00 / Fax: 22 998 17 71 • www.aeportugal.pt/pronaci

UNIÃO EUROPEIA

Fundos Estruturais

A produção de ferramentas de trabalho para os encarregados e para as

chefias intermédias das nossas empresas constitui uma das tarefas mais

importantes do PRONACI.

AEP - Associação Empresarial de Portugal

O desenvolvimento integrado das empresas depende cada vez mais de pro-

jectos que recorrem a metodologias e instrumentos de formação diferencia-

dos e adaptados aos seus destinatários.

Gpf - Gabinete de Coordenação de Parcerias e Formação Profissional