v congresso brasileiro de psicologia organizacional e do trabalho uma alternativa ao problema da...
TRANSCRIPT
V Congresso Brasileiro de Psicologia V Congresso Brasileiro de Psicologia Organizacional e do TrabalhoOrganizacional e do Trabalho
UMA ALTERNATIVA AO PROBLEMA DA AUSÊNCIA DE PRÉ-TESTE – EVIDÊNCIAS DE VALIDADE DE UM INSTRUMENTO COM DUAS ESCALAS SIMULTÂNEAS
Rio de Janeiro, 2012
Introdução
“Houve crescente demanda por avaliação de treinamento, desenvolvimento e educação (TD&E) nas organizações que tradicionalmente fizeram altos investimentos nessas atividades, bem como naquelas organizações que descobriram os valores estratégicos do conhecimento e do esforço na contínua qualificação do seu pessoal (Borges-Andrade, Abbad & Mourão, 2006).
O crescente investimento na área de treinamento trouxe como consequência o aumento da demanda pela demonstração dos resultados práticos gerados pelos treinamentos.
Avaliação da eficácia do treinamento no nível de aprendizagem: pré-teste e pós-teste.
Introdução
Referencial teórico:
Impacto: “podendo ser entendido como o efeito do treinamento no desempenho do indivíduo ao retornar para o trabalho.” (Zerbini & cols, 2012)
Impacto em profundidade: “mede os efeitos específicos e diretos do treinamento, que estão relacionados aos conteúdos ensinados nos programas de treinamentos.” (Zerbini & Abbad, 2005)
Objetivo:
Desenvolver um instrumento que seja um substituto viável ao pré-teste; Buscar evidências de validade do instrumento.
Introdução
Justificativa:
A avaliação de treinamentos atualmente, em muitos casos, é feita após a realização do treinamento. Sendo assim, com a avaliação não sendo planejada previamente, muitas vezes o pré-teste não é realizado. Isso gera um problema ao se avaliar o impacto do treinamento, pois não é possível identificar se a expressão das competências no ambiente de trabalho se deve ao treinamento ou se elas já eram expressadas anteriormente.
O presente trabalho pretende sanar esse problema propondo uma alternativa viável ao pré-teste.
Método
Participantes:
742 egressos de um curso oferecido em âmbito nacional por instituição bancária de grande porte no ano de 2011.
Gênero Tempo de Banco
Masculino Feminino 0 a 5 anos 6 a 11 anos 12 anos ou mais
62,7% 37,3% 50,5% 28,0% 17,5%
Região Geográfica
Sul Sudeste Centro-Oeste Norte Nordeste
22,8% 46,4% 12,4% 4,2% 14,3%
Método
Instrumento:
Foi feita uma análise documental para o levantamento das competências do curso. Foram levantadas 19 competências a partir de:
Objetivos instrucionais; Material do curso.
Duas escalas de 10 pontos cada, ancoradas nos extremos: Contribuição: contribuição do treinamento para a aprendizagem.
1= “Nenhuma contribuição do treinamento” 10= “Muita contribuição do treinamento”
Expressão: expressão da competência no trabalho. 1= “Não expressa competência” 10= “Expresso plenamente a competência”
As competências estavam localizadas no centro, com uma escala de cada lado.
Método
Contribuição do curso para aquisição da competência
Competências
Ao realizar uma operação de financiamento de veículos eu...
Grau com que expresso a competência no trabalho
1 2 3 4 5 6 7 8 9 10
B-1. Identifico a necessidade do cliente em relação ao veículo, visando orientá-lo sobre consórcio ou financiamento/leasing.
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
B-2. Identifico os veículos passíveis de financiamento ou leasing, conforme requisitos de categorias (leve, pesado, ônibus, moto), de características (tipos de modelo, transporte de cargas ou pessoas, peso), e de tempo de fabricação.
1 2 3 4 5 6 7 8 9 10
1 2 3 4 5 6 7 8 9 10
B-3. Identifico os procedimentos para reconsideração de limites no aplicativo CDC. 1 2 3 4 5 6 7 8 9 10
Método
Procedimentos de coleta de dados:
O instrumento foi aplicado em indivíduos que haviam realizado o curso há mais de 90 dias pela intranet;
Procedimentos de análise de dados:
Todas as respostas do indivíduo foram analisadas conjuntamente, a análise foi feita com todos os 38 itens.Principais componentes (fatorabilidade da matriz);PAF com 2 fatores;Rotação promax;Tratamento listwise.
Resultados
Fatorabilidade da Matriz
KMO 0,93
Chi-quadrado 23918,445
df 703
Significância 0,0001
Comunalidades de 0,57 a 0,82
h2 de 0,47 a 0,72
Casos válidos 544
Número de fatores 2
% Variância explicada 59%
Fator - Contribuição
Número de Itens 19
Alfa de Cronbach 0,97
Cargas fatoriais de 0,64 a 0,90
Fator - Expressão
Número de itens 19
Alfa de Cronbach 0,96
Cargas Fatoriais de 0,59 a 0,82
Fator Contribuição Expressão
Contribuição 1 -
Expressão 0,679 1
Discussão
As análises realizadas com esse instrumento indicam que ele possui evidências de validade e que cada uma das escalas mede um constructo diferente. Baseado na teoria e no próprio instrumento, pode-se concluir que uma escala mede a percepção de impacto pelo indivíduo (expressão) e que a outra mede a percepção da contribuição que o treinamento teve para a sua aprendizagem (contribuição).
Sendo assim, esse instrumento é uma alternativa interessante ao pré-teste, uma vez que permite comparar o impacto do treinamento e a contribuição que o curso teve para a aprendizagem do indivíduo.
Considerações Finais
A escala de “contribuição” está em um nível diferente do pré-teste. A primeira está no nível de resultado final ou impacto e a segunda está no nível de características da clientela. A diferença entre o pré-teste e o pós-teste indica o quanto o evento instrucional pode ter afetado a aprendizagem do indivíduo, no entanto, a escala de “contribuição” se refere à contribuição do curso para a expressão das competências.
Outra diferença entre as duas medidas é que uma é avaliativa (pré-teste) e a outra é perceptiva (“contribuição”).
Como estudos posteriores sugerimos que esse instrumento seja aplicado em egressos de um treinamento que tenha um pré-teste e um pós-teste, para que assim a percepção de contribuição do curso medida possa ser comparada com a diferença entre o pré-teste e o pós-teste de cada indivíduo.
Referências
ABBAD, G.; PILATI, R. BORGES-ANDRADE, J.E.; SALLORENZO, L.H. (2012). Impacto do treinamento no trabalho – medida em amplitude. 145-162. Em: Abbad e cols. Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: Fundamentos para Gestão de Pessoas. Porto Alegre: Artmed.
ZERBINI, T. COELHO JR, F.; ABBAD, G.; MOURÃO, L. ALVIM, S.; LOIOLA, E. (2012). Transferência de treinamento e impacto do treinamento no trabalho em profundidade. 127-144. Em: Abbad e cols. Medidas de Avaliação em Treinamento, Desenvolvimento e Educação: Fundamentos para Gestão de Pessoas. Porto Alegre: Artmed.
PEREIRA, S. C. M. Avaliação de efeitos de uma ação de TD&E no desempenho de egressos e da organização. Dissertação (Mestrado em Psicologia), Instituto de Psicologia. Universidade de Brasília, Brasília, 2009.
SOARES, F. S. O. Avaliação da efetividade de um curso de desenvolvimento de competências gerenciais. Dissertação (Mestrado em Psicologia), Instituto de Psicologia, Universidade de Brasília, Brasília, 2009.
Obrigado!
RAFAEL DE MELO BALANIUK;LUANA CRISTINA RODRIGUES DE ARAÚJO;GARDÊNIA DA SILVA ABBAD E MARCELA RIBEIRO.