profa. dra. gardênia abbad grupo pronex-cnpq efetividade de ações de treinamento, desenvolvimento...
TRANSCRIPT
.
Profa. Dra. Gardênia AbbadGrupo Pronex-CNPq
Efetividade de Ações de Efetividade de Ações de Treinamento, Treinamento,
Desenvolvimento e Desenvolvimento e Educação Educação
Estrutura da Apresentação
1. Treinamento, Desenvolvimento e Educação – TD&E
2. Efetividade de ações de TD&E3. Mensuração e Avaliação4. Modelos de Avaliação de Resultados5. Modelos integrados de avaliação de
TD&E6. Medidas e avaliações na prática7. Resultados, desafios e tendências
TD&E
Desenvolvimento
Educação
Treinamento
Instrução
Informação econhecimento
Textos, artigos, teses, links...(conteúdos)
Aulas, manuais, orientações job aids, (conteúdos + como)
Cursos, oficinas, palestras, laboratórios, fóruns, estágios
(muda o desempenho na atividade)
Combinações de ações educacionais e outras, como QVT
Cursos de média e longa duração, MBAs, mestrados,
doutorados(análise, síntese, avaliação)
Processos mais gerais de aprendizagem que propiciam o amadurecimento e o crescimento individuais de forma ampla, sem visar diretamente o preparo do indivíduo para uma atividade ou trabalho.
Desenvolvimento
Educação
• Eventos de aprendizagem que capacitam o indivíduo a atuar em postos de trabalho específicos em um futuro próximo. (Nadler, 1984).
• Geralmente envolvem a participação de pessoas em programas de longa duração.
Treinamento
– esforço da organização para facilitar a aprendizagem de comportamentos relacionados ao trabalho. (Borges-Andrade e Abbad, 1996, Wexley, 1984)
– ações que garantem a “aquisição sistemática de de atitudes, conceitos, conhecimentos, regras ou habilidades que resultam na melhoria de desempenho no trabalho.”
Instrução
• Processo sistemático de formulação de objetivos e escolha de métodos de ensino.
• Indicado para o desenvolvimento de competências de baixa complexidade.
Informação - Conhecimento
Tecnologias (objetos de aprendizagem) que armazenam e facilitam o acesso e a organização de informações e conhecimentos relacionados ao trabalho.
TD&E
Desenvolvimento
Educação
Treinamento
Instrução
Informação econhecimento
Hierarquia dos objetos de
aprendizagem
Modelo de TD&E
TD&E – Visão SistêmicaTD&E – Visão Sistêmica
Desenho e Execução
Avaliação de Necessidades
Avaliação de Treinamento
Contexto
Organizacional
Efetividade em TD&E
• Efetividade– Alcance de metas– Fazer o que é preciso fazer.– Desempenho de qualidade.
• Eficiência:– Fazer mais com menos recursos– Qualidade dos processos
Avaliar
Mensurar Julgar
Avaliação: processo que inclui coleta de dados e emissão de juízo de valor sobre a efetividade de um dado sistema instrucional.
Mensuração e Avaliação
AVALIAR TREINAMENTO PARA QUE?
• Obter controle sobre o treinamento• Fazer retroalimentação para
treinamento• Tomar decisões sobre treinamentos• Fazer o treinamento funcionar• Tornar treinamento externamente
válido
Mensuração e Avaliação
AVALIAÇÃO DE TREINAMENTO
Pressupostos: existem objetivos e efeitos de T&D em cada nível, bem como uma cadeia de determinação entre eles
Papel da avaliação: utilizar esses objetivos como parâmetros e coletar dados sobre os efeitos nos diferentes níveis e compará-los com os esperados
LÓGICA DO PLANEJAMENTO
DE TREINAMENTO
CADEIA DOSRESULTADOS
DE TREINAMENTO
Ações não vinculadas a treinamento(ñ. “T”)
Variáveis interferentes(V. intf.)
OBJETIVOS DEREAÇÕES
OBJETIVOS DEAPRENDIZADO
OBJETIVOS DECOMPORTAMENTO
NO CARGO
OBJETIVOS DAORGANIZAÇÃO
OBJETIVOS DEVALOR FINAL
EFEITOS DEREAÇÕES
EFEITOS DEAPRENDIZADO
EFEITOS NOCOMPORTAMENTO
NO CARGO
EFEITOS NAORGANIZAÇÃO
EFEITOS DEVALOR FINAL
TREINAMENTOTREINAMENTO
AVALIAÇÃO DE
TREINAMENTO
V. intf.
V. intf.
V. intf.
V. intf.
ñ. “T”
ñ. “T”
ñ. “T”
ñ. “T”
COMPARAR
COMPARAR
COMPARAR
COMPARAR
COMPARAR
Modelo de Avaliação – Hamblin Modelo de Avaliação – Hamblin
NÍVEIS DE AVALIAÇÃO DE TREINAMENTO
- HAMBLIN 1978 -
Reação
Aprendizagem
Comportamento
Mudança
Valor Final
Satisfação c/ o treinamento
Alcance Objetivos Instrucionais
Impacto no Desempenho
Eficiência da Organização
Eficácia da Organização
NÍVEIS DE AVALIAÇÃO DE TREINAMENTO
Reação
Aprendizagem
Comportamento
Mudança
Valor Final
AVALIAÇÃO FORMATIVA E SOMAVIVA
Avaliação formativa
Coleta de dados realizada durante o processo de desenvolvimento do evento instrucional.
Objetiva a obtenção de informações que validem e/ou indiquem as correções necessárias no desenho instrucional (materiais, estratégias, meios, modalidade etc).
Avaliação somativa
•É realizada após o evento educacional.
•Possibilita julgar um programa já concluído e aprimorar os subseqüentes. •Pode continuar após o evento até que todos os níveis de resultados sejam avaliados ou até que o sistema instrucional inteiro atinja os níveis de eficiência, eficácia e efetividade esperados.
MODELO DE AVALIAÇÃO INTEGRADO E SOMATIVO (MAIS)
PRESSUPOSTOS1 AVALIAÇÃO É JULGAMENTO DO VALOR DO TREINAMENTO.
2 AVALIAÇÃO EXIGE PLANEJAMENTO COMO PRÉ-REQUISITO.
3 CARACTERÍSTICAS A SEREM AVALIADAS SÃO DETERMINADAS PELOS PRINCÍPIOS TEÓRICOS ADOTADOS NO PLANEJAMENTO.
4 AVALIAÇÃO TAMBÉM É OPORTUNIDADE PARA CONSTRUIR CONHECIMENTO (APRENDER SOBRE TREINAMENTO).
5 RESULTADOS DA AVALIAÇÃO PODEM ALTERAR PLANEJAMENTOS FUTUROS.
Modelos Somativos de Investigação
ReaçãoReação
Aprendizagem
Comportamento
Resultados
Valor FinalValor Final
TreinamentTreinamentoo
ClientelaClientela
SuporteSuporte
Preditores Critérios
5 COMPONENTES
AMBIENTEINSUMOS INSUMOS PROCEDIMENTOS PROCESSOS RESULTADOS
PROCEDIMENTOS
AMBIENTE: APOIO
AMBIENTE:NECESSIDADES
AMBIENTE:RESULTADOS
A LONGOPRAZO
AMBIENTE: DISSEMINAÇÃO
PROCESSO
PROCESSO
INSUMOS RESULTADOSINSUMOS
INSUMOSINSUMOS
INSUMOSINSUMOS
DESCRIÇÃO: FATORES FÍSICOS E SOCIAIS
ESTADOS COMPORTAMENTAIS
ANTERIORES À INSTRUÇÃO
PODEM AFETAR INSTRUÇÃO
EXEMPLOS: - NÍVEL SÓCIO-ECONÔMICO;
- HABILIDADES;
- PRÉ-REQUISITOS;
- ATITUDES SOBRE O CONTEÚDO;
- ATITUDES SOBRE EQUIPE (PESSOAS)
- EXPERIÊNCIA NA ÁREA (PRÁTICA)
PROCEDIMENTOS
DESCRIÇÃO: A. OPERAÇÕES QUE PRODUZEM RESULTADOS INSTRUCIONAIS
B. INCLUEM OCORRÊNCIAS DELIBERADAS E ACIDENTAIS
EXEMPLOS: - SEQUÊNCIA DE OBJETIVOS;- TEMPO PARA PRÁTICA;- RETROALIMENTAÇÃO;- APRESENTAÇÃO DE OBJETIVOS;- LEMBRANÇA DE PRÉ-REQUISITOS;- DEMONSTRAÇÕES;- INSTRUÇÕES VERBAIS;- APRESENTAÇÕES DE EXEMPLOS/ EXPLICAÇÕES;- AULAS EXPOSITIVAS.
PROCECIMENTOS
PROCESSOS
PROCESSOS
PROCESSOS
PROCESSOS
DESCRIÇÃO: A. OCORRÊNCIAS RESULTANTES DO PROGRAMA DE TREINAMENTO, DURANTE SUA IMPLEMENTAÇÃO.
B. DESEMPENHOS INTERMEDIÁRIOS DO APRENDIZ.
EXEMPLOS: - RESULTADOS DE EXERCÍCIOS PRÁTICOS;
- TEMPO DE ESTUDO INDIVIDUAL;- NÚMERO DE REPETIÇÕES DE ATI- VIDADES;- NÚMERO DE DESISTENTES.
RESULTADOS
RESULTADOS
DESCRIÇÃO: A. ALCANCE DOS OBJETIVOS
DEFINIDOS
B. EFEITOS INESPERADOS DESEJÁVEIS
E
INDESEJÁVEIS
C. DETERMINADOS AO FINAL DO
TREINAMENTO
EXEMPLOS: QUALQUER HABILIDADE, ATITUDE,
CONHECIMENTO RESULTANTE DO
TREINAMENTO
AMBIENTE:
•LACUNAS ENTRE SITUAÇÕES REAIS E IDEAIS•LACUNAS NAS COMPETÊNCIAS•DESVIOS NOS RESULTADOS•FALHAS EM PROCESSOS ORGANIZACIONAIS
Necessid
ad
e
Necessid
ad
e
AMBIENTE:
VARIÁVEIS NO LAR, NA ORGANIZAÇÃO, NA COMUNIDADE
TÊM INFLUÊNCIA POTENCIAL SOBRE OUTROS COMPONENTES
PODEM FACILITAR PROCESSO DE ENSINO-APRENDIZAGEM
INVESTIMENTOS; INSTALAÇÕES PARA TREINAMENTO;
MATERIAIS; ATITUDES DA ORGANIZAÇÃO SOBRE O
TREINAMENTO; PROPORÇÃO APRENDIZ/INSTRUTOR;
FORMAÇÃO ACADÊMICA E PEDAGÓGICA DOS INSTRUTORES,
SUPORTE À TRANSFERÊNCIA DE TREINAMENTO..
EXEMPLOS:
APOIO
APOIO
AMBIENTE:
DISSEMINAÇÃO
DISSEMINAÇÃO -
VARIÁVEIS QUE CONTRIBUEM PARA
ADOÇÃO OU PROCURA DO
TREINAMENTO
EXEMPLOS: MEIOS DE DIVULGAÇÃO DO
TREINAMENTO; ESTRATÉGIAS DE
DIVULGAÇÃO
DISSEMINAÇÃO
RESULTADOSA LONGOPRAZO
AMBIENTE:
CONSEQUÊNCIAS AMBIENTAIS DO TREINAMENTO
ESPERADAS E INESPERADAS
NÃO SÃO MEDIDAS LOGO APÓS TREINAMENTO
EXEMPLOS: DESEMPENHO NO CARGO; MUDANÇAS NA
ORGANIZAÇÃO; INDICADORES DE CUSTO-BENEFÍCIO; VALOR SOCIAL
RE
SU
LT
AD
OS
E
M L
ON
GO
P
RA
ZO
RESULTADOSLONGOPRAZO
INSUMOS
AMBIENTE: Resultados (Longo prazo)
RESULTADOS LONGO PRAZONOS NÍVEIS DE:
INS
UM
OS Indivíduo
Equipe
Organização
AMBIENTE: Resultados (Longo prazo)
Ambiente: Resultados ou Impactos a Longo Prazo
No nível do indivíduo:• afetivos (atitudes frente a pessoas, objetos, aspectos do
trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental)
• cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade)
• psicomotores (velocidade, fluidez)• fisiológicos (saúde, doença e aptidão física)• instrumentais intrínsecos (autonomia, elogios e
ridicularização)• Instrumentais extrínsecos (aumento, promoção e novos
trabalhos)• instrumentais relacionais (networking, relações de
colaboração, capacitação de outras pessoas)• instrumentais não relacionados ao trabalho (mudanças
em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida)
No nível da equipe:• afetivos (coesão, satisfação, auto-eficácia,
ambigüidade de papéis e orientação para tarefa)• cognitivos (conhecimento possuído e representado)• de desempenho (comunicação interna, tomada de
decisão, solução de conflitos, níveis de participação)• instrumentais intrínsecos (responsabilidades e
variedade de trabalho recebido)• instrumentais extrínsecos (bônus)• instrumentais de qualificação (certificações formais)
Ambiente: Resultados ou Impactos a Longo Prazo
No nível da organização:• relativos a metas de produtos (quantidade,
qualidade, variedade)• relativos a metas do sistema (crescimento,
lucro, retorno de investimentos)• aquisição de recursos (novos clientes,
compra de outras organizações)• constituintes (satisfação de consumidores e
acionistas, imagem)• de processos internos (novas tecnologias,
clima, absenteísmo, rotatividade, taxas de acidentes)
Ambiente: Resultados ou Impactos a Longo Prazo
Ambiente: Suporte / Restrições Situacionais
Modelo Empírico de Avaliação
1. Clientela
2. Treinamento
3. Reações
4. Aprendizagem
5. Impacto
6. Suporte à Transferência
7. Resultados
Representação esquemática do modelo IMPACT de avaliação de TD&E (Abbad, 1999, 2003 e 2006)
Instrumentos de avaliação
• Resultados:– Itens de escala de avaliação de Reações ao
treinamento– Aprendizagem– Itens de escalas de Impacto do treinamento no Trabalho
(em amplitude e profundidade)– Resultados e Valor Final
• Apoio ou Suporte– Itens da escala de Suporte Psicossocial à Transferência– Itens da escala de Suporte Material
• Procedimentos ou características do treinamento– Itens do Roteiro de análise de materiais didáticos– Itens do Roteiro de observação de instrutor
MEDIDAS DE REAÇÃO• O que medir? Com o que? Como medir?
– Medida global ou múltiplas medidas com foco em distintos aspectos: insumos, procedimentos, processos, resultados e ambiente (necessidades, apoio, disseminação e resultados a longo prazo)
– Questionários específicos para cada organização, extraindo-se fatores e calculando-se sua confiabilidade (geralmente muito bons!)
– Lápis e papel, maioria de questões fechadas; ou observação de eventos; ou análise documental
– Alto grau de correspondência entre resultados quantitativos e qualitativos
– Houve avanços no sentido de enfrentar desafios
EXEMPLOS DE ITENS DE AVALIAÇÃO DE REAÇÃO
Ordenação do conteúdo.
Adequação dos conteúdos aos objetivos.
Definição de objetivos.
Carga horária total.
Qualidade e organização do material didático
Quantidade de material didático.
Carga horária diária.
Carga horária para atividades práticas.
Compatibilidade entre objetivos e necessidades
Qualidade das instalações.
Reação à Programação e ao Apoio
Abbad (1999)
MEDIDAS DE APRENDIZAGEM
• Parâmetros– fixados pelos objetivos ou pelo conteúdo?– desempenho do grupo de treinandos e do indivíduo
antes e depois?
• Avaliador– especialista em conteúdo ou em avaliação?
• Experiências (auto-relatos e pós-testes)– poucas e baixas correlações com outros
componentes do modelo (insumos, procedimentos, processos e ambiente)
– medidas aparentemente frágeis– houve poucos avanços e foi feito pouco esforço
• Medir observando ou perguntando?– Dificuldades para
observar desempenhos complexos, ou não rotineiros e para evitar ingerências no trabalho
– Perguntas acabam sendo melhor alternativa, além de exigirem custos e esforços menores
– Análises de conteúdos de perguntas abertas muito freqüentemente apoiaram dados quantitativos
• Auto (treinandos) ou hetero (supervisores, colegas ou clientes) avaliações?– Combinação seria o
ideal – Validade e alta
precisão confirmadas seguidamente
– Supervisores e colegas às vezes mais rigorosos que treinandos, outras vezes foram estes.
• Estudos permitiram avanços importantes nesse nível de avaliação
MEDIDAS DE COMPORTAMENTO NO CARGO
Impacto do Treinamento no Trabalho
EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM AMPLITUDE
Auto-Avaliação de Impacto do Treinamento no Trabalho - Amplitude
Utilizo com freqüência as habilidades que aprendi no treinamento.
Sugiro com mais freqüência mudanças nas rotinas de trabalho.
Estou mais receptivo a mudanças.
Meus colegas aprendem comigo.
Aproveito as oportunidades que tenho para praticar as novas habilidades.
Cometo menos erros no meu trabalho
Recordo-me bem dos conteúdos que aprendi no curso.
Realizo meu trabalho com maior rapidez.
Melhorou a qualidade do meu trabalho.
Melhorou a qualidade do meu trabalho em tarefas não relacionadas ao curso.Construído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e Abbad.
EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM PROFUNDIDADE – Auto
Auto-Avaliação de Impacto do Treinamento no Trabalho - Profundidade
Promovo o processo de integração grupal de minha equipe, potencializando os aspectos facilitadores e minimizando os dificultadores desse processo.
Incentivo a participação dos membros da equipe na identificação de problemas e suas possíveis causas.
Incentivo a participação dos membros da equipe no planejamento, nas decisões e na busca de soluções.
Estimulo a criatividade da equipe potencializando os fatores facilitadores e minimizando os dificultadores.
Solicito feedback aproveitando as observações feitas pelos pares e outros colaboradores para fazer a auto-crítica.
Dou feedback aos colaboradores de maneira adequada e eficaz.
Transmito mensagens com clareza, certificando-me da compreensão.Este tipo de instrumento é específico e construído para cada curso.
I MPACTO EM PROFUNDIDADE TREINAMENTO NO TRABALHO - ECONOMIA APLICADA
1. Toma decisões com base nos impactos decorrentes da expansão/ contração dos meios de pagamento da atividade econômica.
2. Prospecta oportunidades de negócio, gerando soluções inovadoras ao mercado em que atua.
3. Detecta potenciais/reais ameaças ao desempenho do Banco, antecipando-se à concorrência na apresentação de soluções.
4. Conduz o processo negocial de acordo com a estrutura do mercado em que o cliente atua.
5. Utiliza indicadores econômico – financeiros para apoiar decisões negociais.
6. Avalia metas com base em seus indicadores econômicos financeiros.
7. Baliza decisões sobre oferta e demanda de produtos e serviços (exemplo créditos, seguro) com base na evolução dos principais indicadores macroeconômicos do país (PIB, juros, câmbio, finanças públicas, balança de pagamento) e nas análises setoriais.
8. Conduz o processo negocial de acordo com a análise do contexto da economia internacional (comércio internacional, balança de pagamento, mercado cambial, blocos econômicos, globalização, dívida externa).
EXEMPLOS DE ITENS DE AVALIAÇÃO DE IMPACTO EM PROFUNDIDADE
Hetero
MEDIDAS ORGANIZACIONAIS• Questões equivalentes às do nível anterior:
– Foco no comportamento da organização ou de suas unidades
– Medidas de observação e perguntas são usadas– Mudanças (deduzidas dos objetivos) a serem detectadas
na cultura, valores, metas, estruturas, processos e desempenhos organizacionais ou de equipes
• Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de T&D
• Escores relativos a comportamento no cargo sistematicamente maiores que os de mudança organizacional
• Há muito por avançar. Caminho está traçado e parece ser equivalente ao do nível anterior
MEDIDAS DE VALOR FINAL
• Muda o quadro de referências
– da Psicologia, Educação e Administração para a Economia
• Identificação e cálculo dos parâmetros da avaliação
– Que objetivos de T&D aprendidos levariam a mudanças no trabalho dos indivíduos e na organização, que levariam a que indicadores de custo e benefícios?
– Existe tecnologia de coleta e análise de dados, dependente de grande motivação e capacitação organizacionais e elevados e duradouros investimentos em T&D
• Raramente consegue-se implementar esse nível
– Existe relato de uma experiência nacional
– Experiências internacionais só relatadas por um grupo de pesquisadores
Suporte à Transferência: refere-se ao apoio de chefes e colegas ao uso de novas habilidades no trabalho (fator 1).
Fator 1: Suporte Gerencial e Social à Transferência Freq.
Meu chefe encoraja a aplicação.
Meu chefe planeja comigo o uso das novas habilidades.
Recebo as informações necessárias ao uso eficaz das novas habilidades.
Meu chefe remove obstáculos e dif iculdades ao uso eficaz das novas habilidades.
Meu chefe encoraja-me a aplicar no trabalho o que aprendi no treinamento.
Recebo elogios pelo uso correto das novas habilidades.
Minhas sugestões são levadas em consideração.
Recebo as orientações e informações necessárias à aplicação eficaz das novas habilidades.
Recebo apoio dos colegas experientes.
Minhas tentativas de uso das novas habilidades passam despercebidas.
Tenho oportunidades de utilizar no trabalho o que aprendi no curso.
São ressaltados os aspectos negativos à aplicação das novas habilidades.
Exemplo de Medida de Apoio
Abbad, 1999Abbad e Sallorenzo, 2001
Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos recursos materiais necessárias ao uso eficaz de novas habilidades no trabalho (fator 1).
Suporte Material à Transferência Freq.
Os recursos materiais estão em boas condições de uso.
A organização fornece recursos em quantidade suficiente.
A organização fornece os recursos materiais necessários.
As ferramentas de trabalho são compatíveis com a aplicação eficaz das
novas habilidades.
O local de trabalho é adequado à aplicação das novas habilidades.
Exemplo de Medida de Apoio
Características do Treinamento: qualidade do projeto instrucional e da execução do programa.
Roteiro de Análise Documental - (27 itens)Objetivos Instrucionais (7 itens):
- Descrição em termos de desempenhos observáveis- Precisão na escolha do verbo de ação- Existência de critério qualitativo- Descrição clara do objeto da ação- Adequação do nível de complexidade do verbo às
taxonomias- Clareza nas definições de condições
Adequação de Estratégias e Meios (5 itens)Exercícios (3 itens)Recursos de Apoio (7 itens- textos, transparências, filmes, vídeos e similares) Fontes de Informação (2 itens - bibliografia e outros meios)Planejamento de Atividades (2 itens) Seqüência de apresentação dos conteúdos (2 itens)
Exemplo de Medida de Procedimento
Características do Treinamento: qualidade do projeto instrucional e da execução do programa.
Roteiro de Observação do Instrutor – 54 itensDidática (44 itens)
- Transmissão de objetivos
- Uso de estratégias para motivar os treinandos
- Apresentação de conteúdos e exemplificação
- Uso de estratégias e meios instrucionais
- Atividades Práticas e Avaliações de Aprendizagem
- Sumarização
- Organização e Administração do Tempo
Domínio do Conteúdo (6 itens)
Entrosamento com os Treinandos (4 itens)
Exemplo de Medida de Procedimentos
Resultados de Pesquisas
Científicas Nacionais e Estrangeiras
Características metodológicas das pesquisas nacionais e estrangeiras
Método Pesquisas nacionais Pesquisas estrangeiras
Amostra
Profissionais de nível superior e médio (2º grau completo).16 a 65 anos de idade.
Profissionais de nível superior e médio (2º grau completo) e estudantes universitários.Jovens
Organizações Públicas, Privadas e de diferentes setores econômicos. Bancos, prestadoras de serviços de telecomunicações, empresas de pesquisa, saúde, financeira, tribunais, escola técnica, energia elétrica, transporte de passageiros,universidades, escola de governo, entre outros.
Públicas, privadas, forças armadas, universidades e empresas de diferentes setores econômicos.
Coleta de dados
Aplicação de questionários, observação direta, análise documental, entrevistas.
Aplicação de questionários e testes.
Atualização da revisão: Abbad, Pilati e Pantoja, 2003.
Método Pesquisas brasileiras Pesquisas estrangeiras
Fontes de informação
Auto-avaliação, hetero-avaliação (pares e supervisores), análise documental e bases secundárias de dados.
Auto e hetero-avaliação.
Medidas de efetividade
Reações (escalas específicas) Aprendizagem (escores em provas, exercícios práticos).Medidas de impacto em amplitude e profundidade. Impacto em resultados e valor final.
Reações (escalas específicas)Medida de impacto em profundidade.
Análise do relacionamento entre variáveis
Regressão múltipla stepwise, padrão e sequencial, correlação canônica, equação estrutural, ANOVAS, ANCOVA, Análise de Clusters.
Equação estrutural, regressão hierárquica, ANCOVA, MANCOVA e MANOVA
Características metodológicas das pesquisas (cont.)
Atualização da revisão: Abbad, Pilati e Pantoja, 2003.
Apoio ou SuporteApoio ou Suporte
Disseminação
InsumoInsumoClientelaClientela
ProcedimentoProcedimento
Processo
Processo
ResultadosResultados1 e 2
RESULTADOS
334455
NECESSIDADES
Modelo de Avaliação Integrada e Somativa de Sistemas Instrucionais – MAIS - Borges-Andrade
Escalas Validadas Escalas Validadas AutoresAutores
Auto-eficácia Meneses, 2002.
Locus de controle Meneses, 2002.
Auto conceito profissional Tamayo, 2002.
Valor instrumental do treinamento Lacerda, 2002; Pilati, 2004.
Motivação para aprender e para transferir a aprendizagem
Abbad, 1999; Lacerda, 2002.
Comprometimento com a carreira Rodrigues, 2000.
Comprometimento no trabalho Bastos, 1994; Rodrigues, 2000; Pilati, 2005.
Estratégias de Aprendizagem
Zerbini, 2003.
Hábitos de estudo Zerbini, 2003; Brauer, 2005
Crenças sobre sistemas de treinamento
Freitas, 2005
Indicadores de prazer e sofrimento Mendes, 1999; Mota, 2002.
Motivação para aplicar Pilati, 2004.
Estratégias para aplicar no trabalho o aprendido em treinamento
Pilati, 2004.
Medidas de avaliação de Características da Clientela Medidas de avaliação de Características da Clientela (Insumos)(Insumos)
InsumosInsumos Procedimentos Processos Apoio Disseminação
Medida relativa a ProcedimentosInstrumento Autor
Taxonomia de treinamentos (cinco categorias) Pilati, 2005
Medidas de avaliação de Processos
Medidas Autor
Uso dos recursos da internet em curso a distânciaEscores em exercícios e testes intermediários
Pilati, 2005Borges-Ferreira, 2005
Insumos Procedimentos Processos Apoio Disseminação
Instrumentos ValidadosInstrumentos Validados AutoresAutores
Suporte organizacional Abbad, Pilati e Borges-Andrade, 1999
Suporte à transferência de treinamento (Suporte psicossocial e Suporte Material)
Abbad, 1999; Abbad e Sallorenzo, 2000.
Falta de Suporte à transferência de curso a distância
Carvalho, 2003.
Suporte à aprendizagem contínua Freitas e Pantoja, 2003
Suporte à Aprendizagem Coelho Jr., 2004
Barreiras à conclusão de treinamento a distância
Brauer, 2005
Modernidade organizacional Del Maestro, 2005
Medidas de Avaliação do Ambiente - Apoio ou Medidas de Avaliação do Ambiente - Apoio ou SuporteSuporte
Medida de Avaliação do Ambiente - DisseminaçãoInstrumento Validado Autora
Disseminação de informações sobre treinamento Meira, 2004
Insumos Procedimentos Processos Apoio Disseminação
Principais resultados das pesquisas nacionais e estrangeirasVariáveis Preditoras
Pesquisas Nacionais Pesquisas Estrangeiras
Insumos ou Clientela
Gênero, idade, tempo transcorrido desde no término de nível superior, escolaridade, cargo, motivação para aprender, comprometimento, intenção em aplicar o aprendido, auto-eficácia, valor instrumental, motivação para aplicar, crenças sobre o sistema de treinamento, conhecimento anterior sobre temas abordados no treinamento, estratégias para aplicar o aprendido no trabalho.
Motivação para aprender, conscienciosidade, ansiedade, nível de agressividade, traço de personalidade, adaptabilidade, emoções, tipo de orientação para objetivos, estratégias de aprendizagem (cognitivas e afetivas), estratégias de aplicação das habilidades, capacidade de imaginação (imagery), auto-eficácia, locus de controle e idade.
InsumosInsumos Procedimentos Processos Apoio Disseminação
Insumos Procedimentos Processos Apoio Disseminação
Principais resultados das pesquisas nacionais e estrangeiras
Variáveis Preditoras
Pesquisas Nacionais Pesquisas Estrangeiras
Procedimentos Similaridade entre situação de treinamento e realidade de trabalho, características do plano instrucional (clareza e precisão dos objetivos), natureza do objetivo principal,uso de exercícios práticos, categoria taxonômica do treinamento, crenças sobre o sistema de treinamento
Estabelecimento de objetivos (específicos e difíceis) em treinamento, estabelecimento de objetivos combinado com feedback, procedimentos multimídia, abordagem humanista, estímulo ao desenvolvimento de conhecimento estratégico, estratégia instrucional múltipla (aquisição de conhecimentos e aplicação da habilidade), modelação comportamental.
ApoioSuporteClimate to transfer
Suporte à transferência (psicossocial ou gerencial/social e material), suporte organizacional (gestão do desempenho e valorização do servidor), expectativas de suporte após o evento instrucional (contexto pré-treinamento), suporte à aprendizagemfalta de suporte à transferência de treinamento a distância
Clima para transferência como preditor robusto de impacto do treinamento no trabalho.
Principais resultados das pesquisas nacionais e estrangeiras
Insumos Procedimentos Processos Apoio Disseminação
Entre as mais fortes variáveis explicativas de impacto do treinamento (nível 3) foram:
•Suporte à transferência (gerencial/social), •Reações ao treinamento•Valor Instrumental do treinamento•Estratégias para aplicar o aprendido no trabalho
Continuam pouco claros os resultados de pesquisas relacionando os primeiros três níveis de avaliação (baixas correlações de aprendizagem com os níveis 1 e 3).
Grande parte das pesquisas incluiu variáveis de suporte (maior parte de suporte à transferência) em seus modelos de avaliação.
Em quase todos os casos suporte psicossocial à transferência foi a variável que explicou maior porção da variabilidade das respostas de impacto do treinamento no trabalho.
Resultados esses que corroboram outros similares aos obtidos por Roullier & Goldstein, 1993; Warr, Allan & Birdi, 1999 e outros mencionados por Salas & Cannon-Bowers, 2001
Variáveis como suporte organizacional e suporte à aprendizagem exercem influência distal sobre transferência (nível 3), porém menor do que o exercido suporte à transferência
Discussão
Agenda de pesquisa
-Incluir variáveis de disseminação e processo nos modelos-Construir modelos multivariados e multinível de avaliaçãode necessidades de treinamento-Investir na construção de medidas de avaliação nos níveis 4 e 5-Incorporar achados da literatura sobre avaliação de programas -Investigar processos de transferência vertical e horizontal utilizando abordagem multinível