Avaliação de Treinamento a Distância:
Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho
Renata Silveira Carvalho¹UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia AbbadApoio Financeiro Parcial: CNPq – CAPES¹Integrante do PRONEX/ Treinamento e Comportamento no
Trabalho
Dissertação de Mestrado
2
Cenário AtualPor um lado... Exigências do mercado “Prazo de validade” do conhecimento Inovações tecnológicas
Por outro... Educação empresarial com uso da
tecnologia Avaliação sistemática das ações
educacionais
3
Aprendizagem Organizacional Justificativa para as organizações Derivado da aprendizagem
individual Mapas cognitivos compartilhados
(mapas de aprendizagem, comunidades de aprendizagem)
Crítica ao uso do termo (Pantoja e Borges-Andrade, 2002)
4
TD&E
Metáfora com aprendizagem organizacional
EducaçãoDesenvolvimento
TreinamentoInstrução
Comunicação de
conhecimento
Adaptado de Sallorenzo (2000)
5
Educação a DistânciaDefinição Distância física e temporal Flexibilidade Autonomia
Aspectos importantes Caráter sócio-afetivo Conjunção de mídias
6
Educação Corporativa
Uso da EaDVantagens:
redução de custos de deslocamento e substituição;
formação simultânea de colaboradores dispersos geograficamente
Propósitos de T,D e E indistintos Educação continuada
7
Sistema Treinamento
Necessidade de novas ferramentas de avaliação
Sistema de TreinamentoLevantamento de
NecessidadesPlanejamento e
ExecuçãoAvaliação
8
Modelos de Avaliação
Hamblin (1978)Reação, Aprendizagem, Comportamento no
Cargo, Mudança Organizacional e Valor Final
Críticas ao modelo (Alliger & Janak, 1989)Acréscimo de informaçõesCausalidadeCorrelação entre níveis
9
Modelos de Avaliação
Modelo MAIS (Borges-Andrade, 1982) Destaque para variáveis do ambiente
Apoio
Resultadoa longoprazo
Resultados
Processo
Processo
ProcedimentoInsumosAvaliação
deNecessidade
Disseminação
10
Modelos de Avaliação
Modelo IMPACT (Abbad, 1999) Identificação de variáveis preditoras de
Impacto do Treinamento no Trabalho
7. Impacto
6. Suporte à Transferência
3. Características da Clientela
2. Características do Treinamento
1. Suporte Organizacional
5. Aprendizagem
4. Reações
11
Modelo de Investigação
1. Características da Clientela
1.1. Dados demográficos1.2. Uso de ferramentas da
web2. Reações2.1. Desempenho do Tutor2.2. Interface Gráfica2.3. Resultados e
Aplicabilidade
4. Falta de Suporte à Transferência
3. Aprendizagem5.
Impacto Treinamento no Trabalho
5.1. Profundidade5.2. Amplitude – Perfil do
Empreendedor
Revisão de Literatura
12
Delimitação do Problema Grande lacuna nos estudos sobre
treinamentos a distância NTICs trazem novos questionamentos
Interface GráficaPapel do Tutor
Aprendizagem continua pouco estudada Necessidade de reconstrução de
instrumental de avaliação
13
Objetivos Estudo 1
Construir e Validar medidas nos níveis de Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho
Estudo 2 Identificar variáveis preditoras de aprendizagem
e impacto, nos componentes características da clientela, reação e suporte à transferência.
1. Características da Clientela
2. Reações
4. Falta de Suporte à Transferência
3. Aprendizagem 5. Impacto Treinamento no Trabalho
14
Componentes - Definições 1. Características da Clientela
Dados demográficos (sexo, idade, escolaridade e região geográfica de residência)
Uso de ferramentas da web (acesso ao “tira-dúvida”, à lista de discussão, ao mural de notícias, ao chat e ao ambiente do curso)
2. ReaçõesDesempenho do Tutor (interação com participantes,
domínio do conteúdo e uso de estratégias de ensino)Interface Gráfica (navegabilidade e usabilidade do
software)Resultados e Aplicabilidade (transmissão dos
conhecimentos a outras pessoas, aplicação do aprendido em diferentes situações, trabalho com outros profissionais e enfrentamento de dificuldades)
15
Componentes - Definições 3. Aprendizagem
Desempenho do participante nos exercícios de fixação obrigatórios, aplicados ao final de cada capítulo do curso (número de acertos)
4. (Falta de) Suporte à TransferênciaFatores ambientais, da família, comunidade e
do governo capazes de prejudicar a abertura e manutenção de um empreendimento
16
Componentes - Definições 5. Impacto do Treinamento no Trabalho
ProfundidadeAuto-avaliação sobre o grau de aplicação dos
desempenhos no ambiente de trabalho do participanteAmplitude
Auto-avaliação sobre o grau de emprego de estratégias de gerenciamento de um empreendimento, quanto a:
– tratamento com colaboradores– clientes e fornecedores– ações de autodesenvolvimento– controle financeiro e jurídico do negócio– ações de marketing e estruturação do ambiente físico.
17
Método- Organização e Curso -
Organização: Sebrae Sua missão é promover desenvolvimento sustentável
do Brasil por apoio a micro e pequenas empresas
Curso: IPGN Objetivo: elaboração de um Plano de Negócio Público-alvo: interessados em desenvolver habilidades
de empreendedorismo 100% a distância via internet / Gratuito 40 horas / 60 dias / 5 módulos seqüenciais - de 2 a 5
capítulos Tutoria (200 alunos por tutor) e Recursos de interação
18
Método População de inscritos no momento
da avaliação21.920
Número de concluintes11.600 (52,9%)
Maior amostra obtida2.347
9 arquivos de dados criados
19
Método- Participantes -
Semelhança entre população de concluintes e amostras dos Estudos 1 e 2
Concluintes (52 a 91%) Sexo masculino (59 a 65%) Idade média de 34 anos (DP 9) Nível superior incompleto (32 a 34%) Região Sudeste (43 a 57%)
Dados Pessoais (Estudo 2) Não possui negócio (71%) Experiente na internet (52%) Não participou de curso a distância (53%) Interesse em Serviços (50 a 54%) Funcionário de empresa privada (21%) Inscreveu-se para aprender a elaborar plano de negócio
(52 a 54%)
20
Pouco uso das ferramentas da webDúvidas no “tira-dúvida”: 0 (76 a 88%)Mensagens para a lista de discussão: de 1
a 10 (45 a 61%)Participação em chats: 0 (33 a 60%)Acesso ao mural de notícias: até 12 vezes
(30 a 58%)Acesso ao ambiente do curso: de 1 a 20
vezes (37 a 63%)
Método- Participantes -
21
Método- Instrumentos de Medida e Fontes -
Instrumento Seções do instrumento No. de Itens
Roteiro de Análise do Material Didático
Objetivos instrucionaisEstratégias instrucionaisPlanejamento de atividadesSeqüência do ensinoFontes de informaçãoInformações gerais sobre o curso
39
Dados Pessoais Dados demográficos e profissionais
11Sebrae
Reação ao Desempenho do Tutor
Interação com os Participantes 17
Domínio do Conteúdo 4Uso de Estratégias de Ensino 22
22
Método- Instrumentos de Medida -
Instrumento Seções do instrumento No. de Itens
Reação à Interface Gráfica Usabilidade e navegabilidade do software 15
Reação a Resultados e Aplicabilidade 7
Aprendizagem Acertos nos exercícios SebraeFalta de Suporte à Transferência
Apoio familiar, governamental e social 15
Impacto do Treinamento Impacto em Profundidade 25
Impacto do Treinamento no Trabalho (em Amplitude)
Colaboradores
37Clientes e fornecedoresAutodesenvolvimentoControle jurídico e financeiroMarketing e ambiente
23
ReaçãoTutor: relatos de tutores e alunosInterface Gráfica: critérios
ergonômicos (Scapin & Bastien, 1993)Resultados e Aplicabilidade: adaptado
de Abbad (1999) Impacto em Profundidade
Análise do Material Didático Suporte e Impacto em Amplitude
Entrevistas com empreendedores
Método- Construção de Instrumentos -
24
Método- Coleta de Dados -
1° Momento - final do curso:
Dados PessoaisDesempenho do TutorInterface GráficaResultados e Aplicabilidade 2° Momento - 42 a 105 dias após
o término do curso:
Falta de Suporte à TransferênciaImpacto do Treinamento (em profundidade)Impacto do Treinamento (em amplitude)
Coleta via e-mail Instrumentos digitalizados, hospedados na internet Índice de retorno baixo: 24% (1° Momento) e 8,5% (2°
Momento)
25
Método- Análise de Dados -
Análises exploratórias Distribuição das variáveis, dados omissos e casos
extremos Tratamento pairwise para dados omissos Manutenção dos casos extremos
Estudo 1Componentes Principais
valor próprio>1; scree plot; 3% de variância explicada; interpretabilidade do fator
PAF (cargas>0,30)Alfa de Cronbach
Estudo 2ANOVA, Teste tRegressão Múltipla Padrão e Stepwise
26
Resultados Estudo 1Escalas Obtidas KMO No.
ItensValor
Próprio % Var AlfaCargas fatoriais
mín. máx.TUT1 Desempenho Didático e Domínio do Conteúdo
0,98
27 23,02 52,31 0,98 0,40 0,93
TUT2 Uso de Estratégias Motivacionais 12 18,65 42,38 0,95 0,49 0,98
TUT3 Respeito aos Participantes 5 9,84 22,36 0,92 0,41 0,52
TUTG Desempenho do Tutor 44 25,07 57,00 0,98 0,59 0,83
INT Interface Gráfica 0,96 15 8,62 57,46 0,95 0,68 0,84
RESULT Resultados e Aplicabilidade 0,88 7 3,80 54,30 0,88 0,62 0,82
27
Resultados Estudo 1Escalas Obtidas KMO No.
ItensValor
Próprio % Var Alfa Cargas mín máx
SUP1 Contexto do Empreendimento
0,91
8 5,18 34,5 0,87 0,34 0,85
SUP2 Aspectos Financeiros 7 5,23 34,87 0,88 -0,44 -0,91SUPG Falta de Suporte à Transferência 15 6,14 40,93 0,91 0,30 0,75
IMPP1 Administração do Negócio
0,97
12 10,87 45,29 0,92 0,32 0,83
IMPP2 Planejamento Financeiro 7 10,31 42,95 0,95 -0,54 -0,94
IMPP3 Análise do Mercado 5 9,20 38,33 0,90 -0,31 -0,89IMPPG Impacto do Treinamento no Trabalho (em Profundidade)
24 12,48 52,01 0,96 0,41 0,79
IMPA1 Gestão do Negócio
0,98
24 18,63 50,35 0,96 0,48 0,82IMPA2 Gestão de Pessoas 13 17,96 48,48 0,97 -0,61 -0,99IMPAG Impacto do Treinamento no Trabalho (em Amplitude)
37 20,14 54,45 0,97 0,49 0,84
28
Resultados Estudo 2- Aprendizagem -
“Tira-dúvida”, Lista de Discussão e Reação à Interface Gráfica não explicaram aprendizagem.
As seis variáveis antecedentes explicaram 6% da variabilidade nos Escores de Aprendizagem.
Escores de Aprendizagem
Número de Acessos ao Mural de Notícias
Reação a Resultados e Aplicabilidade
Número de Acessos ao Chat
=0,15
=0,13
=0,10
R²=0,06
29
Resultados Estudo 2- Impacto em Profundidade -
Reação à Interface Gráfica e Região Geográfica não entraram no modelo.
As cinco variáveis antecedentes explicaram 34% (33% ajustado) da variância de impacto em profundidade.
Impacto do Treinamento no Trabalho
(em Profundidade)
Elaboração de Plano de Negócio
Falta de Suporte à Transferência
Reação a Resultados e Aplicabilidade
=0,44
=0,26
= -0,18
R²=0,34
30
Resultados Estudo 2- Impacto em Amplitude -
Reação à Interface Gráfica e Região Geográfica não entraram no modelo.
As cinco variáveis antecedentes explicaram 31% (30% ajustado) da variância total das respostas de Impacto do Treinamento no Trabalho (em Amplitude).
Impacto do Treinamento no Trabalho
(em Amplitude)
Elaboração de Plano de Negócio
Falta de Suporte à Transferência
Reação a Resultados e Aplicabilidade
=0,40
=0,25
= -0,14
R²=0,31
31
Discussão Estudo 1 Instrumentos válidos e confiáveis Tutor
MulticolinearidadeCorrobora em parte Abbad (1999)
SuporteNecessidade de avaliar barreiras e restrições
ao desempenho no cargoFalta apoio familiar
ImpactoAlta correlação entre profundidade e amplitudePré-teste de empreendedorismo
32
Discussão Estudo 2 Baixa predição de aprendizagem
Medida não fidedigna e pouco uso da web Reações: apoio parcial na literatura
Tutor e interface gráfica sem poder preditivo
Suporte ainda é preditor de impactoMagnitude menor e Relação negativa
Elaboração do plano de negócioNecessária porém não obrigatória
Variáveis demográficas não explicam aprendizagem e impactoEstudar variáveis motivacionais
33
Discussão- Análises Adicionais -
Diferenças entre médiasDiferença no uso de ferramentas da web
entre concluintes e não concluintesExperiência no uso da internet não
interfere na Reação à Interface GráficaReação a Resultados e Aplicabilidade
difere em função da conclusão do cursoPossuir negócio não altera percepção de
falta de suporte
34
Considerações Finais Escalas psicometricamente válidas e
confiáveis Baixo poder preditivo das variáveis
antecedentes Necessidade de aprimoramento de escalas e
aplicação em outros contextos Desempenho do tutor e interface gráfica não
explicaram resultados de impacto Necessidade de pré-teste de aprendizagem
e empreendedorismo
35
Limitações Baixo índice de retorno
Falhas em programação e quedas de conexão
Delineamento da coleta Modelo de investigação completo não
testado Apenas um curso avaliado, em
contexto específico Aprendizagem – baixa qualidade
psicométrica
36
Contribuições Validação de 6 escalas de avaliação de
treinamento a distância Validação de medida de impacto em
profundidade Medida de impacto em amplitude
aplicável aos cursos da organização-alvo Avaliação de curso a distância Inclusão de variáveis típicas de EaD
tutor e interface gráfica
37
Agenda Analisar relacionamento entre níveis de
avaliação individual Estudar características da clientela
(variáveis motivacionais) em EaD Analisar perfil dos participantes
evadidos Aplicar e reformular os instrumentos
utilizados nesta pesquisa Avaliar impacto em amplitude em mais
momentos, incluindo medidas não-perceptuais
39
Características da Clientela Pequena contribuição dessas
variáveis na explicação de impacto e aprendizagem
Motivacionais são as mais importantes (Colquitt, LePine & Noe, 2000)
Dados demográficos: idade com correlação negativa com aprendizagem (Abbad, 1999; Pantoja, 1999; Warr & Bunce, 1995)
40
Reação Desempenho do Tutor
Contato com aluno mediado pelo tutorPapel do tutor não está claramente definido
(Maggio, 2001):Não se resume ao afetivo, de motivar e incentivar ao
alunoDomínio do conteúdo e uso de estratégias de ensino
também são defendidosProfessor presencial avaliado em 3 dimensões:
Domínio do conteúdo, estratégias de ensino e entrosamento
Interação com o tutor e interatividade do ambiente virtual: complementares nas ações de EaD (Belloni, 1999)
41
Reação Interface Gráfica
Influente na produtividade e conforto dos usuários
Uso linear, sem uso do hipertexto (Dean & Webster, 2000)
Raros casos de medidas de avaliação do ambiente de ensino na web (p.e., Sarmet & Silvino, 2002)
Critérios ergonômicos, ainda não validados estatisticamente (Scapin & Bastien, 1993)
Interface gráfica e exigências cognitivas
42
Resultados e Aplicabilidade (Abbad, 1999; Alves, Pasquali & Pereira, 1999; Alliger et al., 1997)Avaliação de Utilidade
Reações: falta de critérios rigorosos, pouca explicação de procedimentos e nenhuma comparação entre níveis
Reação
43
Aprendizagem Processo de aquisição e retenção de
CHAs, expresso por mudança em comportamento
Pré e pós-testagem para mensurar alcance dos objetivos
Avanços escassos (Borges-Andrade, 2002) Pouco conhecimento sobre variáveis
explicativas Não se configura como preditora de
impacto do treinamento no trabalho
44
Suporte à Transferência Características específicas do ambiente de
trabalho que podem restringir ou facilitar a aplicação dos conhecimentos aprendidos no treinamento
Importância da variável na explicação de impacto corroborada em diferentes ambientes organizacionais, tipos de treinamento e amostras
Não há estudo dessa variável em TaD Restrições situacionais: aspectos prejudiciais ao
desempenho (Peters & O’Connor, 1980) Natureza do curso avaliado implica redefinição da
medida (comunidade, família, governo)
45
Impacto do Treinamento Profundidade vs. Amplitude
Efeitos específicos do treinamento, relacionados aos objetivos de ensino
Efeitos gerais do evento sobre o desempenho de tarefas relacionadas diretamente ou não ao conteúdo
Dificuldade de validação (Borges-Andrade, 2002) Amplitude para o curso avaliado:
Medida de empreendedorismo e técnicas gerenciais Não há relato empírico sobre definição de
características do empreendedor Criatividade, iniciativa e inovação