avaliação de treinamento a distância: reação, suporte à transferência e impacto do...

Avaliação de Treinamento a Distância:

Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho

Renata Silveira Carvalho¹UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia AbbadApoio Financeiro Parcial: CNPq – CAPES¹Integrante do PRONEX/ Treinamento e Comportamento no

Trabalho

Dissertação de Mestrado

2

Cenário AtualPor um lado... Exigências do mercado “Prazo de validade” do conhecimento Inovações tecnológicas

Por outro... Educação empresarial com uso da

tecnologia Avaliação sistemática das ações

educacionais

3

Aprendizagem Organizacional Justificativa para as organizações Derivado da aprendizagem

individual Mapas cognitivos compartilhados

(mapas de aprendizagem, comunidades de aprendizagem)

Crítica ao uso do termo (Pantoja e Borges-Andrade, 2002)

4

TD&E

Metáfora com aprendizagem organizacional

EducaçãoDesenvolvimento

TreinamentoInstrução

Comunicação de

conhecimento

Adaptado de Sallorenzo (2000)

5

Educação a DistânciaDefinição Distância física e temporal Flexibilidade Autonomia

Aspectos importantes Caráter sócio-afetivo Conjunção de mídias

6

Educação Corporativa

Uso da EaDVantagens:

redução de custos de deslocamento e substituição;

formação simultânea de colaboradores dispersos geograficamente

Propósitos de T,D e E indistintos Educação continuada

7

Sistema Treinamento

Necessidade de novas ferramentas de avaliação

Sistema de TreinamentoLevantamento de

NecessidadesPlanejamento e

ExecuçãoAvaliação

8

Modelos de Avaliação

Hamblin (1978)Reação, Aprendizagem, Comportamento no

Cargo, Mudança Organizacional e Valor Final

Críticas ao modelo (Alliger & Janak, 1989)Acréscimo de informaçõesCausalidadeCorrelação entre níveis

9


Modelo MAIS (Borges-Andrade, 1982) Destaque para variáveis do ambiente

Apoio

Resultadoa longoprazo

Resultados

Processo

Processo

ProcedimentoInsumosAvaliação

deNecessidade

Disseminação

10


Modelo IMPACT (Abbad, 1999) Identificação de variáveis preditoras de

Impacto do Treinamento no Trabalho

7. Impacto

6. Suporte à Transferência

3. Características da Clientela

2. Características do Treinamento

1. Suporte Organizacional

5. Aprendizagem

4. Reações

11

Modelo de Investigação


1.1. Dados demográficos1.2. Uso de ferramentas da

web2. Reações2.1. Desempenho do Tutor2.2. Interface Gráfica2.3. Resultados e

Aplicabilidade

4. Falta de Suporte à Transferência

3. Aprendizagem5.

Impacto Treinamento no Trabalho

5.1. Profundidade5.2. Amplitude – Perfil do

Empreendedor

Revisão de Literatura

12

Delimitação do Problema Grande lacuna nos estudos sobre

treinamentos a distância NTICs trazem novos questionamentos

Interface GráficaPapel do Tutor

Aprendizagem continua pouco estudada Necessidade de reconstrução de

instrumental de avaliação

13

Objetivos Estudo 1

Construir e Validar medidas nos níveis de Reação, Suporte à Transferência e Impacto do Treinamento no Trabalho

Estudo 2 Identificar variáveis preditoras de aprendizagem

e impacto, nos componentes características da clientela, reação e suporte à transferência.


2. Reações

4. Falta de Suporte à Transferência

3. Aprendizagem 5. Impacto Treinamento no Trabalho

14

Componentes - Definições 1. Características da Clientela

Dados demográficos (sexo, idade, escolaridade e região geográfica de residência)

Uso de ferramentas da web (acesso ao “tira-dúvida”, à lista de discussão, ao mural de notícias, ao chat e ao ambiente do curso)

2. ReaçõesDesempenho do Tutor (interação com participantes,

domínio do conteúdo e uso de estratégias de ensino)Interface Gráfica (navegabilidade e usabilidade do

software)Resultados e Aplicabilidade (transmissão dos

conhecimentos a outras pessoas, aplicação do aprendido em diferentes situações, trabalho com outros profissionais e enfrentamento de dificuldades)

15

Componentes - Definições 3. Aprendizagem

Desempenho do participante nos exercícios de fixação obrigatórios, aplicados ao final de cada capítulo do curso (número de acertos)

4. (Falta de) Suporte à TransferênciaFatores ambientais, da família, comunidade e

do governo capazes de prejudicar a abertura e manutenção de um empreendimento

16

Componentes - Definições 5. Impacto do Treinamento no Trabalho

ProfundidadeAuto-avaliação sobre o grau de aplicação dos

desempenhos no ambiente de trabalho do participanteAmplitude

Auto-avaliação sobre o grau de emprego de estratégias de gerenciamento de um empreendimento, quanto a:

– tratamento com colaboradores– clientes e fornecedores– ações de autodesenvolvimento– controle financeiro e jurídico do negócio– ações de marketing e estruturação do ambiente físico.

17

Método- Organização e Curso -

Organização: Sebrae Sua missão é promover desenvolvimento sustentável

do Brasil por apoio a micro e pequenas empresas

Curso: IPGN Objetivo: elaboração de um Plano de Negócio Público-alvo: interessados em desenvolver habilidades

de empreendedorismo 100% a distância via internet / Gratuito 40 horas / 60 dias / 5 módulos seqüenciais - de 2 a 5

capítulos Tutoria (200 alunos por tutor) e Recursos de interação

18

Método População de inscritos no momento

da avaliação21.920

Número de concluintes11.600 (52,9%)

Maior amostra obtida2.347

9 arquivos de dados criados

19

Método- Participantes -

Semelhança entre população de concluintes e amostras dos Estudos 1 e 2

Concluintes (52 a 91%) Sexo masculino (59 a 65%) Idade média de 34 anos (DP 9) Nível superior incompleto (32 a 34%) Região Sudeste (43 a 57%)

Dados Pessoais (Estudo 2) Não possui negócio (71%) Experiente na internet (52%) Não participou de curso a distância (53%) Interesse em Serviços (50 a 54%) Funcionário de empresa privada (21%) Inscreveu-se para aprender a elaborar plano de negócio

(52 a 54%)

20

Pouco uso das ferramentas da webDúvidas no “tira-dúvida”: 0 (76 a 88%)Mensagens para a lista de discussão: de 1

a 10 (45 a 61%)Participação em chats: 0 (33 a 60%)Acesso ao mural de notícias: até 12 vezes

(30 a 58%)Acesso ao ambiente do curso: de 1 a 20

vezes (37 a 63%)

Método- Participantes -

21

Método- Instrumentos de Medida e Fontes -

Instrumento Seções do instrumento No. de Itens

Roteiro de Análise do Material Didático

Objetivos instrucionaisEstratégias instrucionaisPlanejamento de atividadesSeqüência do ensinoFontes de informaçãoInformações gerais sobre o curso

39

Dados Pessoais Dados demográficos e profissionais

11Sebrae

Reação ao Desempenho do Tutor

Interação com os Participantes 17

Domínio do Conteúdo 4Uso de Estratégias de Ensino 22

22

Método- Instrumentos de Medida -

Instrumento Seções do instrumento No. de Itens

Reação à Interface Gráfica Usabilidade e navegabilidade do software 15

Reação a Resultados e Aplicabilidade 7

Aprendizagem Acertos nos exercícios SebraeFalta de Suporte à Transferência

Apoio familiar, governamental e social 15

Impacto do Treinamento Impacto em Profundidade 25

Impacto do Treinamento no Trabalho (em Amplitude)

Colaboradores

37Clientes e fornecedoresAutodesenvolvimentoControle jurídico e financeiroMarketing e ambiente

23

ReaçãoTutor: relatos de tutores e alunosInterface Gráfica: critérios

ergonômicos (Scapin & Bastien, 1993)Resultados e Aplicabilidade: adaptado

de Abbad (1999) Impacto em Profundidade

Análise do Material Didático Suporte e Impacto em Amplitude

Entrevistas com empreendedores

Método- Construção de Instrumentos -

24

Método- Coleta de Dados -

1° Momento - final do curso:

Dados PessoaisDesempenho do TutorInterface GráficaResultados e Aplicabilidade 2° Momento - 42 a 105 dias após

o término do curso:

Falta de Suporte à TransferênciaImpacto do Treinamento (em profundidade)Impacto do Treinamento (em amplitude)

Coleta via e-mail Instrumentos digitalizados, hospedados na internet Índice de retorno baixo: 24% (1° Momento) e 8,5% (2°

Momento)

25

Método- Análise de Dados -

Análises exploratórias Distribuição das variáveis, dados omissos e casos

extremos Tratamento pairwise para dados omissos Manutenção dos casos extremos

Estudo 1Componentes Principais

valor próprio>1; scree plot; 3% de variância explicada; interpretabilidade do fator

PAF (cargas>0,30)Alfa de Cronbach

Estudo 2ANOVA, Teste tRegressão Múltipla Padrão e Stepwise

26

Resultados Estudo 1Escalas Obtidas KMO No.

ItensValor

Próprio % Var AlfaCargas fatoriais

mín. máx.TUT1 Desempenho Didático e Domínio do Conteúdo

0,98

27 23,02 52,31 0,98 0,40 0,93

TUT2 Uso de Estratégias Motivacionais 12 18,65 42,38 0,95 0,49 0,98

TUT3 Respeito aos Participantes 5 9,84 22,36 0,92 0,41 0,52

TUTG Desempenho do Tutor 44 25,07 57,00 0,98 0,59 0,83

INT Interface Gráfica 0,96 15 8,62 57,46 0,95 0,68 0,84

RESULT Resultados e Aplicabilidade 0,88 7 3,80 54,30 0,88 0,62 0,82

27

Resultados Estudo 1Escalas Obtidas KMO No.

ItensValor

Próprio % Var Alfa Cargas mín máx

SUP1 Contexto do Empreendimento

0,91

8 5,18 34,5 0,87 0,34 0,85

SUP2 Aspectos Financeiros 7 5,23 34,87 0,88 -0,44 -0,91SUPG Falta de Suporte à Transferência 15 6,14 40,93 0,91 0,30 0,75

IMPP1 Administração do Negócio

0,97

12 10,87 45,29 0,92 0,32 0,83

IMPP2 Planejamento Financeiro 7 10,31 42,95 0,95 -0,54 -0,94

IMPP3 Análise do Mercado 5 9,20 38,33 0,90 -0,31 -0,89IMPPG Impacto do Treinamento no Trabalho (em Profundidade)

24 12,48 52,01 0,96 0,41 0,79

IMPA1 Gestão do Negócio

0,98

24 18,63 50,35 0,96 0,48 0,82IMPA2 Gestão de Pessoas 13 17,96 48,48 0,97 -0,61 -0,99IMPAG Impacto do Treinamento no Trabalho (em Amplitude)

37 20,14 54,45 0,97 0,49 0,84

28

Resultados Estudo 2- Aprendizagem -

“Tira-dúvida”, Lista de Discussão e Reação à Interface Gráfica não explicaram aprendizagem.

As seis variáveis antecedentes explicaram 6% da variabilidade nos Escores de Aprendizagem.

Escores de Aprendizagem

Número de Acessos ao Mural de Notícias

Reação a Resultados e Aplicabilidade

Número de Acessos ao Chat

=0,15

=0,13

=0,10

R²=0,06

29

Resultados Estudo 2- Impacto em Profundidade -

Reação à Interface Gráfica e Região Geográfica não entraram no modelo.

As cinco variáveis antecedentes explicaram 34% (33% ajustado) da variância de impacto em profundidade.


(em Profundidade)

Elaboração de Plano de Negócio

Falta de Suporte à Transferência


=0,44

=0,26

= -0,18

R²=0,34

30

Resultados Estudo 2- Impacto em Amplitude -

Reação à Interface Gráfica e Região Geográfica não entraram no modelo.

As cinco variáveis antecedentes explicaram 31% (30% ajustado) da variância total das respostas de Impacto do Treinamento no Trabalho (em Amplitude).


(em Amplitude)

Elaboração de Plano de Negócio

Falta de Suporte à Transferência


=0,40

=0,25

= -0,14

R²=0,31

31

Discussão Estudo 1 Instrumentos válidos e confiáveis Tutor

MulticolinearidadeCorrobora em parte Abbad (1999)

SuporteNecessidade de avaliar barreiras e restrições

ao desempenho no cargoFalta apoio familiar

ImpactoAlta correlação entre profundidade e amplitudePré-teste de empreendedorismo

32

Discussão Estudo 2 Baixa predição de aprendizagem

Medida não fidedigna e pouco uso da web Reações: apoio parcial na literatura

Tutor e interface gráfica sem poder preditivo

Suporte ainda é preditor de impactoMagnitude menor e Relação negativa

Elaboração do plano de negócioNecessária porém não obrigatória

Variáveis demográficas não explicam aprendizagem e impactoEstudar variáveis motivacionais

33

Discussão- Análises Adicionais -

Diferenças entre médiasDiferença no uso de ferramentas da web

entre concluintes e não concluintesExperiência no uso da internet não

interfere na Reação à Interface GráficaReação a Resultados e Aplicabilidade

difere em função da conclusão do cursoPossuir negócio não altera percepção de

falta de suporte

34

Considerações Finais Escalas psicometricamente válidas e

confiáveis Baixo poder preditivo das variáveis

antecedentes Necessidade de aprimoramento de escalas e

aplicação em outros contextos Desempenho do tutor e interface gráfica não

explicaram resultados de impacto Necessidade de pré-teste de aprendizagem

e empreendedorismo

35

Limitações Baixo índice de retorno

Falhas em programação e quedas de conexão

Delineamento da coleta Modelo de investigação completo não

testado Apenas um curso avaliado, em

contexto específico Aprendizagem – baixa qualidade

psicométrica

36

Contribuições Validação de 6 escalas de avaliação de

treinamento a distância Validação de medida de impacto em

profundidade Medida de impacto em amplitude

aplicável aos cursos da organização-alvo Avaliação de curso a distância Inclusão de variáveis típicas de EaD

tutor e interface gráfica

37

Agenda Analisar relacionamento entre níveis de

avaliação individual Estudar características da clientela

(variáveis motivacionais) em EaD Analisar perfil dos participantes

evadidos Aplicar e reformular os instrumentos

utilizados nesta pesquisa Avaliar impacto em amplitude em mais

momentos, incluindo medidas não-perceptuais

38

FimObrigada!

[email protected]

39

Características da Clientela Pequena contribuição dessas

variáveis na explicação de impacto e aprendizagem

Motivacionais são as mais importantes (Colquitt, LePine & Noe, 2000)

Dados demográficos: idade com correlação negativa com aprendizagem (Abbad, 1999; Pantoja, 1999; Warr & Bunce, 1995)

40

Reação Desempenho do Tutor

Contato com aluno mediado pelo tutorPapel do tutor não está claramente definido

(Maggio, 2001):Não se resume ao afetivo, de motivar e incentivar ao

alunoDomínio do conteúdo e uso de estratégias de ensino

também são defendidosProfessor presencial avaliado em 3 dimensões:

Domínio do conteúdo, estratégias de ensino e entrosamento

Interação com o tutor e interatividade do ambiente virtual: complementares nas ações de EaD (Belloni, 1999)

41

Reação Interface Gráfica

Influente na produtividade e conforto dos usuários

Uso linear, sem uso do hipertexto (Dean & Webster, 2000)

Raros casos de medidas de avaliação do ambiente de ensino na web (p.e., Sarmet & Silvino, 2002)

Critérios ergonômicos, ainda não validados estatisticamente (Scapin & Bastien, 1993)

Interface gráfica e exigências cognitivas

42

Resultados e Aplicabilidade (Abbad, 1999; Alves, Pasquali & Pereira, 1999; Alliger et al., 1997)Avaliação de Utilidade

Reações: falta de critérios rigorosos, pouca explicação de procedimentos e nenhuma comparação entre níveis

Reação

43

Aprendizagem Processo de aquisição e retenção de

CHAs, expresso por mudança em comportamento

Pré e pós-testagem para mensurar alcance dos objetivos

Avanços escassos (Borges-Andrade, 2002) Pouco conhecimento sobre variáveis

explicativas Não se configura como preditora de

impacto do treinamento no trabalho

44

Suporte à Transferência Características específicas do ambiente de

trabalho que podem restringir ou facilitar a aplicação dos conhecimentos aprendidos no treinamento

Importância da variável na explicação de impacto corroborada em diferentes ambientes organizacionais, tipos de treinamento e amostras

Não há estudo dessa variável em TaD Restrições situacionais: aspectos prejudiciais ao

desempenho (Peters & O’Connor, 1980) Natureza do curso avaliado implica redefinição da

medida (comunidade, família, governo)

45

Impacto do Treinamento Profundidade vs. Amplitude

Efeitos específicos do treinamento, relacionados aos objetivos de ensino

Efeitos gerais do evento sobre o desempenho de tarefas relacionadas diretamente ou não ao conteúdo

Dificuldade de validação (Borges-Andrade, 2002) Amplitude para o curso avaliado:

Medida de empreendedorismo e técnicas gerenciais Não há relato empírico sobre definição de

características do empreendedor Criatividade, iniciativa e inovação

avaliação de treinamento a distância: reação, suporte à transferência e impacto do...

Documents