influÊncia de tecnologias mÓveis na capacitaÇÃo em … · 2015-05-06 · g2 pré-teste dados...

UNIVERSIDADE DE BRASÍLIA – UNB

PROGRAMA DE PÓS-GRADUAÇÃOEM ADMINISTRAÇÃO – PPGA

INFLUÊNCIA DE TECNOLOGIAS MÓVEIS NA CAPACITAÇÃOEM EMPRESA DO MERCADO FINANCEIRO

EM CONTEXTO DE E-LEARNING

BRASÍLIA2015

ÁREA DE CONCENTRAÇÃO:ESTUDOS ORGANIZACIONAIS GESTÃO DE PESSOAS

ORIENTADORA: PROFª DRª. GARDÊNIA DA SILVA ABBADGEORGE LEAL SCHAFFLOR MELLO

INTRODUÇÃO

• Fenômeno: aprendizagem humana• Nível de análise: micro• Contexto: organizacional• Variável dependente (critério): transferência de

aprendizagem• Variável independente: utilização de dispositivo móvel como

suplemento à aprendizagem• Delineamento: quase-experimento com pré e pós-teste• Modelagem: mista (qualitativa e quantitativa)• Paradigma de aprendizagem: cognitivista-objetivista

• Educação corporativa em nível estratégico. • Qualificação como diferencial competitivo.

Éboli (2010)

EUA em 2010: US$ 170 bilhões em TD&E

Benefícios do Treinamento Aguinis & Kraiger (2009)

SOCIEDADE

ORGANIZAÇÃO

INDIVÍDUO-EQUIPE

Nív

eis

Busca do Modelo e-Learning Verespej (2001) e Hyochang (2007)

• Novos empregados• Introdução de novos

produtos• Treinamento de grande

volume de treinandos• Ambiente mutável

Mot

ivos

Cultura digitalAgilidade

Massificação

Adaptação

Médias de Transferência

• Média de transferência no trabalho: 33%Abbad et al. (2012)

• Média de transferência no modelo e-learning: 12%Hyochang, Sang-Gune Kichan (2007)

Objetivo Geral de Pesquisa:

Identificar se o uso de dispositivo móvel, inserido em uma estratégia de mobile learning, em ação de

treinamento organizacional incrementa transferência de aprendizagem.

• Pouco embasamento teórico em treinamento a distância.Salas & Canon Bowers (2001)

• Incerteza quanto aos resultados do e-learning.Abbad, Mourão e Zerbini (2014)

• Ambiente de negócios de alta velocidade.Wang et al. (2007)

• Necessidade de produtos e serviços mais competitivos.Freitas e Borges-Andrade (2004)

Contexto

Org

aniz

acio

nal

Teór

ico

Contexto

• Empresa do ramo financeiro• Mais de 5 mil pontos de atendimento no País• 117 mil funcionários• R$ 1 trilhão em ativos• Presente em mais de 20 países• Modelo de Universidade Corporativa• Volume de treinamentos em e-learning: de 16 em janeiro de

2013 para 138 em outubro de 2013• 5% do investimento em educação eletrônica para o m-learning

• Econômicos• Parcerias internacionais• Tempo curto para atingir mercados• Satisfação do estudante• Flexibilidade da aprendizagem• Comunidades virtuais• Colaboração• Bibliotecas virtuais

Ben

efíc

ios

Subhashni (2008)

Justificativa

Referencial Teórico

Conhecimento com "o" recurso de produçãoDrucker (1993)

Treinamento integrado à estratégia corporativaSalas & Canon Bowers (2001)

Expectativa de transferência positiva implica grandes investimentos.Zerbini e Abbad (2010)

Preocupação com avaliação de ações educacionais a distância, principalmente baseadas em tecnologia (ineficácia e descrédito)

Abbad, Carvalho e Zerbini (2006)

Conhecimento, treinamento e avaliação

Premissas

Conhecimento, treinamento e avaliação

Treinamento Avaliação Transferência e-Learning Mobile-Learning

Salas e Cannon-Bowers (2001)

Gagné e Briggs (1976), Scriven (1978) e

Stufflebeam (1978)Baldwin e Ford (1988) Driscoll (2002) Driscoll (2005)

Zerbini e Abbad, (2010)

Borges-Andrade (1982)

Abbad, Pilati e Pantoja (2002)

Graham e Dziuban (2003) O’Malley et al. (2003)

Zerbini e Abbad, (2014)

Abbad (1999) Zerbini (2007) Romiszowski 2003 Matin et al. (2011)

Conhecimento, treinamento e avaliação

Treinamento Avaliação Transferência e-Learning Mobile-Learning

Estruturação e integração do treinamento à

estratégia

Bases para os modelos integrados posteriores

Relação com CHAsPermanência

Transferência positivaFerramenta poderosa

Estratégia de entrega (referência de outros

modelos)

Grandes investimentos em

treinamento

Modelo de Avaliação Integrada e

Somativa - MAIS

Relação com o resultado

organizacional

Eficácia, capacidade de acesso e custo-benefício

Definição baseada em mobilidade e possibilidades

Impacto em profundidade e

amplitude

Modelo de avaliação Impact - variáveis

exógenas

Busca de fatores explicativos da transferência

Potencialidades dos modelos

Tendências: ubiquidade, digital objects e semantic

applications

Avaliação denecessidades

Planejamentoe execução

Avaliação

1

23

Abbad et al. (2012)

Ciclo de Avaliação

Mobile Learning

É a aprendizagem que se dá quando o aprendiz não está em lugar fixo, pré-determinado ou quando o aprendiz utiliza as oportunidades oferecidas pelas tecnologias móveis.

O’Malley et al. 2003

• Martin et al. (2011) realizaram meta-análise nos estudos do projeto Horizon Reports, que tratam do impacto das tec (2004/2014)

✤ 2007 - primeiro registro da tecnologia móvel, prevista na ocasião para ter impacto em 2010. Digital learning object - conteúdos digitais, manipuláveis “descobríveis” (busca);

✤ Semantic Applications - sistemas que reagem ao usuário e extraem significados das informações;

✤ Computação ubíqua.

Mobile Learning

✤ Muyinda (2007) - os conteúdos ainda são desenhados para computadores tradicionais.

✤ Driscoll (2005) - quatro dimensões de exame do mobile Learning: conteúdo, dispositivo, conectividade e colaboração. Duas estratégias: comunicação e conteúdo.

✤ Contexto: nível de competição de estímulos é altíssima: chats, pushes, paisagem, campo de visão restrito (interferência de imagens) e outros.

Mobile Learning

✤ Mobilidade (ubiquidade);✤ Linguagem táctil/gestual;✤ Dimensões - portabilidade;✤ BYOD - cultura digital de intimidade e baixo custo;✤ Oferta maciça de aplicativos;✤ Baixo custo dos aplicativos;✤ Facilidade de desenvolvimento de aplicativos;✤ Rastreamento e monitoramento de atividades (apoio à

avaliação).

Vantagens do modelo mobile

✤ Modelos baseados em e-learning;✤ Fragmentação do conteúdo;✤ Tempo de dedicação;✤ Dimensões das telas (rolagem e digitação);✤ Metacompetências necessárias e autoeficácia;✤ Dispositivo corporativo x pessoal;✤ Carência de estudos conclusivos.

Limitações do modelo mobile

• Carvalho (2003) - baixa correlação entre reações ao tutor, interface gráfica.

• Aguinis & Kraiger (2009) - resultados do treinamento em três níveis e melhoria do desempenho por meio de treinamento.

• Abbad (2009) - pouca quantidade de estudos de variáveis em e-learning.• Pereira (2009) - predominância de estudos correlacionais, modelo de

instrumentos padronizados e forte participação de autoavaliação.• Santos Jr. (2012) - confirma variáveis de suporte psicossicosocial,

motivação, pré-treinamento, e outras como preditoras de transferência.• Este estudo (2014) - correlação positiva entre atitudes dos treinandos e

suporte à aplicação.

Revisões de Literatura Transferência

• Wu et al. (2012) localizou 168 artigos entre 2003 a 2010. 86% sobre resultados, que não apontaram explicações.

• Este estudo (2014) localizou 19 artigos entre 2005 e 2014. Buscou em 24 periódicos A1 a B2 com as palavras-chave: mobile learning, m-learning, aprendizagem móvel, aprendizagem ubíqua e dispositivos móveis. Estudos mostram o caráter de apoio do suporte móvel (fichas de memorização, resumos, enquetes).

MobileRevisões de Literatura

Método

• Curso Oficina Negocial Micro e Pequena Empresa.• Curso obrigatório.• Segmento MPE - carteira de R$ 100 bilhões.• Perfil da clientela: gerentes de negócio e assessores de negócio.• Volume do público: 5 mil funcionários.• Competências envolvidas: identificação e aproveitamento de

oportunidades e conhecimento de produtos, serviços e processos de TI.• Profissionais precisam de consulta e fazem serviços de

atendimento fora das dependências da organização.

Características do treinamento avaliado

• Estudo 1 - Preparação do treinamento e instrumentos de coleta de dados.

• Estudo 2 - O quase-experimento: aplicação dos testes e averiguação dos resultados.

Planificação do estudo

• Estudo 1Objetivos:• Examinar a pertinência do desenho instrucional e seus elementos constitutivos;• Analisar a estratégia instrucional adotada;• Construir roteiro de análise, do grupo focal e os testes situacionais;

• Estudo 2Objetivos:• Mensurar a transferência de treinamento em situação de simulação da atividade

de trabalho;• Mensurar a reação ao recurso mobile e• Analisar os resultados.

Planificação do estudo

• Análise do planejamento: exame dos objetivos instrucionais e técnicas aplicadas, bem como do material instrucional.

• Instrumento de coleta: roteiro com itens relativos ao desenho instrucional, contexto, expectativas e propósito do treinamento.

• Técnica de análise de dados: análise documental.

• Grupo focal: construção dos testes situacionais com base em Anderson et al. (2001).

Estudo 1 - Preparação do treinamento

• factiblidade dos objetivos;• adequação das estratégias de

aprendizagem à clientela e contexto;• carga horária;• linguagem;• qualidade da interface;• usabilidade;• pertinência da aplicação dos

recursos, do uso do mobile.

Pontos abordados na avaliação do desenho instrucional:

• Os resultados serão objeto de relatório a ser discutido com a equipe técnica da organização a fim de se alinhar a estratégia e se fazer proposições no desenho instrucional.

• Fundamentar os instrumentos de medida.

Funções da análise:

• Objetivos serão classificados de acordo com a taxonomia de Anderson.

• Utilização de tabela de especificação para alocação dos objetivos e processos mentais relativos.

• Os três testes serão aplicados com modelos diferentes para evitar a memorização de itens.

• Itens de resposta aberta.

Conteúdos

Comportamentos descritos nos objetivos específicos

Aplicar Analisar Avaliar Criar

Técnicas de negócio, perfil de produtos, perfil da carteira, estratégias de oferta

Os conceitos de negócio, correlacionando produto, cliente e técnica de oferta/venda

Os diversos produtos disponíveis para a carteira específica

O perfil do cliente

Avaliar a pertinência e adequação dos produtos e do perfil dos clientes

Solução personalizada a fim de concluir a operação negocial

• Exemplo de Tabela de Alocação para embasar a avaliação e medidas

• Anderson - tarefas complexas (integração de processos) - mapa de dupla entrada - itens com diferentes níveis de complexidade.

Estudo 2 - Quase experimento

Para a realização do quase-experimento, serão definidos três grupos: G1, G2 e G3

• G1- grupo experimental - fará o treinamento com livre acesso ao recurso em exame

• G2 - grupo controle - fará o treinamento, mas sem acesso aos recursos mobile.

• G3 - grupo neutro - não fará o treinamento e não terá acesso aos recursos mobile.

• Pré-teste (T1 - Teste Situacional 1) aplicado aos três grupos - repertório de entrada e dados profissionais e demográficos.

• Pós-teste (T2 - Teste Situacional 2) ao final do treinamento - avaliação de reação ao treinamento e ao recurso mobile. Teste situacional 2.

• Após 30 dias, novo pós-teste (T3 - Teste Situacional 3 - remoto) - avaliação de transferência em G1 e G2.

• Testes serão aplicados na mesma data e respostas serão transformadas em escore e pareadas.

T1Início do treinamento

T2Final do treinamento

T330 dias após o final do

treinamento

G1 Pré-testeDados dos participantes

Pós-teste 1Reação ao treinamento

Reação ao recurso mobile

Pós-teste 2Suporte à transferência

G2Pré-teste

Dados dos participantesPós-teste 1

Reação ao treinamentoPós-teste 2

Suporte à transferência

G3Pré-teste

Dados dos participantesPós-teste 1 Pós-teste 2

As respostas dos testes T1, T2 e T3 serão transformadas em escores e serão pareadas aos questionários. Caso haja diferenças no T1, serão feitas análises de covariância.

Instrumentos de avaliação de transferência

• Testes situacionais, com itens construídos a partir dos objetivos instrucionais (transferência) e itens desenvolvidos para o evento (reação) com apoio da equipe técnica que desenvolveu o treinamento.

• Os testes situacionais têm a função de simular as situações de trabalho.

Hipóteses de comparação entre grupos:

• H0 - não há diferenças entre as médias dos grupos no T1.

• H1 - há diferenças de efeito entre as médias nos três grupos no primeiro pós-teste, T2.

• H2 - Há diferenças de efeito entre as médias obtidas pelos participantes dos três grupos no segundo pós-teste.

• H3 - Os efeitos na transferência serão maiores para os participantes do G1

Hipóteses

Hipóteses de ganho de aprendizagem e transferência:

• H0 - não há diferenças entre as médias obtidas nos três grupos nos três testes.

• H1 - Há diferenças de ganho de aprendizagem e transferência entre os grupos, sendo que o grupo experimental G1 terá o maior ganho.

Hipóteses

• Testes t e Anova para os testes situacionais.

• Ancova para o caso de haver diferenças nos escores dos três testes.

• Haverá avaliação do grau de dificuldade por meio do teste não-paramétrico Wilcoxon. Os testes não devem apresentar diferenças dessa natureza fim de não interferir nos resultados esperados e produzir explicação alternativa.

Procedimentos de análise de dados

Maio/2015: • construção do instrumento de teste situacional e dos roteiros de

grupo focal• análise documental;• avaliação do material instrucional do curso e realização do grupo

focal;• análises dos dados levantados;• intervenção no desenho instrucional pela adição do recurso móvel.

Junho/2015:• desenvolvimento do objeto digital de aprendizagem.

Cronograma

Julho/2015 • aplicação do recurso no curso.

Agosto/setembro 2015 • análise dos resultados obtidos;• construção dos relatórios e• incorporação dos resultados e análises à pesquisa.

Novembro/2015: • finalização do trabalho.

Dezembro/2015:• defesa da dissertação.

Cronograma

Referências

Abbad G., Mourão L., Meneses P., Zerbini, T., Borges-Andrade J., Vilas-Boas R. (2012) Medidas de Avaliação em Treinamento, Desenvolvimento e Educação. Porto Alegre.

Abbad, G.S.; Pilati, R.; Borges-Andrade, J.E & Sallorenzo, L.H. (2012) Transferência de Treinamento e Impacto do Treinamento em Profundidade. In: Medidas de Avaliação em Treinamento, Desenvolvimento e Educação. Porto Alegre: Ed.Artmed. Capítulo 9, p. 145 – 160.

Abbad, G.S., Mourão L., Borges-Andrade, J.E. (2007) Treinamento, Desenvolvimento e Educação em Organizações e Trabalho – Porto Alegre : Artmed. Capítulos 18 e 23.

Aguinis, H. & Kraiger, K. (2009) Benefits of Training and Development for Individuals and Teams, Organizations and Society. Annual Review of Psychology, 60, p. 451-474.

Anderson, Krarathwohl, Airasian, Cruikshank, Mayer, Pintirch, Raths e Wittrock. (2001). A Taxonomy for learning, teaching and Assessing: A revision of Bloom’s Taxonomy of Educational objectives.

Baldwin, T.T., & Ford, J.K. (1988). Transfer of Training: a Review and Directions for Future Research. Personnel Psychology, 41(1), 63-105.

Borges-Andrade, J.E; Abbad, G.S; Mourão, L. (2007) Treinamento, Desenvolvimento e Educação em Organizações e Trabalho. Fundamentos para Gestão de Pessoas. Ed.Artmed. Porto Alegre.

Driscoll, M., Carliner, S. (2005). Advanced Web-Based Training Strategies. San Francisco-CA. Pfeiffer.

Éboli, M., Fischer, A., Moraes, F. Amorim, W. (2010) Educação Corporativa. São Paulo, Ed. Atlas.

Gonçalves, A. & Mourão, L. (2011) A expectativa em relação ao treinamento influencia o impacto das ações de capacitação? Revista de Administração Pública. V.45, n.2, p. 483-513, 2011.

Hyochang, L., Lee, S., Kichan, N. (2007) Validating E-learning factors affecting training effectiveness. International Journal of Information Management. Cheonan, Korea p.22-35.

Martin, S., Diaz, G., Sancristobal, E., Gil, R., Castro, M., Peire, J. (2011) New Technology trends in education: Seven years of forecast and convergence. Elsevier - Computers & Education 57.

Kinshuk, S., Sutinen, E. e Goh, T. (2003) Mobile Technologies in Support of Distance Learning. Asian Journal of Distance Education. New Zealand.

Muynda, P., (2007) MLearning: pedagogical, technical and organisational hypes and realities. Campus-Wide Information Systems Vol. 24 No. 2, 2007 pp. 97-104 q Emerald Group Publishing Limited. Kampala, Uganda.

Moura, M.L.S. e Ferreira, M.C. Projetos de Pesquisa Elaboração, Redação e Apresentação. Ed. Eduerj, Rio de Janeiro, 2005.

Nogueira, R. (2006) Efeitos do tempo de exposição ao feedback na aprendizagem em treinamento baseado em web. Dissertação de Mestrado. Universidade de Brasília.

O’Malley (2003) Guidelines for Learning/Teaching/Tutoring in a Mobile Enviroment. Nottinhgham/UK. MOBIlearn/UoN,UoB,OU/D4.1/1.0.

Romiszowski, A. (2003) O futuro de e-learning como inovação educacional: fatores influenciando o sucesso ou fracasso de projetos. Revista Brasileira de Aprendizagem Aberta e a Distância. São Paulo.

Salas, E. & Cannon-Bowers, J. (2001) The science of training: a decade of progress. Annual Review of Psychology, v. 52, p. 471-499.

Subhashni, A. (2008) A Review of Benefits and Limitations of Online Learning in the Context of the Student, the Instructor, and the Tenured Faculty. International Journal on E-Learning, v7 n1 p5-22. Chesapeake, VA 23327, USA

Wu, W.H., Wu, Y.C.J., Chen, C.Y., Kao, H.Y., Lin, C.H., Huang, S.H. (2012) Review of trends from mobile learning studies: a meta-analysis. Computers & Education, v.59, nº 2, Pag. 817–827.

Yi-Shun W., Hsiu-Yuan Wang, Daniel Y. Shee (2007) Measuring e-learning systems success in an organizational context: Scale development and validation. Elsevier - Computers in Human Behavior 23.

Zerbini, T. (2007) Avaliação de Transferência de treinamento em curso a distância. Tese de doutorado. UnB.

Zerbini, T; Coelho Júnior, F.A; Abbad, G.S; Mourão, L; Alvim, Silvana & Loiola, E. (2009) Transferência de treinamento e impacto do treinamento em profundidade. In: medidas de avaliação em treinamento, desenvolvimento e educação. Porto Alegre: Ed.Artmed. Capítulo 8, p. 127 – 144.

Zerbini, T. & Abbad, G.S. (2010) Transferência de Treinamento e Impacto do Treinamento no Trabalho: Análise Crítica da Literatura. Revista Psicologia: Organizações e Trabalho, p. 97 – 111, jul-dez.