Download - AVALIAÇÃO DA EFETIVIDADE DE AÇÕES DE TD&E: … · 5) julgar e aplicar padrões de qualidade, ... z a c i o n a l Profa. Dra. ... Perfis Conjunto Mínimo de

AVALIAÇÃO DA EFETIVIDADE DE AÇÕES DE TD&E: DESAFIOS METODOLÓGICOS E PRÁTICOS

Professora: Dra. Gardênia da Silva AbbadProgramas de Pós-Graduação em Psicologia Social e do Trabalho e

Administração

Tópicos

▪Avaliação de treinamento: definição e objetivos ▪ Eficácia e efetividade em TD&E

▪Níveis de avaliação

▪Preditores e modelos de avaliação

▪ Impacto de treinamentos no trabalho

▪Mudança e Valor final de ações de TD&E

▪Desafios metodológicos e práticos

Profa. Dra. Gardênia da Silva Abbad

Bell Ford

Kraiger

Tannenbaum

Noe

Bell, B.S.; Tannenbaum, S.I.; Ford, K.; Noe, R.A.; Kraiger, K. (2017). 100 Years of training and development research: What we know and where we should goJournal of Applied Psychology


Autores brasileiros – TD&E

Núcleo Pronex-CNPqProfa. Dra. Gardênia da Silva Abbad

Revisões de literatura (25)


Linhas de pesquisa▪ Avaliação de necessidades de treinamento

▪ Características dos treinandos ▪ Clientelas específicas

▪ Projeto, desenho, métodos de treinamento

▪ Contextos de treinamento ▪ antes, durante e após

▪ Avaliação de treinamento ▪ Reações, Aprendizagem

▪ Transferência de Treinamento – Comportamento do Cargo – Impacto do Treinamento no Trabalho

▪ Mudança e Valor FinalProfa. Dra. Gardênia da Silva Abbad

Avaliar e medir: Qual é a diferença?


Objetivos da Avaliação

▪ 1) verificar cumprimento de objetivos, desempenhos de pessoas e instituições (Tyler, 1949),

▪ 2) julgar o mérito de ações (Hamblin, 1978; Scriven, 1991)

▪ 3) analisar processos e observar situações a partir do olhar de agentes externos (Worthen, Sanders, & Fitzpatrick, 2004)

▪ 4) reconhecer o nexo causal entre ações e eventos (McLauglin & Jordan, 2010; Oston, 2007),

▪ 5) julgar e aplicar padrões de qualidade, utilidade, eficácia e efetividade àquilo que foi avaliado (Bloom, Hastings, & Madaus, 1983; Khandker, Koolwal, & Samad, 2010; Vianna, 2000),

▪ 6) suscitar reflexão sobre ações (Hoffmann, 1991)

▪ 7) fomentar comunicação entre atores sociais diversos (Guba & Lincoln, 1989), dentre eles os stakeholders (Knowlton & Phillips, 2009; McLaughlin & Jordan, 2004; 2010).

Fonte: Souza (2013)Profa. Dra. Gardênia da Silva Abbad

AVALIAÇÃO DE

TREINAMENTO: NÍVEIS

Reação

Aprendizagem

Comportamento

Mudança

Valor Final

Modelos Tradicionais

Foco em resultados

Hamblin (1978)

Kirkpatrick (1976, 1977)

Individual

organizacional Profa. Dra. Gardênia da Silva Abbad

AVALIAÇÃO DE TREINAMENTO –MODELOS INTEGRADOS

Alliger e Janak (1989) observaram após análise de 203 artigos que somente oito artigos relataram correlações entre dois ou mais níveis de avaliação.

Tannenbaum e Yukl (1992) observaram que não há suporte empírico à suposição de relacionamento direto causal entre os níveis de avaliação.

Inúmeros resultados de pesquisas nacionais e estrangeiras indicam que cada efeito é explicado por conjuntos diferentes de variáveis

Reação

Aprendizagem

Comportamento

Mudança Organizacional

Treinamento

Clientela

Suporte

Preditores Critérios


-taxonomias de resultados de aprendizagem e de treinamentos e abordagens de desenho instrucional

-interações (6 tipos): tutor-tutor, tutor-aluno,aluno-aluno,aluno-material,tutor-material,material-material ou interações com instrutor etc.

- desenhos ou métodos (modelação comportamental, PBL, aprender fazendo, aprendizagem por cenários, ambientes abertos de aprendizagem, jogos, simulações realísticas, simulações de alta e baixa fidelidade)

-interfaces gráficas e tipos de ambientes (manipulação, experimentação, armazenamento, interação, apoio),realidade aumentada, AI, internet das coisas, simuladores

-mídias (internet, computador, videoconferência, rádio, tv, cd, dvd, mobile, papel), uso de hipertexto, hipermídia e hiperbases

Preditores: Características do Treinamento


Preditores: Suporte, Clima, Contexto, Ambiente

Suporte psicossocial e MaterialClima para Transferência

Suporte à AprendizagemContínua

Restrições Situacionais à Transferência (ead-tad)

Suporte gerencial

Cultura de Aprendizagem

Clima para a transferência

Fonte do suporteColegas, gerentes

OrganizaçãoFamília, ambiente

externo

Tipo de Influência

Distal Proximal

Relação TemporalSuporte Antes-Durante-Após o

Treinamento

FocoSuporte -Restrição


Preditores - Características da Clientela

1. Repertório de Entrada

3. Psicossociais 4.Motivacionais 5. Cognitivo-comportamentais

Locus de Controle

Auto-eficácia

Motivação para Aprender

Motivação para Transferir

Estratégias Comportamentais

Estratégias Cognitivas

Valor Instrumental Estratégias Auto-regulatórias

2. Sócio-Demográficas

Sexo, idade, escolaridade, formação, etc.

Experiências anteriores

Conhecimentos habilidades e

atitudes prévias

Tempo de serviço, cargo, função, etc.

Condição sócio-econômica

Prazer e Sofrimento

Comprometi-mento

Figura 1. Organizador avançado do capítulo 21 de TD&E em O&T.


Adaptado: Passmore e Velez (2015)

Modelos Critérios de avaliação

Kaufmann & Keller (1994) Enabling-Reação

Aquisição

Aplicação

Resultados Organizacionais

Resultados societais

Warr, Bird & Rackham - CIRO

(1970)

Contexto

Insumos

Reações

Resultados

Stufflebeam – CIPP (2003) Contexto

Insumo

Processo

Produto

Phillips – ROI (2007) Reação, Aprendizagem

Aprendizagem aplicada no trabalho,

Resultados de negócio

Retorno de investimento

AVALIAÇÃO DA EFETIVIDADE EM TD&E

CONTEXTO

INSUMOS

PROCESSOS

PRODUTOS

RESULTADOS


Modelos de avaliação: relações entre componentes

Contexto

Insumo Processo Produto Resultado Impacto

InstrutoresOrçamento previstoDesenhistas instrucionaisRecursos

Atividades de

treinamento

Profissionais treinados

ReaçõesAprendizagem

Transferência para o trabalhoMelhoria do desempenho

ProblemaDemanda

Necessidade de

Treinamento


Representação da Associação do Modelo Lógico com Modelo IMPACT – Abbad – 2013 - CNPq

RecursosInsumos

AtividadesProcessos

ProdutosResultados imediatos

Resultados de médio-longo prazosNecessidades


Desafios

▪ Descrever e compreender as ligações entre os elementos que compõem o sistema de treinamento

Necessidade – insumos/recursos-atividades produtos/resultados imediatos/resultados tardios

▪ Identificar variáveis externas ao treinamento que afetam seus resultados

▪ Explicações alternativas

▪ Externalidades

- Escolher fontes (humanas/documentais) e medidas confiáveis

- Construir ou adaptar instrumentos e procedimentos de avaliação existentes (com evidências de validade)

É possível realizar esse tipo de análise nas organizações?

Resposta: Sim Profa. Dra. Gardênia da Silva Abbad

Treinamento, resultados e explicações alternativas ou externalidades

Treinamento

Aprendizagem

Retenção,Generalização

Transferência

Impacto em amplitude

Mudança na organização

Valor final

Outras influências

Outras influências

Outras influências

Outras influências

Outras influências

Outras influências

Mensuração Indivíduo – participante

do treinamento


Caso – Stella Cristina Pereira (2009)


Caso - Pereira (2009)


4. Longo Prazo (Organizações)

3. Longo Prazo (Sociedade)-Impacto no desenvolvimento social das instituições atendidas

-Impacto do programa na rede solidária

b

A

2. Médio Prazo-Expressão de novas competências no trabalho (desempenhos individuais)

-Sistematização de práticas de desenvolvimento e Gestão Social

-Potencialização dos espaços de aprendizagem e engajamento --Difusão social dos conhecimentos produzidos

-Elaboração e gestão de projetos de intervenção e mudança em contextos

sócio-territoriais de diferentes escalas de poder -Elaboração de Diagnósticos.

- Implementação das ações previstas nos projetos de intervenção

- Eficácia dos Diagnósticos

1. Curto Prazo- Satisfação com o curso

- Aprendizagem dos conteúdos (S1 A S5)

-Motivação para aplicação dos conteúdos aprendidos

5. Longo Prazo

(ONGs e OSCIPs)

6. Longo Prazo Parcerias Público- Privadas)

Dissertação - Projeto

Residência Social

S1

S2

S3

S4

S5

Perfis

Conjunto

Mínimo de

Competências

T 1

...

INGRESSANTES EGRESSOSEM FORMAÇÃO

T 2

T 3

Caso - Modelo Lógico Bolo de Noiva – Souza (2013)

TRANSFERÊNCIA DE TREINAMENTO E

IMPACTO DO TREINAMENTO

NO TRABALHO – EM PROFUNDIDADECapítulo 24 – TD&E – 2006Capítulo 8 – Medidas de avaliação - 2012



Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.129Profa. Dra. Gardênia da Silva Abbad

Impacto no Trabalho e Transferência de Treinamento

▪Transferência de treinamento refere-se à aplicação eficaz, no ambiente de trabalho, de conhecimentos, habilidades e/ou atitudes aprendidos por meio de treinamentos.


O que medir?

Resultados no nível do indivíduo

▪ Afetivos (atitudes frente a pessoas, objetos, aspectos do trabalho e não trabalho, si próprio e aprendizagem; motivação no trabalho; auto eficácia; bem estar mental)

▪ Cognitivos (uso de informações verbais, conceitos e regras e solução de problemas ou criatividade)

▪ Psicomotores (velocidade, fluidez)

▪ Efeitos instrumentais extrínsecos (aumento, promoção e novos trabalhos)

▪ Efeitos instrumentais relacionais (networking, relações de colaboração, capacitação de outras pessoas)

▪ Efeitos instrumentais não relacionados ao trabalho (mudanças em relações ou desempenhos fora do trabalho, novos papéis em outras esferas de vida).


Etapas – construção de medidas

Zerbini, Coelho Jr., Abbad, Mourão, Alvim, Loiola – 2012. p.131Profa. Dra. Gardênia da Silva Abbad

• Questionários impressos e online

• Auto (treinandos) e hetero (supervisores, colegas ou clientes)

• Combinação seria o ideal.

– Validade e alta precisão confirmadas seguidamente.

– Validar os resultados dessas avaliações baseadas em julgamentos humanos com resultados de desempenho (indicadores objetivos).

• Estudos permitiram avanços importantes nesse nível de avaliação.

Como medir impacto no trabalho individual?


As medidas impacto em amplitude são mais gerais:

•itens gerais e aplicáveis a quaisquer tipos de treinamentos que objetivam efeitos no desempenho profissional do egresso no trabalho (Abbad, 1999);

• itens que espelham objetivos gerais de programas educacionais ou de capacitação (Carvalho (2003), Pereira (2009), Neto (2009);

•itens de avaliação de desempenho funcional, escolhidos entre aqueles que ilustram dimensões do desempenho possivelmente afetadas pelo programa ou pelo treinamento em foco, como os utilizados por Nóbrega (2003).

•Resultados objetivos do trabalho.

Como medir impacto no trabalho?

▪ As medidas de transferência (impacto em profundidade) são específicas para cada treinamento ou programa

▪ Resultados objetivos de desempenho do egresso (antes, durante e após)

▪ Itens construídos a partir de objetivos instrucionais contidos na documentação do treinamento e/ou extraídos de relatos de instrutores, desenhistas instrucionais, estudantes.

▪ Medidas de desempenho individual disponíveis na organização (nem sempre válidas e confiáveis)


IMPACTO DO TREINAMENTO NO TRABALHO – MEDIDA EM AMPLITUDE

Livro: Medidas de Avaliação em TD&ECapítulo 9 – páginas 145-160Gardênia da Silva AbbadRonaldo PilatiJairo Borges-AndradeLucia Henriques Sallorenzo



Representação esquemática das relações entre treinamento e resultados, adaptada de Taylor e O`Driscoll (1998) Profa. Dra. Gardênia da Silva Abbad

O que é impacto em amplitude?

▪ Impacto em amplitude é o efeito da transferência de treinamento sobre o desempenho do egresso.

▪Difere do impacto em profundidade em termos da abrangência e da natureza do relacionamento que mantém com o desempenho do egresso no pós-treinamento.


Questionário de Autoavaliação de Impacto em Amplitude

Escala de Concordância: 1 - discordo Totalmente e 5 - concordo totalmenteConstruído em 1999 por Abbad, validado em diversas organizações. Estrutura empírica confirmada em 2004 por Pilati e Abbad., 2005Profa. Dra. Gardênia da Silva Abbad

Exemplos de itens – impacto em amplitude - curso para empreendedores

Renata Carvalho (2003)


..?!!

O que mais medir e avaliar?


O que mais medir e avaliar?

Variáveis interferentes – preditivas de resultados:

▪ Suporte ao treinamento

▪ Suporte externo e interno à transferência de treinamento

Externalidades - Suporte


Impacto e Desempenho

Fontes: Abbad (1999) e Abbad; Borges Andrade (2004, 2014)

rrr


Suporte PSICOSSOCIAL à Transferência: refere-se ao apoio de chefes e colegas ao uso de novas habilidades no trabalho (fator 1).

Abbad, 1999Abbad e Sallorenzo, 2001


Suporte Material à Transferência: refere-se à disponibilidade e qualidade dos

recursos materiais necessárias ao uso eficaz de novas habilidades no

trabalho

Suporte Material

Abbad e cols (2012). P. 244-263


Exemplos de itens de Gestão e carga de trabalho

Quantidade de atribuições e serviços a serem realizados no dia-a-dia de trabalho.

Quantidade de funcionários na unidade para atender a outras demandas de trabalho.

Quantidade de metas a serem cumpridas além das metas relativas ao DRS.

Distribuição de atividades entre os funcionários.

Disponibilidade de tempo para aplicar, no trabalho, o que aprendi no curso DRS.

Grau de prioridade dada às atividades de DRS em relação às outras atividades de trabalho.

Prazos para realização das etapas da metodologia DRS.

Número de funcionários treinados na Agência que atuam com DRS.

Suporte Interno

Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 –PSTO


Exemplos de itens de Suporte Externo à Organização

Engajamento da comunidade e dos líderes comunitários em discussões e na busca de soluções para o desenvolvimento regional sustentável.

Interesse da comunidade e dos líderes comunitários pelo sucesso da implementação do plano de negócios DRS.

Apoio de parceiros (órgãos públicos e privados) de acordo com suas competências, para o planejamento e a realização das ações de DRS.

Nível de concertação dos membros da equipe DRS.

Potencial econômico do meu Município ou região para implementar a estratégia DRS (atividades produtivas, fatores climáticos, mão-de-obra, desenvolvimento, etc).

Suporte Externo

Fonte: Dissertação de mestrado - Stella Cristina Moraes Pereira – 2009 –PSTO Profa. Dra. Gardênia da Silva Abbad

MEDIDAS DE IMPACTO DE TD&E: O NÍVEL DA MUDANÇA ORGANIZACIONAL

Isa Aparecida de FreitasLuciana MourãoCapítulo 10



Treinamento

Aprendizagem

Retenção,Generalização

Transferência

Impacto em amplitude

Mudança na organização

Valor final

Outras influências

Outras influências

Outras influências

Outras influências

Outras influências

Outras influências


AVALIAÇÃO DE TREINAMENTO: MUDANÇA E VALOR FINAL

Mudança refere-se aos efeitos produzidos poreventos educacionais nos processos detrabalho dos grupos e da organização. Podemser mensurados por meio de indicadores deresultados e/ou de mudanças no desempenhoe atitudes de grupos.

Valor Final refere-se aos efeitos globais dotreinamento sobre indicadores organizacionaisde resultados e produtividade.

Freitas e Mourão (2012), capítulo 10, p. 163-176Mourão e Meneses (2012), capítulo 11, 177-189.


O que medir? O que não medir?

▪Mudanças que a ação de TD&E possa ter provocado na organização.

▪O foco deve ser no comportamento da organização ou de suas unidades.

▪Efeitos de médio e longo-prazos.


Impacto no Nível de Mudança e Valor Final

Mudança refere-se aos efeitos produzidos poreventos educacionais nos processos de trabalhodos grupos e da organização.

Podem ser mensurados por meio de indicadores de resultados e/ou de mudanças no desempenho e atitudes de grupos.

Valor Final refere-se aos efeitos globais do treinamento sobre indicadores organizacionais de produtividade e/ou retorno social.


O que medir? Resultados Longo Prazo▪ No nível da equipe:

▪ afetivos (coesão, satisfação, auto-eficácia, ambiguidade de papéis e orientação para tarefa)

▪ cognitivos (conhecimento possuído e representado)

▪ de desempenho (comunicação interna, tomada de decisão, solução de conflitos, níveis de participação)

▪ instrumentais intrínsecos(responsabilidades e variedade de trabalho recebido)

▪ instrumentais extrínsecos (bônus)

▪ instrumentais de qualificação(certificações formais)

▪ No nível da organização

▪ relativos a metas de produtos(quantidade, qualidade, variedade)

▪ relativos a metas do sistema(crescimento, lucro, retorno de investimentos)

▪ aquisição de recursos (novos clientes, compra de outras organizações)

▪ constituintes (satisfação de consumidores e acionistas, imagem)

▪ de processos internos (novas tecnologias, clima, absenteísmo, rotatividade, taxas de acidentes) –mudança organizacional


Com o que medir?

Quais indicadores de efeitos no comportamento da organizaçãodevem ser utilizados?

▪ Indicadores de melhoria nos processos organizacionais:▪ agilidade na utilização de novas tecnologias,▪ análise de mercado mais eficiente,▪ clima organizacional favorável,▪ tempestividade na criação de novos produtos.

▪ Indicadores de resultados (medidas objetivas)▪ aumento de clientes,▪ melhoria na satisfação do cliente,▪ redução do número de horas na fila,▪ número de novos produtos lançados

Obs: O mesmo processo de avaliação pode contemplar os doistipos de indicadores


Como medir?

▪ Analisando documentos

▪ Observando e analisando resultados (redução de custos, melhoria de processos de trabalho, diminuição do retrabalho)

▪ Perguntando (questionários, entrevistas)


Desafios e Recomendações

▪ As mudanças de comportamento da organização a serem verificadas deveriam ser derivadas dos desempenhos esperados do conjunto dos indivíduos treinados, que, por sua vez, deveriam ser deduzidos dos objetivos dos eventos.

▪ O ideal seria encontrar em qualquer planejamento de TD&E os objetivos esperados para cada um desses níveis (comportamento no cargo, organização e valor final).

▪ O planejamento instrucional poderia definir prioritariamente até que nível se espera a contribuição do evento e então, explicitá-los em cada um desses níveis possíveis.

▪ A lógica de planejamento poderia ser a de formular os objetivos do nível de valor final e deles derivar os objetivos do nível da organização, e assim por diante, até os objetivos do nível do indivíduo.


Quais eventos avaliar?▪ Critérios mais importantes:

▪ vinculação estratégica do treinamento

▪ quantidade de pessoas treinadas e processos de trabalho abrangidos.

▪ Escolher treinamentos ou programas que objetivam produzir impactos em diversas unidades da organização, que envolvem muitas pessoas e processos de trabalho.

▪ Escolher processos de trabalho bem descritos e com indicadores de resultados em série histórica.

▪ Escolher indicadores sensíveis aos efeitos do treinamento disponíveis na organização.

Observação: Poucas organizações investem nesse tipo de avaliação.


Fontes de informação e tempo necessário para avaliar efeitos de treinamento

▪ Humanas: participantes do evento, seus superiores imediatos, colegas, gestores de unidades, clientes etc.

▪ Documentais: dados secundários existentes na organização.

▪ O prazo para avaliar o impacto de TD&E na organização depende:

▪ da natureza do evento,

▪ das competências treinadas;

▪ do porte da organização

▪ do tipo de mudanças organizacionais esperadas.

▪ Geralmente é necessário mais tempo para capturar efeitos no nível da organização do que no nível dos indivíduos treinados.

▪ O primeiro efeito é na atuação da pessoa treinada, geralmente depois em seu grupo ou unidade e aí se propaga para toda a organização.

▪ Discutir com stakeholders para definir tempo necessário ao surgimento dos efeitos e externalidadesProfa. Dra. Gardênia da Silva Abbad

Como medir impacto nos níveis de mudança organizacional?

▪ Questões equivalentes às do nível anterior:

▪ - indicadores objetivos de desempenho organizacional

▪ Foco no comportamento da organização, processos, equipes ou de suas unidades

▪ Mudanças (deduzidas dos objetivos) a serem detectadas na cultura, valores, metas, estruturas, processos e desempenhos organizacionais ou de equipes

▪ Faltam sistemas organizacionais de controle e avaliação sensíveis à detecção de efeitos de T&D

▪ São altos os custos associados à construção de indicadores

▪ Falta de definição prévia dos níveis de resultados esperados das ações educacionais.


Obrigada!

Profa. Gardênia da Silva AbbadDepartamento de Psicologia Social e do Trabalho - Instituto de Psicologia - Universidade de Brasília - Pesquisadora 1 C -CNPq Programas de Pós-graduação: IP - PSTO e FACE – PPGACurriculum Lattes disponível no site: http://lattes.cnpq.br/6225924782510184http://scholar.google.com.br/citations?user=TSdmjpoAAAAJ&hl=pt-BR&oi=pll


http://lattes.cnpq.br/6225924782510184

http://scholar.google.com.br/citations?user=TSdmjpoAAAAJ&hl=pt-BR&oi=pll

Download - AVALIAÇÃO DA EFETIVIDADE DE AÇÕES DE TD&E: … · 5) julgar e aplicar padrões de qualidade, ... z a c i o n a l Profa. Dra. ... Perfis Conjunto Mínimo de

Top Related