aula 9 .:. avaliação de programas de...

.:. Aula 9 .:.Avaliação de Programas de Treinamento

Profª Daniela Cartoni

daniela_cartoni@yahoo.com.br

ETAPAS DO PLANEJAMENTO DE PROGRAMAS DE TREINAMENTO

Etapa 1: Levantamento de necessidades de treinamento (LNT)

Etapa 2: Elaborando um Programa de Treinamento

Etapa 3: Execução do programa de treinamento

Etapa 4: Avaliação dos resultados

COMO MANTER OS PARTICIPANTES MOTIVADOS?

Dica:

(*) Crie um modo para conseguir obter dos treinados informações sobre seus objetivos pessoais e profissionais

(*) Avalie como fazer este mapeamento de expectativas

(*) Não esquecer de monitoramento de resultados

É muito comum que os treinados já cheguem a sala de aula desmotivados.

Tal problema pode ocorre em função de diversas situações, como por exemplo:

• Instrutores anteriores causaram situações embaraçosas;

• O assunto exposto não era de interesse do grupo;

• Não houvera integração entre os participantes;

• Os treinados não conseguiram visualizar um ganho de benefícios no âmbito pessoal;

• Faltou didática e, portanto, não conseguiram assimilar o conteúdo.

A avaliação do treinamento é um conjunto de metodologias e procedimentos

que permitem identificar os resultados alcançados com os programas de treinamento,

comparando-os com os objetivos propostos, sobretudo, visando fornecer informações para

elaboração de novos programas ou modificações dos existentes.

As avaliações de TD&E demandam a coleta de dados de um ou mais dos seguintes níveis de resultados:

– Resultados imediatos: que se subdividem em reação e aprendizagem

– Efeitos em longo prazo: comportamento no cargo (impacto), organização e valor final.

(Borges-Andrade, Abbad e Mourão, 2012)

AVALIAÇÃO EM T&D

AVALIAÇÃO EM T&D

• Construir modelos integrados reação, aprendizagem, impacto, resultados e valor final de avaliação de programas de TD&E.

• Construir modelos que incluam variáveis demográficas, motivacionais e profissionais da clientela e suas relações com as condições de trabalho.

• Realizar análise multivariadas a fim de identificar que aspectos melhor explicam e predizem os resultados das ações de TD&E.

• Mudar a atitude do profissional de TD&E;

• A falta de competência não é função apenas de características individuais (saberes e motivação), mas de múltiplos fatores ambientais externo, muitas vezes, incontroláveis.

DESAFIOS EM AVALIAÇÃO EM T&D

NÍVEIS DE AVALIAÇÃO EM T&D

Se por um lado temos cada vez maior a pressão para que as áreas responsáveis pela programação, implementação e avaliação de ações educacionais demonstrem a efetividade das ações sob sua responsabilidade, de outro, não há consenso teórico-metodológico para modelos de avaliação.

Os mais utilizados são:

- Modelo de Kirkpatrick, - Modelo de Phillips- Além dos conceitos desenvolvidos por Hamblin e Parry.

(*) Há outros modelos, que podem ser adaptados, de acordo com o propósito do programa.

MODELOS DE AVALIAÇÃO EM T&D

Modelo de Kirkpatrick

O modelo de Kirkpatrick (1976) é baseado em quatro níveis de avaliação:

1) Reação;2) Aprendizagem; 3) Comportamento;4) Resultado.

A partir desse modelo (por inclusão de novos componentes e novas interpretações), surgiram os modelos atuais da literatura de avaliação de TD&E.

MODELO DE KIRKPATRICK

MODELO DE KIRKPATRICK

MODELO DE KIRKPATRICK

Nível 1 – Reação: mede a satisfação do consumidor e como os participantes reagem (que avalia o conteúdo do treinamento, seu programa, o material didático, a carga horária, seus instrutores e os recursos utilizados de maneira a melhorar sua realização no futuro e até mesmo a eliminar programas que não satisfizerem os participantes ou patrocinadores do programa

Nível 2 – Aprendizado: busca aferir o quanto os participantes podem mudar de atitude, ampliar seus conhecimentos e/ou habilidades (ou seja, avalia o que efetivamente os participantes aprenderam)

Nível 3 – Comportamento: identifica o quanto os participantes mudaram seu comportamento em decorrência do que foi aprendido (verifica se o participante colocou em prática, no trabalho, o conteúdo aprendido)

Nível 4 – Resultados: mostra os resultados finais do treinamento (verifica se a aplicação do conteúdo no trabalho foi capaz de causar impactos favoráveis no resultado da organização).

MODELO DE KIRKPATRICK

• Oferece informações aos responsáveis pelos treinamentos, como comentários e sugestões para melhoria do programa

• Os participantes avaliam o desempenho dos instrutores (e ficam convencidos de que estes estão trabalhando realmente com o intuito de ajudá-los a desenvolver melhor suas atribuições)

• Fornecem informações quantitativas que os profissionais de treinamento podem mostrar aos responsáveis pelos programas

• Fornecem informações qualitativas (com perguntas abertas) -com a percepção mais abrangente e que podem ser utilizadas como parâmetro de desempenho para futuros programas.

NÍVEL 1 - REAÇÃO

� Como os participantes avaliam o conteúdo: Foi interessante? Relevante para o trabalho? Possui relação com o dia a dia?

� Como os participantes avaliam o instrutor: Demonstrou domínio sobre o assunto? Exibiu habilidade ao se comunicar?

� Como os participantes avaliam as instalações: Estavam confortáveis? Foram convenientes para o tipo de treinamento? Os equipamentos utilizados eram adequados?

� Como os participantes avaliam a carga horária:Insuficiente? Suficiente? Excessiva?

� Sugestões de melhoria pelos participantes: Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?

Para Kirkpatrick, os participantes devem também ser encorajados a emitir suas opiniões em questões abertas com sugestões de melhoria.

NÍVEL 1 – REAÇÃO – PERGUNTAS SUGERIDAS

Algumas formas de avaliar:

vários tipos de escala: os participantes podem dar notas de 1 a 5, dizer se o quesito foi excelente, bom, regular ou ruim

Podem ser utilizadas expressões do tipo “folha de sorrisos”, que mostram aos participantes desenhos de faces com expressão risonha, de indiferença ou aborrecimento.

NÍVEL 1 - REAÇÃO

Que bom...Que pena...Que tal...

� Como os participantes avaliam o conteúdo: Foi interessante? Relevante para o trabalho? Possui relação com o dia a dia?

� Como os participantes avaliam o instrutor: Demonstrou domínio sobre o assunto? Exibiu habilidade ao se comunicar?

� Como os participantes avaliam as instalações: Estavam confortáveis? Foram convenientes para o tipo de treinamento? Os equipamentos utilizados eram adequados?

� Como os participantes avaliam a carga horária:Insuficiente? Suficiente? Excessiva?

� Sugestões de melhoria pelos participantes: Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?

Para Kirkpatrick, os participantes devem também ser encorajados a emitir suas opiniões em questões abertas com sugestões de melhoria.

NÍVEL 1 – REAÇÃO – PERGUNTAS SUGERIDAS

1) O conteúdo abordado foi interessante?

2) Relevante para o trabalho e possui relação com o dia a dia?

3) O instrutor demonstrou domínio sobre o assunto?

4) O instrutor foi capaz de transmitir o conteúdo com clareza?

5) O local para realização do curso foi apropriado quanto ao espaço e conforto?

6) Os recursos e equipamentos utilizados foram adequados?

7) A carga horária do curso foi adequada?

( ) Insuficiente ( ) Suficiente ( ) Excessiva

8) Deixe suas sugestões de melhoriaOu: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”

AVALIAÇÃO DE REAÇÃO

1) O conteúdo abordado foi interessante? ( ) 5 ( ) 4 ( ) 3 ( ) 2 ( ) 1

2) Relevante para o trabalho e possui relação com o dia a dia?

3) O instrutor demonstrou domínio sobre o assunto?

4) O instrutor foi capaz de transmitir o conteúdo com clareza?

5) local para realização do curso foi apropriado quanto ao espaço e conforto?

6) Os recursos e equipamentos utilizados foram adequados?

7) A carga horária do curso foi adequada?

( ) Insuficiente ( ) Suficiente ( ) Excessiva

8) Deixe suas sugestões de melhoriaOu: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”

AVALIAÇÃO DE REAÇÃO

1) O conteúdo abordado foi interessante?

( ) concordo plenamente ( ) concordo parcialmente ( ) não sei ( ) discordo parcialmente ( ) discordo totalmente

2) Relevante para o trabalho e possui relação com o dia a dia?

3) O instrutor demonstrou domínio sobre o assunto?

4) O instrutor foi capaz de transmitir o conteúdo com clareza?

5) local para realização do curso foi apropriado quanto ao espaço e conforto?

6) Os recursos e equipamentos utilizados foram adequados?

7) A carga horária do curso foi adequada?

( ) Insuficiente ( ) Suficiente ( ) Excessiva

8) Deixe suas sugestões de melhoriaOu: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”

AVALIAÇÃO DE REAÇÃO

1) O conteúdo abordado no curso foi:

( ) excelente ( ) bom ( ) regular ( ) péssimo

2) Relevante para o trabalho e possui relação com o dia a dia?

3) O instrutor demonstrou domínio sobre o assunto?

4) O instrutor foi capaz de transmitir o conteúdo com clareza?

5) local para realização do curso foi apropriado quanto ao espaço e conforto?

6) Os recursos e equipamentos utilizados foram adequados?

7) A carga horária do curso foi adequada?

( ) Insuficiente ( ) Suficiente ( ) Excessiva

8) Deixe suas sugestões de melhoriaOu: “Como o programa poderia ser melhorado? O que você faria para tornar a sessão mais efetiva?”

AVALIAÇÃO DE REAÇÃO

O autor considera que as respostas deste nível oferecer pistas como:

• se os participantes se sentiram confusos em algum momento, • se alguma parte do treinamento não foi bem absorvida pela turma• o quão engajados os participantes estão no treinamento.

Para Kirkpatrick, os interesses e motivação dos participantes são fatores determinantes para a aprendizagem efetiva.

Para o autor, o 1º passo de um sistema de avaliação do treinamento sempre é a aplicação da avaliação de reação, sem exceção.

NÍVEL 1 - REAÇÃO

A avaliação de aprendizagem tem o importante papel de verificar se os conhecimentos apresentados pelo programa foram absorvidos

Ou seja, se as habilidades dos participantes foram melhoradas e se suas atitudes foram modificadas em função do conteúdo exposto.

Para Kirkpatrick, pelo menos um desses quesitos (CHA = conhecimentos, habilidades e atitudes) deve ser modificado para que a mudança de comportamento do participante no trabalho realmente aconteça.

NÍVEL 2 - APRENDIZAGEM

NÍVEL 2 - APRENDIZAGEM

Para avaliação de aprendizagem, o autor sugere:

•Utilização de grupos de controle (comparações entre grupos semelhantes que receberam o treinamento e que não receberam).

•Testes para avaliação de melhoria de conhecimento e mudanças de atitude (antes e depois do treinamento).

Para Kirkpatrick, avaliar a aprendizagem do aluno é, também, avaliar o ensino do instrutor.

Esse nível de avaliação busca respostas para o que acontece depois que os participantes deixam as salas de aula e voltam a seus trabalhos.

Como funcionou a transferência de conhecimentos, habilidade e atitudes para suas atividades?

Que mudanças em seus comportamentos aconteceram em decorrência do programa de treinamento?

NÍVEL 3 - MUDANÇA DE COMPORTAMENTO

Esta análise pode ser feita pelo gestor direto ou aplicação de testes (individuais e em grupo)

Segundo Kirkpatrick, é o mais importante e o mais difícil de realizar.

Avaliar os resultados significa apurar as mudanças nas organizações em função da participação dos funcionários nos programas de treinamento:

• Quanto melhorou a qualidade dos produtos/serviços em função do treinamento? Quanto isso contribui para os lucros da companhia?

• Quanto cresceu a produtividade em função do treinamento?

Quanto diminuiu o turnover e disputas internas entre níveis hierárquicos?

• Quanto aumentou a produtividade ou diminuíram os custos após treinamento?

• Quanto aumentou o valor das vendas após a equipe de vendedores ter sido submetida a um programa de treinamento de vendas?

NÍVEL 4 - RESULTADOS

Para esse nível, a coleta de dados pode se realizada tanto por meio de entrevistas e questionários

Modelo de Phillips

• Assim como a metodologia de Kirkpatrick, a metodologia de Phillips (1991) costuma ser amplamente aceita e utilizada

• A metodologia proposta por Phillips é, na verdade, uma ampliação e revisão do modelo de Kirkpatrick.

• Os quatro níveis de avaliação são acrescidos de um quinto nível de avaliação, onde é calculada a taxa de retorno sobre o investimento, a ROI de treinamento.

MODELO DE JACK PHILLIPS

MODELO DE PHILLIPS

• O nível 5 (ROI) é a última medida de avaliação do treinamento

• Busca dar respostas contábeis à organização, como: Existe algum retorno financeiro ao se investir em programas, processos, iniciativas ou soluções para melhoria de performance?

Para o autor, as oportunidades de investimento em treinamento se inserem no mesmo contexto racional de análise e de tomada de decisões por parte dos dirigentes das empresas e que, desta forma, devem ser medidas tal qual todos os demais investimentos realizados.

MODELO DE PHILLIPS

A fórmula proposta pelo autor para o cálculo da ROI de treinamento é a seguinte:

ROI (%) = (Benefícios líquidos do programa ÷ Custos do Programa) x 100.

A equação significa que, para um resultado encontrado de 100%, para cada $1,00 investido, a organização tem de volta

MODELO DE PHILLIPS

É importante observar que, assim como Kirkpatrick (1998), Phillips & Phillips (2005) defende que a aplicação ou não de cada nível de avaliação deve ser considerada de acordo com a importância de cada programa de treinamento.Portanto, não é aconselhável que todos os programas sejam avaliados no nível 5.

São passíveis de avaliação de nível 5 (ROI) os programas que:

1) têm expectativa de apresentar um longo ciclo de vida;

2) estão relacionados com a estratégia e objetivos da organização;

3) exigem a alocação significativa de recursos como tempo, pessoas e $

4) têm larga audiência e são bastante visíveis na organização;

5) são do interesse dos gestores;

6) têm a intenção de direcionar mudanças importantes para a empresa

MODELO DE PHILLIPS

Assim como Kirkpatrick (1998), Phillips & Phillips (2005) defende que a aplicação ou não de cada nível de avaliação deve ser considerada de acordo com a importância de cada programa de treinamento.

Portanto, não é aconselhável que todos os programas sejam avaliados no nível 5.

Modelo de Hamblin

Hamblin (1974) apresentou, assim como os demais autores citados, buscou como avaliar os resultados de ações de T&D, mas independente da possibilidade ou não da conversão dos resultados encontrados em termos monetários.

O autor preocupa-se em adequar o programa de acordo com a forma em que a organização funciona (para assim avaliar se alcança seus objetivos).

AS CONSIDERAÇÕES DE HAMBLIN

Hamblin (1974) propõe um ciclo de avaliação, demonstrado na figura.

A figura representa o caráter cíclico da avaliação e, também, a necessidade de avaliação dos fatores internos aos programas de treinamento

AS CONSIDERAÇÕES DE HAMBLIN

Modelo de Parry

Para Parry (1997), a avaliação deve ser feita antes e depois do treinamento

Embora use os 4 níveis idênticos ao de Kirkpatrick, uma proposição de Parry (1997) que não está presente nos demais autores é a presença de um plano de ação.

Nele, o participante deve elaborar um planejamento de aplicação dos conhecimentos e habilidades aprendidas e, tempos depois (meses), em reunião com seu gestor, reportar as mudanças e metas conquistadas.

A METODOLOGIA DE PARRY

A METODOLOGIA DE PARRY

Reagir favoravelmente a um treinamento não determina necessariamente o aprendizado de

seu conteúdo, assim como aprender seu conteúdo não implica

necessariamente em mudanças de comportamento no trabalho

e mudanças de comportamento no trabalho não significam melhoria dos resultados

organizacionais.

Para reflexão