art atualizado em janeiro 2009
TRANSCRIPT
PRODUÇÃO E EXPOSIÇÃO:Benedito Milioni
AVALIAÇÃO E VALIDAÇÃO DOSAVALIAÇÃO E VALIDAÇÃO DOSINVESTIMENTOS EM TREINAMENTO INVESTIMENTOS EM TREINAMENTO
E DESENVOLVIMENTOE DESENVOLVIMENTO
Princípios muito importantes:“Não existe um evento de treinamento que, bemfeito, não produza resultados! Nenhum!”
“Qualquer evento de treinamento pode ser avaliado”
“É domínio de alta complexidade, portanto exigindo ações na mesma ordem de grandeza"
ESCLARECIMENTO ESSENCIAL
A AVALIAÇÃO DOS RESULTADOS DOS INVESTIMENTOS NA EDUCAÇÃO
CORPORATIVA É DOMÍNIO QUE NÃO CABESOB HIPÓTESE ALGUMA EM:
A) Receitas básicasB) Dicas, macetes e mapas das minasC) SimplificaçõesD) ImprovisaçõesE) “Quebra-galhos”
INDICADORES DEPERFORMANCE FINANCEIRA
A próxima revolução da informação...apóia em grande parte a nova definição da função da entidade empresarial como sendo de “criação de valor e de riqueza”
Peter Drucker
INDICADORES DEPERFORMANCE FINANCE
PROVA DOS FATOS
134%
25%
S&P 500 100 melhorespara trabalhar (2)
... E NOSESTADOS UNIDOS
(2) Carteira atualizada anualmente, conformea lista publicada na revista Fortune
Quanto ganharia uminvestidor que tivessecolocado dinheiro nas100 melhores empresasamericanas para trabalhar e nas 500 companhias cotadaspelo índice Standard & Poorsno período de janeiro de 1998a janeiro de 2004
Fonte: Frank Russell Company
INDICADORES DE PERFORMANCE FINANCEIRA
... NAINGLATERRA
Comparação entre o
desempenho das ações das 50
melhores empresas para
trabalhar e o da carteira FTSE
All Share, que reúne as
empresas de capital aberto da
Inglaterra, no período de março
De 1999 a março de 2004 Fonte: Great Place to Work Institute
INDICADORES DE PERFORMANCE FINANCEIRA
Rentabilidade das 500 maioresempresas do país
12,4%
Rentabilidade das 150 melhores empresas para trabalhar
17,2%
Rentabilidade das 10 melhoresempresas para trabalhar
20,7%
LUCROS MAIORES AQUI...
A comparação entre a rentabilidade médiasobre o patrimônio alcançado em 2003pelas 500 maiores empresas do país e a do grupo das 150 melhores empresas para trabalhar no Brasil mostraque as companhias que se relacionam bemcom seus funcionários levam vantagem (1)
(1) Nas listas das 150 e das 100 melhores empresaspara trabalhar foram consideradas apenas asCompanhias que também estão entre as 500Maiores de Melhores e Maiores do EXAME
Fonte: Melhores e Maiores Fipecatie The Great Place to Work Institute
Retorno dos Ativos
Financeiro – 4,5%
Físico – 7%
Intelectual – 10,5%
DEBATE EM GRUPOS
Trocar idéias com seus colegas e listar asprincipais razões pelas quais nem sempre as ações de Treinamento apresentam resultado adequado.
Grupos A: causas culturais/estruturais Grupos B: causas na própria área de T&D
•Falta de tempo
•Falta de apoio superior
•Falta de tecnologia
pronta e fácil de usar
RAZÕES ALEGADAS PARA JUSTIFICAR A TIMIDEZ DAS PRÁTICAS DE AVALIAÇÃO DE RESULTADOS
•Não envolvimento dos gestores•Excesso de tarefas do Gestor de T&D•Porque dá muito trabalho (sic)
RAZÕES ALEGADAS PARA JUSTIFICAR A TIMIDEZ DAS PRÁTICAS DE AVALIAÇÃO DE RESULTADOS
•Não compromissamento dos treinandos.
•Falta de especificações para as práticas de T&D.
•Nenhuma condição para avaliar MESMO
•Porque não se tem indicador para nada
•Porque, afinal, falta método e sobram
amadorismo e empirismo!
Fazer sem ter condições
A DURA REALIDADE!!!
Querer soluções prontas
Falta do hábito da pesquisa
CONTROL CCONTROL V
Cultura do imediatismo
Falta de preparo para a função
DO QUE PRECISAMOS
PARA AVALIAR OS
RESULTADOS DE UM
EVENTO DE
TREINAMENTO
?
NENHUM DESSES FATORES É DISPENSÁVEL!!!
Se NÃO se dispuser de um deles, não haverá resultados e muito menos
medidas deles!
REGRAS BÁSICAS
NÃONÃO SE AVALIA O COMPORTAMENTO E SIM
OS EFEITOS DO COMPORTAMENTO
NÃONÃO SE AVALIA O EVENTO EM SI E SIM OS SEUS EFEITOS
(o curso pode ter agradado a quem dele tenha participado, mas seus efeitos podem não agradar a quem o pagou!!!)
(Fonte: G. Odiorne, Hamblim, D. Kirkpatrick, J. Philips, Warren, Jac Fitz-Enz, Idalberto Chiavenato, Gustavo Boog, Ferreira, Maria Helena Schaan, ...............)
•Todo evento de treinamento pode e deve ter os seus resultados apurados, identificados e relatados.
• Avaliação de resultados é um processo, nunca uma técnica isolada, um evento ou passe de mágica.
•É um processo centrado no usuário (cliente interno)
• Os indicadores de ocorrência antes do evento são imprescindíveis.
EM RESUMO...EM RESUMO...
•Check-list de causas, efeitos e conseqüências
•Aplicação de questionário de prospecção
•Reunião com os clientes-internos
•Observação local
•Rastreamento de processo
•Pesquisa interna dos desdobramentos dos efeitos da NC
PROCESSOS PARA DIAGNOSE DAS NECESSIDADES FUNDAMENTADA EM
INDICADORES
How?
Perguntando...Perguntando...
Perguntando...
What?Who?
When?
Where?
Why?
CAUSASCAUSASQuais são os focos reais, e não os aparentes ?
EFEITOSEFEITOSComo afetam os comportamentos das pessoas?
CONSEQÜÊNCIASCONSEQÜÊNCIASComo impactam nas operações (perdas ou não-ganhos para a empresa?)
FASES DO DIAGNÓSTICO DE NECESSIDADE FOCADO EM RESULTADOS
TRABALHAR SOBRE AS CONSEQÜÊNCIASCONSEQÜÊNCIAS....
E DELAS OBTER OS SEUS INDICADORESINDICADORES
•Temporais (prazos, quando)
•Quantitativos (aumentar e diminuir de X para Y)
•Qualitativos (especificações de processos)
•Direcionais (em que rumos)
•Referenciais (modelos, paradigmas, best practices)
•Operacionais (do posto de trabalho)
•Estimados (projeções com base em dados)
COMO TANGIBILIZAR AS CARÊNCIAS DE TREINAMENTO
VAMOS DEFINIR:
PROVASPROVAS
EVIDÊNCIASEVIDÊNCIAS
INDÍCIOSINDÍCIOS
E DECIDIR O QUE TÊM A VER
CONOSCO E O NOSSO TRABALHO
UMA EXERCITAÇÃO
Escolher no grupo uma dada situação que requeira uma ação de treinamento:
Grupo A: gerencial (liderança)Grupo B: técnicoGrupo C: comportamental
Definir 03 indicadores
l
Opcional
Descrição do comportamento desejado pós-treinamentoDescrição das condições ambientais para aplicaçãoInclusão dos indicadores do comportamento desejado
prazos quantidades volumes direções demais referencias
Inclusão dos critérios de medição Inclusão do cronograma de avaliação
REVISÃO/SÍNTESE DOS REVISÃO/SÍNTESE DOS PARÂMETROSPARÂMETROS
A REDAÇÃO CORRETA DOS OBJETIVOS É
VITAL!
O ENVOLVIMENTO NOS OBJETIVOS É ESSENCIAL
• Os treinandos sabem o que se espera deles?• Foram consultados sobre as suas carências?• Foram consultados sobre os objetivos?• Concordam se os objetivos são atingíveis?• Terão as condições de aplicação?• Sabem como os efeitos serão medidos?
SE A RESPOSTA FOR SIM PARA TUDO, ENTÃO...
“aprender”....”dar uma reciclada”...”
levar alguma coisa”
“ganhar novos conhecimentos”...”melhorar
na carreira” ”concordo com o pessoal”
NOS LEVANTAMENTOS DE EXPECTATIVAS SEMPRE
SURGEM AS MESMAS RESPOSTAS?
INDICADOR DE QUE NÃO HAVERÁ RESULTADO ALGUM
NO TREINAMENTO
PORQUE NINGUÉM DIZ: “MELHORAR MEUS RESULTADOS DE X PARA Y"
O DETALHE QUE NÃO PODEMAIS SER ESQUECIDO, SE A
META É RESULTADO
Também conhecido há
uns 2.500 anos como
contrato pedagógico!
A CONTRATAÇÃO DA EFETIVIDADE...ANTESDE INICIAR O EVENTO!
O MODELO DE DONALD KIRKPATRICK
(Evaluating Training Programs - The Four Levels)
1)Avaliação da 3) Mudança do Reação comportamento
2)Avaliação da 4)Avaliação dosaprendizagem resultados
O MODELO DE DONALD KIRKPATRICK, ADAPTADO À REALIDADE BRASILEIRA
1)Avaliação da 3) Estudo da Reação aplicação
2)Avaliação da 4)Avaliação dosaprendizagem resultados
TÉCNICAS PARA CADA FASE
Avaliação de reaçãoAvaliação de reação
• Tradicional (individual e/ou grupal)
• Comparada com as expectativas
• Feita no encerramento do evento
• Tecnicamente recomendado: 5 dias após o evento
O que propiciam:O que propiciam:
A primeira medida, sob o ponto de vista do cliente interno(o usuário).
Avaliação da aprendizagemAvaliação da aprendizagem
•Pré e pós-testes (tradicional)•Avaliação pelos facilitadores•Medidas “on-the-job” pelo gestor•Instrumentos de auto-avaliação•Depoimentos documentados pós-eventos•Preparo do treinando para multiplicar
O que propiciam:O que propiciam:
Indicadores de valor agregado ao capital intelectual dos treinandos.
TÉCNICAS PARA CADA FASE
•Questionários preparados sob medida
•Auto-avaliação pelo treinando
•Avaliação pelo superior hierárquico
•Rastreamento feito pelo gestor de T&D
Reuniões de acompanhamento (ótimas!)
TÉCNICAS PARA CADA FASE
Estudo da aplicaçãoEstudo da aplicação
O que propiciam:O que propiciam:
Uma medida da extensão da aplicação dosconteúdos aprendidos.
•Obtenção dos indicadores operacionais locais.•Extratos do sistema de avaliação de desempenho.•Reuniões de acompanhamento.•Resultados de auditorias (internas e externas).
TÉCNICAS PARA CADA FASE
Avaliação dos efeitos Avaliação dos efeitos creditáveis às ações de T&Dcreditáveis às ações de T&D
•Questionários especialmente elaborados.
•Auto-avaliação pelos treinandos.
•Depoimentos documentados dos gestores.
Avaliação dos efeitos
O que ainda precisa ser analisado:
A obtenção de indicadores de A obtenção de indicadores de
desempenho e performancedesempenho e performance
dos efeitos creditáveis ao dos efeitos creditáveis ao
treinamento realizado.treinamento realizado.
ALGUNS CUIDADOS ESSENCIAIS
•Documentar todos os dados
e informações obtidas.
•Usar o rastreamento.
•Agir politicamente quanto
aos méritos.
•Apostar fortemente nos
clientes usuários.
•Conciliar questionários
com reuniões.
•“Educar” para o sistema de
avaliação de resultados.
•Não fazer você a avaliação:
não é o seu
papel!
ALGUNS CUIDADOS ESSENCIAIS
OPERACIONALIZAÇÃO DAS FASES DO PROCESSOOPERACIONALIZAÇÃO DAS FASES DO PROCESSO DE AVALIAÇÃO DOS RESULTADOS EM T&D DE AVALIAÇÃO DOS RESULTADOS EM T&D
(fonte: ASTD 2.004, Washington, DC, EUA) (fonte: ASTD 2.004, Washington, DC, EUA)
Nível e Percentual de aplicação
4
Efeitos 10%10%
3
Mudança de
comportamento
30 a 50%
2
Aprendizagem
40 a 70%
1Reação
100%
E, segundo recomendam alguns estudiosos brasileiros
(Alfredo Castro, Benedito Milioni, Cristina Palmeira)
5) ROI (Return On Investment) 5%5%
(fonte: ASTD 2.004, Washington, DC, EUA, 2004)(fonte: ASTD 2.004, Washington, DC, EUA, 2004)
E, segundo recomendam alguns
estudiosos brasileiros (Alfredo Castro, Benedito Milioni, Cristina Palmeira)
5) ROI (Return On Investment)
5%5%
OPERACIONALIZAÇÃO DAS OPERACIONALIZAÇÃO DAS FASES DO PROCESSOFASES DO PROCESSO
