art atualizado em janeiro 2009

PRODUÇÃO E EXPOSIÇÃO:Benedito Milioni

AVALIAÇÃO E VALIDAÇÃO DOSAVALIAÇÃO E VALIDAÇÃO DOSINVESTIMENTOS EM TREINAMENTO INVESTIMENTOS EM TREINAMENTO

E DESENVOLVIMENTOE DESENVOLVIMENTO

Princípios muito importantes:“Não existe um evento de treinamento que, bemfeito, não produza resultados! Nenhum!”

“Qualquer evento de treinamento pode ser avaliado”

“É domínio de alta complexidade, portanto exigindo ações na mesma ordem de grandeza"

ESCLARECIMENTO ESSENCIAL

A AVALIAÇÃO DOS RESULTADOS DOS INVESTIMENTOS NA EDUCAÇÃO

CORPORATIVA É DOMÍNIO QUE NÃO CABESOB HIPÓTESE ALGUMA EM:

A) Receitas básicasB) Dicas, macetes e mapas das minasC) SimplificaçõesD) ImprovisaçõesE) “Quebra-galhos”

INDICADORES DEPERFORMANCE FINANCEIRA

A próxima revolução da informação...apóia em grande parte a nova definição da função da entidade empresarial como sendo de “criação de valor e de riqueza”

Peter Drucker

INDICADORES DEPERFORMANCE FINANCE

PROVA DOS FATOS

134%

25%

S&P 500 100 melhorespara trabalhar (2)

... E NOSESTADOS UNIDOS

(2) Carteira atualizada anualmente, conformea lista publicada na revista Fortune

Quanto ganharia uminvestidor que tivessecolocado dinheiro nas100 melhores empresasamericanas para trabalhar e nas 500 companhias cotadaspelo índice Standard & Poorsno período de janeiro de 1998a janeiro de 2004

Fonte: Frank Russell Company

INDICADORES DE PERFORMANCE FINANCEIRA

... NAINGLATERRA

Comparação entre o

desempenho das ações das 50

melhores empresas para

trabalhar e o da carteira FTSE

All Share, que reúne as

empresas de capital aberto da

Inglaterra, no período de março

De 1999 a março de 2004 Fonte: Great Place to Work Institute

INDICADORES DE PERFORMANCE FINANCEIRA

Rentabilidade das 500 maioresempresas do país

12,4%

Rentabilidade das 150 melhores empresas para trabalhar

17,2%

Rentabilidade das 10 melhoresempresas para trabalhar

20,7%

LUCROS MAIORES AQUI...

A comparação entre a rentabilidade médiasobre o patrimônio alcançado em 2003pelas 500 maiores empresas do país e a do grupo das 150 melhores empresas para trabalhar no Brasil mostraque as companhias que se relacionam bemcom seus funcionários levam vantagem (1)

(1) Nas listas das 150 e das 100 melhores empresaspara trabalhar foram consideradas apenas asCompanhias que também estão entre as 500Maiores de Melhores e Maiores do EXAME

Fonte: Melhores e Maiores Fipecatie The Great Place to Work Institute

Retorno dos Ativos

Financeiro – 4,5%

Físico – 7%

Intelectual – 10,5%

DEBATE EM GRUPOS

Trocar idéias com seus colegas e listar asprincipais razões pelas quais nem sempre as ações de Treinamento apresentam resultado adequado.

Grupos A: causas culturais/estruturais Grupos B: causas na própria área de T&D

•Falta de tempo

•Falta de apoio superior

•Falta de tecnologia

pronta e fácil de usar

RAZÕES ALEGADAS PARA JUSTIFICAR A TIMIDEZ DAS PRÁTICAS DE AVALIAÇÃO DE RESULTADOS

•Não envolvimento dos gestores•Excesso de tarefas do Gestor de T&D•Porque dá muito trabalho (sic)

RAZÕES ALEGADAS PARA JUSTIFICAR A TIMIDEZ DAS PRÁTICAS DE AVALIAÇÃO DE RESULTADOS

•Não compromissamento dos treinandos.

•Falta de especificações para as práticas de T&D.

•Nenhuma condição para avaliar MESMO

•Porque não se tem indicador para nada

•Porque, afinal, falta método e sobram

amadorismo e empirismo!

Fazer sem ter condições

A DURA REALIDADE!!!

Querer soluções prontas

Falta do hábito da pesquisa

CONTROL CCONTROL V

Cultura do imediatismo

Falta de preparo para a função

DO QUE PRECISAMOS

PARA AVALIAR OS

RESULTADOS DE UM

EVENTO DE

TREINAMENTO

?

NENHUM DESSES FATORES É DISPENSÁVEL!!!

Se NÃO se dispuser de um deles, não haverá resultados e muito menos

medidas deles!

REGRAS BÁSICAS

NÃONÃO SE AVALIA O COMPORTAMENTO E SIM

OS EFEITOS DO COMPORTAMENTO

NÃONÃO SE AVALIA O EVENTO EM SI E SIM OS SEUS EFEITOS

(o curso pode ter agradado a quem dele tenha participado, mas seus efeitos podem não agradar a quem o pagou!!!)

(Fonte: G. Odiorne, Hamblim, D. Kirkpatrick, J. Philips, Warren, Jac Fitz-Enz, Idalberto Chiavenato, Gustavo Boog, Ferreira, Maria Helena Schaan, ...............)

•Todo evento de treinamento pode e deve ter os seus resultados apurados, identificados e relatados.

• Avaliação de resultados é um processo, nunca uma técnica isolada, um evento ou passe de mágica.

•É um processo centrado no usuário (cliente interno)

• Os indicadores de ocorrência antes do evento são imprescindíveis.

EM RESUMO...EM RESUMO...

•Check-list de causas, efeitos e conseqüências

•Aplicação de questionário de prospecção

•Reunião com os clientes-internos

•Observação local

•Rastreamento de processo

•Pesquisa interna dos desdobramentos dos efeitos da NC

PROCESSOS PARA DIAGNOSE DAS NECESSIDADES FUNDAMENTADA EM

INDICADORES

How?

Perguntando...Perguntando...

Perguntando...

What?Who?

When?

Where?

Why?

CAUSASCAUSASQuais são os focos reais, e não os aparentes ?

EFEITOSEFEITOSComo afetam os comportamentos das pessoas?

CONSEQÜÊNCIASCONSEQÜÊNCIASComo impactam nas operações (perdas ou não-ganhos para a empresa?)

FASES DO DIAGNÓSTICO DE NECESSIDADE FOCADO EM RESULTADOS

TRABALHAR SOBRE AS CONSEQÜÊNCIASCONSEQÜÊNCIAS....

E DELAS OBTER OS SEUS INDICADORESINDICADORES

•Temporais (prazos, quando)

•Quantitativos (aumentar e diminuir de X para Y)

•Qualitativos (especificações de processos)

•Direcionais (em que rumos)

•Referenciais (modelos, paradigmas, best practices)

•Operacionais (do posto de trabalho)

•Estimados (projeções com base em dados)

COMO TANGIBILIZAR AS CARÊNCIAS DE TREINAMENTO

VAMOS DEFINIR:

PROVASPROVAS

EVIDÊNCIASEVIDÊNCIAS

INDÍCIOSINDÍCIOS

E DECIDIR O QUE TÊM A VER

CONOSCO E O NOSSO TRABALHO

UMA EXERCITAÇÃO

Escolher no grupo uma dada situação que requeira uma ação de treinamento:

Grupo A: gerencial (liderança)Grupo B: técnicoGrupo C: comportamental

Definir 03 indicadores

l

Opcional

Descrição do comportamento desejado pós-treinamentoDescrição das condições ambientais para aplicaçãoInclusão dos indicadores do comportamento desejado

prazos quantidades volumes direções demais referencias

Inclusão dos critérios de medição Inclusão do cronograma de avaliação

REVISÃO/SÍNTESE DOS REVISÃO/SÍNTESE DOS PARÂMETROSPARÂMETROS

A REDAÇÃO CORRETA DOS OBJETIVOS É

VITAL!

O ENVOLVIMENTO NOS OBJETIVOS É ESSENCIAL

• Os treinandos sabem o que se espera deles?• Foram consultados sobre as suas carências?• Foram consultados sobre os objetivos?• Concordam se os objetivos são atingíveis?• Terão as condições de aplicação?• Sabem como os efeitos serão medidos?

SE A RESPOSTA FOR SIM PARA TUDO, ENTÃO...

“aprender”....”dar uma reciclada”...”

levar alguma coisa”

“ganhar novos conhecimentos”...”melhorar

na carreira” ”concordo com o pessoal”

NOS LEVANTAMENTOS DE EXPECTATIVAS SEMPRE

SURGEM AS MESMAS RESPOSTAS?

INDICADOR DE QUE NÃO HAVERÁ RESULTADO ALGUM

NO TREINAMENTO

PORQUE NINGUÉM DIZ: “MELHORAR MEUS RESULTADOS DE X PARA Y"

O DETALHE QUE NÃO PODEMAIS SER ESQUECIDO, SE A

META É RESULTADO

Também conhecido há

uns 2.500 anos como

contrato pedagógico!

A CONTRATAÇÃO DA EFETIVIDADE...ANTESDE INICIAR O EVENTO!

O MODELO DE DONALD KIRKPATRICK

(Evaluating Training Programs - The Four Levels)

1)Avaliação da 3) Mudança do Reação comportamento

2)Avaliação da 4)Avaliação dosaprendizagem resultados

O MODELO DE DONALD KIRKPATRICK, ADAPTADO À REALIDADE BRASILEIRA

1)Avaliação da 3) Estudo da Reação aplicação

2)Avaliação da 4)Avaliação dosaprendizagem resultados

TÉCNICAS PARA CADA FASE

Avaliação de reaçãoAvaliação de reação

• Tradicional (individual e/ou grupal)

• Comparada com as expectativas

• Feita no encerramento do evento

• Tecnicamente recomendado: 5 dias após o evento

O que propiciam:O que propiciam:

A primeira medida, sob o ponto de vista do cliente interno(o usuário).

Avaliação da aprendizagemAvaliação da aprendizagem

•Pré e pós-testes (tradicional)•Avaliação pelos facilitadores•Medidas “on-the-job” pelo gestor•Instrumentos de auto-avaliação•Depoimentos documentados pós-eventos•Preparo do treinando para multiplicar

O que propiciam:O que propiciam:

Indicadores de valor agregado ao capital intelectual dos treinandos.

TÉCNICAS PARA CADA FASE

•Questionários preparados sob medida

•Auto-avaliação pelo treinando

•Avaliação pelo superior hierárquico

•Rastreamento feito pelo gestor de T&D

Reuniões de acompanhamento (ótimas!)

TÉCNICAS PARA CADA FASE

Estudo da aplicaçãoEstudo da aplicação

O que propiciam:O que propiciam:

Uma medida da extensão da aplicação dosconteúdos aprendidos.

•Obtenção dos indicadores operacionais locais.•Extratos do sistema de avaliação de desempenho.•Reuniões de acompanhamento.•Resultados de auditorias (internas e externas).

TÉCNICAS PARA CADA FASE

Avaliação dos efeitos Avaliação dos efeitos creditáveis às ações de T&Dcreditáveis às ações de T&D

•Questionários especialmente elaborados.

•Auto-avaliação pelos treinandos.

•Depoimentos documentados dos gestores.

Avaliação dos efeitos

O que ainda precisa ser analisado:

A obtenção de indicadores de A obtenção de indicadores de

desempenho e performancedesempenho e performance

dos efeitos creditáveis ao dos efeitos creditáveis ao

treinamento realizado.treinamento realizado.

ALGUNS CUIDADOS ESSENCIAIS

•Documentar todos os dados

e informações obtidas.

•Usar o rastreamento.

•Agir politicamente quanto

aos méritos.

•Apostar fortemente nos

clientes usuários.

•Conciliar questionários

com reuniões.

•“Educar” para o sistema de

avaliação de resultados.

•Não fazer você a avaliação:

não é o seu

papel!

ALGUNS CUIDADOS ESSENCIAIS

OPERACIONALIZAÇÃO DAS FASES DO PROCESSOOPERACIONALIZAÇÃO DAS FASES DO PROCESSO DE AVALIAÇÃO DOS RESULTADOS EM T&D DE AVALIAÇÃO DOS RESULTADOS EM T&D

(fonte: ASTD 2.004, Washington, DC, EUA) (fonte: ASTD 2.004, Washington, DC, EUA)

Nível e Percentual de aplicação

4

Efeitos 10%10%

3

Mudança de

comportamento

30 a 50%

2

Aprendizagem

40 a 70%

1Reação

100%

E, segundo recomendam alguns estudiosos brasileiros

(Alfredo Castro, Benedito Milioni, Cristina Palmeira)

5) ROI (Return On Investment) 5%5%

(fonte: ASTD 2.004, Washington, DC, EUA, 2004)(fonte: ASTD 2.004, Washington, DC, EUA, 2004)

E, segundo recomendam alguns

estudiosos brasileiros (Alfredo Castro, Benedito Milioni, Cristina Palmeira)

5) ROI (Return On Investment)

5%5%

OPERACIONALIZAÇÃO DAS OPERACIONALIZAÇÃO DAS FASES DO PROCESSOFASES DO PROCESSO

Obrigado!

milioni@milioni.com.brwww.milioni.com.br