Sinopse CríticaWalner Mamede Jr

Autor(es) do texto originalZERBINI, Thais et al

Ano2012

TituloTransferência de treinamento e impacto do treinamento em profundidade (Cap. 8)

Fonte (Livro, revista, jornal)Medidas de avaliação em TD&E (ABBAD, Gardênia et al)

Editor(a)Artmed

LocalPOA

Páginas127-144

Idéias Principais- Os programas de TD&E visam resultados expressos sob a forma de competências que permitam ao egresso provocar impactos na organização, assim, avaliar, meramente, a reação ou a aprendizagem não basta, pois a aprendizagem, apesar de necessária, não é suficiente para a produção dos efeitos. Avaliar efetividade exige mensuração do efeito.- A formalidade e estabilidade do emprego em tempos passados demandava características formativas diferentes de hoje.- Existem dois tipos de medidas de impacto: em profundidade, mais específica, relacionada com a eficácia do egresso em relação aos objetivos de desempenho, com sua mudança do comportamento e com a transferência do treinamento, e em amplitude, mais global, relacionada com a efetividade do egresso em relação aos objetivos de desempenho e com o efeito da transferência1.- No Brasil, instrumentos de avaliação do impacto em amplitude são mais comuns que de impacto em profundidade, por seu menor custo, pela freqüente ausência de planejamento e objetivos claros nos programas de TD&E, pela dificuldade de conversão dos objetivos instrucionais em objetivos de desempenho, pelo número de participantes em cada curso (impacto em profundidade exige de cinco a dez indivíduos por item para a validação do instrumento) e pela quantidade de cursos em um mesmo programa de TD&E, o que exige uma diversificação onerosa de instrumentos, já que devem ser customizados conforme os objetivos de cada curso.- Antes de iniciar a avaliação é preciso decidir sobre o método de medida (análise documental, observação, entrevista ou questionário) e o nível de medida (comportamento ou resultado), o que irá implicar no tipo de medida (profundidade ou amplitude). Essa decisão dependerá das características do objeto de investigação: são esperados desempenhos complexos dos egressos ou os objetivos instrucionais relacionam-se a pequenas modificações em normas e rotinas, demandando mera memorização de conteúdo?; o curso objetiva o desenvolvimento de habilidades mensuráveis a serem aplicadas no trabalho?;- Nem todos os cursos são avaliáveis no nível do comportamento ou resultado, para tanto, seus objetivos devem estar relacionados a competências complexas requeridas pela organização, sendo potencialmente mesuráveis e discrimináveis em objetivos de desempenho e aprendizagem, ou, no mínimo, conversíveis a objetivos de desempenho, e a transferência de treinamento deve ser uma meta do curso.- Para levantar os objetivos instrucionais, tendo por referência Bloom e col (1972), o avaliador deve analisar todo o material didático, extraindo os objetivos de aprendizagem e de

desempenho, com foco nos comportamentos por eles descritos. É comum encontrarmos objetivos focados no desempenho do instrutor ou como lista de conteúdos ou pouco claros quanto ao comportamento esperado. Muitas vezes, o avaliador conclui que as situações de aprendizagem não condizem com os objetivos traçados. Assim, é necessário reescrever os objetivos conforme as prescrições teóricas, focando-os no participante ou resgatando as competências (de aprendizagem e de desempenho) esperadas dispersas no material didático ou por meio de entrevistas, adequando situações de aprendizagem e objetivos. Alguns objetivos instrucionais não são discrimináveis em objetivos de desempenho e de aprendizagem, sendo meros pré-requisitos para o alcance de aprendizagens mais complexas expressas em outros objetivos.2

- Um objetivo padrão é composto por um verbo que indica o desempenho esperado em determinada condição, frente a certos critérios: “expressar-se loquazmente diante de um público, com o uso de datashow”:

=Desempenho: “expressar-se loquazmente”=Condição: “diante de um público”=Critério: “com o uso de um datashow”

- Para a elaboração de instrumentos de medida devemos seguir 10 critérios que caracterizam o item, conforme Pasquali (1998): objetividade de medida; unidade de ideia; inteligibilidade de significado; consistência lógica; discriminabilidade de conteúdo; originalidade de termos; parcimônia do enunciado; adequabilidade à escala; credibilidade do conteúdo; e representabilidade da categoria.- Para respondentes com grau de instrução inferior ao médio completo, sugere-se escalas mais simples, como a de dois pontos.- Construído o questionário, é necessário submetê-lo a uma análise semântica, para se avaliar sua adequação aos critérios, por meio de oficinas piloto e entrevistas com 5 a 6 pessoas representativas da população de respondentes, que darão sugestões de modificação. Após essa etapa, os itens são agrupados em categorias por uma análise de conteúdo e o instrumento submetido a juízes, que verificarão a representabilidade da categoria e representatividade dos itens. Caso haja 80% de concordância entre os juízes quanto à alocação dos itens em cada categoria. Adicionalmente, os juízes devem julgar, também, a adequação dos itens aos critérios de construção.- Os dados podem ser coletado por autoavaliação, heteroavaliação ou ambos, apesar de, neste último caso, exigir-se mais recursos e poder surgir certo celeuma.- O impacto em profundidade costuma ser medido entre duas semanas e quatro meses após o término do curso.- É imprescindível garantir-se o sigilo e a privacidade da informação ao respondente, cumprindo-as, posteriormente.- Estratégias de sensibilização são fundamentais para que questionários à distância sejam respondidos, inclusive, com pedidos de apoio a colegas, superiores ou professores dos respondentes, a quem são explicitados os objetivos, os procedimentos e a importância da avaliação. Questionários muito longos comprometem a adesão de respondentes.- A validação empírica do instrumento é realizada pela aplicação do instrumento ao público-alvo, seguida de análises descritiva exploratória, estatística (normalidade, multicolinearidade, singularidade e linearidade) e fatorial (componentes principais, exploratória – cargas fatoriais, índice de confiabilidade, Alfa de Cronbach, média dos escores, rotação ortogonal ou oblíqua – e análise fatorial propriamente dita).- Os itens no instrumento podem ser apresentados aleatoriamente ao respondente, o que é

facilitado por formulários eletrônicos, que customizam o instrumento por respondente, mas deve ficar demonstrado que a ordem não altera a estabilidade do questionário.- Deve-se elaborar um relatório descritivo prescritivo analítico para a organização. Para tanto, é necessário que se extraia a média dos escores (somatório do escore de cada item, dividido pelo número de itens), o desvio padrão (se for alto, torna a média pouco representativa), a mediana, a moda e as freqüências, a fim de permitir uma melhor compreensão dos dados, que serão acrescidos de interpretações e sugestões.- No caso de existirem itens com valores invertidos, deve-se inverter, também, as respostas obtidas para se conseguir equivalência de sentido entre os itens e coerência nos dados.- Deve-se, sempre, realizar uma avaliação do apoio e do suporte organizacionais na avaliação do impacto.

Notas

1Sinto que urge a necessidade de se realizar uma padronização de termos dentro da teoria de TD&E. Muitas vezes, em textos diferentes ou até no mesmo texto, expressões/categorias como “objetivos de aprendizagem”, “objetivos instrucionais”, “objetivos de desempenho” e “objetivos de transferência” são utilizadas sem o devido rigor científico, assim como “Modelo Lógico”, “Marco Lógico” e “Modelo de Marco Lógico”, “resultado”, “produto”, “efeito” e “impacto”, “desempenho” e “comportamento”, entre outras.

2Nem sempre o alcance de objetivos depende do conteúdo didático ou pode ser medido em curto e médio prazo na forma de competências explícitas. Nesse caudal, objetivos focados no ensino e veiculados por verbos como “conscientizar”, “possibilitar”, “induzir”, “sensibilizar” e outros expressariam a busca de competências sutis derivadas dos aportes paralelos que esse conteúdo veicula, do próprio método didático adotado, do posicionamento do professor frente ao conteúdo e dos aspectos éticos e filosóficos implícitos ao conteúdo e à conduta do professor. Assim, não bastaria a avaliação do material didático ou as entrevistas, sendo necessária uma avaliação dos princípios didáticos, éticos e filosóficos expressos nos documentos do curso e do comprometimento da equipe pedagógica com o conteúdo e com tais princípios.