MEDIDAS DE AVALIAÇÃO DE PROCEDIMENTOS, PROCESSOS E APOIO INSTRUCIONAIS EM TD&E

Denise Furlanetto 2011

ALGUNS CONCEITOS

APOIO: É parte do conceito de ambiente; Abrange fatores do contexto interno e

externo que podem afetar todas as atividade de um sistema de TD&E;

condições ou restrições impostas à realização do evento instrucional enquanto ele ocorre;

Exemplos: equipamentos; instalações; facilidade de acesso a material de apoio; transporte; alimentação

ALGUNS CONCEITOS

PROCEDIMENTOS INSTRUCIONAIS: Refere-se, no Modelo MAIS, à ação de TD&E

propriamente dita; refere-se a operações, ocorrências e

estratégias instrucionais utilizadas durante o treinamento, com a finalidade de levar o participante a alcançar os objetivos instrucionais.

são as características do desenho instrucional postas em prática.

Exemplos: apresentação de objetivos do curso; tempo destinado a atividade teóricas e práticas, seqüência de conteúdos, etc

ALGUNS CONCEITOS

PROCESSOS: referem-se aos resultados parciais ou

intermediários ocorridos durante a implementação do evento e observados principalmente no comportamento do participante.

Exemplos: erros e acertos em provas, absenteísmo, desistências, interações (participante-participante/participante-instrutor.

POR QUE AVALIAR PROCEDIMENTOS, PROCESSOS E

APOIO?

Procedimentos

Processos

São a essência do treinamento;Possibilitam descrição detalhada do sistema instrucional;Permitem verificar quais operações instrucionais são + eficazes e eficientes para diferentes clientelas.

Podem subsidiar predições sobre ações de TD&E de médio e longo prazos;Permitem saber o que funcionou ou não e aprimorar (caráter somativo).

POR QUE AVALIAR PROCEDIMENTOS, PROCESSOS E

APOIO?

Apoio

Pesquisas empíricas mostram que tal variável é fundamental na predição de impacto do treinamento no trabalho.

Os fatores de apoio à execução do treinamento vêm se mostrando, na prática, importantes variáveis que indicam as razões para abandono, absenteísmo e falta de motivação para o treinamento.

AO PLANEJAR UMA AVALIAÇÃO DE UM PROGRAMA INSTRUCIONAL DEVEMOS PERGUNTAR:

1- O que medir? Remete à necessidade de definir constructos

envolvidos na avaliação. Ex: apoio, procedimentos, processos.

Medidas são geralmente extraídas das definições de cada constructo;

INDICADORES DE AVALIAÇÃO

Constructo Indicadores

Apoio

Salas de aulas: ventilação, tamanho, mobiliário, layout, acústica

Hospedagem: proximidade do local, hóspedes por quarto, alimentação

Coordenação: facilidade de acesso, presteza no atendimento

Instalações: banheiros, salas para estudo, consultas a materiais didáticos

Serviços e recursos de apoio: equipamentos, materiais

Procedimentos

Planejamento ou desenho instrucional: objetivos instrucionais, seqüência de conteúdos, estratégias instrucionais

Execução: Desempenho do instrutor, interações requeridas pelos exercícios

Em cursos presenciais

INDICADORES DE AVALIAÇÃO

Constructo Indicadores

Processos

Resultados de testes ou exercícios práticos

Motivação desenvolvida durante o curso

Quantidade de tempo dedicado ao estudo individual

Interações participante-participante, participante-instrutor

Reações dos participantes às atividades propostas durante o curso

Nível de absenteísmo não justificado

Quantidade de pessoas que abandonam o curso

Em cursos presenciais

INDICADORES DE AVALIAÇÃO

Constructo Indicadores

Apoio

Interface gráfica

Serviço de apoio técnico

Sistema de tutoria: passiva ou ativa, quantidade de alunos por tutor

Ambiente de estudo: adequação do curso ao computador, aos locais, preferências e hábitos de estudos dos participantes, apoio ao participante na administração do tempo para conclusão das unidades do curso

Procedimentos

Interação com o tutor: natureza e freqüência

Interação com outros participantes: natureza e freqüência

Interatividade: tipo de participação exigida pelas atividades (ativa ou passiva)

Qualidade das avaliações de aprendizagem

Cursos à distância

INDICADORES DE AVALIAÇÃO

Constructo Indicadores

Processos

Resultados de testes, exercícios, provas

Participação em chats, fóruns, listas de discussão

Tempo para conclusão de cada unidade

Interações participante-participante, participante-instrutor (natureza, freqüência e qualidade)

Mensagens de satisfação ou insatisfação com curso e componentes do curso

Tempo dedicado à realização de exercícios e estudo individual

Atrasos na entrega de trabalhos

Nível de absenteísmo não justificado a momentos de atividade síncrona

Quantidade de abandonos

Cursos à distância

AO PLANEJAR UMA AVALIAÇÃO DE UM PROGRAMA INSTRUCIONAL DEVEMOS PERGUNTAR:

2- Com o que medir? Leva à escolha ou construção e validação de um

instrumentos capazes de gerar informações válidas e precisas sobre o que se quer avaliar;

Os instrumentos mais utilizados são: Questionários de avaliação de reação dos

participantes Observação com roteiros para registro Análise documental do curso Testes e/ou provas (na avaliação de variáveis de

processos)

INSTRUMENTOS DE MEDIDA – PONTOS CRÍTICOS

A escolha dos instrumentos deve levar em conta:Características do evento: presencial ou à

distânciaCaracterísticas da clientelaContexto em que o treinamento está

inserido

Encontram-se disponíveis instrumentos de avaliação de reações à procedimentos, processos e apoio, construídos e validados de acordo com recomendações técnicas oriundas da psicometria.

EXEMPLOS DE INSTRUMENTOSReação ou satisfação com a programação Pontuação

1-Clareza na definição dos objetivos do curso

2-Compatibilidade dos objetivos com suas necessidades de treinamento

3-Carga horária programada para as atividades teóricas

4-Ordenação dos conteúdos

5-Carga horária programada para as atividades práticas

6-Carga horária diária

7-Adequação do conteúdo aos objetivos

8-Qualidade das instalações

9-Qualidade e organização do material didático

10- Quantidade do material didáticoEscala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruimFonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)

EXEMPLOS DE INSTRUMENTOS

Desempenho do Instrutor (cursos presenciais) Pontuação

1-Transmissão dos objetivos do treinamento

2-Nível de profundidade com que os temas e assuntos foram abordados, tendo em vista os objetivos do curso

3-Ritmo de apresentação dos tópicos

4-Uso de estratégias instrucionais (estudos de caso, exposições orais, discussão em grupo) em relação à apreensão dos conteúdos

5-Qualidade das avaliações de aprendizagem

6-Conhecimento dos temas abordados

7-Segurança na transmissão do conteúdo

8-Disposição para esclarecer dúvidas

Escala: (5)ótimo, (4)Muito bom, (3)bom, (2)regular, (1)ruimFonte: Abbad (1999); Abbad, Borges-Andrade, Sallorenzo, Gama e Morandini (2001)

EXEMPLOS DE INSTRUMENTOS

Nota Reações à Interface Gráfica do curso

( ) Relação entre os nomes e as siglas dos comandos e suas funções

( ) Relação entre o ícone e sua função

( ) Manutenção da função de um mesmo comando em todas as telas

( ) Quantidade de passos para chegar na função que preciso

( ) Quantidade de conteúdo por tela

( ) Adequação do ambiente eletrônico do curso à minha experiência com o uso da Internet

( ) Letras (cor, tipo, tamanho) usadas nos textos

( ) Qualidade das mensagens que recebo do ambiente eletrônico quando cometo erros de navegação

Escala de 11 pontos, em que 0 corresponde a péssimo, e 10, a excelenteFonte: Carvalho (2003)

AO PLANEJAR UMA AVALIAÇÃO DE UM PROGRAMA INSTRUCIONAL DEVEMOS PERGUNTAR:

3- Como medir? Leva à definição e seleção de estratégias de coleta e

análise de dados.

4- Como emitir julgamentos de valor a partir da mensuração?

Requer a escolha do tipo mais adequado de avaliação: baseada em critério o u norma (dependente da situação)

ETAPAS DE PROCEDIMENTOS DE AVALIAÇÃO

1-Definir os constructos 2-Listar indicadores

3-Identificar instrumentos4-Escolher ou construir e

validar instrumentos

5-Escolher fontes e meios 6-Definir avaliadores

7-Definir procedimentos de coleta de dados

8-Definir procedimentos de análise de dados

9-Definir relatório e devolução dos resultados

FONTES, MEIOS E AVALIADORES

Fontes: Primárias ou Secundárias (arquivos e materiais preexistentes)

Meios: Material impresso, meio eletrônico

Avaliadores: Participantes, instrutores, desenhistas instrucionais, especialistas em conteúdo, profissionais de TD&E

A escolha das fontes, meios e avaliadores deve levar em conta: Características dos eventos (presenciais ou à

distância) Características da clientela Contexto em que a ação de TD&E está inserida Custos

PARA DEFINIR PROCEDIMENTOS DE AVALIAÇÃO É PRECISO:

Estudar o caso (características dos eventos, da clientela e do contexto);

Escolher um modelo de avaliação que defina claramente seus componentes;

Seguir as etapas 1 a 8 (descritas anteriormente)

Sobre procedimentos: apesar da importância, há pouca pesquisa, por ex, sobre operações instrucionais;

Há evidências de que objetivos instrucionais claros afetam a aprendizagem e que a realização de atividades práticas aumenta o impacto do treinamento no trabalho.

DISCUSSÕES FINAIS

DISCUSSÕES FINAIS

Estudos estrangeiros afirmam que reações favoráveis não garantem necessariamente a aprendizagem ou a mudança no comportamento do participante no trabalho.

Estudos brasileiros já mostram correlações favoráveis entre reação e impacto do treinamento no trabalho.

Abbad, Gama e Borges-Andrade (2000) concluíram que: Aprendizagem depende das características do

treinamento, somadas às características pessoais e de suporte à transferência.

Abbad, Gama e Borges-Andrade (2000) concluíram, ainda, que:Reações dependem de combinações

diferentes dos mesmos conjuntos de variáveis preditoras de aprendizagem.

Impacto do treinamento depende fortemente do suporte à transferência e de variáveis de reações aos resultados dos treinamentos.

Há avanços na área, mas a multiplicidade de medidas com definições e estruturas empíricas diferentes, dificulta a comparação e a análise da generalidade dos resultados de pesquisas que tentem correlacionar reação com aprendizagem e mudanças de comportamento no trabalho

DISCUSSÕES FINAIS

REFERÊNCIA

Abbad, Borges-Andrade, Mourão. Treinamento, desenvolvimento e educação em organizações e trabalho: fundamentos para a gestão de pessoas. Artmed: Porto Alegre, 2006 p.443-468