Informações Gerais

Referência do artigo

Abbad,G.,Gama,A.L.G.,Borges-Andrade,J.E. (2000).Treinamento:Análise do Relacionamento da

Avaliação nos Níveis de Reação, Aprendizagem e Impacto no Trabalho. Revista de Administração Contemporânea,

4,3,p.25-45.

Aluno - Fernanda Vieira Zabeu

Docente responsável – Thais Zerbini

Programa de pós graduação

Treinamento, Desenvolvimento e Educação de Pessoas

Instituição de Ensino

Universidade de São Paulo - USPFaculdade de Filosofia, Ciências e Letras de Ribeirão Preto

Objetivo do Artigo

• Relatar a validação de escala de avaliação de reações ao treinamento,bem como resultados da análise do relacionamento entre os três mais tradicionais níveis : reação,aprendizagem e impacto do treinamento no trabalho.

Revisão de Literatura

• Reação – nível de satisfação dos participantes com a programação,o apoio ao desenvolvimento do curso e a aplicabilidade;

• Aprendizagem – grau de assimilação dos conteúdos ensinados no treinamento;

• Impacto do Treinamento no Trabalho – Auto – avaliação feita pelo próprio participante acerca dos efeitos produzidos pelo treinamento.

Revisão de Literatura

• Um participante,apesar de demonstrar satisfação com o treinamento e de obter bons escores na avaliação de aprendizagem, não transfere para o trabalho.

• Proposta original de Kirpatrick (1976) os quatro níveis estão articulados entre si em uma mesma seqüência hierárquica de produção de informações sobre a eficácia de um treinamento.

sendo essas variáveis : reações, aprendizagem,desempenho no cargo e resultados.

Revisão de Literatura

• Sob o ponto de vista lógico , seria um equívoco, por exemplo,inferir causalidade entre reações de aprendizagem, quando muitas vezes, ambas as medidas são tomadas ao mesmo tempo.

• Na literatura examinada por Alliger e Janak (1989), foram encontrados poucos estudos sobre o relacionamento entre os quatro níveis, que , para os autores pode significar que os pesquisadores simplesmente assumem como verdadeiras as afirmações de Kirpatrick (1976),deixando de investigar tais relacionamentos.

Revisão de Literatura

• Resultados de pesquisas apresentadas por Tannenbaum e Yukl (1992), também não confirmam o relacionamento significativo entre as medidas.

• As fracas relações entre reação,aprendizagem e impacto não são conclusivas, havendo, ainda poucas tentativas de identificação das variáveis preditoras de cada um desses níveis de avaliação.

Método de Pesquisa

• O trabalho foi desenvolvido no período de março de 1997 a junho de 1998 no Instituto Serzedello Corrêa, Órgão do Tribunal de Contas da União.

• Os conceitos que fundamentaram a construção das escalas de avaliação de reação inserem-se principalmente no modelo de avaliação somativa de sistemas instrucionais (MAIS),proposto por Borges-Andrade (1982).

Método de Pesquisa

Construção e Validação Semântica das Escalas

Reação• O questionário de avaliação de reação,desenvolvido com

base no IMPACT,contém 39 itens associados a uma escala de seis alternativas de respostas .

Ótimo 5

Muito bom 4

Bom 3

Regular 2

Ruim 1

Método de Pesquisa

Os 39 itens encontram-se distribuídos em duas partes :

A primeira contém 24 itens e refere-se a avaliação dos aspectos concernentes ao curso

1- Programação 7 itens

2-Apoio ao Desenvolvimento do curso

2 itens

3-Aplicabilidade e Utilidade do treinamento

3 itens

4-Resultados do Treinamento

7 itens

5- Suporte Organizacional

3 itens

Método de Pesquisa

A segunda contém 15 itens de avaliação da satisfação dos treinados com o desempenho do instrutor

1- Desempenho didático

11 itens

2- Domínio do conteúdo 2 itens

3- Entrosamento com os treinados

3 itens

Método de Pesquisa

Amostra do Curso

• Avaliação feitas por participantes de 229 cursos oferecidos pelo ISC;

Conteúdo Técnico /Administrativo

• 25 cursos de auditoria;• 20 de estudos jurídicos;• 10 de administração;• 6 de atividades administrativas;• 3 de estudos internacionais;• 2 de administração de empresarial;• 2 para chefes de unidades administrativas;

Método de Pesquisa

Amostra do Curso

Conteúdo de natureza instrumental

• 80 de informática;• 66 de gerenciamento organizacional;• 15 de redação e gramática;

Método de Pesquisa

O questionário de avaliação de reação foi aplicado em todos os servidores que concluíram os cursos.

O arquivo de dados contém 4051 casos de participantes.

Amostra de Participantes

• 71,6% tinham nível superior completo;• 72,3% faixa etária de 31 a 50 anos;• 55,5% gênero sexo masculino;• 53,2% possuíam cargo de chefia;

Método de Pesquisa

Procedimentos

A aplicação do instrumento de avaliação de reação, era realizada no final de cada curso.Antes da aplicação do teste de

aprendizagem, pós teste de conhecimento.O teste era aplicado na sala de aula,por alunos do curso de

graduação em psicologia, com o objetivo de obter melhor orientação.

Esses participantes já haviam participados de outros dois questionários sendo eles:

1. Avaliação de suporte organizacional ao treinamento2. Pré-testes de conhecimentos relacionados aos conteúdos do

curso

Método de Pesquisa

Análise de Dados

Os dados obtidos por intermédio dos questionários foram submetidos as seguintes análises :

1. Análise estatística descritiva e de cunho exploratório

2. Análise dos principais componentes e á análise fatorial (PAF,rotação obliqua-direct oblimin)

3. Análise de consistência interna (alfa de Cronbach)

Método de Pesquisa

As análises foram realizadas por intermédio das ferramentas a seguir :

Pacote estatístico SPSS;

Tabelas e gráficos com o apoio de programas EXCEL, versão 97 e WORD, versão 7.0;

Indexação de arquivos e migração de dados cadastrais através do ACCESS, versão 97;

Resultados e Discussões

• As 3670 respostas válidas da escala de reação foram submetidas ao processo de validação estatística e de confiabilidade;

• Inspeção scree plot mostraram apenas dois fatores precisos, por esse motivo os dados foram reanalisados por meio dos eixos principais (PAF);

• Segunda análise – correlação entre dois dados (0,63) denominados – reação aos resultados e expectativas de suporte e reações á programação e ao apoio ao desenvolvimento do curso.

• Nas tabelas 1 e 2, ambas obtiveram ótimos índices de confiabilidade.

Resultados

Resultados e Discussões

• As 3670 respostas válidas dos itens concernentes á avaliação de desempenho do instrutor foram submetidas á analise dos componentes principais.

• A inspeção da forma de scree plot, sugeriram uma estrutura unifatorial predominante, por esse motivo os dados foram submetidos a análise fatorial , forçando a solução em um único fator que explicava 61,64 % da variância total das respostas.Fator denominado reação ao desempenho do instrutor.

• Segunda etapa – forçando-se a solução da análise (PAF) em dois fatores como sugerido (Figura 2) – dois fatores explicavam 67,95% da variância total, com forte correlacionamento (r=0,74)

Resultados e Discussões

Tabela 1 – Tabela 2 -

( alfa = 0,95) (alfa = 0,92)

10 itens (1,2,3,4,5,6,7,9,15 e 14)

5 itens(8,10,11,12 e 13)

Resultados e Discussões

Variáveis Definição

Aprendizagem Escores de 3082 participantes no pós teste de assimilação de conteúdos.

Impacto no Treinamento Média das avaliações feitas pelos próprios participantes acerca de efeitos produzidos pelo treinamento em níveis de desempenho,motivação, entre outros.

Impacto A Medido duas semanas após o treinamento (1270 respostas)

Impacto B Medido três meses após o treinamento ( 600 respostas)

Resultados e Discussões

Reapro Reação á programação e ao apoio

Reares Reação aos resultados,aplicabilidade e expectativa de suporte

Reains Reação ao desempenho do instrutor

Retenção A (recordação dos conteúdos)

Duas semanas do término do treinamento (1270 respostas)

Retenção B (recordação dos conteúdos)

Três meses após o treinamento (600 respostas)

Considerações Finais

• Aprendizagem, não tem relacionamento significativo com o impacto.Os níveis reações e impacto, estes sim,estão correlacionados forte e significativamente entre si.

• Os dados da literatura a respeito dos relacionamentos entre os níveis de avaliação são contraditórios e inconclusivos.

• Em parte, a força do relacionamento entre essas variáveis de reação com os demais níveis ficou fortalecida, pois obtiveram alfa Cronbach próximo ou superior a 0,90.

Esses itens construídos com base no modelo MAIS de Borges –Andrade,propiciam uma base mais abrangente,segura e objetiva para avaliação do curso.

Considerações Finais

• Essa pesquisa mostrou que o nível de avaliação de reação não é essencialmente unidimensional,podendo ser composto por dois fatores correlacionados entre si que medem aspectos diferentes e igualmente relevantes dos cursos.

• A variável de reação ao entrosamento não parecem influenciar os resultados do treinamento,provavelmente porque se referem as características pessoais do instrutor sobre as quais os treinados não se sentem á vontade para emitir juízos mais precisos.

Considerações Finais

• Cada elo da corrente de eventos reação aprendizagem

Impacto no trabalho parece depender de conjuntos diferentes de variáveis.

• Mais pesquisas sobre avaliação de treinamento deveriam ser realizadas em outros ambientes organizacionais, com diferentes treinamentos e amostras de participantes, de modo a ampliar a generalidade dos resultados,bem como testar modelos de avaliação abrangentes.

Considerações Finais

• Quais estratégias poderiam ser utilizadas para uma maior confiabilidade em relação ao desempenho do instrutor na avaliação dos treinados ?

• Podemos considerar a ferramenta ROI, uma proposta considerável de pesquisa para a avaliação dos investimentos destinados a treinamentos ?