1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra....

51
1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED - PRONEX ¹Integrante do PRONEX/ Treinamento e Comportamento no Trabalho Estratégias de Aprendizagem, Reações aos Procedimentos de um Curso via Internet, Reações ao Tutor e Impacto do Treinamento no Trabalho

Transcript of 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra....

Page 1: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

1

DISSERTAÇÃO DE MESTRADO

Thaís Zerbini¹UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia AbbadApoio Financeiro Parcial: CNPq – CAPES/PAPED - PRONEX¹Integrante do PRONEX/ Treinamento e Comportamento no Trabalho

Estratégias de Aprendizagem, Reações aos Procedimentos de um Curso via Internet, Reações

ao Tutor e Impacto do Treinamento no Trabalho

Page 2: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

2

CENÁRIO ATUAL

- Aprendizagem nas Organizações -

Investimento em Programas de TD&E

Programas de Avaliação de Treinamentos

Inovações Tecnológicas Economia Instantânea Quantidade e velocidade de informações Busca por qualificação e aprimoramento Diferencial Competitivo

Desenvolvimento de ações educacionais que garantam a aprendizagem nas organizações

Page 3: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

3

PRÁTICAS VIGENTES EM TD&ENo meio profissional

Utilização de novas tecnologias de informação e comunicação (NTICs)

Sistemas de treinamento inadequados para as reais necessidades da empresa

Ausência de levantamento de necessidade criterioso Ausência de avaliação dos resultados obtidos

No meio acadêmico Há muitas pesquisas sobre sistemas de treinamento,

mas poucas relativas a treinamentos oferecidos a distância por meio da Internet (TBWs)

Page 4: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

4

Vantagens das NTICs e TBWs

Flexibilidade para a realização de mudanças contínuas nos conteúdos dos treinamentos

Diminuição de custos a médio e longo prazo

Aumento do número de cursos oferecidos aos funcionários

Maior alcance de pessoas ao mesmo tempo

Conhecimento compartilhado e atualizado constantemente

Page 5: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

5

Desenvolvimento

Educação

Treinamento Instrução

Informação

Relação entre ConceitosRelação entre Conceitos

Page 6: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

6

Educação a Distância (EaD)

Mudanças no mercado de trabalho Mudanças na maneira de educar os indivíduos

Características

Separação física de professor e aluno durante a maior parte do processo instrucional

Separação de professor e aluno no tempo Uso de tecnologias avançadas

Contribuição da Psicologia Instrucional - Modularização do ensino - Controle de aprendizagem pelo aluno

Page 7: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

7

Treinamento a Distância (TaD)

Conjunto de ações educacionais, sistematicamente planejadas, desenvolvidas na maior parte do tempo no contexto de flexibilidade espacial e temporal entre professor e aluno, de interação e interatividade e de abertura dos espaços físicos

Utiliza meios tecnológicos que facilitam o aperfeiçoamento e a aquisição de CHAs por meio do auto-gerenciamento da aprendizagem do indivíduo

Educação Continuada

Desenvolvimento de Carreiras (Currículos

e Trilhas Profissionais)

Universidades Corporativas

Page 8: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

8

SISTEMA DE TREINAMENTO

PLANEJAMENTO E EXECUÇÃO DO TREINAMENTO

AVALIAÇÃO DO TREINAMENTO

AVALIAÇÃO DE NECESSIDADES DE

TREINAMENTO

CONTEXTO ORGANIZACIONAL

Page 9: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

9

AVALIAÇÃO DE TREINAMENTO

Avanços metodológicos nas pesquisas brasileiras

Pesquisas brasileiras e estrangeiras estudam, predominantemente, treinamentos presenciais

Diferenças entre Treinamentos a Distância e Presencial Mudanças nos Modelos de Avaliação de Treinamentos e nos Instrumentos de Coleta de Dados

Page 10: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

10

Modelo Clássico - Hamblin (1978)

Reação

Aprendizagem

Comportamento

Resultados

Valor Final

Satisfação c/ o treinamento

Alcance Objetivos Instrucionais

Impacto no Desempenho

Eficiência da Organização

Eficácia da Organização

Page 11: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

11

Modelo Base - MAIS (1982)

AVALIAÇÃODE

NECESSIDADES

APOIO

RESULTADOS A

LONGO PRAZO

DISSEMINAÇÃO

INSUMOS PROCEDIMENTOS

PROCESSO

PROCESSO

RESULTADOS

AMBIENTE

Page 12: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

12

Modelo Base - Modelo IMPACT (1999)

2. Curso

3. Clientela 5. Aprendizagem

4. Reações

7. Impacto

6.Suporte à Transferência

1. Suporte pré-treinamento

Page 13: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

13

Maioria dos estudos selecionados relata características conceituais de EaD

9 trabalhos entre mais de 100 artigos e teses selecionados Apenas Warr e Bunce (1995) apresentam modelo de

avaliação de treinamento similar aos utilizados em T&D e apresenta resultados no nível de comportamento no trabalho

Trabalhos selecionados - instrumentos construídos no nível de reação.

Poucos tiveram a preocupação em realizar validações estatísticas dos instrumentos de medida (Warr e Bunce, 1995; Cheung, 1998 e 2000; Dean e Webster, 2000)

Avaliação de Treinamento a DistânciaAvaliação de Treinamento a Distância

Page 14: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

14

LITERATURA – Características da Clientela

Estuda o relacionamento entre características individuais da clientela e a eficácia de treinamento

Necessidade de investigar características da clientela, tais como auto-eficácia, locus de controle, e outras variáveis advindas da Psicologia Social - Borges-Andrade e Abbad (1996)

Variáveis individuais apresentam menor poder de explicação, quando comparadas a suporte - Abbad, Pantoja e Pilati (2001)

Estratégias de Aprendizagem: pode contribuir para compreender como ocorre a aprendizagem em adultos (Warr e Downing, 2000)

Page 15: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

15

LITERATURA – Estratégias de Aprendizagem

Novos recursos dos TBWs - novas estratégias Pesquisas: maioria em contextos escolares e universitários Warr e Allan (1998): Hábitos de Estudo; Estilos de Aprendizagem; Estratégias de Aprendizagem Investigar estilos de aprendizagem é tão importante quanto estudar estratégias 3 grandes categorias (Warr e Allan):

Cognitivas: Repetição; Organização e Elaboração Comportamentais: Busca de Ajuda Interpessoal; Busca de Ajuda no Material Escrito e Aplicação Prática Auto-regulatórias: Controle da Emoção; Controle da Motivação e Monitoramento da Compreensão

Page 16: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

16

LITERATURA – Estratégias de Aprendizagem

Warr e Allan (1998) - Resultados ambíguos e inconsistentes

Sugestões dos autores: realizar estudos em outros contextos; examinar combinações de aprendizagem; relacionar estilos com estratégias de aprendizagem; relacionar estratégias com comportamento no trabalho; aplicação de pré e pós-teste.

Warr e Downing (2000) – EEA:

45 itens; 8 fatores (Organização e Elaboração Reflexão Ativa) 2 amostras (Treinamento de mecânica de veículos, =0,85 e Universitários, =0,79)

Page 17: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

17

LITERATURA – Características do Treinamento

Similaridade da situação de treinamento à realidade de trabalho e características do planejamento instrucional - Abbad, Pantoja e Pilati (2001) Últimos quatro anos: poucos pesquisadores estudaram a influência de características instrucionais no impacto de treinamento no trabalho Necessidade de mais estudos, principalmente, em TaD (Borges-Andrade e Abbad, 1996 e Abbad, Pantoja e Pilati, 2001)

1. Procedimentos Instrucionais

2. Desempenho do Tutor

Page 18: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

18

LITERATURA - Reações

Opinião dos participantes dos treinamentos quanto aos aspectos instrucionais e administrativos (Borges-Andrade, 2000)

Modelo MAIS – conjunto de variáveis que abrange diversos aspectos do treinamento

Instrumentos de avaliação no nível de reação: Alliger e cols (1997); Alves, Pasquali e Pereira (1999); e Abbad, Gama e Borges-Andrade (2000)

Relacionamento entre reação ao curso e impacto do treinamento nos trabalhos: Warr e Bunce (1995), Alliger e cols; Abbad (1999), Sallorenzo (2000)

Avaliação de reação aos procedimentos do curso e ao desempenho do tutor: Walker (1998) e Vargas (2000)

Page 19: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

19

LITERATURA – Suporte e Restrições à Transferência

Suporte parece ser condição necessária, embora não suficiente à transferência de treinamento

Análise da literatura nacional e estrangeira - suporte à transferência é forte preditor de impacto do treinamento no trabalho (Roullier e Goldstein, 1993; Abbad, 1999; Salas & Cannon-Bowers, 2001; entre outros)

Influência de restrições situacionais no desempenho dos indivíduos (Peters e O’Connor, 1980)

Resultados das pesquisas nacionais mais recentes corroboram esses achados

Page 20: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

20

LITERATURA – Impacto do Treinamento no Trabalho

Corresponde ao terceiro nível de avaliação proposto por Kirkpatrick (1976) e Hamblin (1978)

Impacto de treinamento no trabalho - profundidade e amplitude

Impacto em profundidade mede os efeitos diretos e específicos da aprendizagem dos objetivos do treinamento sobre o desempenho do indivíduo em atividades es situações similares às ensinadas no curso.

Impacto em largura ou amplitude mede efeitos mais gerais do treinamento sobre o desempenho global ou motivação do indivíduo em e para atividades e situações não necessariamente similares às aprendidas no curso.

Page 21: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

21

Poucos estudos na área de treinamento a distância (Salas & Cannon-Bowers, 2001)

Necessidade de analisar TaD, verificando as variáveis explicativas dos resultados - Abbad, Pantoja e Pilati (2001)

Poucos achados nesta área - lacunas e falhas na construção de instrumentos; ausência de modelos de avaliação para cursos a distância

Propõe-se um modelo reduzido de avaliação de treinamentos a distância, adaptado dos modelos IMPACT (Abbad, 1999) e MAIS (Borges-Andrade, 1982)

Delimitação do ProblemaDelimitação do Problema

Page 22: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

22

MODELO DE INVESTIGAÇÃO PROPOSTO

Estudo 1

1.Características da ClientelaVariáveis demográficasEstratégias de AprendizagemHábitos de Estudo

4. Impacto do Treinamento no

Trabalho

2. ReaçõesDesempenho do TutorProcedimentos Instrucionais

3. Falta de Suporte à Transferência de Treinamento

Estudo 2

Page 23: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

23

COMPONENTES Características da Clientela: Dados Demográficos dos Participantes, Estratégias de Aprendizagem e Hábitos de Estudo.

Estratégias de Aprendizagem: envolve capacidades cognitivas e habilidades comportamentais, utilizadas pelo aprendiz para controlar os próprios processos psicológicos de aprendizagem. A definição dessa variável não inclui as estratégias de auto-controle emocional, propostas por Warr e Allan (1998) e Warr e Downing (2000).

Hábitos de Estudo: preferências do aprendiz quanto a aspectos contextuais do ambiente de estudo e as maneiras de estudar. Esta definição corresponde, em parte, à de Warr e Allan (1998) para estilos de aprendizagem.

Page 24: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

24

Reações ao Treinamento: satisfação dos participantes com características instrucionais do curso. Refere-se, ainda, à percepção do treinando sobre a qualidade da interação do tutor com os alunos, domínio do conteúdo e uso de estratégias de ensino.

COMPONENTES (cont.)COMPONENTES (cont.)

Falta de Suporte à Transferência: opinião dos participantes acerca do nível com que variáveis do contexto familiar, social e/ou governamental podem prejudicar o negócio ou a aplicação das habilidades aprendidas no curso. Impacto do Treinamento no Trabalho: efeitos específicos do treinamento sobre o desempenho do participante em atividades diretamente relacionadas aos CHAs desenvolvidos no treinamento. Trata-se de uma medida de avaliação de Impacto em Profundidade, tal como sugerida por Hamblin (1978)

Page 25: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

25

Características da Organização e do Treinamento Analisado

Curso avaliado: IPGN Objetivo principal: ensinar a elaborar um Plano de Negócio Público-alvo: pessoas que desejam desenvolver habilidades de empreendedorismo 100% a distância via internet / Gratuito 40 horas / 60 dias / 5 módulos seqüenciais - de 2 a 5 capítulos Tutoria (200 alunos por tutor) e Recursos de interação

Objetivo - promover o desenvolvimento sustentável do Brasil por meio do apoio às micro e pequenas empresas 4.500 funcionários nos 27 estados da Federação e DF

Organização: SEBRAE

Page 26: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

26

PERFIL DEMOGRÁFICO DA POPULAÇÃO DE INSCRITOS

Número Total: 21. 920 alunos Concluinte: sim (52,9%) Gênero: masculino (65,7%) Idade: 33 anos (DP=9,29) Região Geográfica: Sudeste (54,1%) Dúvidas no tira-dúvidas: 0 (54,1%) Mensagens para a lista de discussão: de 1 a 6 (44,9%) Participação em chats: 0 (60,6%) Acesso ao mural de notícias: até 30 vezes (76,5%) Acesso ao ambiente do curso: de 1 a 12 vezes (63,5%)

Page 27: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

27

PERFIL DEMOGRÁFICO DAS AMOSTRAS

Número Total: EEA – 1860/ ERPI – 1896/ ERDT – 1060/ EFS – 1080/ EIPGN – 1575/ Modelo 1 – 194/ Modelo 2 - 356 Concluinte: sim Gênero: masculino Idade: 34 - 35 anos/ (DP=9,77 – 10,27) Região Geográfica: Sudeste Dúvidas no tira-dúvidas: 0 Mensagens para a lista de discussão: de 1 a 6 Participação em chats: 0 Acesso ao mural de notícias: até 30 vezes Acesso ao ambiente do curso: entre 7 e 24 vezes

Page 28: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

28

PERFIL DEMOGRÁFICO DAS AMOSTRAS

Possui negócio: não (66%/ 71,1%) Área de interesse: serviços (56,7%/ 54,5%) Motivo da inscrição: aprender a elaborar plano de negócios (52,1%/ 51,7%) Experiência na internet: experiente (52,1%/ 53,1%) Ocupação atual: funcionário de empresa privada (20,1%/ 21,3%) Participação em cursos a distância: não (59,3%/ 52,2%)

EEA:

Modelos de Regressão:

Correção preferida: tutor (55,4%) Prefere estudar: sozinho (84,4%) Quantidade de leitura: todo o material (80,9%) Horário preferido: 18h à meia-noite (49,1%)

Page 29: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

29

INSTRUMENTOS DE MEDIDAS

Instrumento Seções do instrumento No. de Itens

Roteiro de Análise do Material Didático

Objetivos instrucionaisEstratégias instrucionaisPlanejamento de atividadesSeqüência do ensinoFontes de informaçãoInformações gerais sobre o curso

39

Dados Pessoais Dados demográficos e profissionais 11

Estratégias de Aprendizagem –EEA

Hábitos de Estudo 6Estratégias de aprendizagem 24

Page 30: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

30

INSTRUMENTOS DE MEDIDAS

Instrumento Seções do instrumento No. de Itens

Reação aos Procedimentos Instrucionais – ERPI

Aspectos Instrucionais do Treinamento 19

Reação ao Desempenho do Tutor - ERDT

Interação com os Participantes 17

Domínio do Conteúdo 4Uso de Estratégias de Ensino 22

Falta de Suporte à Transferência de Treinamento- EFS

Apoio familiar, governamental e social 15

Impacto do Treinamento no Trabalho - EIPGN

Impacto em Profundidade 25

Page 31: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

31

COLETA DE DADOS

Momento 2 - 42 a 105 Dias Após o Treinamento

Impacto do Treinamento no Trabalho Falta de Suporte à Transferência do Treinamento

Momento 1: Último Dia de Treinamento

Dados demográficos e profissionais Estratégias de Aprendizagem Hábitos de Estudo Reação aos Procedimentos Instrucionais Reação ao Desempenho do Tutor

Page 32: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

32

Coleta de DadosColeta de Dados

Coleta por e-mail (Julho - Dezembro) Instrumentos digitalizados, hospedados na internet

110 turmas de, aproximadamente, 200 alunos cada Grupo A (Maio – 37 turmas)/ Grupo B (Junho – 3 turmas/ Grupo C (Agosto – 70 turmas) Índice de retorno baixo - 24% (Momento 1) e 8,5% (Momento 2) Preparação dos arquivos de dados (9 arquivos), para melhor aproveitamento dos casos válidos

Page 33: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

33

ANÁLISE DOS DADOS

Análises Exploratórias e

Descritivas

ESTUDO 1ESTUDO 1

• Análise dos Componentes Principais (PC) • Análise de Fatoração dos Eixos Principais (PAF)

ESTUDO 2ESTUDO 2• Análise de Regressão Múltipla Padrão• Análise de Regressão Múltipla Stepwise

Page 34: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

34

RESULTADOS ESTUDO 1

Escalas Obtidas KMO No. Itens

Valor Próprio % Var Alfa

Cargas fatoriais

mín. máx.Item <.30

EST1 Busca de Ajuda Interpessoal

0,83

8 4,20 17,5 0,85 0,44 0,76 2

EST2 Elaboração e Aplicação Prática 5 2,93 12,2 0,75 0,38 0,83 -

EST3 Repetição, Organização e Ajuda do Material

7 3,03 12,65 0,78 -0,33 0,69 2

PROC1 Procedimentos Tradicionais

0,93

9 7,18 37,82 0,91 0,44 0,90 -

PROC2 Recursos da Web 7 5,87 30,92 0,89 0,40 0,93 -

PROC3 Atividades e Exercícios 3 5,67 29,84 0,85 -0,58 -

0,82 -

PROCG Procedimentos Instrucionais 19 8,41 44,26 0,93 0,56 0,77 -

Page 35: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

35

RESULTADOS ESTUDO 1 (cont.)RESULTADOS ESTUDO 1 (cont.)Escalas Obtidas KMO No.

ItensValor

Próprio % Var AlfaCargas fatoriais

mín máxItem <.30

TUT1 Desempenho Didático e Domínio do Conteúdo

0,98

27 23,02 52,31 0,98 0,40 0,93 -

TUT2 Uso de Estratégias Motivacionais 12 18,65 42,38 0,95 0,49 0,98 -

TUT3 Respeito aos Participantes 5 9,84 22,36 0,92 0,41 0,52 -

TUT Desempenho do Tutor 44 25,07 57,0 0,98 0,59 0,83 -SUP1 Contexto do Empreendimento

0,91

8 5,18 34,5 0,87 0,34 0,85 -

SUP2 Aspectos Financeiros 7 5,23 34,87 0,88 -0,44 -0,91 -SUPG Falta de Suporte à Transferência 15 6,14 40,93 0,91 0,30 0,75 -

IMP1 Administração do Negócio

0,97

12 10,87 45,29 0,92 0,32 0,83 -

IMP2 Planejamento Financeiro 7 10,31 42,95 0,95 -0,54 -0,94 -

IMP3 Análise do Mercado 5 9,20 38,33 0,90 -0,31 -0,89 -IMPG Impacto do Treinamento no Trabalho 24 12,48 52,01 0,96 0,41 0,79 -

Page 36: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

36

RESULTADOS ESTUDO 2 Modelo 1

Agrupadas, as 8 variáveis antecedentes explicaram 38% (35% ajustado) da variabilidade de impacto do treinamento no trabalho. As 3 variáveis que contribuem significativamente para a explicação de impacto do treinamento no trabalho explicaram 23% da variabilidade total das respostas.

R² = 0,38, R²(ajustado) = 0,35 e R = 0,62

Impacto do treinamento no

trabalhoBeta = 0,30

Beta = -0,32

1. Características da ClientelaEST2 – Elaboração e Aplicação Prática

2. Falta de Suporte à Transferência

3. Elaboração de Plano de Negócio

Beta = 0,27

Page 37: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

37

RESULTADOS ESTUDO 2 Modelo 2

R² = 0,25, R²(ajustado) = 0,24 e R = 0,50

Agrupadas, as 3 variáveis antecedentes explicaram 25% (24% ajustado) da variabilidade de impacto do treinamento no trabalho e contribuíram significativamente para a explicação da variável critério.

Beta = 0,25

Beta = -0,24

Beta = 0,32

2. Falta de Suporte à Transferência

3. Elaboração de Plano de Negócio

1. Reação Procedimentos Instrucionais

Impacto do treinamento no

trabalho

Page 38: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

38

DISCUSSÃO – Estudo 1

Estudo 1 EEA – corroboraram, em parte, as estruturas empíricas encontradas por Warr e Downing (2000). ERPI – não foram encontradas escalas similares na literatura. Abbad (1999); Cheung (1998); Dean e Webster (2000) desenvolveram instrumentos de reação ao curso. ERDT – corroboram, em parte, os achados de Abbad (1999) EFS - não foram encontradas escalas similares na literatura. Diversos autores desenvolveram instrumentos relativos à suporte e restrições situacionais. EIPGN – validação deste tipo de instrumento é rara na literatura da área.

Page 39: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

39

DISCUSSÃO – Estudo 2

Modelo 1 Elaboração de um Plano de Negócios: falha metodológica Falta de Suporte:

corrobora, em parte, os achados de diversos autores porcentagem de explicação menor direção do relacionamento avaliações desfavoráveis relacionam-se positivamente com impacto resultado não é surpreendente

Elaboração e Aplicação Prática: Warr e Bunce (1995) não encontraram relacionamento direto entre estratégias de aprendizagem e impacto Outras variáveis não entraram como explicativas de impacto

Page 40: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

40

DISCUSSÃO – Estudo 2

Modelo 2 Reação aos Procedimentos do Curso: - corrobora os achados de Abbad, 1999 e Sallorenzo, 2000 - Pantoja, 1999 e Lima e cols, 1989 encontraram que características do curso prediz impacto de treinamento no trabalho Elaboração de um Plano de Negócios Falta de Suporte

Page 41: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

41

Considerações FinaisConsiderações Finais

Escalas psicometricamente válidas e confiáveis EEA e EFS devem ser aprimoradas Baixos coeficientes de determinação de regressão múltipla Características da clientela podem assumir maior relevância na explicação de impacto Mais itens relacionados ao suporte familiar devem ser incluídos nas próximas versões do EFS É necessária a aplicação de pré e pós-teste de aprendizagem As escalas devem ser aplicadas em outras organizações, cursos com mídias diferentes

Page 42: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

42

LIMITAÇÕES Enorme perda de dados - falhas de programação dos questionários e quedas de conexão dos computadores dos participantes com a internet, durante o preenchimento das escalas Baixo índice de devolução dos questionários, principalmente daqueles aplicados após o curso Inexistência de pré-testes de conhecimentos Falta de informações válidas sobre aprendizagem Não realização de análises inferenciais comparativas dos perfis de participantes concluintes e não concluintes do curso IPGN Falhas ou lacunas da pesquisa impossibilitaram o teste do modelo completo proposto, dificultaram a avaliação do quanto o curso foi capaz de desenvolver as competências descritas nos objetivos, e dificultaram a avaliação da generalidade dos resultados

Page 43: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

43

CONTRIBUIÇÕES

Construção e validação de cinco novas escalas de avaliação de treinamentos a distância, que possibilitaram o teste dos modelos reduzidos de avaliação de treinamento Validações estatísticas da Escala de Impacto do Treinamento no Trabalho, medido em profundidade Revisão da literatura de Avaliação de Treinamento a Distância

Page 44: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

44

AGENDAAGENDA

Analisar o relacionamento entre Características da Clientela e de Suporte à Transferência com os níveis de Reação, Aprendizagem e Impacto Avaliar quais destas variáveis explicam evasão em treinamentos a distância - TaD

Analisar o relacionamento entre variáveis de Reação aos Procedimentos e ao Tutor com os índices de evasão Analisar o relacionamento entre variáveis de Estratégias de Aprendizagem com índices de evasão. Examinar o relacionamento entre os três níveis de avaliação Reações, Aprendizagem e Impacto de treinamentos a distância no trabalho

Page 45: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

45

AGENDAAGENDA

Avaliar quais variáveis explicam retenção e generalização de competências em TaD Verificar a necessidade de adaptar os instrumentos de avaliação propostos neste estudo - inserir variáveis de resultados de treinamentos a distância, provenientes de outras áreas que trabalham com NTICs Revalidar os instrumentos de valor instrumental, auto-eficácia e locus controle, mencionados anteriormente, utilizando dados de participantes de TaD Revisar os conceitos de impacto e aprendizagem à luz da abordagem multinível de Kozlowski e cols (2000), como sugerido por Abbad, Pantoja e Pilati (2001)

Page 46: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

46

DECISÕES PRELIMINARESEstudo 1

Tratamento pairwise para casos omissos (ausentes<5%) Rotação oblíqua Casos extremos uni e multivariados mantidos nos arquivo de dados Valores próprios > 1 Análise da distribuição dos valores próprios (scree plot) Porcentagem mínima de 3% de variância explicada Cargas fatoriais superiores a 0,30 Análise dos índices de consistência interna dos itens Interpretabilidade das soluções propostas

Page 47: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

47

DECISÕES PRELIMINARES

Estudo 2 Tratamento pairwise para casos omissos (ausentes < 5%) Casos extremos multivariados foram excluídos Modelo 1 – 6 casos Modelo 2 – 2 casos

Page 48: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

48

Busca de Ajuda Interpessoal – similar à escala de Warr e Downing (2000) Elaboração e Aplicação Prática do Conteúdo e Repetição, Organização e Ajuda do Material – na escala dos autores, estratégias comportamentais e cognitivas separaram-se em fatores distintos:

Amostras diferentes Conteúdos práticos e teóricos bem delimitados Não exige aplicação prática Impressão do material não incentivada e optativa Não utilização de estratégias auto-regulatórias

Pré e pós-teste – Variáveis de Processo Borges-Andrade (1982)

Page 49: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

49

ERDT Itens superiores a 0,80 na matriz de correlações Estrutura fatorial com itens retirados: 33 itens, = 0,98

Page 50: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

50

Procedimentos Instrucionais “Operações necessárias para facilitar ou produzir os resultados instrucionais” (Borges-Andrade, 1982) Formulação de objetivos de ensino: Mager (1976) Taxonomia de objetivos educacionais: Bloom e cols (1972) e Rodrigues Jr. (1997) Aspectos gerais do planejamento instrucional: Fontanive (1981) e Laaser (1997) Processo de aprendizagem e eventos/estratégias instrucionais: Borges-Andrade (1982) e Gagné (1980) Planejamento e execução dos cursos e impacto do treinamento no trabalho Lima, Borges-Andrade e Vieira (1989), Paula (1992), Pantoja (1999) e Abbad (1999) Revisão de métodos de treinamento: Vargas (1996)

Page 51: 1 DISSERTAÇÃO DE MESTRADO Thaís Zerbini¹ UnB - Instituto de Psicologia Orientação: Profa. Dra. Gardênia Abbad Apoio Financeiro Parcial: CNPq – CAPES/PAPED.

51

Desempenho do TutorMaggio (2001) e Belloni (1999):

Devem adquirir novas habilidades para desenvolver seu trabalho Tutores e professores presenciais devem estar comprometidos com o bom ensino Administrar tempo, oportunidades e risco

Malvestiti (2002): tutores devem ser alunos de curso a distância; observar outros docentes atuando e ter formação específica Abbad (1999) e Sallorenzo (2000): desempenho do instrutor e impacto de treinamento no trabalho