1

Avaliao da Formao

Glossrio Anotado

2

FICHA TCNICA

Editor Instituto para a Inovao na Formao Unidade de Projecto Avaliao da Formao Coordenao Zelinda Cardoso Ttulo Avaliao da Formao Glossrio Anotado Coleco Avaliao Autores Zelinda Cardoso (INOFOR) Ana Soares (AIMINHO) Bruno Loureiro (AIMINHO) Carminha Cunha (AIMINHO) Florindo Ramos (AIMINHO) Design Multilogo, Imagem e comunicao Local de Edio Lisboa Data Fevereiro 2003 Impresso Tipografia Peres ISBN 972-8619-47-2 Depsito Legal 189915/03 Tiragem 1500 exemplares

3

ndice

Prefcio......................................................................................................... 004 Introduo.................................................................................................... 005 PARTE 1........................................................................................................ 009 Apresentao do caderno Como surgiu a iniciativa Que objectivos nortearam a sua elaborao Que opes metodolgicas foram efectuadas A quem se destina Como se organiza o respectivo contedo Como pode ser utilizado PARTE 2........................................................................................................ 014 Terminologia utilizada no contexto da avaliao da formao: breves definies Lista de termos usados PARTE 3........................................................................................................ 049 Notas metodolgicas PARTE 4........................................................................................................ 106 Sites e servios de informao Referncias bibliogrficas

4

Prefcio

Ao iniciar uma coleco dedicada temtica da avaliao da formao com um convite dirigido aos seus leitores para a realizao de uma reflexo acerca da terminologia e prticas avaliativas utilizadas neste domnio de interveno, os autores deste primeiro caderno visam criar as condies necessrias realizao de um percurso que facilite a cultura avaliativa nas nossas organizaes. Assim, apostados em contribuir para a caracterizao das prticas avaliativas j existentes, os mesmos autores apostam claramente na disponibilizao de um conjunto de suportes de apoio reflexo em matria de avaliao da formao, num contexto em que as prticas neste domnio so ainda claramente exploratrias e no qual so ainda escassos os estudos nestas matrias. Dar, pois, incio a esta coleco com a apresentao de um glossrio anotado, visando a uniformizao de entendimentos relativamente a determinados conceitos associados temtica da avaliao da formao, parece-nos ser, efectivamente, um bom ponto de partida. Para alm de uma reflexo terminolgica, os autores remetem os leitores para um conjunto de notas metodolgicas, que na respectiva opinio, sustentada nos inmeros contactos com entidades que intervm na formao, assim como na anlise de algumas boas prticas nesta matria, podem vir a contribuir para o desenvolvimento das prticas neste domnio.

0 claro apelo participao e envolvimento dos diferentes intervenientes na formao aquando da respectiva fase de avaliao, poder facilitar, no apenas uma maior co-responsabilizao dos mesmos no mbito de uma interveno formativa especfica, mas tambm uma maior adequao dessas intervenes s necessidades de todos aqueles que, nela, directa ou indirectamente, participam. neste sentido que a avaliao da formao aqui apresentada, ou seja, como uma ferramenta ao servio do desenvolvimento eficaz, ao longo e a jusante da realizao da formao, das competncias dos seus intervenientes. De acordo com os autores desta obra esse desenvolvimento ser tanto mais potenciado quanto maior for o grau de envolvimento/participao dos mesmos ao nvel de eventuais processos de tomada de deciso que venham a ocorrer no mbito dessas intervenes formativas. Termino, subscrevendo o apelo dirigido a todos os leitores deste primeiro caderno, para a respectiva participao em espaos de discusso a criar muito brevemente, nomeadamente, no site do INOFOR e aquando da realizao de jornadas tcnicas subordinadas temtica da avaliao.

Maria dos Anjos Almeida

Vice-Presidente do INOFOR

5

Introduo

Uma primeira reflexo acerca do domnio da avaliao da formao remete-nos, inevitavelmente, para a compreenso dos desafios associados ao desenvolvimento de projectos formativos, assim como respectivos processos de avaliao.

Uma observao mais atenta, que incida sobre a dinmica de actores, envolvidos directa ou indirectamente na formao, permite constatar a existncia de novas formas de estar e agir, quer por parte de quem se responsabiliza pela execuo da formao, formadores, monitores, tutores quer por parte dos respectivos participantes. Se os primeiros tendem a assumir um papel de facilitadores no processo de "construo de saberes", aos segundos solicitada, cada vez mais, uma maior corresponsabilizao ao nvel do acompanhamento e avaliao dos respectivos percursos de aprendizagem.

De facto, os vrios actores envolvidos nos projectos formativos, mobilizam-se hoje para a construo, de forma partilhada e reflectida, de novas solues pedaggicas, de novas formas de agir, assim como e, sobretudo, de novas formas de comunicar, por forma a responder mais eficazmente aos cada vez mais complexos e exigentes desafios da sociedade actual. Alguns dos desafios que gostaramos aqui de destacar, assim como respectivas implicaes para a avaliao da formao, so os/as seguintes:

desenvolvimento de capacidades de aprendizagem ao longo da vida, exigindo dos seus actores uma maior sensibilizao para a importncia da sua participao e envolvimento ao nvel da construo de um projecto formativo especfico, a desenvolver ao longo do respectivo percurso de vida.

o O desenvolvimento desta competncia assume particular importncia no

contexto da construo de modelos de avaliao da formao, uma vez que, a par de uma cada vez maior co-responsabilizao dos indivduos, no que diz respeito aos respectivos percursos de aprendizagem, constata-se, igualmente, uma maior co-responsabilizao dos mesmos no que toca monitorizao e avaliao de saberes adquiridos. Neste sentido, assiste-se hoje a uma maior preparao e sensibilizao dos indivduos para a realizao de processos auto-avaliativos, numa ptica de melhoria contnua das respectivas performances. Esta realidade assume uma importncia crucial quando consideradas as questes da rentabilizao de determinado investimento na formao, j que apenas uma articulao de esforos dos respectivos actores, conduzir obteno dos melhores resultados. As recentes teorias, associadas ao processo de aprendizagem ao longo da vida, tm contribudo tambm para o reposicionamento dos vrios actores aquando da realizao das intervenes formativas. Destaque-se que a formao evolui hoje para uma maior focalizao no aprendente, remetendo o formador para um papel de facilitador ao nvel da construo

6

de determinados saberes. As metodologias de avaliao da formao procuram, neste contexto, facilitar e fomentar os processos de reflexo critica capazes de apoiar a tomada de deciso dos diferentes actores, envolvidos num determinado projecto de formao.

exigncia por uma maior diversificao e flexibilizao dos modelos de organizao do formao, permitindo o respectivo reequacionamento e ajustamento numa ptica de efectiva adequao s necessidades dos pblicos-alvo que neles participam, A opo por solues formativas no convencionais, como o caso da formao a distncia, exige igualmente a construo e implementao de novas solues avaliativas, ajustadas s novas e diferentes necessidades de informao dos seus beneficirios.

construo de percursos formativos personalizados em funo do perfil

de cada indivduo, implicando que seja efectuada, a montante da realizao da formao, uma clara identificao e caracterizao das situaes de partida, relativas s capacidades detidas pelos potenciais participantes nas aces formativas. Esta realidade vem exigindo, cada vez mais, a necessidade de se realizarem, com maior frequncia, avaliaes de natureza diagnstica, que visem identificar o nvel de proficincia detido pelo formando em determinada rea do saber, facilitando uma melhor adequao do respectivo processo de aprendizagem.

Desenvolvimento de intervenes formativas totalmente orientadas

para a obteno de resultados, que vm exigindo s diversas organizaes que intervm na formao, o desenvolvimento de um conjunto de estratgias que facilitem a construo de um contexto no qual:

o sejam claramente evidenciadas as necessidades a colmatar com a

formao; o sejam claramente identificados os beneficirios (directos e indirectos) da

interveno formativa, assim como respectivas expectativas relativamente a resultados a alcanar;

o seja possvel a apresentao de resultados relativos aos efeitos/impactes obtidos com a formao;

o seja possvel garantir as condies necessrias transferncia de saberes adquiridos para os contextos reais de trabalho.

Diramos, pois, que, novos contextos e, consequentemente, novos actores, conduzem necessariamente a novas necessidades de informao. Tal realidade exerce uma profunda influncia ao nvel da implementao de processos avaliativos, j que os mesmos tendero a desenrolar-se por forma a dotarem os seus beneficirios de informao relevante capaz de suportar a respectiva tomada de deciso. Pensar em avaliao da formao implica, assim, o reequacionamento de uma srie de questes de partida, uma vez que, para alm desta se focalizar nos processos formativos, desempenhos dos respectivos actores e respectivos resultados imediatos, passa a incidir tambm a sua ateno, quer a nvel da preparao das intervenes formativas quer a nvel do

7

apuramento de impactes sobre os seus beneficirios. Ao percorrer todo o ciclo formativo, a avaliao passa a ser encarada no como um fim em si mesmo, mas antes como uma actividade ao servio de um sistema global de gesto e garantia da qualidade da formao, no qual deve ser considerada parte integrante.

Verificamos assim que, a par de questes tais como:

a) A realizao da formao decorreu conforme o previsto? b) Que tipo de saberes foram construdos ao longo do processo de

aprendizagem? c) Que desempenho tiveram os actores envolvidos no processo

formativo?

Surgem outras como:

o A situao de partida foi suficientemente caracterizada? o So conhecidos e foram suficientemente divulgados os objectivos a

alcanar? o Em que medida os recursos mobilizados par a formao foram

suficientemente optimizados? o Em que medida a formao desenvolvida colmatou as necessidades

previamente identificadas? o So conhecidos os nveis da impacte da interveno formativa

desenvolvida? o Em que medida os benefcios obtidos com a formao compensaram os

investimentos efectuados?

Organizaes cada vez mais centradas na gesto e avaliao do respectivo capital de conhecimentos. Sobre esta matria Carneiro (2000:36) refere mesmo que consensual que os factores crticos para vencer residem, hoje como nunca, nos activos intangveis: qualidade das pessoas; conhecimentos e competncias; empreendedorismo, inovao e criatividade; sistemas de educao, formao e investigao, culturas de aprendizagem permanente; capacidade de assumir riscos, mentalidade de servios e de criao de valor.

As implicaes desta realidade para a avaliao da formao so significativas. Se avaliar resultados de natureza tangvel no apresenta dificuldade de maior, avaliar resultados de natureza intangvel j no tarefa fcil. As respostas a estas questes so vrias e nem sempre consensuais. As experincias analisadas indicam contudo que nem sempre a abordagem de natureza financeira (assente na traduo monetria desses resultados) a abordagem mais adequada.

Acerca desta problemtica, dizem-nos alguns especialistas na matria que um

processo avaliativo ganha ao compreender, num primeiro momento, a natureza do resultado desejado (tangvel e/ou intangvel) uma vez que, desta forma, saber identificar melhor o tipo de metodologia a aplicar.

8

Crescente desenvolvimento e aplicao de diferentes sistemas de controlo e garantia de qualidade aplicveis ao sector do formao profissional. A coexistncia de vrios sistemas que visam a promoo da qualidade de eventuais intervenes formativas, procuram, em certa medida, fomentar o desenvolvimento de uma cultura de qualidade, cada vez mais necessria a uma resposta rpida e eficaz face aos desafios do presente.

Neste quadro, o papel dos sistemas de avaliao da formao sobretudo "instrumental", na medida em que os mesmos podem, quando implementados de forma eficaz, contribuir significativamente para o desenvolvimento de culturas de aprendizagem permanente", sempre que direccionados para o desenvolvimento dos seus actores. Sobre esta matria Carneiro (2000 : 45) afirma mesmo que "s uma cultura de avaliao pode fomentar uma postura de "reflexividade" que aposta na aprendizagem institucional e na melhoria permanente de processos pedaggicos".

Afloradas algumas das questes apresentadas neste primeiro caderno,

gostaramos de destacar que, para alm de se tratar de um glossrio anotado dedicado problemtica da avaliao da formao, o presente trabalho vai mais alm, ao pretender ser igualmente um instrumento de apoio reflexo dos que apostam claramente na melhoria das respectivas prticas avaliativas.

Ao iniciarmos esta coleco com a apresentao de um glossrio visa-se

contribuir, numa primeira fase, para a uniformizao de entendimentos relati-vamente a um conjunto de termos utilizados no domnio da avaliao da formao, que nem sempre so compreendidos e apropriados da mesma forma, facto que tem dificultado, por vezes, a comunio e a partilha de conhecimentos nestas matrias.

Esperamos assim, que este seja um contributo vlido para aqueles que intervm

no mbito da formao profissional, aos quais solicitamos, desde j, a eventual disponibilidade, para connosco reflectirem acerca da problemtica da avaliao da formao, num Frum de Discusso a criar brevemente.

9

PARTE 01

Apresentao do glossrio

10

Apresentao do glossrio Como surgiu a iniciativa? A criao de uma coleco dedicada ao tema da avaliao da formao resulta, fundamentalmente, da deteco de um conjunto de necessidades aquando dos contactos no terreno, junto de entidades que realizam formao, bem como em momento de elaborao de pareceres relativamente a metodologias de avaliao da formao desenvolvidas e apresentadas por um nmero significativo de entidades formadoras, junto da actual equipa do Projecto Avaliao da Formao. Esta coleco visa demonstrar, igualmente, a importncia que este instituto atribui s questes relacionadas com a garantia da qualidade das intervenes desenvolvidas no quadro da formao profissional. Considerados os sistemas de avaliao como verdadeiros instrumentos susceptveis de promover essa qualidade, aposta-se claramente, e cada vez mais, na elaborao de documentos que favoream e apoiem a operacionalizao do conceito no contexto de interveno de entidades que intervm na formao. O presente caderno, que agora inicia esta coleco, visa, assim, dar uma resposta concreta a um conjunto de necessidades sentidas por parte de diversas entidades formadoras, comeando, numa primeira fase, pela disponibilizao de um glossrio (anotado) que facilite a compreenso de alguns termos, regra geral, utilizados no contexto da avaliao da formao. O mesmo se destaca pelas notas ( #1, #2, etc...) que surgem associadas a cada uma das definies apresentadas, assim como tambm pelas notas metodolgicas que convidam os respectivos leitores a uma reflexo acerca das implicaes associadas operacionalizao de determinados termos. Longe de ser um produto acabado, visa, nesta fase dar nicio a um trabalho de recolha e uniformizao de um conjunto de noes associadas temtica da avaliao da formao que, partida, podem suscitar maiores dvidas por parte de quem as utiliza. Por esta razo, o mesmo ser oportunamente revisto, actualizado e acrescentado de acordo com as necessidades e eventuais comentrios dos seus utilizadores. Espera-se que a realizao dos restantes trabalhos (em fase de execuo), possa contribuir, igualmente, para o desenvolvimento e/ou actualizao do trabalho que agora se apresenta. Uma das actualizaes j prevista, prende-se com o desenvolvimento de conceitos associados construo de instrumentos de avaliao e tratamento estatstico de dados. Os utilizadores deste glossrio tero acesso s respectivas actualizaes atravs do site do Inofor (Unidade de Projecto Avaliao da Formao), no qual ser disponibilizado um espao para a introduo de eventuais sugestes e/ou recomendaes que visem a sua actualizao e/ou desenvolvimento (www.inofor.pt).

11

Que objectivos nortearam a sua elaborao? Procurando dar uma resposta concreta a inmeras questes colocadas, at data, pelos nossos utilizadores, este glossrio foi elaborado de forma a permitir desencadear eventuais processos de reflexo em torno da problemtica da avaliao da formao. Pretende-se, assim, como esta primeira iniciativa:

Contribuir, de uma forma gradual e sustentada, para o desenvolvimento de prticas de avaliao, mediante o desenvolvimento de um percurso que passa, numa primeira fase, pela compreenso de um conjunto de termos associados, regra geral, s principais fases de um processo de avaliao.

Apoiar as entidades, que realizam formao, na identificao das condies

consideradas necessrias aplicao de metodologias de avaliao.

Identificar e uniformizar um conjunto de termos a utilizar no mbito de documentos associados temtica da avaliao da formao, por forma a facilitar eventuais acompanhamentos junto dos potenciais utilizadores.

destcar as interdependncias existentes entre alguns dos termos apresentados.

Fomentar a pesquisa activa no mbito do domnio da avaliao, atravs do

reencaminhamento dos utilizadores para um conjunto de sites especializados nas matrias abordadas.

Sensibilizar os seus utilizadores para a panplia de mtodos, tcnicas e

posicionamentos que, surgem, regra geral, associados temtica da avaliao. Para alm de se elencar um conjunto de noes de significativa importncia no domnio da avaliao, pretende-se, sobretudo, disponibilizar ao utilizador um conjunto de pistas que facilitem o desenvolvimento das respectivas prticas avaliativas e, paralelamente, criem as condies necessrias apropriao e aplicao de itinerrios avaliativos j existentes. Que opes metodolgicas foram efectuadas? Concebido de acordo com as actuais tendncias em matria de avaliao da formao, o presente glossrio procura destacar um conjunto de estratgias avaliativas que, partida, entende-se serem as mais adequadas quando considerados os contextos analisados. Embora tenha surgido num contexto caracterizado pela predominncia de metodologias avaliativas orientadas por pressupostos de natureza positivista (avaliado e avaliador so considerados entidades distintas), este glossrio faz j um apelo claro ao desenvolvimento de estratgias de avaliao nas quais seja visvel o envolvimento/participao dos respectivos actores, em particular, no que toca identificao, construo e escolha das melhores estratgias avaliativas a aplicar.

12

Relativamente escolha dos termos, nesta primeira edio no sero apresentados todos os termos susceptveis de serem utilizados no domnio da avaliao. Atendendo s necessidades mais imediatas, manifestadas pela maior parte dos utilizadores do actual projecto de Avaliao da Formao, foram apenas seleccionados e desenvolvidos aqueles que remetem os potenciais utilizadores deste glossrio, para um enquadramento das principais questes associadas fase da concepo e implementao de modelos de avaliao. Sugere-se, assim, que sejam reunidas, numa primeira fase, as condies mnimas e necessrias ao desenvolvimento de prticas avaliativas, para numa fase subsequente serem trabalhados os aspectos que envolvem uma maior tecnicidade e, consequentemente, uma mobilizao de competncias especficas, necessrias a uma sutentada interveno no domnio da avaliao da formao. Quanto ao desenvolvimento dos contedos apresentados, foram privilegiados os termos que, em nosso entender, podem ser considerados verdadeiros pilares de sustentao de um processo avaliativo, sempre que apropriados e aplicados de forma eficaz. A quem se destina? Este glossrio destina-se a todos os que se interessam pelas questes da avaliao da formao e que procuram conceber, desenvolver e/ou aperfeioar referenciais a utilizar no contexto da avaliao da formao. Consideradas a diversidade dos contextos e a natureza dos projectos formativos a avaliar, foram destacadas, neste fase, algumas actividades de avaliao a desenvolver no contexto de projectos formativos direccionados para activos empregados. Destaque-se, no entanto, o facto de a lgica de avaliao apresentada poder ser, de certa forma, aplicada a outros contextos, desde que devidamente adaptada aos projectos de formao em anlise. Como se organiza o respectivo contedo? O presente caderno encontra-se estruturado em trs partes distintas: a) A primeira parte remete os respectivo utilizador para a compreenso de um

conjunto de termos normalmente mobilizados aquando da preparao e implementao de dispositivos de avaliao.

O leitor ver serem destacados termos/noes tais como, aprendizagem ao longo da vida, stakeholders, j que assumem, cada vez mais, um papel de destaque, no apenas no contexto do desenvolvimento de processos de aprendizagem, mas tambm no contexto da execuo de projectos de avaliao. De facto, so expresses que, em maior ou menor medida, reforam a importncia que os indivduos assumem no contexto da tomada de deciso, relativa aos percursos profissionais que lhe so inerentes. b) Numa segunda parte, apresenta-se um conjunto de notas de natureza

metodolgica, associadas a cada um dos termos descritos. Neste captulo vemos ser destacada a importncia da fase da planificao da avaliao, o papel e

13

responsibilidades dos respectivos intervenientes, assim como a abordagem avaliativa multinvel de D. Kirkpatrick. Igual destaque para as notas metodologicas relativas s fases da transferncia de aprendizagens para os contextos reais de trabalho, apresentao e disseminao dos resultados de uma avaliao.

c) A terceira e ltima parte remete o leitor par um conjunto de sites e servios de

apoio que disponibilizam informaes, experincias, instrumentos, estudos de caso, etc...relacionados com o domnio da avaliao. O acesso a esta informao permitir ao utilizador adequar mais eficazmente as suas metodologias avaliativas s especificidades dos contextos nos quais venha a intervir.

Como pode ser utilizado? O presente glossrio pode ser consultado de diversas formas, de acordo com os objectivos dos seus utilizadores: a) no caso do utilizador pretender identificar um determinado termo e respectiva

definio, poder recorrer lista de termos ordenados alfabeticamente que se encontra no final do documento;

b) aquando da fase da operacionalizao dos termos referidos, o utilizador poder

recorrer parte do trabalho na qual so apresntadas notas metodolgicas de apoio aplicao desses termos.

14

PARTE 02

Terminologia utilizada no contexto da avaliao

da formao: breves definies

15

Terminologia utilizada no contexto da avaliao da formao: breves definies Neste captulo, o leitor ser convidado a reflectiri acerca do significado de cada um dos termos apresentados, contando para tal com a definio do termo propriamente dito, bem como um conjunto de notas que visam contribuir para uma melhor compreenso e, consequentemente, melhor utilizao da terminologia associada ao domnio da avaliao da formao. Nesta primeira edio sero destacados alguns dos aspectos que, partida, podero ter algum interesse do ponto de vista da avaliao da formao. Note-se que as definies e notas que se seguem foram elaboradas sem prejuzo de outras j existentes. Destaque-se ainda que, na elabroao desta primeira edio no foram contempladas todas as referncias bibliogrficas normalmente associadas problemtica da avaliao da formao. Numa anlise mais aprofundada s questes da terminologia utilizada neste domnio, a realizar numa fase subsequente, sero equacionados outros contextos avaliativos, assim como distintos posicionamentos em matria de avaliao da formao.

16

1. Anlise custo-benefcio (RCB) Quantifica e compara o valor monetrio gerado pelos benefcios da formao com os seus custos. Frmula:

Benefcios da formao RCB= Custos da formao

#1: Trata-se da mesma definio apresentada para o ROI. A diferena reside fundamentalmente na frmula de clculo. Em termos matemticos, a diferena reside na escolha do numerador: enquanto o ROI utiliza os resultados lquidos da formao, a anlise custo-benefcio recorre aos resultados brutos. #2: Considera quer resultados de natureza tangvel (aumento de produtividade, aumento de carteira de clientes...) quer intangvel (elevao do grau de motivao do ex-formando, elevao do grau de satisfao dos clientes...) #3: Ver definies de Anlise do Retorno do Investimento e de Custo de formao. Fontes: Phillips (1997); Scriven (1991), Perez (2001), Garlick e Des Kemp (2001) 2. Aprendizagem ao longo da vida Toda e qualquer actividade, empreendida numa base contnua, com um objectivo que vise melhorar conhecimentos, aptides e competncias.1 # 1: Apresenta como categorias bsicas de actividades de aprendizagem:

Aprendizagem formal (providenciada pelos sistemas formais de educao e formao existentes, conduz a aquisio de diplomas e qualificaes reconhecidos).

Aprendizagem no-formal (decorre em simultneo com os restantes sistemas de educao/formao, no conduzindo, necessariamente a certificados formais. Pode ocorrer no local de trabalho e/ou atravs de actividades de organizaes ou grupos da sociedade civil, podendo ainda ser ministrada atravs da criao de estruturas complementares aos sistemas convencionais).

Aprendizagem informal (abrange todas as restantes formas de aprendizagem desenvolvidas ao longo do percurso de vida dos indivduos).

# 2: Lifelong & lifewide, i.e., ao longo da vida e em toda a vida (familiar, profissional, lazer, etc.). Fontes: Unio Europeia. Comisso (2000)

1 Definio idntica encontrada no Memorando sobre Aprendizagem ao Longo da Vida.

17

3. Auditoria da formao Exame sistemtico dos inputs, outputs e impactes de um sistema formativo, com base num referencial de critrios explcitos, permitindo identificar eventuais problemas e respectivas solues. # 1: Trata-se de uma definio de auditoria aplicada ao contexto da formao. # 2: Ver tambm definies de avaliao da formao e garantia de qualidade # 3: A construo de um referencial constitui a actividade central de um processo de auditoria. # 4: Aplicada ao contexto da formao, exige que os responsveis pela execuo de um projecto formativo, demonstrem, mediante a apresentao de evidncias concretas, que o mesmo foi desenvolvido de forma eficiente e que respeitou o pr-estabelecido e/ou acordado pelos donos desse projecto (financiadores, administradores da organizao, parceiros envolvidos...). Neste contexto, contribui, por um lado, para uma melhor gesto da qualidade dos projectos de formao e, por outro lado, para uma melhor adequao dos seus objectivos s necessidades dos respectivos pblicos-alvo. Fontes: Le Boterf (1999); Portugal. Instituto Portugus da Qualidade (2001) 4. Auto-avaliao Processo desenvolvido pelos diversos actores de um processo formativo e que visa apoiar a respectiva participao ao nvel da construo e gesto de mecanismos que facilitem a respectiva aprendizagem no mbito do mesmo. # 1: Quando realizada pelos formandos visa apoiar a sua participao ao nvel da construo e gesto do respectivo processo de aprendizagem. # 2: Constitui, de certa forma, uma das mais importantes ambies de um processo de avaliao: instituir e desenvolver uma cultura de avaliao aceite e operacionalizada por todos, na qual os seus actores so capazes de se auto-avaliarem de uma forma construtiva e isenta, contribuindo, activamente, quer para a gesto eficaz dos respectivos processos de aprendizagem quer para a melhoria do desempenho da(s) organizao(es) (s) qual(ais) se encontrem afectos. # 3: Sobre esta matria Caetano (1996) refere que A utilizao da auto-avaliao implica dar mais ateno ao papel dos subordinados na avaliao do seu desempenho, considerando-os como elementos activos legtimos do processo de avaliao, estendida como um meio de comunicao e no como um fim em si prprio, como acontece nos sistemas burocratizados. Fontes: Caetano (1996); Tilling (et al.) (2000); Scriven (1991); Patton (1997)

18

5. Avaliao medida Avaliao que concebida e implementada de acordo com as necessidades e expectativas dos seus utilizadores. # 1: Diferentes contextos de desenvolvimento e aplicao da formao, exigem fiferentes metodologias de avaliao. Este aspecto leva-nos a colocar a seguinte questo: Avaliao sim, mas de que contextos estamos a falar? # 2: Exige que os avaliadores possuam um porteflio de mtodos, tcnicas e instrumentos alargado por forma a poderem dar uma resposta adequada s necessidades dos respectivos clientes. Fontes: Patton (1997); Rossi (et al.) (1999) 6. Avaliao da formao2 Processo que possibilita a monitorizao sistemtica de determinada interveno formativa, recorrendo para o efeito a padres de qualidade de referncia explcitos ou implcitos, com vista produo de juzos de valor que suportem a eventual tomada de decises. # 1: uma definio de avaliao que refora, em grande medida, a ideia da utilidade social dos respectivos resultados. Saber qual a finalidade da avaliao ser, sem dvida, uma das questes a colocar aquando da fase da planificao de um processo avaliativo (ver definio de plano de avaliao). # 2: As abordagens de avaliao diferenciam-se, fundamentalmente, pela natureza dos objectivos que preconizam, bem como pelas caractersticas dos respectivos contextos de aplicao. Pretender aplicar, no mbito de contextos distintos, um nico modelo avaliativo no ser, pois, o mais adequado, uma vez qua a maior ou menor eficcia dos modelos de avaliao reside, essencialmente, em acautelar eventuais particularidades dos contextos em anlise, bem como adequao dos seus resultados a necessidades concretas de informao dos respectivos utilizadores. # 3: A definio de avaliao apresentada surge, de acordo com as actuais tendncias, intimamente associado ao processo de tomada de deciso, que dever ocorrer no mbito dos diferentes nveis em que os problemas ocorrem. Significa que quem avalia determinado aspecto de uma interveno formativa deve ser capaz de reflectir acerca dos respectivos resultados e, consequentemente, decidir e/ou recomendar eventuais alteraes que visem a sua melhoria. Fontes: Patton (1997); Barbier (1990); Lus Capucha (et al.) (1996); Valadares e Graa (1998); Frances and Roland Bee (1997), Salgado (1997) 2 A definio de avaliao apresentada no contempla a globalidade dos posicionamentos encontrados aquando da reviso de literatura efectuada. Prev-se, no entanto, o desenvolvimento deste conceito aquando da reviso e actualizao do presente glossrio.

19

7. Avaliao da transferncia de aprendizagens Visa aferir em que medida os saberes adquiridos pela via da formao foram efectivamente mobilizados para os respectivos contextos de aplicao. # 1: Utilizando a taxonomia de D. Kirkpatrick, diramos que no contexto de avaliao de terceiro nvel que se realiza uma avaliao desta natureza. # 2: A anlise a vrios estudos realizados sobre a matria, permitiu concluir que a preparao do contexto de desempenho de um indivduo recm-formado assume uma importncia crucial aquando da respectiva mobilizao de saberes adquiridos/desenvolvidos pela via da formao. # 3: Das principais barreiras ao processo de transferncias de aprendizagens destacam-se as seguintes:

Ausncia ou fraco envolvimento da gesto de topo ao longo do processo formativo;

Desarticulao entre os vrios nveis hierrquicos de uma organizao, no que se prende a estabelecimento de objectivos consensuais de mudana;

Estabelecimento de objectivos ambiciosos para a formao. Na maior parte das vezes a formao encarada como um fim e no, como seria desejvel, um meio para alcanar determinados fins.

Fontes: Phillips (1997); Broad (et al.) (1992); Kirkpatrick (1994); Meignant (1999) 8. Avaliao de aprendizagens Visa aferir em que medida os objectivos de aprendizagem do programa foram alcanados, por parte dos seus beneficirios directos (formandos). # 1: Na taxonomia de D. Kirkpatrick corresponde ao nvel 2 dos quatro nveis de avaliao previstos. # 2: No mbito de uma avaliao de aprendizagens podem ser utilizados mtodos de natureza qualitativa e quantitativa. # 3: Este tipo de avaliao procura, regra geral, dar uma resposta concreta s seguintes questes:

Que conhecimentos (saberes) foram adquiridos/desenvolvidos por parte dos formandos?

Que capacidade (saberes/fazer) foram adquiridos e/ou melhorados? Que atitudes (saberes relacionais) foram adquiridas e/ou melhoradas?

# 4: Numa avaliao centrada no tipo de saberes (de natureza cognitiva) adquiridos/desenvolvidos, os testes de conhecimentos so os instrumentos mais aplicados. Mtodos e/ou tcnicas, tais como a simulao de actividades, a elaborao de trabalhos/projectos finais, as avaliaes em contextos reais de trabalho (caso das actividades formativas realizadas em regime de alternncia), etc. so mais utilizadas nas avaliaes que incidem sobre saberes-fazer tcnicos. No que respeita s abordagens avaliativas centradas nos saberes relacionais, as tcnicas de avaliao mais utilizadas so os testes (que visam medir atitudes), as observaes e as simulaes. Fontes: Kirkpatrick (1998); Woods J. (et al.) (2000); Valadares e Graa (1998)

20

9. Avaliao de impactes/efeitos da formao (outcomes) Visa aferir as mudanas ocorridas ao nvel do desempenho dos indivduos, das organizaes e eventualmente do contexto socioeconmico no qual estes se inserem, decorrentes da implementao de determinado programa/projecto formativo. # 1: Realiza-se normalmente aps a execuo da formao, podendo, no entanto, ser igualmente aferida durante e no final de uma interveno formativa (ex: no contexto de programas formativos desenvolvidos em regime de alternncia); # 2: De acordo com a taxonomia de D. Kirkpatrick, corresponde aos terceiro e quarto nveis de avaliao, ou seja, verificao de impactes ao nvel de contextos de desempenho especficos e avaliao de impactes ao nvel de desempenho de determinada organizao; # 3: Neste tipo de avaliao podem ser aplicados mtodos de natureza quantitativa e qualitativa (ver definio de triangulao); # 4: Uma avaliao de impactes pode incidir partida sobre duas realidades distintas: (1) em que medida o programa de formao contribui directamente para o cumprimento dos objectivos da organizao; (2) em que medida criou as condies para que tal viesse a acontecer (contribuio indirecta). A compreenso destes dois tipos de objectivos torna-se fundamental aquando da aferio do retorno do investimento. # 5: A utilidade deste tipo de avaliao reside, fundamentalmente, no facto de permitir (1) aferir as alteraes produzidas pela formao nos contextos em que foi aplicada; (2) justificar a eventual continuidade de um programa/plano de formao, a sua reformulao ou mesmo a sua extino; (3) aferir o retorno do investimento na formao. Fontes: Phillips (1997); Kirkpatrick (1998-A); Moy e MacDonald (2000) 10. Avaliao de reaces Permite aferir o grau de satisfao dos participantes em relao aco de formao e s condies em que a mesma decorreu, visando o eventual desenvolvimento de aces de melhoria. # 1: Na taxonomia de D. Kirkpatrick, corresponde ao primeiro nvel de avaliao. # 2: Neste tipo de avaliao normalmente utilizado o inqurito por questionrio (smilling sheets), durante e/ou no final de cada interveno formativa. # 3: Algumas das vantagens associadas a este tipo de avaliao so as seguintes: (1) permite uma avaliao rpida da situao em termos de resultados entretanto alcanados; (2) no implica custos elevados; (3) assume um papel de extrema importncia num contexto de uma avaliao formativa, permitindo a regulao atempada de determinado processo formativo. # 4: Os protagonistas deste tipo de avaliao so o formando e o formador, actores capazes de exercer uma influncia imediata ao nvel da regulao da aco em curso. # 5: As dimenses/objecto alvo de avaliao mais comuns so as seguintes: os contedos programticos, o desempenho do formador e do coordenador da aco, os

21

mtodos pedaggicos e os recursos didtico-pedaggicos utilizados, as condies de realizao da aco e a organizao de suporte. Fontes: Kirkpatrick (1998); Woods J. (2000); Meignant (1999) 11. Avaliao diagnstica Modalidade de avaliao efectuada antes de uma aco ou sequncia de aces de formao, tendo por finalidade a produo de informaes que permitam determinar a situao dos formandos face aos objectivos de aprendizagem a atingir. # 1: Tambm pode ser designada por avaliao inicial. # 2: Ver definio de avaliao ex-ante. # 3: Permite, a montante da realizao da formao, identificar o nvel de proficincia detido pelo formando em determinada rea do saber, com vista a uma melhor adequao do programa de formao. Para este efeito, os instrumentos mais utilizados so os testes escritos. Existem, contudo, outras formas de actuar no mbito desta modalidade de avaliao , tais como: o recurso tcnica da simulao que vise colocar o formando perante uma situao problema. # 4: Apresenta como principais objectivos:

Determinar a situao dos formandos face aos objectivos de aprendizagem pr-definidos (visa apurar o tipo de conhecimentos, capacidades (aptides) e atitudes necessrias ao cumprimento dos objectivos de aprendizagem pretendidos).

Determinar/ajustar perfis de entrada na formao. Seleccionar eventuais candidatos a determinadas aces de formao. Produzir informaes que facilitem a constituio de grupos de formandos, com

caractersticas idnticas, sempre que tal seja desejado. Confirmar e ajustar as informaes que decorrem de diagnsticos de

necessidades previamente realizados. Detectar eventuais dificuldades a considerar na proposta pedaggica a

desenvolver. Fontes: Figari (1996); Rossi (et al.) (1999) 12. Avaliao do retorno do investimento em formao (Return on investment-ROI) Quantifica e compara o valor monetrio gerado pelo impacte da formao, com os seus custos (expresso em percentagem) Frmula:

Benefcios Lquidos da Formao ROI (%) = Custo da Formao *100

22

# 1: Ver definio de anlise custo-benefcio. # 2: Abordagem bastante desenvolvida no mbito dos trabalhos de J.J. Phillips. # 3: Tipo de avaliao cada vez mais solicitado por parte de quem investe na formao, visando a obteno de evidncias concretas relativamente ao valor monetrio gerado pelo investimento na formao. # 4: Quando aplicada ao contexto da formao, a anlise do ROI pode considerar diferentes clusters de indicadores, tais como: (1) produtividade e eficincia; (2) vendas e lucros; (3) qualidade dos produtos e servios; (4) servio de apoio ao cliente e satisfao do mesmo; (5) segurana e higiene no trabalho; (6) desenvolvimento e aprendizagem organizacional; (7) clima e cultura organizacional... Fontes: J. Phillips (1997 A); Phillips P. (2002); Bartel (2000), Kirkpatrick (1998 - A); Moy e MacDonald (2000). 13. Avaliao ex-ante Efectuada antes da realizao da formao, apresenta como objective ltimo, a comprenso/definio dos indicadores de realizao, de resultados e de impactes da formao. # 1: Tambm designada por avaliao prvia e pr-avaliao. # 2: O seu desenvolvimento fornece in-puts essenciais elaborao de um referencial de avaliao. # 3: Trata-se de um termo mais abrangente, quando comparado com a definio de avaliao diagnstica. Note-se que esta ltima incide, regra geral, sobre o nvel de conhecimentos do formando no momento pr-formativo, enquanto uma avaliao ex-ante propriamente dita, apresenta objectivos mais vastos, incidindo sobre o contexto, as caractersticas e os objectivos de determinada interveno formativa. # 4: Apresenta como critrios de avaliao mais utilizados: a pertinncia/relevncia dos objectivos pretendidos face s necessidades pr-identificadas, assim como a coerncia do projecto formativo quando considerada a cadeia de objectivos preconizados. # 5: Na lgica dos 4 nveis de avaliao de D. Kirkpatrick, corresponde, como objectivo ltimo, definio dos critrios e indicadores de avaliao para cada um desses nveis. Fontes: Rossi (et al.) (1999); Rodrigues (1993); Kirkpatrick (1998) 14. Avaliao ex-post Efectuada normalmente aps a concluso da formao, produz informao sobre os seus resultados e efeitos gerados pela interveno formativa ao nvel dos seus beneficirios (directos e indirectos). # 1: Ver definies de avaliao ex-ante, avaliao on going e avaliao de impactes da formao. # 2: Tambm designada por avaliao de follow-up. # 3: Avalia indicadores de resultados e de impacte. # 4: Efectuada, regra geral, algum tempo aps a realizao da formao, para apuramento de eventuais impactes decorrentes da formao, quer ao nvel do

23

desempenho dos indivduos, quer ao nvel dos contextos que receberam, de forma indirecta, as mais valias dessa formao (por exemplo: contextos de trabalho especficos e/ou organizao no seu todo). # 5: Em estudos prospectivos pode ser efectuada antes da implementao de um projecto/programa formativo. Fontes: Rodrigues (1993); Capucha (et al.) (1996); Kirkpatrick (1998) 15. Avaliao externa Avaliao desenvolvida por um indivduo ou organizao que no participa na concepo e execuo da interveno formativa, mas que se responsabiliza pela respectiva avaliao. # 1: Numa avaliao externa, o avaliador encontra-se fora da organizao que executa a formao. # 2: de uma avaliao normalmente solicitada e financiada por algum que visa obter um olhar externo relativamente aos resultados de determinada interveno formativa. , regra geral, solicitada por entidades externas que exercem funes de superviso sobre o projecto de formao. # 3: Pode tambm ser encomendada pela organizao que realiza a formao, quando pretende obter uma segunda opinio acerca dos resultados obtidos com a formao. As razes que conduzem a tal pedido so, normalmente, as seguintes: (1) o responsvel pela realizao da formao procura dar continuidade interveno formativa, constituindo os resultados dessa avaliao uma verdadeira base de negociao para futuros pedidos de financiamento; (2) a organizao que realiza a formao visa reforar a sua imagem junto dos respectivos clientes. # 4: Os indivduos responsveis por uma avaliao externa encontram-se, em regra geral, ligados a universidades, empresas de consultoria, organismos que promovem estudos de investigao (entre outros), e desconhecem, na maior parte dos casos, as situaes objectivo alvo de anlise. Apresentam, por esta razo, maior iseno relativamente a anlises que venham a efectuar, j que no mantm qualquer relao de dependncia com a organizao que executa a formao. # 5: O grau de envolvimento dos indivduos (interlocutores-chave) a implicar no decurso de uma avaliao externa , normalmente, bastante reduzido. Os contactos efectuados visam apenas, na maior parte das vezes, sensibilizar e mobilizar esses indivduos para a respectiva participao3 no processo avaliativo. Fontes: Scriven (1991); Capucha (et al.) (1996); Rossi (et al.) (1999); Patton (1997)

3 No contexto de uma avaliao externa, esta participao assume, regra geral, um carcter instrumental, ou seja, os indivduos apenas so chamados para se pronunciarem (atravs da realizao de inquritos por entrevista ou questionrios, ou participao em outros mtodos ou tcnicas, tais como os grupos de discusso, brainstormings, etc...), acerca dos resultados decorrentes de determinada interveno formativa.

24

16. Avaliao formativa Modalidade de avaliao efectuada no decurso da realizao da formao que visa produzir informao que possibilite aos formandos e formadores verificar se os objectivos pedaggicos esto a ser atingidos, podendo resultar na introduo de melhorias durante o processo de aprendizagem. # 1: O conceito de avaliao formativa deve-se a Scriven que a utiliza pela primeira vez em 1967 e que desde logo passa a ser utilizada de forma generalizada. # 2: Este conceito surge normalmente associado ao conceito de avaliao sumativa, sendo ambos entendidos como complementares e no contraditrios. # 3: Esta modalidade de avaliao orienta-se, sobretudo, para fins pedaggicos procurando criar ou preservar as condies propcias realizao da aprendizagem, pelo que normalmente confiada a avaliadores internos. Pode, no entanto, ser igualmente efectuada por avaliadores externos. # 4: simultaneamente retrospectiva e prospectiva, assumindo um papel fundamental numa ptica da garantia e controlo de qualidade de uma interveno formativa. # 5: Permite a retroalimentao contnua do processo formativo (feedback contnuo e permanente), actividade de impacte significativo ao nvel da recuperao dos formandos que demonstrem maiores dificuldades no alcance de um ou mais objectivos de aprendizagem. # 6: Tendo como principal objecto de estudo o processo formativo, incide, regra geral, nas seguintes dimenses: a poltica formativa; o processo de diagnstico de necessidades de formao, o dispositivo de formao, o projecto/programa formativo, a actuao dos actores envolvidos na execuo da formao, o processo pedaggico, as funes de gesto do programa, a organizao de suporte, o dispositivo de avaliao. Fontes: Valadas e Graa (1998); Barbier (1990); Scriven (1991); Patton (1997); Rossi (et al.) (1999); Perrenoud (1999) 17. Avaliao interna Avaliao realizada por uma estrutura especfica e/ou indivduos que dependem da organizao responsvel pela execuo da interveno formativa e que visa fornecer aos mesmos informaes de suporte respectiva tomada de deciso. # 1: Quando desenvolvida por uma organizao que realiza formao, permite criar as condies necessrias garantia e controlo de qualidade das respectivas intervenes formativas (ver definio de auto-avaliao e de avaliao formativa). # 2: Os indivduos envolvidos neste tipo de avaliao representam os centros de deciso responsveis pela introduo de melhorias no mbito da interveno formativa em curso, tais como: dirigente da organizao, director de formao, coordenadores pedaggicos, formandores, formandos (enquanto co-responsveis no respectivo processo de ensino-aprendizagem), etc... a estes que, regra geral, so devolvidos os resultados de uma avaliao interna. Fontes: Fetterman (1996); Rossi (et al.) (1999); Patton (1997)

25

18. Avaliao on-going Efectuada durante a realizao da formao acompanha a execuo da mesma, produzindo informao para a monitorizao e controlo de gesto do processo formativo, numa ptica de melhoria contnua. # 1: Tambm designada por avaliao de processo, distingue-se da avaliao ex-post, por se centrar no momento da execuo da formao. # 2: Este conceito surge, regra geral, associado a outros dois: avaliao ex-ante e avaliao ex-post. Estas etapas de avaliao sobrepem-se parcialmente na medida em que a avaliao on-going integra elementos da avaliao ex-ante e desenvolve-se em funo dos aspectos a considerar numa avaliao ex-post. # 3: A no articulao destes trs momentos, resulta numa perda de utilidade da avaliao no mbito da gesto e reorientao de um programa formativo, tanto quanto possvel num tempo oportuno. # 4: Ver definies de avaliao de eficincia, avaliao formativa, auditoria da qualidade e garantia de qualidade. Fontes: Rodrigues (1993); Patton (1997); Rossi (1999); Barbier (1990) 19. Avaliao Qualitativa Recolha, tratamento e apresentao de informao usando factos, frequentemente sob uma forma narrativa. # 1: As abordagens de carcter essencialmente qualitativo recorrem, com frequncia, a um conjunto de tcnicas, tais como: a observao directa, a anlise de documentao, a inquritos por entrevista, sesses de grupo, estudo de casos,etc... # 2: No contexto da avaliao da formao os mtodos e tcnicas qualitativas tm sido basicamente colocadas ao servio, quer de uma melhor concepo de inquritos por questionrio (ex: aquando do apuramento de informaes relevantes a tratar no mbito de um questionrio podem ser realizadas entrevistas de carcter exploratrio) quer de uma maior clarificao dos resultados resultantes do desenvolvimento de abordagens de natureza quantitativa (Ex: aplicao de um inqurito por entrevista para esclarecimento de dvidas que permaneam aps a aplicao de um inqurito por questionrio). # 3: Permite, em regra, efectuar estudos mais aprofundados dada a riqueza das informaes produzidas, ao contrrio das abordagens de natureza puramente quantitativa que, ao serem aplicadas isoladamente, produzem, regra geral, uma menor riqueza de informao (no obstante a qualidade da mesma). # 4: Os mtodos de natureza qualitativa so bastante utilizados aquando da realizao de avaliaes de carcter formativo. A anlise de vrios estudos de avaliao permite concluir, no entanto, que os mtodos qualitativos h muito que comearam a ser utilizados, tambm, aquando da realizao de avaliaes que incidam sobre os resultados e impactes da formao. Fontes: Basarab (et al.) (1992); Rossi (et al.) (1999); Patton (1997); Scriven (1991)

26

20. Avaliao quantitativa Recolha, tratamento e apresentao de informao usando factos e implicando uma representao numrica. # 1: Os avaliadores que preferem as avaliaes de natureza quantitativa, orientam-se nitidamente para o desenvolvimento de avaliaes de carcter essencialmente sumativo, ou seja, mais focalizados na identificao de medidas concretas relativas, quer a determinadas caractersticas do programa quer a processos a ele inerentes, quer ainda relativas ao apuramento dos respectivos impactes. # 2: A escolha de abordagens de natureza qualitativa ou quantitativa , regra geral, efectuada em funo das questes de avaliao em presena. Fontes: Basarab (et al.) (1992); Rossi (et al.) (1999); Patton (1997); Scriven (1991) 21. Avaliao sumativa Modalidade de avaliao que visa determinar em que medida os objectivos da formao foram de facto cumpridos, efectuando para o efeito um juzo de valor sobre os resultados alcanados. # 1: Foi com Scriven (1967) que surgiu o debate acerca das avaliaes de natureza formativa e sumativa. # 2: O seu principal enfoque so os resultados gerados durante, no final e aps a realizao da formao # 3: Pode ser efectuada por avaliadores internos ou externos, sendo as abordagens externas usuais neste tipo de avaliao. Fontes: Scriven (1991); Patton (1997); Rossi (et al.) (1999); Portugal. Comisso Interministerial para o Emprego (2001) 22. Avaliar a coerncia Verifica a relao entre as caractersticas e componentes do processo formativo e os objectivos da formao. # 1: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-antes e on-going. # 2: Os critrios de coerncia verificam em que medida as decises relativas ao funcionamento interno de um sistema de formao tm em conta os objectivos pr estabelecidos. # 3: Uma das actividades realizadas aquando da avaliao de um projecto formativo a anlise da coerncia da respectiva cadeia de objectivos preconizados. Fontes: Le Boterf (1999); Meignant (1999)

27

23. Avaliar a conformidade Verifica se um produto, processo ou servio cumpre requisitos, pescries, procedimentos ou normas especificadas. # 1: Trata-se de uma definio de conformidade, tambm vlida para outros contextos (p.e., avaliao de projectos). # 2: Conformidade deriva do latim conforme que significa exactamente igual. # 3: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-ante e on-going. # 4: Ver definio de auditoria da formao. # 5:Um instrumento clssico utilizado numa avaliao de conformidade a de-nominada checklist. # 6: No contexto de aplicao das normas srie ISO 9000, a avaliao de conformidade traduz-se no controlo e ou verificao da gesto adequada dos processos organizacionais desenvolvidos, por forma a garantir o cumprimento dos requisitos normativos pr-estabelecidos. Fontes: Meignant (1999); Portugal. Instituto Portugus da qualidade (2001) 24. Avaliar a eficcia Verifica em que medida os resultados obtidos reportam aos objectivos previamente estabelecidos. # 1: Ver definies de avaliar a eficincia, objectivos de aprendizagem, anlise custo-benefcio e avaliao do retorno do investimento. # 2: A interpretao dos seus resultados efectuada normalmente luz dos resultados de uma avaliao de eficincia. # 3: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-post. Fontes: Phillips (1997-A); Meignant (1999); Rossi (et al.) (1999) 25. Avaliar a eficincia Verifica em que medida os resultados do processo formative justificam os recursos mobilizados (humanos, materiais, financeiros,) # 1: Ver definio de avaliao de eficcia, de anlise custo-benefcio e de auditoria da formao # 2: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao on-going e ex-post. Pode ainda ser aplicado a montante da realizao da formao aquando da realizao de uma anlise prvia de custo benefcio. # 3: Esta noo surge, regra geral, associada noo de eficcia. Na prtica, pode acontecer sermos eficazes mas no eficientes e vice-versa. De facto, podemos verificar situaes em que o resultado atingido corresponde ao objectivo pr-estabelecido (eficcia), mas com verdadeira derrapagem ao nvel do oramento inicialmente

28

previsto (ineficincia). Inversamente, posso no ter atingido o objectivo (ineficcia), mas ter cumprido o oramento (eficincia). A situao ideial ser sempre a obteno do mximo de proveito com o menor consumo de recursos possvel. Fontes: Meignant (1999); Rossi (et al.) (1999) 26. Avaliar a oportunidade Verifica em que medida determinado projecto d resposta atempada s necessidades dos respectivos destinatrios. # 1: Trata-se de um definio de oportunidade, tambm vlida para outroscontextos (p.e., avaliao de projectos). # 2: um critrio de avaliao, normalmente aplciado no contexto de uma avaliao ex-ante. Fontes: Le Boterf (1999) 27. Avaliar a pertinncia Verifica em que medida os objectivos de uma interveno formativa correspondem s necessidades que estiveram na sua origem. # 1: Definio semelhante para uma verificao de relevncia de um projecto. # 2: Trata-se de uma definio de pernitncia, tambm vlida para outros contextos. # 3: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-ante. # 4: Numa anlise longitudinal, a questo da pertinncia consiste em verificar se, tendo em conta a evoluo do contexto, os obejctivos da interveno continuam adequados s necessidades pr-identificadas continuam adequados s necessidades pr-identficadas. O enfoque incide sobre a concepo e a preparao de um projecto. Fontes: Rossi (et al.) (1999); Rodrigues (1993) 28. Avaliar a utilidade Verifica em que medida os resultados da formao correspondem s necessidades que estiveram na sua origem. # 1: Trata-se de um definio de utilidade, tambm vlida para outros contextos (p.e., avaliao de projectos). # 2: Ver definio de avaliao de impactes. # 3: A avaliao da utilidade de um projecto de formao implica dar uma resposta seguinte questo: A formao foi (ou pode ser) til para quem? (ver dedinio de stakeholders). # 4: um critrio de avaliao, normalmente aplicado no contexto de uma avaliao ex-post. Fontes: Patton (1997)

29

29. Ciclo de formao Conjunto ou sequncia de fases ou domnios de interveno caracterizadores dos projectos formativos. # 1: No pacfica a identificao do nmero de fase e/ou domnios que devem ser associados a um ciclo de formao. Existe todavia consenso relativamente ao conjunto de actividades a desenvolver no mbito do mesmo. Ser aqui apresentada a caracterizao efectuada no mbito do Sistema de Acreditao de Entidades Formadoras (da responsabilidade do INOFOR) no qual se considera que o ciclo formativo composto por seis domnios de interveno: diagnstico de necessidades de formao; planeamento de intervenes ou actividades formativas; desenvolvimento/execuo de intervenes ou actividades formativas e, por ltimo, acompanhamento e a avaliao de intervenes ou actividades formativas. O sistema mencionado refere ainda um stimo domnio outras formas de interveno que, pela sua especificidade, no surge na sequncia de qualquer um dos anteriores, referenciando antes actividades com valor pedaggico ou potenciadoras da formao, podendo ocorrer a montante, em paralelo ou a jusante do processo formativo. Fontes: Portugal. Instituto para a Inovao na Formao (2002) 30. Competncia profissional Saber agir que implica a mobilizao/combinao/transposio de recursos (conjunto de saberes) numa situao profissional especfica, com vista a uma determinaa finalidade. # 1: A definio de competncia seria muito prxima, seno mesmo idntica, da noo apresentada, variando apenas os contextos em que mobilizada. # 2: No existe ainda um nico entendimento acerca do significado de competncia. nitidamente um conceito em construo. # 3: Autores convergem no entanto para o seguinte:

A noo de competncia incorpora trs famlias de saberes: o saber (cognitivo), o saber-fazer (tcnico) e o saber-ser (relacional).

A competncia por natureza inobservvel (o que se observa so manifestaes da competncia (aces concretas)).

A competncia profissional sempre finalizada. uma aco orientada para um objectivo. Essa aco tem um sentido para o sujeito que age. A competncia profissional , pois, guiada por uma intencionalidade.

um saber agir. A competncia exprime-se sempre numa aco ou encadeamento de aces.

A competncia profissional sempre contextualizada. Traduz-se na capacidade para mobilizar os conhecimentos e os recursos

necessrios resoluo de problemas e desafios colocados pela actividade profissional.

30

# 4: A validao externa crucial. Algum que se auto-declare competente tem de ser capaz de o demonstrar. Neste sentido um indivduo dever saber mobilizar os saberes que detm por forma a proporcionar valor acrescentado ao contexto sobre o qual venha a agir. # 5: Para Malcolm Knowles traduz-se numa capacidade para fazer alguma coisa a um determinado nvel de proficincia. A compreenso do conceito de proficincia fundamentalmente para se compreender o de competncia. Acerca desta matria, Boterf defende trs nveis de proficincia: principante, confirmado e perito. Fontes: Le Boterf (1997); Gomes (1999); Valente (1999); Knowles (1995); Meignant (1999); Suleman (et al.) (2002) 31. Contrato de aprendizagem Documento que visa apoiar a execuo e a monitorizao de um determinado plano individual de aprendizagem. # 1: Trata-se de um documento escrito que resulta, regra geral, de um processo de negociao entre o formando e o indivduo ou entidade responsvel pela realizao da formao, com vista concretizao de um conjunto de objectivos de aprendizagem. A sua elaborao pode ainda implicar a participao do(s) respectivo(s) formadore(s). # 2: A sua realizao assenta no princpio de que no contexto de uma formao dirigida a adultos, estes devem ser encorajados e co-responsabilizados no mbito dos respectivos processos de encino-aprendizagem. # 3: Para alm de se traduzir numa ferramenta de apoio ao desenvolvimento do formando, pode igualmente ajudar a demonstrar em que medida a aprendizagem foi eficaz. # 4: Neste tipo de contrato os gaps identificados no mbito de um diagnstico de necessidades de formao so traduzidos em objectivos de aprendizagem. A estrutura do mesmo apresenta, regra geral, a seguinte configurao:

objectivos de aprendizagem; recursos e estratgias a associar a cada um dos objectivos; determinao de evidncias que demonstrem que cada um dos objectivos foi

cumprido; identificao de critrios de avaliao para cada um dos objectivos estabelecidos;

Fontes: Anderson, G. (et al.) (1996); Bellier (1999); Woods, J. (et al.) (2000) 32. Critrios de avaliao Conjunto de caractersticas com base no qual podem ser efectuados determinados juzos de valor. # 1: A definio de critrio mais fcil de compreender quando relacionada com a de indicador (ver definio) # 2: Os critrios so as caractersticas consideradas pelo avaliador como adequadas para formular juzos de valor sobre o objecto de avaliao em anlise. Ser a partir

31

destes critrios que sero identificados os indicadores que possibilitaro avaliar se esses critrios foram cumpridos e em que grau. Aqui ficam alguns exemplos de critrios para avaliao da formao:

Adeso Coerncia Conformidade Eficcia Eficincia Pertinncia Utilidade Oportunidade Sustentabilidade Rentabilidade (...)

Fontes: Barbier (1990); Le Boterf (1999) 33. Custo de oportunidade Corresponde ao valor de tudo aquilo que temos de prescindir por fora da escolha efectuada em detrimento de outras opes disponveis. # 1: Aquando da tomada de deciso, os indivduos e/ou organizaes vm-se, quase sempre, na situao de ter que optar por uma de entre vrias alternativas possveis. Neste sentido, custo de opurtunidade tudo aquilo que indivduos, organizaes ou sociedade em geral tm de pr de lado, a favor de algo que escolhido. # 2: No contexto da avaliao da formao, o custo de oportundiade , regra geral, contabilizado no contexto de anlises custo-benefcio, designadamente as que so efectuadas a montante da implementao de um interveno formativa. Fontes: Rossi (et al.) (1999); Patton (1997) 34. Custos de formao Inputs (entradas), directos ou indirectos, necessrios realizao da formao. # 1: A identificao exaustiva de todos os custos inerentes realizao da formao fundamental para a credibilidade da prpria avaliao da formao. # 2: As principais categorias de custos de formao so, regra geral, as seguintes: diagnstico de necessidades de formao e planeamento da formao; concepo da formao; execuo; avaliao (custos associados mobilizao de recursos humanos a afectar, assim como produo de documentos de carcter avaliativo). A estas rubricas so associadas despesas, tais como, salrios, encargos sociais e benefcios do staff da formao, salrios, encargos sociais e benefcios de outro pessoal, salrios, encargos sociais e benefcios dos formadores, refeies, deslocaes e outras despesas ocasionais do staff da formao, refeies, deslocaes e estadias

32

para formandos, material de escritrio, materiais pedaggicos, impresso e reproduo, aquisio de servios externos (outsourcing), amortizao de equipamentos pedaggicos, aluguer de equipamentos pedaggicos, manuteno de equipamentos pedaggicos, amortizao de instalaes, aluguer de instalaes, consumveis, outras despesas diversas, produo de documentos tcnicos (ex: relatrios de diagnsticos de necessidades de formao e de acompanhamento e avaliao da formao), entre outros. # 3: Aquando da realizao de uma anlise custo-benefcio, a montante da realizao da formao, podem ainda ser considerados eventuais custos de opurtunidade associados ao projecto formativo a realizar (ver definio de custo de oportunidade). Fontes: Phillips (1997), Rossi (et .al) (1999) 35. Diagnstico de necessidades de formao (ou de competncias)4 Processo que visa analisar eventuais gaps ou discrepncias existentes entre o perfil de competncias detido por um indivduo ou conjunto de indivduos e o respectivo perfil de competncias desejado, resultando na elaborao de um plano de formao de natureza correctiva e/ou prospectiva. # 1: No obstante terem sido identificados vrios posicionamentos em matria de deteco de necessidades de formao, podem, no entanto encontrar-se tendncias comuns, que nos remetem para diferentes tipos de abordagens:5

Abordagens reactivas ou curativas, que visam, na sua generalidade, reparar eventuais lacunas identificadas ao nvel da execuo dos objectivos de uma orgazniao. Centram-se na resoluo de problemas que se colocam no imediato ou no curto prazo.

Abordagens antecipatrias e/ou prospectivas, que assentam, regra geral, na realizao de reflexes estratgicas com incorporao de mtodos e tcnicas prospectivas, projectivas ou previsionais. As organizaes que recorrem a estes mtodos, procuram antecipar, ao nvel da respectiva envolvente interna e externa, futuros cenrios com os quais as mesmas inevitavelmente vo ter que se confrontar. Focalizam-se no mdio-longo prazo.

Abordagens mistas que integram simultaneamente elementos reactivos e antecipatrias. Este tipo de abordagem tende a ser opo mais escolhida pelas organizaes, quando comparada com as restantes abordagens. Centram-se, regra geral, numa perspectiva de curto prazo.

# 2: Quanto aos mtodos utilizados, estes tambm variam consoante o tipo de abordafem escolhido, no sendo, por isso, possvel identificar uma metodologia nica, linear e simples, j que no desenrolar de cada uma das abordagens podem coexistir os mtodos qualitativos e quantitativos, tcnicas previsionais, tcnicas projectivas, estudos

4 As questes associadas realizao de um diagnstico de necessidades sero abordadas em documento prprio, a publicar brevemente. 5 Assumir que as abordagens antecipatrias e prospectivas so, em todas as situaes, melhores do que as abordagens meramente curativas ou reactivas, no de todo correcto. De facto, as diferentes abordagens possuem objectivos diferentes e respondem a necessidades diferentes.

33

de caso, anlise de funes, auscultao de actores e parceiros, brainstorming, entre outras. # 3: De acordo com alguns dos especialistas neste domnio, um dos factores fundamentais a considerar no mbito de um diagnstico de necessidades de formao, a compreenso da situao referencial desejvel luz da qual ser realizado o diagnstico. Fontes: Capela (2000); Meignant (1999); Gupta, K. (1999) 36. Disseminao de resultados Conjunto de actividades que facilitam a apropriao dos resultados de uma avaliao pelos seus clientes. # 1: j considerada uma das principais fases de um processo de avaliao; # 2: Pode ser perspectivada de vrias formas:

Disseminao primria

Divulgao dos resultados detalhados de um processo de avaliao a audincias associadas directamente execuo do projecto formativo (EX: tcnicos, formadores, formandos, coordenadores...)

Disseminao secundria

Divulgao dos resultados sumariados e simplificados de um processo de avaliao, junto de pblicos no directamente associadas execuo do projecto formativo (Ex: administradores da empresa, financiadores, parceiros sociais...)

Disseminao horizontal

Transferncia de adquiridos para outras organizaes similares.

Disseminao vertical

Transferncia e integrao da totalidade ou parte dos resultados no plano institucional, poltico, regulamentar ou administrativo.

# 3: Em projectos formativos de grande dimenso, a disseminao pode mesmo encerrar objectivos de demonstrao de boas prticas e benchmarking, numa tentativa de estender o impacte do projecto a outros contextos (impactes ao nvel das organizaes, dos grupos e dos indivduos). Fontes: Patton (1997); Rossi (et al.) (1999)

34

37. Fidelidade dos instrumentos de avaliao Caracterstica que permite verificar se os instrumentos produzem resultados semelhantes, quando aplicados, vrias vezes, em situaes idnticas. # 1: Tambm se utiliza a palavra: confiabilidade. # 2: um critrio necessrio mas no suficiente na escolha de medidas a utilizar nos instrumentos de avaliao. A verificao da validade de um instrumento segue-se, normalmente, verificao da respectiva fidelidade. Na realidade, de nada adianta ter um instrumento fiel, se o mesmo no mede o que suposto medir (validade). Dito ainda de outra forma: como podero ser tomadas decises se os resultados no so consistentes? # 3: Faz referncia estabilidade e consistncia dos resultados de um determinado instrumento. # 4: A fidelidade de um instrumento , regral geral, interpretada de acordo com determinados graus: elevada, moderada e baixa. Fontes: Rossi 8et al.) (1999); Airasian (2001) 38. Garantia de qualidade Parte da gesto da qualidade orientada no sentido de gerar confiana quanto satisfao dos requisitos da qualidade pr-estabelecidos.6 # 1: Quando aplicado ao contexto da formao este termo pode ser entendido, como o conjunto de procedimentos desenvolvidos a montante, ao longo e a jusante, da implementao de determinado projecto formativo, por forma a garantir que os respectivos resultados sejam efectivamente os desejados. # 2: A demonstrao de procedimentos de garantia de qualidade das intervenes formativas preconizadas , regra geral, umas das exigncias destacadas no mbito dos respectivos cadernos de encargos. # 3: Como dispositivos de garantia de qualidade aplicveis ao Sistema de Formao Profissional existente, destacam-se, a ttulo de exemplo, o Sistema de Certificao do IEFP, o Sistema de Acreditao de Entidades Formadoras (do INOFOR e restantes organismos), a aplicao da norma NP EN ISO 9000:2000, entre outros...Destacam-se ainda os sistemas internos de garantia de qualidade implementados por parte das entidades que intervm na formao profissional. A incluso da auto-avaliao entre os principais temas de reflexo acerca da garantia de qualidade na formao contnua tem igualmente facilitado o desenvolvimento deste tipo de prticas. Fontes: Portugal. Instituto Portugus da Qualidade (2001)

6 Adaptado constante na norma NP EN ISO 9000.2000

35

39. Gesto da formao Conjunto de actividades coordenadas que visam monitorar e controlar projectos de natureza formativa, numa ptica de optimizao dos seus resultados. # 1: Ver definio de garantia de qualidade. # 2: normalmente colocada ao servio de uma maior eficincia e eficcia de uma organizao. # 3: Exige, partida, um claro entendimento no que se refere noo de gesto. Sem prejuzo de outras definies igualmente vlidas, destacamos aqui, pelo desenvolvimento da mesma, a noo avanada por Meignant (1999:79) fazer gesto analisar ou ajudar os responsveis a analisar situaes e recursos, gerir redes relacionais, tomar ou propor decises de poltica e realizaes, optimizando os recursos atribudos, pr em funcionamento, garantir um acompanhamento quantitativo e qualitativo, analisar os resultados e dar conta dele aos decisores (clientes), e tirar desses resultados elementos para regular o conjunto, melhorando-o constantemente em relao permanente com os seus clientes. # 4: As actividades normalmente desenvolvidas no contexto de um sistema de gesto da formao, so as seguintes:

Estabelecimento da poltica formativa a desenvolver. Construo de metodologias para diagnosticar necessidades de

formao/competncias. Elaborao de planos de formao no qual constem as aces formativas a

desenvolver, respectivos resultados a alcanar, bem como respectivos critrios e inidcadores de avaliao.

Definio de itinerrios pedaggicos a desenvolver. Preparao de actores a implicar no projecto formativo. Concepo e aplicao de dispositivos de avaliao, por forma a garantir a

eficincia e eficcia do plano de formao, bem como eventual reeorientao de intervenes/polticas formativas.

Agenciamento de recursos financeiros para a execuo da formao. Gesto dos oramentos disponveis para a execuo da formao. Identificao, conjuntamente com o responsvel pela gesto dos recursos

humanos, das condies necessrias ao processo de transferncia de saberes para os contextos reais de desempenho.

Desenvolvimento da formao de acordo com a poltica de gesto de carreiras (quando existente).

Implementao de um sistema de gesto de informao, capaz de produzir informao atempada a dirigir aos diversos centros de deciso implicados na formao.

Fontes: Le Boterf (1999); Meignant (1999); Soyer (1999)

36

40. Indicador de avaliao Elemento observvel e mensurvel que sinalizao grau de cumprimento do critrio de avaliao. # 1: Ver definio de critrio de avaliao, objectivo de aprendizagem e referente. # 2: Os indicadores utilizados no contexto de projectos formativos so normalmente analisados de acordo com agrupamentos especficos, tais como:

Indicadores associados concepo de um projecto formativo (associados, por exemplo, a critrios de pertinncia, de oportunidade, de coerncia, de adeso...).

Indicadores associados ao desenvolvimento/funcionamento da interveno formativa.7 Neste conjunto de indicadores destacam-se os relacionados com as caractersticas dos formandos; as caractersticas dos formadores e outros elementos responsveis pela execuo da formao; a natureza e o tipo de interaco entre actores envolvidos na execuo da formao (enfoque ao nvel da intensidade dos contactos inter-actores); as metodologias pedaggicas utilizadas; os contedos da formao, a rentabilizao da capacidade instalada; a organizao de suporte.

Indicadores associados aos resultados e impactes de uma interveno formativa.8 Neste conjunto de indicadores destacam-se os relacionados com: os resultados imediatos da formao (relacionados com aquisio de saberes especficos); os impactes da formao, designadamente, ao nvel quer do desempenho dos indivduos em situao real de trabalho (Ex: grau de autonomia, grau de domnio de determinada tecnologia...) quer da respectiva rea funcional e/ou organizao no seu todo (Ex: ganhos de produtividade, ndices de absentismo...) quer ainda, ao nvel de uma comunidade e/ou religio especfica (Ex: graus de empregabilidade dos formandos, taxas de insero socioprofissional dos formandos...).

Fontes: Barbier (1990); Van den Berghe (1998); Scriven (1991); Patton (1997) 41. Inputs da avaliao Recursos tangveis e intangveis necessrios para a produo dos resultados da avaliao. # 1: Expresso que pode ser igualmente substituda por entradas do processo avaliativo. # 2: Ver definio de diagnstico de necessidades de formao e de avaliao ex-ante. # 3: O principal input de um processo avaliativo normalmente a informao fornecida por eventuais diagnsticos de diagnstico de necessidades de formao (expectativas e necessidades dos respectivos beneficirios). So ainda considerados inputs de uma avaliao os resultados e impactes preconizados por determinado

7 Ver definio de avaliao interna. 8 Ver definio de anlise custo-benefcio e de retorno do investimento

37

projecto formativo, as informaes acerca das condies para aplicao do modelo de formao e avaliao, etc...). Fontes: Patton (1997); Salgado (1997); Rossi (et al.) (1999) 42. Juzo de valor (ou de utilidade) Apreciao final que feita aps a recolha, tratamento e anlise de dados acerca de determinada realidade objecto de avaliao. # 1: Encarado como um dos produtos decorrentes de um processo avaliativo, assume um papel importante aquando da fase de elaborao de recomendaes de melhoria. # 2: A sua formulao permite que a avaliao v alm da simples medio, baseada normalmente no uso de instrumentos de natureza quantitativa. Em rigor, no contexto de uma avaliao que se formulam juzos de valor com vista tomada de decises. # 3: A elaborao de juzos de valor pressupe que exista, partida, um conjunto de referentes que sustentam determinada tomada de posio. A sua existncia permite realizar exerccios de comparao entre algo alcanado e padres de referncia pr-estabelecidos (ver definio de referente). Fontes: Barbier (1990); Patton (1997); Scriven (1991) 43. Meta-avaliao Visa avaliar o modelo avaliativo desenvolvido, por forma a garantir os nveis de qualidade nos processos e tcnicas de avaliao utilizados. # 1: Apresenta como principais alvos de estudo: os mtodos e tcnicas de avaliao utilizados, os avaliadores (respectivo desempenho), os resultados do processo avaliativo (a sua utilidade para os respectivos utilizadores). # 2: Pressupe a existncia de padres de referncia com base nos quais ser realizada a avaliao dos mtodos e tcnicas de avaliao utilizados. Estes padres de referncia assentam, frequentemente, nos resultados de modelos de avaliao concebidos e aplicados por autores de reconhecido mrito no domnio da avaliao. Os critrios utilizados com maior frequncia so os seguintes: utilidade das abordagens, adequao das mesmas face aos respectivos contextos de aplicao, grau de exequabilidade dos mtodos preconizados, rigor no tratamento dos dados. Fontes: Sriven (1991); Patton (1997)

38

44. Metodologias de avaliao9 Processos de pesquisa de informao, assentes na identificao de um conjunto de questes que incidem sobre as fases de preparao, implementao, resultados e impactes de uma interveno formativa. # 1: As metodologiasde avaliao evoluiram ao longo dos tempos em funo de dois factores fundamentais: a (re)definio do papel do avaliador e o grau de participao dos implicados no processo formativo. Estas questes so claramente evidenciadas no contexto dos trabalhos de Guba e Lincoln (1989) que, ao apresentarem uma perspectiva histrica da avaliao, identificam e caracterizam quatro geraes de avaliao. De acordo com a anlise efectuada evoluiu-se de abordagens de natureza essencialmente quantitativa, regra geral centradas na medio das caractersticas dos agentes avaliados, passando pelas abordagens avaliativas centradas, quer na descrio do realizado e no realizado (objectivos pr-estabelecidos versus resultados) quer na emisso de juzos de valor (na qual o avaliador assumia um papel de juz) para metodologias avaliativas focalizadas na participao e envolvimento dos vrios actores, exercendo o avaliador, neste ltimo caso, um papel de facilitador no processo de identificao de estratgias avaliativas a aplicar. Estas ltimas abordagens tm vindo a desenvolver-se sem prejuzo da aplicao de metodologias avaliativas assentes em pressupostos de natureza positivista (perspectiva segundo a qual o sujeito que avalia e o sujeito/objecto avaliado so duas realidades independentes). De facto, identificam-se no terreno vrias metodologias de avaliao que podem ser mais ou menos: formativas, sumativas, estruturadas, quantitativas, qualitativas, positivistas, formais, participadas,etc...sendo que os factores que permitem optar por esta ou aquela metodologia prendem-se, essencialmente, com as especificidades dos respectivos contextos de aplicao, bem como as necessidades de informao dos respectivos beneficirios. Fontes: Guba e Lincoln (1989); Lus Capucha (et al.) (1996); Patton (1997); Wall e Otterwill (2000) 45. Nveis de avaliao10 Representam uma sequncia de dimenses de avaliao da formao. # 1: Conceito bastante utilizado no mbito da abordagem apresentada por D. Kirkpatrick (1994). Para este autor nveis representam as diferentes dimenses (avaliar o qu? em que a formao pode ser avaliada. Essas dimenses so:

Nvel 1 Reaco (em que medida os participantes esto satisfeitos com o programa?);

Nvel 2 Aprendizagem (em que medida ocorreram aprendizagens?); Nvel 3 Comportamento (em que medida as aprendizagens

adquiridas/desenvolvidas foram transferidas para os contextos de trabalho?);

9 Este termo refere-se apenas ao contexto da formao profissional. 10 Destacam-se aqui apenas as abordagens mais conhecidas no que se refere noo de nvel de avaliao.

39

Nvel 4- Resultados (em que a medida a aplicao dos novos saberes provocaram mudanas no desempenho da organizao?).

# 2: Os nveis de D. Kirkpatrick so provavelmente os mais conhecidos pela maior parte dos especialistas de avaliao. Esta taxonomia difundiu-se sobretudo, e rapidamente, no contexto dos projectos de formao intra-empresa, tendo sido entretanto desenvolvido/ajustado por forma a ser aplicado a outros contextos. J. Phillips prope um quinto nvel de avaliao, tambm sequencial em relao aos nveis de D. Kirkpatrick:

Nvel 5 Retorno do investimento (aplicao da abordagem ROI). Este autor defende que para alm da aferio de eventuais impactes ao nvel do desempenho de uma organizao, importa efectuar anlises custo-benefcio por forma a determinar em que medida os impactes obtidos justificaram o investimento efectuado.

Fontes: Phillips, J. (1997); Kirkpatrick (1998-A); Phillips, P. (2002) 46. Objectivos de aprendizagem (pedaggicos) Trata-se de enunciar o tipo de resultado a alcanar com a interveno formativa, indicando o que os formandos devem ser capazes de fazer depois de concluda a aprendizagem, as condies em que o devem fazer, assim nveis de desempenho/proficincia a alcanar. # 1: A construo de objectivos de aprendizagem pode obedecer a tcnicas especficas. A mais conhecida a de R. Mager que valoriza o princpio do triplo C, isto um objectivo bem defenido deve:

precisar um comportamento observvel; enumerar as condies e as caractersticas do contexto de desempenho, crticas

emergncia desse comportamento; Precisar o(s) nveis de desempenho/proficincia a alcanar, traduzidos em

indicadores de resultados a avaliar, que o permitem determinar, de forma inequvoca, se o comportamento observado aceitvel/adequado.

# 2: Um objectivo de aprendizagem consiste na operacionalizao e decomposio pedaggica de uma actividade, desempenho, meta organizacional, servio/produto, garantindo-se a presena dos condicionalismos, regras, normas, instrumentos habituais nos contextos de desempenho. # 3: A sua correcta formulao permite apoiar os vrios actores intervenientes numa aco formativa ao nvel do processo de construo, conduo e avaliao das aces de formao. Fontes: Mager (1997); Portugal. Comisso Interministerial para o Emprego (2001)

40

47. Plano de avaliao Conjunto de actividades devidamente organizadas por forma a atingir os objectivos da avaliao da formao. # 1: Trata-se de uma definio muito simples de plano. # 2: Ver definio de questes de avaliao. # 3: Traduz, de uma forma operacional, a abordagem de avaliao preconizada. A fase da planificao j considerada a fase crucial de um processo de avaliao. # 4: No mbito do presente glossrio so destacadas quatro fases normalmente associadas a um plano de avaliao, a saber:

a fase da preparao do processo avaliativo (destaque para o momento da planificao)

a fase da execuo/desenvolvimento do processo avaliativo (destaque para a fase da obteno dos dados considerados relevantes)

a fase do tratamento e anlise dos dados e apresentao de resultados (destaque para o momento da emisso de juzos de valor)

a fase da disseminao dos resultados (destaque para a fase da identificao dos centros de deciso para os quais se deve remeter os resultados da avaliao).

Fontes: Patton (1997); Rossi (1999); Valadares e Graa (1998) 48. Plano de formao Documento que integra um conjunto estruturado de actividades que devem ser realizadas num dado perodo de tempo, com vista prossecuo de determinados objectivos, tendo por base os resultados de um diagnstico de necessidades de formao. # 1: a traduo operacional da poltica de formao da organizao. A sua execuo pode ser anual ou plurianual. # 2: Este documento d especial relevo s aces de formao a desenvolver e assume, regra geral, a forma de um caderno de encargos (para cada curso integrado no plano). # 3: normalmente elaborado pela estrutura que gere a formao. Fontes: Le Boterf (1999); CIME (2001) 49. Questes de avaliao Efectuadas a montante, ao longo e a jusante da implementao de um processo de avaliao da formao, visam aferir as matrias relevantes a investigar/considerar no mbito do mesmo. # 1: Devem ser realistas e susceptveis de serem respondidas (implica a identificao de critrios e indicadores de avaliao precisos, assim como identificao dos respectivos referentes).

41

# 2: A sua utilidade reside no facto de contribuirem para a delimitao do objecto alvo de estudo, identificao dos stakeholders a implicar no processo de avaliao, bem como respectivas necessidades e expectativas. # 3: Podem ser efectuadas pelo responsvel pela definio da metodologia avaliativa, pelos avaliados, bem como pelo conjunto de outros indivduos (stakeholders) que demonstrem claro interesse relativamente aos resultados de determinada interveno formativa. # 4: As primeiras questes so efectuadas, regra geral, pelo avaliador responsvel pela concepo do modelo avaliativo, das quais decorrem as restantes, normalmente elaboradas pelos restantes stakeholders. Fontes: Rossi (et al.) (1999); Woods, J. (et al.) (2000); Patton (1997); Soyer (1999), Garlick e Des Kemp (2001) 50. Recomendaes Conjunto de sugestes de melhoria e/ou propostas de medidas de aco que decorrem da anlise dos dados recolhidos durante o processo avaliativo e que visam contribuir para a melhoria de determinados processos formativos. # 1: Podem ser efectuadas antes, durante e/ou aps a realizao de um processo de formao (ver definio de avaliao ex-ante, on-going e ex-post). # 2: Constituem a parte de um relatrio de avaliao qual dada normalmente maior ateno, pelo que surgem, regra geral, destacadas do conjunto das informaes disponibilizadas. # 3: Sobre esta matria destacam-se as posies de dois autores: Michael Scriven e Michael Patton. Acerca da elaborao de recomendaes Scriven (1991) destaca a dificuldade de um avaliador efectuar recomendaes na matria em estudo, pelo que sustenta que o papel de um avaliador termina com a elaborao de juzos de valor acerca das matrias em anlise. Com uma opinio contrria, Patton (1997) entende que um processo de avaliao deve considerar a fase da elaborao de recomendaes. Acrescenta que a situao apresentada por Scriven pode ser ultrapassada com o envolvimento dos actores (principais centros de deciso), na fase de elaborao dessas recomendaes. Fontes: Scriven (1991); Patton (1997); Rossi (et al.) (1999) 51. Referencial de avaliao um esquema construdo com base numa combinao de referentes, com vista a ser utilizado como quadro de referncia aquando da avaliao de determinada realidade (neste caso, de formao). # 1: Os termos referencial e referente so aqui definidos luz do trabalho de Grard Figari. # 2: O prprio G. Figari no apresenta uma definio nica de referencial. # 3: Ver definio de referente.

42

# 4: O referencial , normalmente, considerado um produto acabado, correspondendo a uma formulao momentnea da referencializao. Pelo contrrio, o processo de referencializao normalmente referido como um sistema dinmico e aberto, que permite a incorporao de eventuais alteraes que contribuam para uma maior adequao das intervenes de avaliao s constantes mutaes dos respectivos contextos de aplicao. # 5: A sua elaborao implica a identificao do conjunto de referentes, com base no qual podem ser efectuados juzos de valor acerca de determinada situao em anlise. Fontes: Figari (1996); Barbier (1990), Abreu (1996) 52. Referencializao Processo especfico de explicitao ou construo de um quadro ou sistema de referncia. # 1: A referencializao um processo (e no um produto) de elaborao do(s) referente(s). # 2: A referencializao consiste em identificar um contexto e em construir, sob dados slidos, um corpo de referentes relativos a um objecto (ou uma situao) em relao ao qual podero ser justificados diagnsticos, projectos, avaliaes (ver definio de referente e de referencial). Fontes: Figari, G. (1996); Barbier (1990) 53. Referente Conjunto de princpios/disposies/critrios em funo dos quais so emitidos juzos de valor. # 1: Desempenha um papel instrumental na produo de um juzo. Constitui, usando a terminologia de Barbier (1990) um meio de trabalho do processo de avaliao. Segundo este autor, dificilmente haver avaliao se no forem conhecidos os respectivos referentes. Este princpio tambm se aplica a projectos formativos que no estabelecem, de forma rigorosa, quaisquer objectivos partida. Nestes casos, competir aos formandos, formadores, coordenadores...construi-los medida que as necessidades se vo evidenciando. Neste tipo de projecto normalmente aplicada a abordagem goal free evaluation, ou seja, uma avaliao que no tem quaisquer objectivos por referncia (Patton 1997). A estreita articulao entre avaliadores e respectivos stakeholders, traduz-se num dos factores crticos de sucesso deste tipo de avaliao. Conjuntamente sabero dar uma resposta adequada questo: quando quese sabe que os objectivos foram alcanados? # 2: O campo semntico coberto por este termo bastante vasto: podemos falar de normas de julgamento, de critrios especficos de apreciao, de condutas esperadas, de quadros/termos de referncia... Fontes: Patton (1997); Barbier (1990); Figari (1996)

43

54. Relatrio de avaliao Ferramenta principal de apresentao, aos diferentes beneficirios, dos resultados finais do trabalho de avalio da formao. # 1: Trata-se de uma definio simples de relatrio. normalmente um documento escrito, no qual constam os resultados da avaliao efectuada no mbito dos diferentes nveis (ver nveis de avaliao). # 2: Ver definio de recomendaes de avaliao. # 3: Podem tratar-se de relatrios intermdios e/ou relatrios finais de avaliao. # 4: Um relatrio de avalio pode ter vrias verses aperfeioadas e validades com base no feedback