Práticas e Modelos de Avaliação em Bibliotecas Escolares

Síntese da Sessão 5

Foram objectivos desta sessão:

• Compreender como é que a auto‐avaliação pode ser concretizada para demonstrar a contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola.

• Ganhar familiaridade com o processo de auto‐avaliação adoptado pelo Modelo de

Auto‐avaliação RBE e capacitar para a sua aplicação. • Conhecer as técnicas e instrumentos propostos, o modo como se organizam e podem ser

usados.

A tarefa proposta consistia em:

a) Escolher, em alternativa, um dos seguintes Domínios/Subdomínios:

• A.2. (Promoção das Literacias da Informação, Tecnológica e Digital)

• B. (Leitura e Literacia)

• C.1. (Apoio a Actividades Livres, Extra‐Curriculares e de Enriquecimento Curricular)

b) Escolher no Domínio/Subdomínio seleccionado dois Indicadores, um que considere de

Processo e outro que considere de Impacto/Outcome, e analise‐os detalhadamente.

c) Estabelecer um Plano de Avaliação em profundidade daqueles dois Indicadores, recorrendo ao Texto da sessão, às Orientações para a aplicação do Modelo incluídas na versão actualizada do mesmo, disponível no sítio RBE, e ao texto de leitura complementar: Basic Guide To Program Evaluation.

d) O Plano deve incorporar informação e aspectos retirados dos vários documentos de consulta e reflectir a natureza e conteúdo do Domínio/Sub‐domínio escolhido.

Atenção: em cada Domínio/Sub‐domínio não serão admitidos mais de 12 formandos, por isso se um deles já tiver esse número de inscritos, terá de escolher outro.

Realização da tarefa:

Em relação à realização da tarefa, 31 formandos participaram na unidade e elaboraram

a tarefa desta acção. Houve um formando que inadvertidamente escolheu o domínio D, não

cumprindo o estabelecido nas orientações da sessão.

Na realização do seu trabalho, os formandos continuam a reflectir um crescente

domínio do “Modelo de Auto‐avaliação da BE”, embora poucos evidenciassem outras leituras,

nomeadamente o texto de leitura complementar sugerido: Basic Guide To Program Evaluation.

Este documento parece‐nos muito importante para apoiar uma selecção mais adequada

dos instrumentos de recolha de informação, de acordo com as evidências que se pretendem

recolher.

Síntese do Fórum para Realização das Tarefas

Os formandos revelaram familiaridade com o processo de auto‐avaliação adoptado pelo

Modelo de Auto‐avaliação RBE o que, desejavelmente, os capacitará para a sua aplicação. As

técnicas e instrumentos propostos, o modo como se organizam e podem ser usados poderão

ser analisados de melhor forma, verificando‐se em muitos casos ainda uma intenção/tentação

de utilizar o máximo número de evidências possível, em vez de seleccionar cuidadosamente

qual é o conjunto de instrumentos que EFECTIVAMENTE irá revelar as evidências que são

precisas para demonstrar a verificação (ou não) de determinado indicador.

Em alguns casos, os formandos limitaram‐se a reproduzir as sugestões do Modelo (por

exemplo, dos questionários ou das estatísticas dificilmente retiraremos evidências de impacto

‐ traduzido numa mudança de conhecimento, competências, atitudes, valores, níveis de sucesso,

bem‐estar, inclusão, etc.‐ se não cruzarmos a informação fornecida por esses instrumentos

com outra que a complemente como grelhas de observação ou análise dos trabalhos dos

alunos ou até mesmo a análise diacrónica das suas avaliações escolares), não explicitando a

articulação entre a avaliação quantitativa e qualitativa.

Assim, verificámos que o PLANO DE AVALIAÇÃO, tal como consignado no texto da

sessão,

Elaboração do Plano de Avaliação: Problema/Diagnóstico; Identificação do objecto da

avaliação; Tipo de avaliação de medida a empreender; Métodos e instrumentos a utilizar;

Intervenientes; Calendarização; Planificação da recolha e tratamento de dados; Análise e

comunicação da informação; Limitações, Levantamento de necessidades (recursos humanos,

financeiros, materiais, …), etc. não foi efectivamente realizado por alguns formandos.

Os contributos que mais se aproximaram dos objectivos da sessão foram os da

Rosalinda, da Etelvina, da Isabel e da Teresa Patita.

Apesar de tudo, sendo esta uma situação de aprendizagem, pensamos que os objectivos

fundamentais desta tarefa ficaram concretizados com sucesso.

Neste novo processo para o qual fomos todos convidados a participar, é importante

compreender como é que a auto‐avaliação pode ser concretizada para demonstrar a

contribuição da BE para o ensino e aprendizagem e a missão e objectivos da escola. Esta tarefa

tinha, precisamente, com o objectivo obrigar a reflectir sobre o que é processo ou impacto na

BE, fundamental para a sua afirmação na Escola, e sobre este aspecto alguns formandos

revelaram alguma dificuldade, que certamente verão ultrapassada no final da sessão.

A título de conclusão gostaríamos de reforçar as seguintes ideias:

PARA QUÊ? PORQUÊ?

A V A L I A R

O QUÊ?

ABORDAGEM TRADICIONAL MODELO DE AUTO-AVALIAÇÃO

• Avaliação das bibliotecas em termos de inputs (instalações, equipamentos, financiamentos, staff, colecções, etc.), processos (actividades e serviços) e outputs (visitas à biblioteca, empréstimos, consultas do catálogo, pesquisas bibliográficas; respostas do serviço de referência, materiais produzidos, etc. …), desenvolvendo formas de avaliação da qualidade dos serviços e da sua performance de carácter eminentemente quantitativo e as mais das vezes traduzidas em termos de custos e eficiência. (texto da sessão).

• Medir os outcomes (Impactos) significa, no entanto, ir mais além, no sentido de conhecer o benefício para os utilizadores da sua interacção com a biblioteca. A qualidade da biblioteca deriva do valor atribuído pelos utilizadores a esse benefício, traduzido numa mudança de conhecimento, competências, atitudes, valores, níveis de sucesso, bem‐estar, inclusão, etc. (texto da sessão)

• O propósito da auto‐avaliação é apoiar o desenvolvimento das bibliotecas escolares e demonstrar a sua contribuição e impacto no ensino e aprendizagem.

• Para melhorar os serviços da Biblioteca Escolar de forma a que a mesma responda cada vez mais às necessidades da escola no atingir da sua missão e objectivos.

• A avaliação deve ser encarada como uma componente natural da actividade de gestão da biblioteca, usando os seus resultados para a melhoria contínua.

• Para integrar a avaliação da BE no processo da avaliação interna da escola.

• Para identificar pontos fortes e pontos fracos do Programa da BE, priorizando necessidades.

• Para identificar necessidades de investimento a ter em conta no plano orçamental, justificando o pedido de reforço de verbas ou de apoios suplementares.

• Para equacionar novas práticas de trabalho e de funcionamento em termos da eficácia de serviços;

• Para priorizar novas áreas de formação para a equipa da BE, tendo em vista melhorar o apoio aos utilizadores da BE.

Avaliação quantitativa e qualitativa

Idealmente, o avaliador utilizará uma combinação de métodos, por exemplo, um

questionário para recolher rapidamente uma grande quantidade de informações de um

número elevado de pessoas, e em seguida, as observações ou mesmo entrevistas para obter

mais informações detalhadas de algumas reacções aos questionários. Também alguns estudos

de caso podem ser utilizados para uma análise mais aprofundada dos casos únicos e notáveis,

por exemplo, aqueles que beneficiaram do programa da BE, aqueles que não usufruem dos

serviços da BE, etc.

Níveis de avaliação:

Existem quatro níveis de informação de avaliação que pode ser obtida através dos

utilizadores, percepcionando os seus:

1. reacções e sentimentos (sentimentos muitas vezes são pobres indicadores de que o

serviço produza impacto duradouro)

2. atitudes de aprendizagem (avançado, percepções ou conhecimentos)

3. mudanças nas habilidades (aplicado para melhorar a aprendizagem)

4. desempenho (eficácia melhorada por causa do reforço de comportamentos)

Normalmente, quanto mais informações consegue reunir para a sua avaliação, mais útil

ela se revela. Sabemos o quanto é difícil obter informação fiável sobre a eficácia, pelo que toda

a informação sobre a aprendizagem e a aquisição de habilidades se revela bastante útil.

Resumo dos Métodos de Recolha de Informação A tabela a seguir fornece uma visão geral dos principais métodos utilizados para a

recolha de dados durante as avaliações.

Método global Finalidade Vantagens Desafios

questionários, pesquisas, listas de verificação

quando precisa rapidamente e / ou facilmente obter muitas informações de pessoas de uma maneira não ameaçadora

‐pode realizar anonimamente ‐baixo custo ‐fácil de comparar e analisar ‐ fácil de administrar a muitas pessoas ‐ pode combinar lotes de dados ‐ questionários existem muitos

‐ pode não obter feedback cuidadoso ‐redacção pode comprometer a intenção do inquirido ‐ é impessoal ‐ não se percebe toda a história

Método global Finalidade Vantagens Desafios

entrevistas

quando quiser compreender plenamente as impressões de alguém ou experiências, ou saber mais sobre as suas respostas aos questionários

‐ alarga a escala e profundidade de informações ‐desenvolve relacionamento com os utilizadores ‐permite alguma flexibilidade

‐pode demorar muito tempo ‐pode ser difícil de analisar e comparar ‐ pode ser onerosa ‐ o entrevistador pode condicionar as respostas

revisão da documentação

quando querem obter uma impressão de como o programa opera sem o interromper análise dos memorandos, actas, planificações, documentos reguladores, etc

‐permite obter informações completas e com o histórico ‐não envolve interromper programa ou rotina do utilizador no programa ‐ baseia‐se em informação já existente

‐muitas vezes leva muito tempo ‐informação pode estar incompleta ‐precisa ter muito claro sobre o que procura ‐ os dados restringem‐se ao que já existe

observação

para recolher informações precisas sobre como um programa realmente funciona, particularmente sobre os processos

‐ operações de vista de como um programa está realmente a decorrer ‐pode adaptar‐se aos eventos que ocorrem

‐pode ser difícil de interpretar comportamentos ‐pode ser complexo categorizar observações ‐podem influenciar o comportamento dos participantes do programa ‐pode ser caro

grupos de foco

explorar um tema em profundidade através de discussão em grupo, por exemplo, sobre as reacções a uma experiência ou sugestões, reclamações entendimento comum, etc

‐ rápida e confiável obter impressões comum ‐ pode ser uma maneira eficiente de obter variedade e profundidade de informações em curto espaço de tempo ‐ pode transmitir as informações fundamentais sobre o programa

‐pode ser difícil de analisar as respostas ‐ cuidado para preservar a privacidade ‐ pode ser difícil agendar um momento comum a 6‐8 pessoas

estudos de caso

para compreender ou descrever as experiências do utilizador e realizar análise global através da comparação cruzada dos casos

‐ retrata em pleno a experiência do utilizador na entrada do programa, processo e resultados ‐poderoso meio para retratar programa para pessoas de fora

‐geralmente consomem muito tempo para recolher, organizar e descrever ‐representa a profundidade da informação, ao invés da sua amplitude

Outros aspectos a ter em conta:

1. Não negligenciar o plano de avaliação, porque parece muito trabalhoso e demasiado

científico. Não é. Normalmente, 20% do esforço vão gerar os primeiros 80% do plano, e

depois os procedimentos assumem‐se como “rotina”.

2. Não há nenhum projecto de avaliação perfeito. Não se preocupe com o plano de ser

perfeito. É muito mais importante fazer alguma coisa, do que esperar até que todos os

detalhes sejam testados.

3. Considere a inclusão de algumas entrevistas nos seus instrumentos de avaliação.

Questionários não captam a história e a história é normalmente a representação mais

poderosa dos benefícios de seus serviços.

4. Não recolha informação apenas relativa aos sucessos. Vai aprender muito sobre o

desempenho e impacto da BE se entender suas falhas, desistências, etc .

5. Não jogue fora os resultados da avaliação uma vez que um relatório foi gerado.

Resultados não ocupam muito espaço, e podem fornecer informações preciosas mais quando

se tenta compreender as mudanças no desempenho e impacto da BE.

Felicitamos o conjunto da turma pelo trabalho desenvolvido e desejamos a todos a

continuação de um bom trabalho!

As formadoras

Júlia e Margarida