O QUE É O SISTEMA DE MONITORING

• É um sistema de vigilância e registo permanente ou periódico da implementação de um projecto;

• É uma função essencial da gestão do projecto e as suas acções devem ser adequadamente planeadas e integradas desde as etapas iniciais do projecto;

• A monitorização incide sobre o projecto mas também sobre o seu impacto, sobre os seus efeitos externos directos e indirectos;

• Tem o objectivo de fornecer ao gestor do projecto e aos principais interessados e envolvidos, indicações e informações estruturadas em relação ao percurso do projecto;

• Fornece as bases para a acção correctiva, em relação às actividades e ao plano operacional. Deve reforçar os resultados iniciais previstos

REQUISITOS TÉCNICOS PARA UMA MONITORIZAÇÃO EFICIENTE

• Recolha e estruturação da informação disponível;

• Verificação dos indicadores de desempenho e resultados;

• Contacto com os beneficiários e envolvidos no projecto;

• Elaboração de relatórios sistemáticos

PREPARAÇÃO E APLICAÇÃO DE UM SISTEMA DE MONITORING

1 – IDENTIFICAÇÃO DOS FACTORES CHAVE A SEREM CONTROLADOS

Monitorizar a performance, inputs e outputs – Aferição dos recursos e dos respectivos resultados;

2 – PLANEAMENTO DAS ACTIVIDADES DE RECOLHA DE INFORMAÇÃO

O planeamento do projecto deve identificar as actividades de recolha e sistematização da informação recolhida. Todas as fontes de informação devem produzir os seus dados de forma a se integrarem no processo global de produção de informação relevante;

3 – DEFINIÇÃO DA FORMA DE APRESENTAÇÃO DA INFORMAÇÃO

O sistema de monitoring deve programar a utilização de determinadas formas de organização formal da informação, tais como por ex:

- Relatórios de progresso de implementação do projecto;

- Relatórios anuais de resultados do projecto

- Outras de acordo com contexto do projecto

4 – IDENTIFICAÇÃO DOS DESTINATÁRIOS DA INFORMAÇÃO RECOLHIDA

Identificação prévia de quais os destinatários da informação recolhida, de acordo com orientações definidas no planeamento. Ex: promotores do projecto, financiadores, responsável de projecto, etc

PREPARAÇÃO E APLICAÇÃO DE UM SISTEMA DE MONITORING

5 – Preparação para a inclusão de factores não previstosPara além dos factores externos e condicionamentos do projecto (previstos na MEL), o sistema de monitoring deve preparar procedimentos específicos para responder a solicitações e necessidades não previstas na fase de planeamento. Por ex: para uma delegação regional ou ministério, para entidade gestora QCA, etc.

As questões básicas que o sistema de monitoring deve permitir responder são relativas :- Às actividades em curso;- Aos níveis de realização;- À utilização dos recursos em relação ao que foi pré-definido na etapa de planeamento;

- À conformidade com os critérios de elegibilidade

Actividade Nível de Desvios SoluçõesPlaneada Realização Observados Alternativas

História da avaliação

• É a partir da 2ª Guerra Mundial (sobretudo nos EUA) que a avaliação passa a ser importante por quem encomenda programas sociais. Acreditava-se que se poderia resolver os problemas sociais através da aplicação de recursos de forma inteligente e que a avaliação poderia dizer quais os programas e métodos mais apropriados;

• Modelos muito tecnocráticos – desvalorizados os conflitos de interesses e interesses dos grupos mais minoritários;

• Modelos insensíveis a variações locais e culturais. Grandes amostragens e recolha estandartizada de dados.

História Avaliação

• Anos 60/70 – Defesa de uma avaliação multicultural. Crítica da avaliação quantitativa;

• Acredita-se que diferentes grupos sociais apresentam diferentes interesses e lógicas de actuação. Valorizada a individualidade de cada de cada situação ou programa;

• Excesso de localismo destes modelos foi impeditivo de maior impacte público fornecendo pouca credibilidade nas informações e grande dificuldade de generalização

A Av. No final século XX• Revisão de paradigma que tinha como pano de fundo a constatação

de que as avaliações realizadas influenciavam muito pouco as decisões que eram tomadas com base em critérios sócio-políticos, descurando os resultados das avaliações cuidadosas e cientificamente bem fundamentadas;

• Anos 80 tentativa de reconciliação de vários paradigmas, aproximando actores e decisores numa procura pragmática da eficácia;

• Curiosamente, as críticas aos vários modelos de avaliação não fazem esmorecer a sua importância pública e política; antes pelo contrário, assiste-se à obrigatoriedade da avaliação na maioria dos programas sociais.

A Av. No final século XX

• Os processos de planeamento e de programação das intervenções sociais bem como a aferição dos seus resultados estão dependentes e associados ao que se tem vindo a chamar de metodologia participativa dos projectos de intervenção;

• Acredita-se hoje que a “avaliação participativa” resolve, simultaneamente, a multiculturalidade dos olhares sobre a condução dos processos sociais e a nova democraticidade que é exigida à acção pública

Participação pública nos processos de avaliação permite:

• Obtenção de um conhecimento local dos problemas existentes;

• Incremento e aferição da capacidade de detecção e previsão das consequências de novas acções sobre os sistemas, ambientais, sociais e organizacionais locais;

• Capacidade de reconciliação de interesses locais contraditórios, entre grupos sociais ou interesses sectoriais distintos, e entre a interpretação do “interesse público” vinculado pela administração;

• Capacidade de reduzir as probabilidades de se gerarem conflitos abertos entre grupos locais e promotores dos projectos, através do diálogo e do progressivo desenvolvimento de laços de co-responsabilização entre os diversos intervenientes;

Formato-padrão do Relatório de Avaliação

SumárioExecutivo

Conclusões específicas

Conclusões gerais

Recomendações

Informações Suplementares

A avaliação de projectos sociais não deve:

• Ser a mera quantificação das acções;• Ser normativa, ou confundir-se com práticas de

controlo;• Medir apenas o êxito das acções com o apoio de

indicadores tais como a taxa de concretização de objectivos (Deve preocupar-se com os processos a partir dos quais esses objectivos foram produzidos);

• Ser confundida com o controlo administrativo que tem por fim verificar da concordância das acções com as normas institucionais

CRITÉRIOS DE AVALIAÇÃO

• O SUCESSO DO PROCESSO DE AVALIAÇÃO DEPENDE DA CAPACIDADE PARA ENCONTRAR INDICADORES QUE MEÇAM O PROCESSO E OS RESULTADOS DA AVALIAÇÃO

• AS COMPONENTES DO PROCESSO DE AVALIAÇÃO QUE PERMITEM A VERIFICAÇÃO DO SEU SUCESSO ANALISAM GERALMENTE OS SEGUINTES FACTORES:

A APRECIAÇÃO DA ADEQUAÇÃO

• O Projecto/Programa adequa-se ao contexto do problema e da situação sobre o qual se pretende intervir

• Trata-se de um projecto coerente na sua construção interna

VERIFICAÇÃO DA PERTINÊNCIA

– O PROJECTO É JUSTIFICÁVEL NO CONTEXTO DAS POLÍTICAS E ESTRATÉGIAS DO ORGANISMO, SERVIÇO, ETC.?

APRECIAÇÃO DA EFICÁCIA

• Em que medida os objectivos foram atingidos e as acções previstas foram realizadas?

• De forma global, deve perguntar-se:- Se os meios utilizados foram adequados, pertinentes e

suficientes;- E se os benefícios (em termos de objectivos no fim)

esperados foram realizados» INDICADORES: Acções realizadas/acções programadas;Objectivos realizados/objectivos planeadosPúblico-alvo atingido/público-alvo-previsto

APRECIAÇÃO DA EFICIÊNCIA

• Os resultados confrontados com os recursos utilizados correspondem ao seu emprego mais económico e satisfatório?

• » INDICADORES:- Objectivos atingidos/Recursos utilizados;- Actividades realizadas/Recursos utilizados;- Objectivos atingidos/Actividades realizadas;- Recursos utilizados/Recursos previstos;- Custos por tipo de acção, etc

APRECIAÇÃO DA EQUIDADE

• A equidade faz referência à distribuição e à repartição dos recursos entre os indivíduos e os grupos e à noção de justiça social

• Os objectivos, a definição dos grupo-alvo, a distribuição dos recursos aumentaram a igualdade de oportunidades ou geraram novas desigualdades?

• Apela à igualdade de oportunidades, não apenas ao nível do acesso a bens ou serviços, mas tb. Ao nível da capacidade de cada um gerir as suas próprias oportunidades

APRECIAÇÃO DO IMPACTE

• Na apreciação do impacte deve-se determinar em que medida se obteve uma melhoria da situação

APRECIAÇÃO DA SUSTENTABILIDADE

• Será que os efeitos do projecto subsistirão depois de ele estar completo

AVALIAÇÃO

• É UMA COMPONENTE DO PLANEAMENTO

• PERMITE DE FORMA RIGOROSA IR CONHECENDO OS RESULTADOS E EFEITOS DA INTERVENÇÃO

• PERMITE CORRIGIR TRAJECTÓRIAS

FUNÇÕES DA AVALIAÇÃO

• MEDIDA• UTENSILIO DE APOIO À TOMADA DE

DECISÃO• PROCESSO DE APRENDIZAGEM• REFORÇAR DEMOCRACIA

PARTICIPATIVA- (Importante combinar aspectos qualitativos e os quantitativos)

TIPOLOGIAS EM FUNÇÃO DE QUEM REALIZA A AVALIAÇÃO

• AUTO-AVALIAÇÃO

• AVALIAÇÃO INTERNA

• AVALIAÇÃO EXTERNA

• AVALIAÇÃO MISTA

• A avaliação é realizada pela mesma equipa que a executa

• Realizada dentro da organização gestora, mas com distanciamento da equipa de execução

• É realizada por pessoas estranhas à organização

• Combina os vários tipos de avaliação

AV. - TEMPORALIDADE

• DIAGNÓSTICA

(EX-ANTE)

• ACOMPANHAMENTO

(ON GOING)

• FINAL (Ex-POST)

• Pretende proporcionar elementos que permitam decidir se o projecto deve ou não ser implementado

• Avalia a forma de concretização do projecto e dá elementos p/ o seu afinamento e/ou correcção

• Mede os resultados e efeitos do projecto

MODALIDADES E DIMENSÕES DA AVALIAÇÃO

• Intervenientes

• Temporalidade

• Âmbito de Incidência

• Auto-Avaliação• Avaliação externa• Avaliação mista• Ex-ante; On-going

Ex-post. Interactiva

Desempenho/resultados

Processo

Prospectiva

MODALIDADES E DIMENSÕES DA AVALIAÇÃO

• DESTINATÁRIOS

• SUPORTE DE RECOLHA

• Intervenientes (técnicos)

• Dirigentes

• Instituições financiadoras

• População destinatária

• Potenciais beneficiários

• Análise documental

• Entrevistas

• Fontes estatísticas

• Diário de actividades

MODALIDADES E DIMENSÕES DA AVALIAÇÃO

• PRODUTOS

• ESTRATÉGICAS METODOLÓGICAS

• Relatórios• Formação• Actas• Bases de dados• Análises pontuais• Análises comparativas• Análises prospectivas• (....)

ETAPAS AV. PARTICIPATIVA

• Facilitador distribui folhas e marcadores aos participantes;

• Os participantes escrevem uma ideia por cartão do que acham importante avaliar;

• Cada folha é lida em voz alta e colada na parede;• Os participantes votam as ideias que consideram

mais importantes;• O grupo define uma matriz com os aspectos a

avaliar;• Cada critério é pontuado;

VANTAGENS DA AVAL. PARTICIPATIVA

• Meta-avaliação;

• Funciona como aprendizagem estruturando a informação;

• Aumenta a motivação dos participantes;

• Comunicação aberta, honesta e clara;

• Processo transparente;

• Feed-back imediato

Formato-padrão do relatório de avaliação

SumárioExecutiv

o

Conclusões específicas

Conclusões gerais

Recomendações

Informações suplementares

Critérios de Qualidade de um Projecto de

Cooperação segundo a União Europeia • Pertinência;• Eficácia;• Eficiência;• Metodologia participativa ;• Coerência interna;• Flexibilidade;• Programação operacional;• Comunicação;• Inovação e transferabilidade