Relatório Preliminar Maio 2010prorural.azores.gov.pt/ficheiros/1862010153937.pdfMaio 2010...

Relatório Preliminar

Maio 2010

Avaliação Contínua do PRORURAL 2007-2013

AVALIAÇÃO INTERCALAR – Relatório Preliminar



ÍNDICE

VOLUME I

APRESENTAÇÃO ................................................................................................................... 1

1. ENQUADRAMENTO DO ESTUDO ................................................................................................... 3 1.1. Objecto de Avaliação .................................................................................................... 3

1.2. Âmbito e Objectivos da Avaliação .............................................................................. 14

1.3. Breve nota sobre as actividades já desenvolvidas ...................................................... 16

2. QUADRO METODOLÓGICO DE REFERÊNCIA DA AVALIAÇÃO ............................................................ 19

2.1. Referencial metodológico (modelo global de Avaliação) .......................................... 20

2.2. Métodos de recolha e análise da informação ............................................................. 25

2.3. Metodologias específicas de Avaliação ...................................................................... 33

2.3.1. Dimensões com carácter de avaliação transversal ................................................ 35

2.3.2. Dimensões com carácter de avaliação específico .................................................. 40

3. RESULTADOS DA AVALIAÇÃO INTERCALAR .................................................................................. 43

3.1. Indicadores comuns de impacto ................................................................................. 43

3.1.1. Indicadores socioeconómicos ................................................................................. 50

3.1.2. Indicadores ambientais ........................................................................................... 64

3.2. Questões Comuns de Avaliação (específicas e horizontais) ...................................... 87

3.3. Conclusões e recomendações .................................................................................... 91

4. LIMITAÇÕES DO ESTUDO E ASPECTOS CRÍTICOS PARA A SUA OPERACIONALIZAÇÃO ........................... 95

4.1. Aspectos gerais ........................................................................................................... 95

4.2. Aspectos específicos - perfil de Informação quantitativa e qualitativa de suporte à

Avaliação Intercalar ................................................................................................................ 97

PROSSEGUIMENTO DOS TRABALHOS.............................................................................................. 102

VOLUME II - INSTRUMENTOS DE RECOLHA E ANÁLISE DE INFORMAÇÃO



ÍNDICE DE QUADROS

Quadro 1. Resumo da alteração proposta à Medida 1.5. Modernização das explorações agrícolas ........................ 10

Quadro 2. Abordagem multi-método: identificação de métodos de recolha e análise de informação a utilizar na

Avaliação Intercalar ............................................................................................................................ 26

Quadro 3. Avaliação específica por Medida ......................................................................................................... 42

Quadro 4. Intervenções do Programa de Desenvolvimento Rural e sua relação com os indicadores de impacto

(exercício preliminar) .......................................................................................................................... 49

Quadro 5. Metas quantificadas para o Indicador Comuns de resultado ‘Área em que a gest~o do espaço rural é

bem sucedida contribuindo para a biodiversidade e a preservação de terras agrícolas e florestais de

Elevado Valor ...................................................................................................................................... 68

Quadro 6. Metas quantificadas para os Indicadores de Acompanhamento e Avaliação da Acção 2.2.1 da Medida

2.2 “Pagamentos Agro-ambientais e Natura 2000” .............................................................................. 81

Quadro 7. Factores de emissão provenientes da fermentação entérica (kg CH4/cabeça/ano) ................................ 87

Quadro 8. Disponibilidade e fiabilidade da informação, designadamente, no que respeita á utilização dos

dados constantes da RICA .................................................................................................................. 100

Quadro 9. Cronograma das Actividades de Avaliação ......................................................................................... 102

ÍNDICE DE FIGURAS

Figura 1. Objectivos estratégicos da política de desenvolvimento rural .............................................................. 4

Figura 2. Matriz de relação Eixos Prioritários x Domínios prioritários de intervenção x Medidas .......................... 5

Figura 3. Vectores estratégicos da estratégia de desenvolvimento local/rural ..................................................... 8

Figura 4. Esquema metodológico global .......................................................................................................... 24

Figura 5. Hierarquia de indicadores e objectivos, associada à avaliação de impactos ........................................ 45

Figura 6. Cadeia de Avaliação de Impactos ....................................................................................................... 45

Figura 7. Indicadores Comuns de Impacto – definidos no QCAA ....................................................................... 47

Figura 8- Indicadores Comuns de Impacto e respectiva unidade de medida ...................................................... 50

Figura 9. Efeitos do PRORURAL, sobre os beneficiários directos e os beneficiários indirectos ........................... 51

Figura 10. Efeitos indirectos na criação de emprego com o apoio de um qualquer Programa ............................ 59

Figura 11. Características-chave dos sistemas agrícolas de alto valor natural .....................................................72

Figura 12. Recursos que vão ser utilizados na resposta às Questões Comuns de Avaliação ............................... 89

Figura 13. Dimensões de contributividade mais vasta do PRORURAL ............................................................... 92

Figura 14. Questões a ter em conta aquando da formulação de Recomendações no âmbito dos Eixos 3 e 4 ...... 94

Figura 15. Vertentes-base para a recolha e análise de informação, para responder aos objectivos da Avaliação

Intercalar .......................................................................................................................................... 101



SIGLAS E ACRÓNIMOS

AB Agricultura Biológica AEA Agência Europeia do Ambiente AG Autoridade de Gestão APA Agência Portuguesa do Ambiente ATE Average Treatment Effect CAC Censo de Aves Comuns CMEF Common Monitoring and Evaluation Framework DGAgri Direcção Geral da Agricultura e do Desenvolvimento Rural DID Difference-in-Difference DRACA Direcção Regional dos Assuntos Comunitários da Agricultura EBCC European Bird Census Council EDL Elaboração da Estratégia Local de Desenvolvimento EM Estados-Membros ETI Equivalente Tempo Inteiro EUROSTAT Gabinete de Estatísticas da União Europeia EVALSED Guia para a avaliação do desenvolvimento socio-económico FBI Farmland Birds Indicator FEADER Fundo Europeu Agrícola de Desenvolvimento Rural GAL Grupo de Acção Local GEE Gases com Efeito de Estufa GPP Gabinete de Planeamento e Políticas IAC Índice de Aves Comuns IACZA Índice de Aves Comuns de Zonas Agrícolas IFAP Instituto de Financiamento da Agricultura e Pescas IGF Inspecção Geral de Finanças INE Instituto Nacional de Estatística IPCC Intergovernmental Panel on Climate Change IRENA International Renewable Energy Agency LEADER Ligações Entre Acções de Desenvolvimento da Economia Rural MADRP Ministério da Agricultura, do Desenvolvimento Rural e das Pescas MEPP Manutenção da extensificação da produção pecuária OCDE Organização para a Cooperação e Desenvolvimento Econômico PAC Política Agrícola Comum PDL Plano de Desenvolvimento Local PDRu Plano de Desenvolvimento Rural dos Açores PECBMS Esquema Pan-Europeu de Monitorização de Aves Comuns PENDR Plano Estratégico Nacional do Desenvolvimento Rural PL Protecção de lagoas POA Programa Operacional de Ambiente PPC Paridade de poder de compra PROAMA Programa de Apoio à Modernização Agrícola PRORURAL Programa de Desenvolvimento Rural da Região Autónoma dos Açores PSM Propensity Score Matching QCA Questões Comuns de Avaliação QCAA Quadro Comum de Acompanhamento e Avaliação RA Açores Região Autónoma dos Açores RGA Recenseamento Geral Agrícola RICA Rede de Informação de Contabilidades Agrícolas SAU Superfície Agrícola Útil SIFAP Sistema Integrado de Financiamento à Agricultura e Pescas

(continua)



(cont.)

SiRURAL Sistema de Informação Rural da Região Autónoma dos Açores SPEA Sociedade Portuguesa para o Estudo das Aves SPEA Sociedade Portuguesa para o Estudo das Aves SRAF Secretaria Regional da Agricultura e Florestas SRAM Secretaria Regional do Ambiente e do Mar SREA Serviço Regional de Estatística dos Açores SWOT Forças, Fraquezas, Oportunidades e Ameaças TEP toneladas equivalente de petróleo UE 27 União Europeia UTA’s Unidades de trabalho por ano VAB Valor Acrescentado Bruto



1

APRESENTAÇÃO

No contexto da estratégia de Desenvolvimento Rural, a Avaliação Intercalar do PRORURAL

contempla o objectivo geral de aferir o modo como a execução física e financeira e os

compromissos em matéria de gestão, acompanhamento, controlo e informação e comunicação do

Programa, no período de referência, estão a ser prosseguidos e a traduzir-se nas realizações,

resultados e impactos esperados. Tendo presente estes elementos de enquadramento da

Avaliação Intercalar, o Relatório Preliminar entende desenvolver uma Metodologia assente numa

estratégia de trabalho que valorize as seguintes vertentes:

Aferir, com base na nova informação disponível, tanto de natureza financeira, como de

realizações físicas, resultados e impactos, em que medida se mantêm válidas as formas de

intervenção do PRORURAL (relevância estratégica, pertinência de objectivos, coerência

interna e externa).

Fornecer informação relevante que ajude a melhorar o desempenho do PRORURAL

(eficácia na obtenção dos objectivos pretendidos e eficiência na utilização dos recursos;

funções de gest~o e acompanhamento, necessidade de alterações, …).

Contribuir, mesmo que de uma forma genérica, para uma reflexão sobre o novo

enquadramento para a política agrícola e de desenvolvimento rural, com consequências

no horizonte do próximo período de programação.

O presente Relatório é constituído por dois Volumes, sendo o primeiro constituído por quatro

grandes Capítulos; e segundo que contempla a apresentação de todos os Anexos do presente

Relatório, assim como de todos os instrumentos de inquirição.

No Enquadramento do Estudo procede-se à descrição sumária do objecto de avaliação à luz dos

seus objectivos estratégicos e específicos, assim como da dinâmica de operacionalização e

implementação do Programa e uma revisão sistemática e análise dos resultados das Avaliações

anteriores. Este Capítulo vai incluir, ainda, uma reflexão sobre o âmbito e os objectivos do Estudo

de Avaliação Intercalar e a descrição das principais actividades desenvolvidas.

O segundo Capítulo, relativo ao Quadro metodológico de referência da Avaliação, pretende

sistematizar as análises a efectuar face às opções metodológicas. Este Capítulo compreende um

primeiro ponto referente ao modelo global de Avaliação, o qual reflecte a moldura de toda a



2

metodologia de Avaliação; um segundo Ponto relativo aos métodos de recolha e análise de

informação, que apresenta de forma detalhada os instrumentos metodológicos a utilizar bem

como a sua aplicação; e um terceiro ponto dedicado às metodologias específicas, que vai

aprofundar as metodologias de avaliação apresentadas na Proposta, ajustadas à luz dos diversos

vectores de conhecimento do Programa, bem como às recomendações e sugestões dos

documentos produzidos pelos Grupos de Trabalho Temáticos coordenados pela European

Evaluation Network for Rural Development (Rede Europeia de Avaliação).

No Capítulo relativo aos Resultados da Avaliação Intercalar, apresenta-se os principais outputs

da aplicação dos instrumentos metodológicos, incluindo a resposta aos Indicadores comuns de

impacto e às Questões Comuns de Avaliação; e a apresentação das conclusões e a formulação das

Recomendações.

No quarto e último Capítulo, dar-se-á a conhecer um conjunto de Limitações do Estudo e aspectos

críticos para a sua operacionalização, as quais poderão vir a condicionar o desenvolvimento das

actividades de avaliação e a limitar a produção de outputs úteis, atempados e com qualidade.

Por fim, no ponto intitulado Prosseguimento dos trabalhos apresenta-se uma referência geral

para a prossecução dos trabalhos de avaliação, designadamente as actividades que se consideram

adequadas desenvolver nas próximas duas fases do Estudo de Avaliação Intercalar.

Este Relatório Metodológico, constituindo o corpo de procedimentos que enforma a Avaliação

Intercalar do PRORURAL, não deve ser encarado como um documento estanque e imutável. Na

verdade, considera-se que a arquitectura da metodologia aqui desenhada deverá sempre que

necessário ser alvo de adequações, que permitam responder ao principal objectivo desta

Avaliação: contribuir para o aperfeiçoamento de um Programa que promova a agricultura e o

desenvolvimento rural.



3

1. ENQUADRAMENTO DO ESTUDO

1.1. Objecto de Avaliação

O Programa de Desenvolvimento Rural da Região Autónoma dos Açores (RA Açores) –

PPRROORRUURRAALL, enquadra-se na política de desenvolvimento rural definida pela União Europeia para

o período de programação 2007-2013, tendo sido concebido com base no contexto delineado pelo

Plano Estratégico Nacional do Desenvolvimento Rural – PENDR (MADRP, 2007) e nas Orientações

estratégicas comunitárias para o desenvolvimento rural (Regulamento (CE) n.º 1698/2005, do

Conselho, de 20 de Setembro).

Para a concepção do PRORURAL contribuíram os resultados dos Estudos de Avaliação do período

de programação anterior e o diagnóstico da situação de partida regional; o

Sub-programa da Regi~o Autónoma dos Açores “Adaptaç~o da Política Agrícola Comum {

realidade Açoriana” (elaborado no }mbito do Regulamento n.º 247/2006, do Conselho, de 30 de

Janeiro); a Avaliação ex-ante (que incluiu uma avaliação estratégica ambiental); e os pareceres de

diversas entidades públicas e privadas com relevo a nível regional.

Num contexto de crescentes exigências face aos desafios económicos, sociais e ambientais que a

sociedade enfrenta, o desenvolvimento rural tem de assentar num conjunto de sistemas agrícolas

e florestais economicamente competitivos e, em simultâneo, ambientalmente equilibrados e

sustentáveis; e na revitalização económica e cultural dos territórios rurais.

O desenvolvimento de um modelo com estas características afigura-se, contudo, muitas vezes

complexo, sobretudo em zonas económica e socialmente deprimidas ou com fortes desvantagens

naturais, sendo difícil garantir um desenvolvimento harmonioso do território. Para que tal ocorra,

exige-se um esforço adicional da participação dos cidadãos nos processos de decisão e gestão do

desenvolvimento, que se assume como um factor determinante na criação das condições para

esse desenvolvimento.



4

Figura 1. Objectivos estratégicos da política de desenvolvimento rural

O PPRROORRUURRAALL foi aprovado pela Decisão C (2007) 6162, de 4 de Dezembro de 2007, da Comissão

Europeia. A política de desenvolvimento rural é financiada pelo Fundo Europeu Agrícola de

Desenvolvimento Rural (FEADER) e rege-se pelo Regulamento n.º 1698/2005, de 20 de Setembro.

O Programa inicialmente foi aprovado com um montante total de despesa pública de perto de 323

Milhões de Euros, montante a que corresponde de 85% de contribuição FEADER (cerca de 275

Milhões de Euros). Os montantes disponíveis têm como objectivo assegurar os compromissos

assumidos no período de programação anterior, apoiar projectos de investimento no âmbito dos

Eixos 1 e 3 e da Medida 2.4. do Eixo 2 e conceder ajudas forfetárias no âmbito do Eixo 2. O

esquema seguinte permite cruzar os domínios de intervenção prioritários do Programa com as

respectivas Medidas.

A estratégia do Programa contempla três dimensões na sua forma de aplicação: económica,

ambiental e social, as quais se complementam e reflectem o grande objectivo subjacente da

promoção da competitividade das explorações agro-pecuárias e empresas

agro-transformadoras e dos territórios rurais, atribuindo prioridade à preservação do ambiente e à

atractividade das zonas rurais, e tendo como preocupação latente a coesão territorial e social

(diminuição das assimetrias que dividem as ilhas que constituem o Arquipélago e que dividem o

Arquipélago do Continente e do resto da Europa).

Estratégia global de

desenvolvimento rural

Promoção da competitividade dos

sectores agrícola e florestal

Correcto ordenamento do

espaço rural e gestão sustentável dos

recursos naturais

Melhoria da qualidade de vida e diversificação da economia nas

zonas rurai

Reforço da coesão territorial e social

Promoção da intervenção dos

cidadãos na gestão sectorial e do

território rural



5

Figura 2. Matriz de relação Eixos Prioritários x Domínios prioritários de intervenção x Medidas

Domínios prioritários de intervenção

(Sub-objectivos)

Medidas

Promoção da utilização continuada e sustentável das terras agrícolas

Promoção da gestão sustentável das terras agrícolas

Promoção da gestão sustentável das terras florestais

2.1. Manutenção da actividade agrícola em zonas desfavorecidas

2.2. Pagamentos agro-ambientais e Natura 2000 2.3. Apoio a investimentos não produtivos

2.4. Gestão do espaço florestal

Eix

o P

rio

ritá

rio

1.

Au

me

nta

r a

co

mp

eti

tivi

da

de

do

s se

cto

res

ag

ríco

la e

flo

rest

al


(Sub-objectivos)

Medidas

Aumento dos conhecimentos e melhoria do potencial humano do sector agro-florestal

Promoção da inovação e da qualidade e reestruturação e desenvolvimento das fileiras do sector agro-florestal

Melhoria das infra-estruturas de apoio à actividade agrícola e florestal

1.1. Formação profissional e acções de informação 1.2. Instalação de jovens agricultores 1.3. Reforma Antecipada 1.4. Serviços de gestão e aconselhamento

1.5. Modernização das explorações agrícolas 1.6. Melhoria do valor económico das florestas 1.7. Aumento do valor dos produtos agrícolas e

florestais 1.8. Cooperação para a promoção da inovação 1.9. Criação e desenvolvimento de novos instrumentos

financeiros

1.10. Catástrofes naturais

1.11. Melhoria e desenvolvimento de infra-estruturas

Eix

o P

rio

ritá

rio

2.

Me

lho

ria

do

Am

bie

nte

e d

a p

ais

ag

em

ru

ral



6

Figura 2. Matriz de relação Eixos Prioritários x Domínios prioritários de intervenção x Medidas (cont.)

Na perspectiva da Avaliação Contínua de 2008 (IESE, 2009, pág. 17), as Medidas definidas no

PRORURAL revelam uma correspondência sólida e muito próxima dos objectivos principais dos

quatro Eixos prioritários, sendo clara a coerência entre as Medidas implementadas e os objectivos

visados, através do apoio a projectos e de ajudas que:

contribuem fortemente para o dinamismo das fileiras agro-pecuária e florestal;

estimulam a modernização e diversificação do mosaico produtivo;

reforçam as infra-estruturas de apoio ao sector agro-florestal e agro-industrial;


(Sub-objectivos)

Medidas

Promoção da diversificação da economia e

do emprego em meio rural

Promoção da melhoria da qualidade de vida

nas zonas rurais

Desenvolvimento de competências a nível

local

3.1. Diversificação da economia e criação de emprego em meio rural

3.2. Melhoria da qualidade de vida nas zonas rurais

3.3. Formação e informação

Eix

o P

rio

ritá

rio

3. Q

ua

lid

ad

e d

e v

ida

na

s

zon

as

rura

is e

div

ers

ific

açã

o d

a e

con

om

ia

rura

l


(Sub-objectivos)

Medidas

Integração da Abordagem LEADER na

programação

4.1. Execução das estratégias locais de desenvolvimento

4.2. Cooperação LEADER

4.3. Funcionamento dos GAL, aquisição de competências e animação dos territórios

Eix

o P

rio

ritá

rio

4.

Ab

ord

ag

em

LE

AD

ER



7

incentivam a sustentabilidade das produções e a preservação do ambiente e da paisagem;

e

estimulam a manutenção de um tecido económico e social nas zonas rurais (em particular

nas ilhas com menores dinâmicas económica e social).

Na abordagem do Eixo LEADER, não é demais reforçar o carácter original e inovador da sua

metodologia, suportada em alguns princípios simples que têm permitido desde o início privilegiar

acções que contribuem para a melhoria das condições de vida específicas dos territórios de baixa

densidade (Grupo de Acção Local - GAL, Plano de Desenvolvimento Local - PDL, procura de

ligações, co-financiamento, colocação em rede dos territórios).

Na evolução natural da metodologia LEADER surgiram as Estratégia Locais de Desenvolvimento

(ELD), que consistem no “modelo de desenvolvimento para um território com vista a dar resposta às

suas necessidades através da valorização dos seus recursos endógenos, assente num conjunto de

prioridades e objectivos fixados a partir de um diagnóstico, privilegiando uma abordagem integrada,

inovadora e com efeitos multiplicadores” (alínea c) do ponto 1 do artigo 4º da Portaria nº 66/2008).

No caso da RA Açores, as ELD compreendem as seguintes orientações regionais1:

a) Ser integrada, baseada na interacção ao nível dos agentes, sectores e projecto e centrada nos

aspectos dominantes representativos da identidade e recursos específicos do território, de

forma a atingir os objectivos estabelecidos;

b) Promover um processo de desenvolvimento coerente com as características do território, em

especial sob o ponto de vista socioeconómico, justificando a respectiva viabilidade económica

e sustentabilidade;

c) Valorizar a criação de sinergias com o sector primário;

d) Mostrar coerência com as orientações estratégicas nacionais, regionais e sectoriais e

complementaridade com outros instrumentos de política incidentes no mesmo território.

No que concerne ao modelo de desenvolvimento local/rural para a RA Açores, a Estratégia

Regional de Desenvolvimento Rural centra-o em cinco grandes vectores.

1 Eixo 4 – Orientações para a Elaboração da Estratégia Local de Desenvolvimento (EDL), Autoridade de

Gestão do PRORURAL, Orientação nº 1, 08 de Agosto de 2008.



8

Figura 3. Vectores estratégicos da estratégia de desenvolvimento local/rural

Este cenário de intervenção, com especificidades próprias, resulta de adaptações que advêm da

condição ultraperiférica, das características do sector agrícola, do quadro de ruralidade existente,

das políticas agrícolas comunitárias, das especificidades em matéria de ambiente, bem como da

organização político-institucional.

Em suma, embora a estrutura das Medidas (forma de aplicação e respectivos objectivos) do

PRORURAL acolha um perfil de continuidade com o período de programação anterior, demonstra

um enriquecimento incorporado pela importância atribuída às questões da competitividade, da

inovação e da qualidade, da sustentabilidade ambiental, da valorização territorial e da

atractividade dos territórios rurais.

a) Alterações de contexto e internas ao PRORURAL

Na gestão do PRORURAL e desde a Avaliação Contínua do ano de 2008, não ocorreram alterações

internas significativas, todavia, assinale-se o esforço que a Equipa da DRACA e os Organismos

Intermédios de Gestão têm vindo a fazer no sentido da estabilização de procedimentos para dar

resposta às diversas vertentes de operacionalização do Programa e para atenuar os atrasos da sua

implementação.

Neste contexto, refira-se que a mais recente filosofia, inerente à aplicação do FEADER, exigiu a

(re)análise de todos os procedimentos, sobretudo no que se refere à sua racionalização e

normalização (redefinição do modelo de governação e da articulação com o IFAP, implementação

Melhoria da qualidade de vida nas zonas rurais

Implementação e execução de estratégias

de desenvolvimento local

Funcionamento dos GAL, aquisição de competências e animação dos

territórios rurais

Diversisficação da economia e criação de

emprego no meio rural

Cooperação interterritorial e

transnacional



9

de um quadro legislativo diferente e mais exigente, integraç~o da iniciativa LEADER, …) e,

consequentemente, o desenvolvimento de sistemas de informação robustos, aumentando o grau

de complexidade do trabalho.

A implementação do Programa também esteve dependente da sua acreditação, a qual ocorreu

apenas em 30 de Abril de 2009, contribuindo para o atraso na operacionalização de diversas

Medidas que já estavam regulamentadas e com candidaturas abertas. Para esse atraso contribuiu,

ainda, a alteração ao nível da gestão de processos ligada aos pedidos de pagamento que, embora

inicialmente prevista ser ‘alojada’ no SiRURAL, não sofreu qualquer alteraç~o e ficou ‘alojada’ no

sistema do IFAP. Esta alteração acarretou a alteração das Portarias e atrasos nos pedidos de

pagamento.

A agravar as dificuldades no arranque inicial do Programa, surgiram preocupações relativamente à

qualidade dos pedidos de apoio apresentados, nomeadamente, no âmbito da Medida 1.5.

Modernização das explorações agrícolas, em que foram óbvias a fraca qualidade técnica dos

projectos de investimento e as deficiências em termos de instrução dos processos de candidatura.

Estas situações provocaram consequentes atrasos no processo de decisão.

No que se refere às condições socioeconómicas gerais e a outros instrumentos financeiros com

potencial influência sobre a implementação e execução do Programa, não se verificaram

alterações significativas no período de vigência do Programa (2007-2009).

No entanto, em termos sectoriais, ocorreu uma alteração com forte influência sobre o sector agro-

pecuário: o Conselho de Ministros da Agricultura de Novembro de 2008 adoptou um compromisso

político decorrente do “Health Check da PAC”, que teve por resultado o Regulamento (CE) n.º

74/2009 do Conselho, de 19 de Janeiro de 2009. Esse Regulamento estabelece o reforço das

prioridades comunitárias no âmbito dos Programas de Desenvolvimento Rural, valorizando os

novos desafios para a agricultura europeia: alterações climáticas, energias renováveis, gestão da

água, biodiversidade e reestruturação do sector leiteiro. Neste contexto, a reestruturação do sector

leiteiro foi estabelecida como uma das novas prioridades comunitárias para o desenvolvimento

rural.

Na sequência da aplicação do Regulamento (CE) n.º 74/2009, o qual vem pressionar a importância

da reestruturação do sector leiteiro na economia da Região Autónoma dos Açores, o PRORURAL

implementou a alteração (a sua segunda) da Medida 1.5. Modernização das Explorações Agrícolas,

que viu o seu envelope financeiro reforçado em 20 Milhões de Euros. A alteração foi aprovada por

Decisão da Comissão em 02 de Março de 2010.



10

Quadro 1. Resumo da alteração proposta à Medida 1.5. Modernização das explorações agrícolas

Descrição da Medida 1.5. Beneficiários Nível de apoio

Nos Objectivos da Medida é aditado o

seguinte: “Reestruturar o sector

leiteiro regional”

No Âmbito é aditado o seguinte

travess~o “Apoiar projectos de

investimento no sector leiteiro que

visem a sua reestruturaç~o”.

Nas Prioridades é aditado o seguinte

travess~o: “Visem investimentos

numa óptica de reestruturação da

produç~o pecu|ria leiteira”.

Todos os produtores

de leite

Majoração em 10 pontos

percentuais das ajudas para o

sector leiteiro (bovinicultura de

leite).

Alguns dos investimentos

propostos já estavam previstos

no PRORURAL, sendo o reforço

do incentivo no sector leiteiro

efectuado através da majoração

da taxa de ajuda de 75% para

85%.

Efeitos potenciais

melhorar o desempenho económico das explorações agrícolas leiteiras através de uma melhor racionalização dos factores de produção;

incentivar a gestão sustentável dos recursos hídricos;

atenuar a pressão ambiental (poluição da água, erosão e contaminação dos solos), nomeadamente através do apoio à construção de fossas, nitreiras, canais de drenagem, construção de reservatórios de água, etc.;

introduzir novas tecnologias, nomeadamente através de novos equipamentos de ordenha, processos de produção biológico, etc.;

melhorar as condições de higiene e de bem-estar dos animais, nomeadamente, através da construção de lojetes (zonas cobertas com separadores individuais para a pernoita dos animais) e de parques de alimentação (zona de retenção dos animais, equipada com estruturas destinadas à alimentação dos animais, que tem por objectivo evitar o pisoteamento das pastagens no inverno, bem como permitir um melhor maneio dos animais e uma melhor gestão das pastagens).

A Decisão 2006/144/CE relativa às orientações estratégicas comunitárias de desenvolvimento rural

(período de programação 2007-2013) foi, igualmente, alterada pela publicação da Decisão do

Conselho, de 19 de Janeiro de 2009. Entre as alterações previstas, destaca-se uma pela sua forte

influência no sector agrícola da RA Açores: a supressão gradual das quotas leiteiras até à sua

liberalização, em 20152.

b) Revisão sistemática e análise dos resultados das Avaliações anteriores

Esta componente da Avaliação Intercalar, tem em vista preencher uma dimensão de balanço

compreensivo da evolução das Medidas e do Programa no período 2008/2010 (sobretudo ao longo

do último ano) e, designadamente, aferir até que ponto essa evolução mantém válidas (ou não) as

2 Aumento anual de 1% das quotas entre 2009/10 e 2013/14. Em 2009/10 e 2010/11, os agricultores que

excedam as suas quotas em mais de 6% terão de pagar uma imposição 50% mais elevada que o normal.



11

Conclusões e Recomendações formuladas no âmbito da Avaliação Contínua relativa ao ano de

2008.

Um ensaio de leitura desse Relatório de Avaliação muito centrado na operacionalização do

Programa permite evidenciar alguns vectores-chave a ter presentes neste exercício de Avaliação,

predominantemente centrado nas dimensões eficiência e eficácia do Programa.

As alíneas seguintes sistematizam um conjunto relevante de Conclusões e Recomendações para

sustentar esta revisão. A referência da vertente Recomendações é útil também na perspectiva do

ponto seguinte, que trata de compreender em que medida as Recomendações enunciadas pela

Avaliação de 2008 foram acolhidas.

Conclusões gerais da Avaliação Contínua do PRORURAL – ano de 2008

A estrutura dos Eixos prioritários e respectivo quadro de objectivos apresenta uma

adequação satisfatória aos condicionamentos que afectam o desenvolvimento das

actividades no sector agro-florestal.

As Medidas definidas no PRORURAL revelam uma correspondência fiel e muito próxima

dos objectivos dos quatro Eixos prioritários, sendo clara a coerência entre as Medidas

implementadas e os objectivos visados.

O modelo de gestão implementado contempla as características, a estrutura e as

competências adequadas às necessidades em matéria de análise, de controlo

administrativo e de acompanhamento do Programa. No entanto, observou-se uma

relação desproporcionada entre as atribuições e competências de que a DRACA se

encontra incumbida e a estrutura técnica de que dispõe para assegurar as mesmas.

Verificou-se um atraso significativo na implementação do Programa que acarretou taxas

de aprovação de pedidos de apoio e taxas de execução residuais, com a excepção do Eixo

2.

Recomendações da Avaliação Contínua do PRORURAL – ano de 2008

Do trabalho efectuado pela Equipa de Avaliação destaca-se um conjunto de recomendações,

ainda que formulado num cenário de insuficiente implementação do Programa. Nesta síntese das

Recomendações formuladas no âmbito da Avaliação Contínua de 2008, assinalam-se em itálico

aquelas que foram acolhidas pela Autoridade de Gestão (AG), como base de ajustamentos

necessários à boa execução do Programa.



12

Recomendações de carácter transversal

i. Visão compreensiva das necessidades de reestruturação nas áreas de especialização

produtiva, e de ajustamento das lógicas de investimento das explorações leiteiras regionais,

devido à supressão gradual das quotas leiteiras [Decisão do Conselho 2009/61/CE, de 19 de

Janeiro], com recurso a um Estudo estratégico;

ii. Realização de um Diagnóstico de Competências e Necessidades de Formação Profissional

que fundamente uma abordagem estratégica indispensável a uma utilização dotada de

eficácia e eficiência das verbas destinadas à formação profissional.

Principais recomendações de carácter operacional

(i) Reforço da estrutura técnica do PRORURAL.

(ii) Organizar a informação constante dos Sistemas de informação numa óptica de produção

de dados que permitam o cálculo de indicadores.

(iii) Ponderação da elegibilidade de tractores e alfaias agrícolas na tipologia de investimento

máquinas e equipamentos, a qual deverá evoluir para uma expressão mais limitada nas

lógicas de investimento da Medida.

(iv) Apresentação de candidaturas por via de concurso (Medida 1.5), de modo a tornar mais

abrangente a base para selecção das candidaturas.

(v) Ampliar os esforços orientados para a diversificação dos segmentos de actividade

apoiados pelas Medidas 1.5. e 1.7.

(vi) Reforço da integração/articulação das estruturas empresariais com a Universidade dos

Açores, entre outras entidades.

(vii) Orientar a aprovação dos projectos da Medida 1.11. de forma a assegurar: (i) uma maior

distribuição regional dos projectos; (ii) um maior investimento em infra-estruturas fora

dos perímetros de ordenamento agrário (POA); e (iii) um direccionamento dos apoios

para a estruturação fundiária e o abastecimento de energia eléctrica.

(viii) Acelerar os processos de controlo das Medidas do Eixo 2, para que o pagamento das ajudas

ocorra no ano a que se refere a candidatura.

(ix) Reanalisar a conformidade da Acção Pagamentos Rede Natura 2000 em terras agrícolas.

“



13

(x) Reforço das acções relativas ao empreendedorismo jovem, à inovação sócio-

-local e produtiva e à valorização do património ambiental, no âmbito da

implementação das ELD dinamizadas pelos GAL, nas respectivas Zonas de Intervenção

(Eixo 3).

(xi) Melhoria dos níveis de flexibilidade do modelo de governação e do funcionamento das

acções enquadradas nas ELD atenuando a excessiva normalização, limitadora do potencial

inovador do Método LEADER.

No conjunto das Recomendações que integram a Avaliação Contínua de 2008, permanece um

leque de propostas que se considera útil reconsiderar. Nesse sentido, serão objecto de ponderação

na perspectiva da Avaliação Intercalar, designadamente, em matéria de reprogramação.

Em termos de tarefas técnicas, a revisão sistemática assentou fundamentalmente nos elementos

seguintes: (i) reuniões de trabalho com responsáveis/coordenadores de cada uma das Medidas do

PRORURAL; e (ii) entrevistas com gestora do PRORURAL. Com base nestas componentes

metodológicas, foram sistematizadas as principais actividades da AG no desempenho das suas

responsabilidades sobre os dispositivos de gestão e os circuitos de operacionalização (cf. Ponto

seguinte).

c) Principais actividades desenvolvidas pela Autoridade de Gestão

Com base nas entrevistas exploratórias à Autoridade de Gestão, cujos principais objectivos se

centraram na recolha de informação sobre os mecanismos de operacionalização, com o

diagnóstico dos estrangulamentos existentes, e sobre as dinâmicas de aprovação e de execução

das Medidas do PRORURAL, foi perceptível um grande empenho da DRACA e dos Organismos

Intermédios na solução dos vários constrangimentos que surgiram ao longo do ano de 2009, assim

como no acolhimento de algumas das Recomendações efectuadas pela Avaliação Contínua do

PRORURAL, relativa ao ano de 2008. Neste sentido, a gestão do Programa envolveu-se de forma

mais empenhada no desenvolvimento das seguintes vertentes de trabalho:

Estabilizar os mecanismos de operacionalização das diversas Medidas (gestão interna e

acompanhamento da execução dos pedidos de apoio aprovados).

Implementar as Medidas que não foram operacionalizadas durante o ano de 2008

(regulamentação específica, critérios de selecção, divulgação, …).

”



14

Estabilizar a estruturação do Sistema de Gestão, com prioridade para a relação

institucional com o IFAP e para a resolução de questões identificadas pela Inspecção Geral

de Finanças (IGF);

Desenvolvimento das aplicações informáticas de modo a assegurar os processos de gestão

de pedidos de apoio e a devolução de indicadores de realização e de resultado.

Alteração da Medida 1.5. Modernização das explorações agrícolas, decorrente da Decisão

do Conselho de 19 de Janeiro de 2009.

Implementação de diversos mecanismos de divulgação.

Revisão dos critérios de selecção de todas as Medidas e Acções do PRORURAL na

sequência do Exame Anual ao Programa, com o objectivo de ver definida uma pontuação

mínima a atingir para que os pedidos de apoio possam ser seleccionados para aprovação.

Contudo, a trajectória de geração de resultados, analisada em função dos níveis de absorção de

recursos de financiamento e da capacidade de execução das entidades beneficiárias, coloca num

patamar insatisfatório as ‘performances’ das principais Medidas de investimento do Programa,

sendo de relevar neste âmbito as preocupações que a Comissão Europeia tem assinalado a este

respeito.

Neste contexto refira-se que o volume de pedidos de apoio aprovados aumentou

substancialmente durante o ano de 2010, assim como a execução financeira, contrariando uma

tendência que se verificava nos anos anteriores de vigência do Programa.

1.2. Âmbito e Objectivos da Avaliação

O actual Ciclo de Avaliação (2008-2015) encontra enquadramento, fundamentalmente, no

Regulamento (CE) n.º 1698/2005, de 20 de Setembro, relativo ao desenvolvimento rural, sendo

complementado pelo Manual sobre o Quadro Comum de Acompanhamento e Avaliação (Direcção

Geral da Agricultura e do Desenvolvimento Rural, Setembro de 2006) o qual, como o nome indica,

desenha uma abordagem para o acompanhamento e a avaliação dos Programas de

Desenvolvimento Rural, no período de programação 2007-2013.

Tendo por base estes dois documentos orientadores, a Avaliação dos Programas de

Desenvolvimento Rural assume um novo conceito, sendo efectuada anualmente, para além dos



15

três momentos de Avaliação habituais (ex-ante, Intercalar e ex-post) e procurando uma

abordagem comum entre os diversos Estados-Membros (EM).

O Artigo 86.º do Regulamento (CE) n.º 1698/2005 do Conselho, de 20 de Setembro caracteriza os

conteúdos dos diferentes momentos de Avaliaç~o da seguinte forma: “As Avaliações Intercalares e

ex-post examinam o grau de utilização dos recursos, a eficácia e eficiência da programação do

FEADER, o seu impacto socioeconómico e o seu impacto nas prioridades comunitárias. As avaliações

abrangem os objectivos do Programa e destinam-se a tirar ensinamentos relativos à política de

desenvolvimento rural. Identificam os factores que contribuíram para o sucesso ou o fracasso da

execução dos programas, incluindo o que diz respeito à sustentabilidade, bem como as melhores

práticas”.

Em síntese, a Avaliação dos programas de desenvolvimento rural deverá contribuir para melhorar

a política, clarificar factores críticos de sucesso e/ou insucesso na execução dos Programas e

evidenciar boas práticas sustentáveis, demonstrativas e transferíveis.

A Avaliação Intercalar é efectuada durante o ciclo de vida do Programa, tem um carácter

multidimensional e tem por grande objectivo o acompanhamento dos processos, permitindo uma

comparação entre as actividades e os resultados previstos e alcançados, identificando desvios e

novas necessidades, propondo acções correctivas e elaborando sempre que necessário o

ajustamento dos instrumentos de intervenção.

Na Avaliação Intercalar espera-se observar, sobretudo, os primeiros resultados e impactes das

intervenções, avaliando recursos dispendidos e objectivos alcançados. A importância da Avaliação

Intercalar reside na possibilidade de introduzir ajustamentos no Programa, de forma a

melhorar a sua eficiência e a sua eficácia, sendo os seus principais objectivos os seguintes:

“Avaliar o nível de utilizaç~o dos recursos, a efic|cia e a eficiência da programaç~o do

FEADER, o impacto socio-económico e o impacto nas prioridades estabelecidas.

Rever os objectivos do Programa e tirar lições relativas à política de desenvolvimento

rural definida para a RA Açores.

Identificar os factores que contribuíram para o sucesso ou para o insucesso da

implementação do Programa, incluindo nessa análise a sustentabilidade das

intervenções e a identificação de boas práticas.



16

Proceder a uma análise crítica dos resultados e impactos alcançados, face aos

objectivos definidos identificando de forma objectiva e fundamentada as causas dos

eventuais afastamentos relativamente ao previsto e programado.

Propor medidas para melhorar a qualidade do Programa e a sua implementaç~o” (cf.

Caderno de Encargos para a aquisição de serviços de realização da Avaliação Contínua

do PRORURAL, págs. 21 e 22).

1.3. Breve nota sobre as actividades já desenvolvidas

No âmbito da preparação da Avaliação Intercalar do PRORURAL, a Equipa de Avaliação

desenvolveu algumas actividades, sobretudo, com o objectivo de elaborar o presente Relatório e

de desenhar o plano dos trabalhos de avaliação para o ano de 2010.

O Relatório Preliminar preenche uma função de aprofundamento metodológico da Proposta

Técnica apresentada em Setembro de 2009, sendo que esse aprofundamento beneficia dos

seguintes vectores de trabalho, entretanto, desenvolvidos:

(i) recolha e análise de um conjunto alargado de documentos de referência e de suporte

técnico visando, nomeadamente, a apreciação de metodologias alternativas para a

resposta aos indicadores de impacto e a dotação de uma perspectiva próxima em

matéria de coordenação/gestão e em matéria de implementação e de execução do

Programa;

(ii) recolha de informação empírica, através da realização de uma série de entrevistas

exploratórias com a Gestão do Programa (Gestora, responsáveis por Eixos e Medidas e

responsáveis por procedimentos de controlo), com o objectivo de obter elementos sobre

o contexto em análise (operacionalização e implementação, dinâmicas de execução,

principais dificuldades, …);

(iii) definição dos principais vectores de análise dos instrumentos de suporte à realização das

entrevistas, dos inquéritos e dos estudos de casos, que constituem parte da arquitectura

metodológica da Avaliação Intercalar e a base de trabalho a desenvolver nos próximos

meses;



17

(iv) definição dos planos de recolha de informação, incluindo as amostras no âmbito dos

diferentes universos de beneficiários a inquirir e a identificação de entidades a

entrevistar e os casos a analisar;

(v) realização de uma série de reuniões de trabalho entre a Equipa de Avaliação, as equipas

informáticas (SiRURAL e e-rural) e a Autoridade de Gestão para afinar as questões

relacionadas com a resposta aos indicadores de realização e de resultado do Programa.

Esta vertente de trabalho de campo apresenta-se, apenas, parcialmente conseguida sendo

necessário nas próximas semanas assegurar o acesso a informação substantiva que permita a

construção efectiva daquelas amostras e a identificação dos casos concretos a estudar. A própria

realização de um primeiro ciclo de entrevistas contribuirá, decerto, para a conclusão desse

exercício.

Os instrumentos de avaliação utilizados nesta primeira fase da Avaliação em resposta às

necessidades de informação de suporte às componentes de Avaliação em desenvolvimento, foram

as seguintes:

Análise documental/regulamentar;

Entrevistas e reuniões de trabalho;

Análise quantitativa dos dados de execução física e financeira do Programa.

No que se refere à análise qualitativa da informação recolhida, destaca-se a análise de conteúdos

das entrevistas realizadas e dos documentos examinados (Documento do PRORURAL,

Regulamentos específicos das Medidas, documentação produzida pela Rede Europeia de

Avaliação, entre outros), sobretudo, numa óptica de aquisição de conhecimentos base sobre o

contexto de operacionalização, implementação e execução do Programa e de conhecimentos

técnicos para desenvolver as metodologias necessárias à prossecução do Estudo de Avaliação.

Relativamente às técnicas utilizadas para a análise quantitativa, destaca-se a compilação e análise

de informação/dados de execução física e financeira das Medidas do Programa.



19

2. QUADRO METODOLÓGICO DE REFERÊNCIA DA AVALIAÇÃO

A Avaliação Intercalar insere-se no ciclo de Avaliação dos Programas Operacionais

co-financiados pelos fundos estruturais e tem por finalidade, traçar um balanço de conjunto

actualizado das condições de desenvolvimento dos Programas, nomeadamente o grau de

concretização dos objectivos globais e específicos, por Eixo Prioritário e Medida/Tipologia de

intervenção e a produção de resultados e efeitos face aos problemas diagnosticados, resultando

num instrumento que tem por objectivo melhorar a qualidade, eficiência e eficácia da execução do

Programa.

O roteiro metodológico que a Equipa de Avaliação procura desenvolver apresenta uma lógica de

encadeamento de resultados que, com base na informação recolhida e processada, vai contribuir

para responder às componentes específicas de avaliação, para a apresentação de conclusões e

para a formulação de recomendações numa óptica de introdução de melhorias ao nível da

implementação e execução do Programa, tendo sempre por base a organização do trabalho em

função da resposta às Questões Comuns de Avaliação e da quantificação dos Indicadores de

impacto.

No plano metodológico, o enquadramento da Avaliação Intercalar é suportado

fundamentalmente por Documentos complementares com origem na Comissão Europeia e na

Rede Europeia de Avaliação.

A Comissão Europeia - Direcção Geral da Agricultura e do Desenvolvimento Rural (DGAgri)

publicou, em Setembro de 2006, o Manual sobre o Quadro Comum de Acompanhamento e

Avaliação (QCAA) e uma série de Notas de Orientação, que contemplam uma abordagem comum

de acompanhamento e avaliação dos Programas de desenvolvimento rural e que definem (i) os

requisitos de Avaliação, (ii) um conjunto alargado de indicadores comuns relativos à execução

financeira, às realizações físicas, aos resultados e aos impactos do Programa e (iii) uma lista

extensa de Questões Comuns de Avaliação.

Ainda no plano metodológico, um apoio ao desenvolvimento das actividades e da metodologia de

acompanhamento e avaliação é proporcionado pela Rede Europeia de Avaliação, a qual

disponibiliza documentos metodológicos sobre os métodos e ferramentas a utilizar no processo

de Avaliação dos impactos associados aos Programas de desenvolvimento rural.



20

Neste contexto, a Avaliação Intercalar será conduzida pela Proposta Técnica aprovada, mas

também pelos recentes documentos produzidos pelos Grupos de Trabalhos Temáticos

coordenados pela Rede Europeia de Avaliação: "Approaches for assessing the impacts of the Rural

Development Programmes in the context of multiple intervening factors, March 2010” e “Capturing

Impacts of LEADER and Measures Related to Quality of Life in Rural Areas, Draft WP 2, April 2010”

(específico para os Eixos III e IV).

Estes documentos não têm por objectivo estabelecer um método de avaliação comum para toda a

União Europeia, mas antes dar corpo a uma abordagem que permita aos Estados Membros

rendibilizarem o seu trabalho e seleccionarem métodos e instrumentos apropriados e

desenvolverem um ponto de vista convergente no estabelecimento dos impactos de Programas

de Desenvolvimento Rural. A importância desta reflexão determina a sua incorporação neste

documento metodológico.

2.1. Referencial metodológico (modelo global de Avaliação)

O modelo global de Avaliação tem como objectivo fundamental responder adequadamente a

todas as dimensões definidas na Proposta Técnica de Avaliação. Neste Ponto pretende-se

estabelecer o modelo de metodológico aperfeiçoado face à Proposta Técnica (elementos

principais a contemplar, bem como as orientações relativas aos procedimentos a seguir) tendo em

conta a situação actual do Programa e o perfil de informação que, à partida, vai ser possível

disponibilizar à Equipa de Avaliação.

De entre os elementos-chave que vão servir de orientação à Avaliação, salientam-se os seguintes:

análise das realizações e resultados obtidos até final de Junho de 2010 em função dos

objectivos e da execução financeira do Programa (análise centrada nas realizações e

resultados globais, em função das prioridades e valorizando os indicadores do

Programa);

análise dos impactos obtidos até Junho de 2010 e probabilidade de realização dos

objectivos das Medidas e do Programa;

análise de questões comuns de avaliação horizontais e específicas nas ópticas regional,

sectorial e do Estado-membro;



21

apresentação de conclusões relativas à eficiência, eficácia, impacto e recomendações

relativamente ao futuro (identificação das eventuais mudanças na estratégia e

objectivos do PRORURAL).

As opções metodológicas que estruturam o modelo de Avaliação Intercalar assentam e dependem

de um adequado equilíbrio entre duas perspectivas de trabalho:

(i) a perspectiva de avaliação por Medida, indispensável face aos requisitos de diversas

dimensões analíticas e face, também, à diversidade de intervenções e tipologia de

resultados esperados, comportados nas diferentes Medidas do PRORURAL; e

(ii) uma visão integradora da avaliação do Programa como um todo, para a qual deve

contribuir um conjunto de vertentes de análise que incorporam as preocupações de

natureza transversal do Programa (concepção e programação, sistema de gestão e

acompanhamento, eficiência e eficácia, …).

O delineamento de objectivos e de temas a abordar foi contemplado na formulação detalhada do

quadro de actividades a empreender no âmbito da Avaliação, aquando da Proposta Técnica, cujo

conteúdo se reproduz do diagrama seguinte, o qual evidencia a relação entre as técnicas e

instrumentos com a natureza das componentes específicas de Avaliação.



22

(continua)

Dimensões de Avaliação Vectores de

Análise/Conteúdos-tipo

Reanálise SWOT do sector agro-rural; Reanálise da hierarquia de prioridades e da coerência interna, por Eixo

prioritário; Reanálise da adequação dos objectivos às necessidades (objectivos

FEADER e objectivos gerais, específicos e operacionais do Programa); Reanálise da coerência externa e da conformidade com políticas

regionais, nacionais e comunitárias; Avaliação da necessidade de introduzir alterações face a mudança no

contexto de partida, decorrente de factores internos ou internos ao próprio Programa.

Avaliação do Sistema de

Gestão e Acompanhamento

Identificar os actores intervenientes na gestão, execução e acompanhamento do Programa e respectivas responsabilidades;

Apreciação da articulação entre os vários actores e entre os diferentes níveis de responsabilidade;

Análise da adequação dos indicadores utilizados para a monitorização do Programa;

Análise da adequação e compreensibilidade do quadro normativo (critérios de selecção de Projectos, condições de elegibilidade dos beneficiários e de investimentos, etc.);

Análise da participação dos parceiros sociais (p.e., integração das prioridades horizontais na execução do Programa).

Avaliação do sistema de informação e dos

procedimentos de recolha e de produção de dados

Análise da a eficácia do sistema no tocante à produção de informação atempada, fidedigna e útil para os vários procedimentos inerentes à execução do Programa (processos de análise, decisão, contratação, pagamento e controlo dos pedidos de apoio, verificação de elegibilidades e afectação das despesas, apuramento de indicadores de acompanhamento, de gestão e de avaliação), segundo os critérios seguintes: organização do sistema em termos de informação

produzida/capacidade de produção de informação automática e dirigida (indicadores de resultados, de realização, etc.);

fiabilidade dos procedimentos de recolha de informação; utilidade dos indicadores pré-definidos e possibilidade/capacidade

de produção de outros indicadores que sejam vantajosos quer para a gestão e acompanhamento do Programa, quer para os momentos de avaliação (p.e., decorrentes dos formulários de candidatura).

Avaliação dos dispositivos de

divulgação do Programa

Análise da adequação dos meios de comunicação utilizados, dos conteúdos transmitidos e dos públicos-alvo alcançados;

Avaliação da clareza, acessibilidade e actualização da informação; Avaliação da execução do Plano de Comunicação, elaborado pela

Autoridade de Gestão; Apreciação da eficácia na transmissão de informação aos potenciais

beneficiários do Programa.

Reanálise da coerência,

relevância e do quadro lógico

do Programa



23

Fonte: Especificações Técnicas do Caderno de Encargos para o Concurso para a Avaliação Contínua do PRORURAL.

A avaliação assenta na percepção da mudança, pelo que será necessário aferir as performances

relativas à utilização do FEADER, obedecendo a critérios de avaliação relacionados com a

qualidade da gestão e o nível de execução financeira e a eficácia e a eficiência do PRORURAL.

Neste contexto, os vectores-base de trabalho a ter em consideração no exercício da Avaliação são

os seguintes:

Reunir informação relevante, tanto de natureza financeira, como de realizações físicas,

resultados e impactos.

Aferir com base na informação recolhida em que medida se mantém válida a adequação

das formas de intervenção (relevância estratégica, pertinência de objectivos, consistência

interna e externa) e do seu desempenho (eficácia na obtenção dos objectivos pretendidos,

eficiência na utilização dos recursos).

Apreciar em que medida o Programa permitiu superar ou reduzir os problemas e pontos

fracos evidenciados aquando da concepção do mesmo.

Produzir conclusões sobre a avaliação de conjunto do Programa, designadamente em

matéria da sua utilidade, da sua sustentabilidade ou do seu valor acrescentado.

Dimensões de Avaliação Vectores de

Análise/Conteúdos-tipo

Avaliação da eficácia e da

eficiência

Análise da adequação do peso financeiro de cada Medida e Acção face aos resultados e impactos esperados;

Análise da eficiência em termos de custo por realização e por resultado; Aferição até que ponto os objectivos definidos foram alcançados pelas

Medidas e Acções e pelo Programa no seu global;

Resposta às Questões Comuns

de Avaliação

Responder às Questões Comuns de Avaliação, tendo por referência o enquadramento específico do Programa, o conjunto de indicadores definidos de acordo com a cadeia lógica do Programa (Eixo/Medida/Acção) e a informação qualitativa recolhida, sobretudo, no âmbito das avaliações específicas por Medida.

Criar soluções para colmatar eventuais necessidades de informação.



24

Propor recomendações para melhorar a qualidade do Programa e a sua execução, tendo

sempre em conta a geração de resultados e impactos conducentes aos seus objectivos.

O esquema seguinte permite visualizar o encadeamento dos vectores de trabalho referidos atrás.

Figura 4. Esquema metodológico global

Análise de informação qualitativa (análise documental; análise de conteúdo de entrevistas comintervenientes e observadores privilegiados, análise de conteúdos de Estudos de caso; análise deinformação recolhida em reuniões de trabalho)

Análise de informação quantitativa (informação estatística formal; dados de execução física efinanceira das Medidas do Programa; análise de dados dos inquéritos; ...)

Reanálise da coerência, relevância e do quadro lógico do ProgramaAvaliação do Sistema de Gestão e Acompanhamento

Avaliação do sistema de informação e dos procedimentos de recolha e de produção de dadosAvaliação dos dispositivos de divulgação do Programa

Avaliação da eficácia e da eficiência

Análise do contributo do Programa para atingir os objectivos fixados na estratégia regional, nacional e comunitária

Análise específica por Medida

Resposta às Questões omuns de Avaliação horizontais e específicas

Quantificação dos indicadores de impacto

Apresentação de Conclusões e formulação de recomendações

Inputs

Dimensões de Avaliação

Outputs



25

Para construir o ‘corpo de evidências’ é necessário recolher e analisar informação estatística

secundária e primária, formal e empírica que garanta a leitura de resultados e a “mediç~o da

mudança”, sendo que para a sua interpretação e justificação recorrer-se-á a informação

documental/qualitativa. Nesta análise dever ter-se em conta dois níveis: macro – ocorrências; e

micro - induzido pela intervenção das diversas Medidas (utilização dos recursos financeiros).

Partindo-se dos resultados da primeira fase de trabalho, dever-se-á identificar os contributos das

Medidas e saber de que forma (esperada ou inesperada) a Medida contribui para aqueles

contextos específicos, procurando-se desenhar a cadeia de efeitos e a sua relação com o Programa

no seu todo.

A última fase respeita à interpretação dos indicadores e da informação qualitativa (subjectiva e

objectiva), que eventualmente permitirá um ajuizamento sobre o contributo das Medidas de

desenvolvimento rural para a mudança/para os impactos do Programa. Para esta fase será crucial

o complemento da informação recolhida através dos instrumentos aplicados pela Equipa de

Avaliação.

Em suma, a linha de desenvolvimento dos trabalhos apresenta uma lógica de cadeia de resultados

que, com base na informação recolhida e processada, vai contribuir para as componentes

específicas de avaliação, para a apresentação de conclusões e para a formulação e fundamentação

de recomendações

2.2. Métodos de recolha e análise da informação

Das actividades a empreender para suportar quadro metodológico descrito, destaca-se a recolha e

processamento de informação. À partida existem várias possibilidades quanto ao tipo de recolha

de informação a efectuar, independentemente de se tratar de uma análise qualitativa ou de uma

análise quantitativa, sendo por vezes utilizadas em conjunto de acordo com as combinações mais

adequadas para cada componente de Avaliação.

Note-se que a componente de carácter qualitativo tem em vista dotar a Avaliação de informação

empírica em torno da visão de determinadas entidades e leaders de opinião acerca dos objectivos

e [potenciais] resultados e efeitos do Programa, e face à situação no momento de Avaliação e às

perspectivas futuras para a RA Açores naquele contexto específico, tendo em conta o

enquadramento socioeconómico, técnico-produtivo e ambiental.



26

O quadro metodológico descrito, foi desenvolvido para dar resposta aos objectivos da Avaliação

Intercalar do PRORURAL, sendo que, na óptica deste Relatório Preliminar, importa apresentar

uma descrição detalhada das técnicas associadas à recolha de informação (fontes primárias e

secundárias).

Neste âmbito considera-se que a qualidade da Avaliação será tanto melhor se se cruzar

abordagens qualitativas e quantitativas enquadradas numa arquitectura abrangente e coerente,

tendo em consideração uma perspectiva múltipla de relações cruzadas (interna/externa,

diferentes stakeholders) e visões abrangentes de beneficiários e entidades ligadas à gestão do

Programa). Assim, os processos de recolha e análise de informação deverão assentar numa

abordagem multi-método, sendo que a aplicação dos instrumentos de recolha de informação e

das ferramentas de análise adequar-se-ão quer aos domínios de avaliação quer ao objecto

concreto sob apreciação.

Faz-se notar, desde já, que a Avaliação está fortemente dependente da qualidade e fiabilidade da

informação disponível para alimentar as dimensões de resposta de natureza quantitativa,

nomeadamente, de resposta aos indicadores de realização e de resultado. Este é um aspecto

crítico transversal à abordagem metodológica global e específica, que se espera seja garantida, à

partida, pela disponibilidade de informação dos vários Sistemas de informação.

De entre as técnicas e instrumentos disponíveis, evidenciam-se os sistematizados no quadro

seguinte.

Quadro 2. Abordagem multi-método: identificação de métodos de recolha e análise de informação a utilizar na Avaliação Intercalar

Abordagem multi-método

Métodos de recolha

Pesquisa de informação documental, administrativa e regulamentar

Pesquisa de informação quantitativa - exploração do SiRURAL, e-rural e SiAGRI

Pesquisa de informação estatística formal

Entrevistas Reuniões de trabalho Estudos de caso Inquéritos a beneficiários >Observação directa

Métodos de análise

Análise SWOT – tendências Análise de conteúdos de entrevistas e de

documentos Desenho de esquemas lógicos, árvore de

objectivos e mapa de impactos esperados Processamento e análise dos dados de

inquéritos aos beneficiários Análise comparativa do conjunto de

indicadores com as metas e resultados previstos

Análise de indicadores de realização e de resultado

Definição e análise de indicadores de gestão



27

Nos pontos seguintes descrevem-se os aspectos essenciais dos diversos instrumentos de trabalho,

sendo que se apresenta a sua descrição detalhada no Volume II – Instrumentos de recolha e

Análise de informação.

a) Pesquisa e análise documental

A pesquisa de informação documental tem como objectivo recolher informações publicadas e

disponíveis que se demonstrem relevantes para a questão em análise, podendo incluir o envio de

solicitações de informação.

A análise de informação documental tem em vista efectuar uma reconsideração crítica, na óptica

dos objectivos do Estudo, de um vasto conjunto de documentos de referência e de suporte técnico

(Volume II – A. Fontes de informação documental). Esta análise vai abranger diversos estudos,

relatórios e documentos técnicos de diversas fontes, nomeadamente com o objectivo de proceder

a uma análise crítica dos factores que influenciam e enquadram quer o contexto em que o

Programa opera, quer a sua gestão interna, tendo presente os elementos associados ao novo

período de programação, com fortes repercussões na implementação e na execução dos diversos

domínios de intervenção.

O resultado da leitura dos vários documentos será sistematizado a partir da sua integração nos

diversos domínios de avaliação.

b) Entrevistas a interlocutores-chave

Esta técnica consiste num instrumento preferencial para recolher informação qualitativa e para

confirmar ou infirmar hipóteses. As entrevistas serão orientadas em moldes semi-directivos, com

o apoio de guiões ajustados aos interlocutores e às áreas de intervenção do Programa, cuja

estrutura contempla uma margem de flexibilidade razoável no que respeita aos dados a recolher,

que são essencialmente qualitativos. Os interlocutores serão convidados a expressar as suas

opiniões sobre a matéria em análise. Uma pesquisa junto dos beneficiários ou das entidades

associativas, por exemplo, poderá permitir compreender, o ciclo de vida e os resultados de

determinado investimento ou poderá revelar factores favoráveis e desfavoráveis à criação de

empresas em áreas rurais.

A informação recolhida através deste instrumento será submetida primeiro a uma segmentação

dos seus conteúdos (entre operacional e estratégico e entre geral e específico) e depois

enquadrada de acordo com o domínio de avaliação numa grelha de leitura e interpretação comum



28

a todas as entrevistas, permitindo, desta forma, sistematizar os vários pontos de vista dos

diferentes interlocutores entrevistados.

Na aplicação desta técnica prevê-se privilegiar as entrevistas em profundidade, realizadas

individualmente e com o recurso à modalidade de contacto directo (em sessões presenciais). Não

obstante, poderão ser organizados focus-group se se revelar necessário (entrevistas/reuniões em

grupo nas quais interagem uma figura central, o moderador, e um pequeno conjunto de pessoas).

Qualquer dos casos implica ter como suporte guiões de orientação preparados pelos avaliadores.

Esses Guiões, apresentados de forma sumária no ponto B. Entidades a entrevistas e Guiões a utilizar

do Volume II deste Relatório, contêm campos/questões relativos à programação e concepção do

PRORURAL, implementação de dispositivos de gestão e acompanhamento e produção de

resultados e efeitos. Deverão, igualmente, proporcionar a recolha de material adicional com

interesse para a Avaliação.

Consideram-se, à partida, dois importantes ciclos de entrevistas:

(i) na fase inicial, abrangendo responsáveis a nível regional da estrutura da SRAF e outros

intervenientes-chave do PRORURAL (p.e., os Organismos Intermédios de Gestão,

Associações de Desenvolvimento Local), as entidades associativas e empresariais da

Região (promotores ou não de projectos de investimento) e a observadores privilegiados

das realidades objecto de intervenção no âmbito das Medidas do Programa e que

disponham de uma visão no plano dos resultados e dos efeitos;

(ii) num segundo momento, já na última fase do Estudo, este leque de

responsáveis/intervenientes poderá, eventualmente, ser confrontado com

resultados-chave do processo de Avaliação, com o objectivo de identificar os aspectos

negativos (a atenuar/corrigir) e os aspectos positivos (a desenvolver/fomentar) e de

elencar actuações recomendáveis.

As entrevistas constituem, igualmente, uma técnica satisfatória para assegurar a Avaliação das

Medidas que, pelo seu peso financeiro, pela natureza dos apoios que conferem ou pelo tipo e

volume de beneficiários abrangidos, não se justifique ser avaliadas utilizando inquéritos com base

em questionários mais fechados.



29

c) Exploração dos sistemas de informação

Esta ferramenta contempla a exploração do vasto conjunto de dados quantitativos de natureza

financeira e física associado à execução e monitorização do Programa. Esta componente está

ligada à informação de base – fontes relacionadas com a execução do PRORURAL (SiRURAL,

SIFAP e e-RURAL) que devem ser objecto de exploração e análise, nomeadamente com vista ao

apuramento dos indicadores definidos no Programa. Afigura-se igualmente importante proceder-

se à análise de dossiers de pedidos de apoio de um leque de projectos não aprovados com vista à

construção de tipologias de motivos de não aprovação.

Entre os dados de natureza física destaca-se o papel dos indicadores de realização [física e

financeira] e de resultado, ou seja, os indicadores de acompanhamento associados às metas

estabelecidas para as respectivas Medidas. Neste âmbito, a Avaliação vai mais longe do que

explorar os dados constantes nos sistemas de informação, apreciando a qualidade dos mesmos

para a monitorização, acompanhamento e avaliação do Programa e a sua capacidade de

fundamentar os processos de decisão.

O processamento da informação recolhida orientar-se-á, sobretudo, para o domínio de avaliação

da eficácia e da eficiência. No caso do SiRURAL e do e-rural, o acesso à informação já foi facultado

à equipa de avaliadores através da criação de um utilizador do sistema de informação para

exploração directa da informação.

d) Reuniões de trabalho

Considera-se essencial o desenvolvimento de um ciclo de reuniões de trabalho na fase inicial da

Avaliação, abrangendo a Autoridade de Gestão do Programa e a respectiva Estrutura de Apoio

Técnico, assim como entidades oficiais ‘gestoras de mananciais de informação’ importantes para a

resposta a diversas dimensões de trabalho (p.e., Agência Portuguesa do Ambiente (APA),

Sociedade Portuguesa para o Estudo das Aves (SPEA)), com vista a dotar o Estudo de

elementos-chave para desenvolver o Quadro Lógico da Avaliação.

e) Pesquisa de informação estatística

Esta técnica consiste na recolha e utilização de dados quantitativos de fontes secundárias que

permitam compreender o contexto do Programa (cf. Volume II – C. Fontes de informação

estatística), incluindo censos e levantamentos e outros dados administrativos. Os dados

estatísticos podem, ainda, ser utilizados para revelar impactos relevantes ao longo do tempo e ser

úteis para a identificação de necessidades e de tendências.



30

O processamento das estatísticas socio-económicas gerais, da agricultura, da pecuária, das

florestas, da indústria agro-alimentar e do desenvolvimento rural, deverá permitir reformular o

diagnóstico da situação de partida (momento de concepção e programação do PRORURAL) e

estabilizar a construção de matrizes SWOT (identificação de forças e fraquezas e de

oportunidades e ameaças). Geralmente, pode ser utilizada uma série de fontes mas no caso

particular da Avaliação do PRORURAL a Equipa de Avaliação vai concentrar-se na gama de dados

produzida pelo Serviço Regional de Estatística dos Açores (SREA), pelo Instituto Nacional de

Estatística (INE), pelo Gabinete de Planeamento e Políticas (GPP) e pelo Gabinete de Estatísticas

da União Europeia (EUROSTAT).

Este tipo de informação tem igualmente utilidade na óptica da estimativa/actualização dos

indicadores de base e da estimativa dos impactos específicos e globais constantes dos Anexos I e II

do Documento do PRORURAL (produtividade, natureza do investimento e competitividade,

inovação produtiva e tecnológica, emprego e competências, qualidade da água, inversão do

declínio da biodiversidade, etc.).

Uma outra componente está ligada à Rede de Informação de Contabilidades Agrícolas, que

encerra informação contabilística e técnica de uma amostra de explorações agrícolas da RA

Açores, sendo uma fonte privilegiada de dados micro-económicos que reflectem a evolução

dessas explorações em termos estruturais (efectivos, quantidade de trabalho, áreas e quantidades

produzidas, etc.) e em termos económicos e financeiros (valor da produção das várias culturas,

compras e vendas, custos de produção, juros e subsídios, etc.).

f) Inquéritos aos beneficiários do Programa

Os inquéritos aos beneficiários vão ser utilizados para recolher evidências ao nível das pessoas

directamente afectadas pelo Programa, presumindo que vão beneficiar da sua intervenção. As

respostas ao inquérito vão contribuir para dispor de um conjunto alargado de elementos de

informação de carácter quantitativo e qualitativo, permitindo compreender a visão dos

beneficiários relativamente às questões colocadas.

O processo de inquirição vai ser efectuado por via postal, fax ou online, de acordo com o

público-alvo e vai abranger a totalidade ou uma amostra representativa de beneficiários. Os

inquéritos vão incluir a colocação de uma série de perguntas padronizadas de acordo com a

Medida que está em análise. Este método não apresenta dificuldades de implementação desde

que se obtenha uma amostra bem referenciada (dados para a recepção dos inquéritos).



31

Em virtude do estado ainda imaturo em termos de implementação de diversas Medidas do

Programa, dos processos de inquirição previstos em sede de Proposta, estão previstos quatro

grandes tipos de inquéritos (específicos, nas suas questões, de acordo com a natureza das

Medidas):

Inquéritos aos projectos de investimento por via postal, junto dos respectivos promotores

para recolha de informação económica das componentes de investimento, campos de

produção de resultados e efeitos, expectativas quanto à melhoria da competitividade das

explorações, áreas de inovação técnico-produtiva e tecnológica, ...

Inquérito ao universo de promotores designadamente das Medidas 1.2., 1.3., 1.5. e 1.6.

Os Inquéritos dirigidos a produtores agro-pecuários beneficiários das ajudas no âmbito

do Eixo 2, os quais vão ser aplicados via postal e, em termos de estrutura, têm em vista um

conjunto de aspectos centrados no impacto dessas ajudas nas explorações agro-pecuárias

e florestais.

Inquérito a uma amostra de beneficiários das Medidas 2.1. e 2.2.

Inquérito a promotores ou beneficiários de projectos inseridos nas estratégias locais de

desenvolvimento. Tem-se em vista apurar a situação de partida e os contributos

expectáveis e/ou alguns impactes já identificáveis, as modalidades de intervenção na

envolvente dos territórios rurais, etc.

Inquérito ao universo dos beneficiários das Medidas do Eixo 3.

Dada a pouca maturação dos projectos aprovados no âmbito dos Eixos 1 e 3, os inquéritos vão

apontar para a compreensão de três aspectos fundamentais: caracterização do beneficiário e do

projecto de investimento, acessibilidade do Programa e respectiva motivação e resultados

esperados (cf. Volume II – D. Inquéritos a aplicar aos beneficiários de diversas Medidas do

PRORURAL).

No que respeita ao Eixo 2, a amostra de beneficiários a inquirir deverá coincidir com a amostra dos

beneficiários das Intervenções Indemnizações Compensatórias e das Medidas

Agro-ambientais inquiridos aquando da “Avaliaç~o final do Plano de Desenvolvimento Rural dos

Açores (PDRu Açores)”. Este procedimento tem a vantagem de permitir “acompanhar” o

comportamento de um conjunto de agricultores na passagem do PDRu Açores para o PRORURAL

e comparar resultados entre os dois Programas no que respeita a eventuais alterações estruturais

da unidade produtiva, modalidades de conhecimento dos dois Programas, motivações de adesão,



32

e dificuldades de funcionamento dos Programas. O questionário por inquérito terá a mesma base

que o instrumento utilizado nessa avaliação sendo, no entanto, adaptado ao período temporal da

presente Avaliação Intercalar e às Medidas, Acções e Intervenções do PRORURAL e respectivos

resultados esperados.

A totalidade das variáveis presente nos Inquéritos vai ser sujeita a uma análise estatística dos

dados, com recurso a técnicas univariadas e bivariadas indutivas, sendo que se vai utilizar para

esse efeito o PAWS Statistics. No caso das perguntas de resposta aberta, a sua codificação será

feita a posteriori, com base na proximidade do significado das respostas. Em Medidas cuja

diferenciação regional seja importante (p.e., Medidas 1.5, 2.1. e 2.2.) poderá ser apresentado um

conjunto de Fichas-síntese por Ilha, contemplando as linhas de análise que se considerem mais

relevantes.

g) Estudos de Caso

Os Estudos de Casos consistem numa ferramenta privilegiada em termos de recolha de

informação na medida em que envolvem uma análise aprofundada de aspectos quantitativos e

qualitativos relativos à aplicação do Programa, sob a perspectiva dos beneficiários, contribuindo,

assim, para uma compreensão profunda e detalhada de dois planos:

por um lado, constitui uma razoável aproximação à forma como os beneficiários

interpretam os objectivos do Programa, absorvem o apoio financeiro das diversas

Medidas e Acções e discutem em torno dos [potenciais] resultados e efeitos e das suas

expectativas face ao futuro;

por outro lado, permite obter uma visão contrastada de aspectos-chave na respectiva

relação com o PRORURAL, p.e., divulgação, operacionalização, gestão e

desenvolvimento das Medidas do Programa, obviamente a partir de uma

posição/observação a nível micro.

Em articulação com a Gestão do Programa serão seleccionados cerca de dez Casos de Estudo (cf.

Volume II – E. Estudo de Casos a realizar e principais linhas de análise) a realizar a um conjunto de

beneficiários, com base em guiões de carácter semi-directivo, pressupondo uma entrevista

presencial aos intervenientes-chave. Este método de observação no local vai explorar a situação

ou contexto específico numa forma monográfica e vai ser baseado em formas mistas de análise

(qualitativa e quantitativa).



33

Associado ao conceito de Avaliação Contínua, a Equipa de Avaliação optou pelo

acompanhamento dos pedidos de apoio seleccionados para Estudo de caso ao longo do período

de programação, pressupondo a observação dos mesmos pedidos de apoio ao longo dos anos

(2010 – 2015). A selecção terá uma distribuição representativa do arquipélago e sempre que

possível contemplará uma boa prática demonstrativa e preferencialmente transferível.

h) Painéis de discussão

Estes painéis são instrumentos que integram elementos interactivos, sendo essenciais para a

qualidade do processamento da informação recolhida. Os painéis de discussão assumem um

carácter menos formal, quando se trate de sessões de trabalho de equipa (reuniões de

brainstorming), ou um carácter mais formal sob o formato de “entrevistas” colectivas, isto é, em

simultâneo com diversos interlocutores/especialistas detentores de informação de determinada

natureza.

A interacção entre os membros do grupo é facilitada por um elemento do núcleo central da Equipa

de Avaliação, que coloca as questões para discussão. Esta tipologia apresenta duas grandes

vantagens: recolher uma grande quantidade de informação qualitativa; e permitir a partilha e

comparação de experiências e de pontos de vista diferenciados.

No âmbito desta Avaliação, estes formatos de recolha de informação poderão vir a ocorrer na fase

intermédia do Estudo.

2.3. Metodologias específicas de Avaliação

O ponto deste Capítulo, referente às Metodologias Específicas, destina-se a abordar de forma

detalhada as questões metodológicas e os objectivos das principais componentes específicas de

avaliação. Este Ponto compreende três componentes principais norteadas pelo objectivo de

Avaliação das dimensões analíticas que foram apresentadas na Proposta Técnica em Setembro de

2009 e que continuam válidas:

DDiimmeennssõõeess ccoomm ccaarráácctteerr ddee aavvaalliiaaççããoo ttrraannssvveerrssaall – reanálise do quadro lógico do

Programa, avaliação do sistema de gestão e acompanhamento, avaliação do sistema de

informação e dos procedimentos de recolha e de produção de dados, e Avaliação dos

dispositivos de divulgação do Programa.



34

O percurso metodológico associado a estas dimensões, que assumem um posicionamento

transversal face à aplicação do Programa, privilegia a componente documental e a

componente de recolha de informação empírica.

De uma forma geral estão em causa, por um lado, a articulação existente entre os

objectivos do Programa e a estratégia comunitária e a resposta que as Medidas possam

dar às dimensões-problema e, por outro, a gestão deste instrumento de política agrícola e

de desenvolvimento rural.

Uma outra linha de reflexão decorre da informação e da divulgação, a primeira com

importância em termos de operacionalização e de gestão e a segunda em termos de

alcance do Programa aos seus potenciais beneficiários.

No âmbito desta Avaliação Intercalar, a análise da coerência da estratégia assume

particular significado, no sentido de compreender quais as potencialidades e

constrangimentos que eventualmente se coloquem em componentes estruturais do

Programa, a meio do seu período de execução.

DDiimmeennssããoo ccoomm ccaarráácctteerr ddee aavvaalliiaaççããoo eessppeeccííffiiccoo,, rreellaacciioonnaaddaa ccoomm aa eeffiicciiêênncciiaa ee eeffiiccáácciiaa

ddoo PPrrooggrraammaa – avaliação específica por Medida.

O quadro de referência para a Avaliação Intercalar é constituído por um esquema

conceptual de cadeias de resultados e impactos específicos (Acção – Medida – Eixo –

Programa), partindo do pressuposto que esses impactos específicos não se esgotam nos

objectivos estratégicos do Programa em que se inserem, mas podem influenciar

mudanças ao nível do sector agro-rural da RA Açores.

Assim, uma desagregação ao nível dos objectivos específicos do PRORURAL e a sua

articulação com os seus objectivos estratégicos permite, através de uma cadeia explícita

de resultados, apreender melhor a sua efectiva contribuição. É neste contexto que (i) num

primeiro momento, se vai estabelecer uma relação a montante entre os objectivos do

Programa e os objectivos específicos das Medidas, relação que delimita o perfil de

resultados específicos; (ii) num segundo momento, se vai analisar os contributos

específicos de cada uma das Medidas do Programa, permitindo posteriormente a sua

integração na análise supra-resultados ou de impactos.



35

2.3.1. Dimensões com carácter de avaliação transversal

Na estruturação deste Ponto procura-se integrar as dimensões de análise que assumem um

posicionamento transversal face à aplicação do Programa especificando, para cada componente

específica, a metodologia de avaliação, sob a forma de fichas-síntese que se encontram

subdivididas em torno de quatro blocos de análise:

1. Contextualização da matéria a avaliar, assinalando os principais objectivos;

2. Identificação dos aspectos mais importantes a considerar no âmbito da avaliação da

dimensão em análise;

3. Actividades de avaliação a realizar;

4. Principais resultados esperados da avaliação empreendida.

Os principais elementos metodológicos a utilizar para realizar a Avaliação das componentes

específicas encontram-se sistematizados no Volume II – F. Principais elementos metodológicos a

utilizar para realizar a Avaliação das componentes transversais.

Reanálise da coerência, relevância e do Quadro lógico do Programa

2. Contextualização

Esta análise destina-se a comprovar a validade, a pertinência e a relevância da estratégia adoptada ou a necessidade de adaptação face a alterações ocorridas nos contextos sócio-económico, técnico-produtivo e ambiental de que se destacam, nomeadamente, as incidências da revisão da Reforma da PAC e os novos desafios da política comunitária de desenvolvimento rural e a persistência de bloqueamentos socio-estruturais e financeiros que limitam o desenvolvimento de segmentos de actividade com potencial competitivo. Esta validação deve ocorrer a dois níveis:

Internamente à estrutura do Programa, considerando os resultados da Avaliação Intercalar e de avaliações anteriores;

Externamente ao Programa, tendo em conta outros instrumentos de apoio ao sector agro-rural e outras políticas públicas e estratégias que intervêm na esfera do Programa ou na zona de intervenção do mesmo.

3. Aspectos a considerar

Resultados de avaliações anteriores com vista a identificar os factores que confirmem (ou não) a pertinência da estratégia definida ou que influenciem a eficácia da execução das Medidas e do Programa.

Quadro geral de concepção e programação do PRORURAL e respectivo posicionamento e opções face ao contexto e ao perfil de intervenções do período de programação anterior.

Hierarquia de prioridades e consistência dos Eixos prioritários, bem como da estrutura de Medidas e Acções, face aos objectivos do PRORURAL, à estratégia para a Região Autónoma dos Açores e à estratégia comunitária para o desenvolvimento rural.

Coerência externa e conformidade com políticas regionais, nacionais e comunitárias, nomeadamente relativas à agricultura e desenvolvimento rural, ao ambiente, à valorização do território e ao emprego.

(Continua)



36

Reanálise da coerência, relevância e do Quadro lógico do Programa

4. Actividades de avaliação

reanalisar a matriz SWOT do sector agro-rural, tendo em vista apreciar o grau de actualidade das dimensões-problema e das tendências de evolução (internas e externas) contempladas no Documento do PRORURAL e utilizadas no âmbito do exercício de avaliação ex-ante;

reanalisar a hierarquia de prioridades e da coerência interna, por Eixo prioritário;

reanalisar a adequação dos objectivos às necessidades (objectivos FEADER e objectivos gerais, específicos e operacionais do Programa);

reanalisar a coerência externa e a conformidade com políticas regionais, nacionais e comunitárias;

avaliar a necessidade de introduzir alterações face a mudança no contexto de partida, decorrente de factores externos ou internos ao próprio Programa.

5. Outputs expectáveis

Elaboração de matrizes SWOT, por Eixo prioritário.

Síntese dos elementos-chave de coerência entre os objectivos do PRORURAL e o perfil de objectivos de carácter global presentes na formulação das políticas e prioridades regionais, nacionais e comunitárias.

Sistematização das fronteiras, articulações e complementaridades, designadamente em matéria de competitividade, coesão económica e social e sustentabilidade ambiental.

Síntese de eventuais alterações a introduzir no perfil de intervenção do PRORURAL, face à mudança da situação de partida.

Validação (ou não) da adequação da estratégia, em função dos desenvolvimentos decorrentes da execução do PRORURAL e alterações de contexto e factores externos.

Avaliação do sistema de gestão e acompanhamento


A análise desta componente específica compreende dois planos: a análise da qualidade, da eficácia e da eficiência dos dispositivos de acompanhamento, gestão e controlo; e a apreciação da articulação entre os organismos competentes para assegurar o sistema de gestão e de acompanhamento.

A primeira vertente tem, como principal objectivo, avaliar os dispositivos e sistemas de informação concebidos para apoiar a gestão e o acompanhamento do PRORURAL, verificando a sua eficiência e a sua eficácia.

A segunda vertente visa apreciar as modalidades e níveis de integração de um conjunto de entidades relevantes na gestão do Programa. A referida integração deve ser apreciada em termos de implementação e gestão do Programa, de resultados obtidos e de identificação de eventuais constrangimentos e de principais sinergias, verificando a eficiência diversos circuitos de gestão e dos dispositivos de controlo.

(Continua)



37

(cont.)

Avaliação do sistema de gestão e acompanhamento


Entidades responsáveis pela gestão, pelo acompanhamento e pelo controlo do Programa e respectivos elos de ligação.

Envolvimento dos parceiros sociais.

Circuitos de gestão e de acompanhamento e dispositivos de controlo físico e financeiro.

Legislação comunitária, nacional e regional.

Normas e procedimentos internos do Programa.

Regulamentos das Medidas e Acções.


identificar os actores intervenientes na gestão, execução e acompanhamento do Programa e respectivas responsabilidades;

apreciar a articulação entre os vários actores e entre os diferentes níveis de responsabilidade;

analisar a adequação dos indicadores utilizados para a monitorização do Programa;

avaliar a adequação e compreensibilidade do quadro normativo (critérios de selecção, condições de elegibilidade, etc.);

apreciar a participação dos parceiros sociais (p.e., integração das prioridades horizontais na execução do Programa);

análise dos níveis de integração entre as entidades responsáveis pela gestão, pelo acompanhamento e pelo controlo do Programa.


Sistematização das performances alcançadas em matéria de gestão e de acompanhamento e em matéria de integração de responsabilidades entre as várias entidades envolvidas.

Síntese dos elementos-chave no que se refere à participação dos parceiros sociais, e análise da incorporação das respectivas preocupações.

Validação (ou não) do modelo de gestão para alcançar os objectivos do Programa, de forma eficiente e eficaz.

Síntese dos requisitos de organização e de soluções e alternativas de apoio, no caso de se reconhecer constrangimentos no modelo de gestão.

Verificação da qualidade dos documentos regulamentares e legislativos.



38

Avaliação do sistema de informação e dos procedimentos de recolha e de produção de dados


A intervenção do FEADER desenha perspectivas amplas em termos de resultados e efeitos para a agricultura e desenvolvimento rural, o que justificou o desenvolvimento de um conjunto de sistemas de informação ambicioso e que estimulou a organização de um sistema de gestão, acompanhamento e controlo experimentado e eficaz.

O Programa possui uma estrutura diversificada de Medidas, dividida em três grandes Eixos de intervenção, que possuem sistemas de informação com uma estrutura organizativa e de fluxos e aplicações e de indicadores próprios. Esta fragmentação é um dado a ter em conta na óptica da avaliação, sobretudo num contexto em que existem requisitos muito precisos a preencher e que, aliás, são de utilidade interna ao Programa, p.e., no tocante ao cálculo dos indicadores que adquirem relevância na própria Avaliação e na elaboração dos Relatórios de Execução.


Conjunto de dispositivos de informação e tipo de dados que asseguram a gestão do Programa e seu nível de articulação/complementaridade e de interligação/integração.

Matriz de indicadores utilizada no Programa e seu grau de adequação, de cobertura e de actualização.

Procedimentos de recolha de dados e concentração/integração de toda a informação a nível físico e financeiro.

Relação entre as entidades com responsabilidade ao nível da gestão do Programa, nomeadamente, em termos de partilha da informação por todos os utilizadores envolvidos.

Enquadramento das exigências comunitárias, nacionais e regionais relativas aos requisitos de informação fidedigna e relevante em tempo útil, que tem como objectivo final apoiar as tomadas de decisão.

Transparência da informação e mecanismos de apoio em aspectos operacionais pela possibilidade de consulta dos dados constantes dos pedidos de apoio pelos próprios beneficiários.


analisar a eficácia do sistema no tocante à produção de informação atempada, fidedigna e útil para os vários procedimentos inerentes à execução do Programa (processos de análise, decisão, contratação, pagamento e controlo de projectos, verificação de elegibilidades e afectação das despesas, apuramento de indicadores), segundo os critérios seguintes:

organização do sistema em termos de informação produzida/capacidade de produção de informação automática e dirigida face às necessidades de gestão (p.e.,indicadores de resultado e de realização);

fiabilidade dos procedimentos de recolha de informação;

utilidade dos indicadores pré-definidos e possibilidade/capacidade de produção de outros indicadores que sejam vantajosos quer para a gestão e acompanhamento do Programa, quer para os momentos de avaliação (p.e., decorrentes dos formulários de candidatura).

analisar a adequação dos indicadores de contexto utilizados na fase de concepção do PRORURAL e de realização, de resultado e de impacte previstos no Programa.

(Continua)



39

(cont.)

Avaliação do sistema de informação e dos procedimentos de recolha e de produção de dados


Apreciação das soluções adoptadas e estabelecer uma aproximação rigorosa às capacidades/possibilidades dos dispositivos previstos e implementados. Trata-se de perceber com que níveis de qualidade e insuficiências esses dispositivos respondem a um modelo de avaliação concebido de forma exigente, designadamente, em matéria de construção e estimativa de indicadores.

Sistematização das alterações face ao período de programação anterior quer no relacionamento com os agentes económicos/promotores dos projectos, quer nos processos de trabalho e disponibilização de informação.

Sistematização dos pontos estratégicos de análise: implementação do sistema de informação, qualidade e disponibilidade de informação, relevância dos indicadores utilizados e fiabilidade da informação.

Exploração dos dispositivos de informação de forma a validar (ou não) a bateria de indicadores em termos de relevância e pertinência (p.e., através do cruzamento entre os objectivos e os indicadores definidos do Programa), de influência na gestão, de capacidade de processamento e análise da informação, …

Exploração dos dispositivos de informação de forma a validar (ou não) a sua robusticidade em termos de segurança e de forma a averiguar se estão equacionadas soluções de recurso para salvaguardar a informação (p.e., compatibilidade e possibilidade de transferência de dados).

Apreciação do grau de partilha da informação pelos utilizadores envolvidos, no sentido de possibilitar a melhoria da eficácia na gestão do Programa.

Avaliação dos dispositivos de divulgação do Programa


A divulgação/publicitação do Programa oferece a oportunidade a todos os potenciais beneficiários de tomarem conhecimento e de se candidatarem ao Programa.

Esta componente tem como objectivo apreciar o grau de adequação e eficácia do modelo de publicitação e de divulgação do programa, da abertura de candidaturas e identificar eventuais necessidades de ajustamento à estratégia.


Plano de comunicação.

Procedimentos e instrumentos de comunicação/divulgação adoptados para a divulgação do Programa (acções de divulgaç~o, sessões de esclarecimento, anúncios, …).

Informaç~o transmitida (clareza, utilidade, oportunidade, …).

Modo como é realizada a divulgação do Programa e da abertura de candidaturas (condições, regulamentos, objectivos, …).

Modo como os beneficiários tomam conhecimento do Programa.

(Continua)



40

(cont.)

Avaliação dos dispositivos de divulgação do Programa


analisar a adequação dos meios de comunicação utilizados, dos conteúdos transmitidos e dos públicos-alvo alcançados;

avaliar a clareza, acessibilidade e actualização da informação;

avaliar a execução do Plano de Comunicação, elaborado pela Autoridade de Gestão;

analisar a eficácia na transmissão de informação aos potenciais beneficiários do Programa.


Síntese da programação prevista em termos de divulgação e comunicação e seu grau de execução.

Validação ou (não) da estratégia de comunicação e divulgação do programa em termos de eficácia (métodos utilizados, alcance dos potenciais beneficiários, qualidade e clareza da informação transmitida, …).

Recomendações no sentido de melhorar a divulgação do Programa.

2.3.2. Dimensões com carácter de avaliação específico

A avaliação de carácter específico centra-se na análise da eficácia e da eficiência do Programa.

Esta análise tem em vista aferir as performances relativas à utilização do FEADER, à luz de um

conjunto de critérios em matéria de gestão, de eficácia, de execução financeira e de impactos. A

avaliação desta componente específica, tendo em conta a análise do contributo de cada Medida,

deve permitir aferir em que medida o PRORURAL se revela eficaz na concretização dos seus

objectivos e que recursos utiliza para alcançar esses objectivos.

A avaliação de eficácia encontra-se, naturalmente, dependente da fiabilidade e actualização da

informação relativa à realização física e financeira das Medidas, de forma a proceder à análise dos

resultados obtidos e progressos alcançados face aos objectivos programados.

A avaliação de eficiência, que se orienta para as vertentes das realizações físicas e dos resultados

alcançados, comparativamente com os meios e recursos mobilizados, deverá preencher os

seguintes elementos analíticos:

Peso financeiro de cada prioridade, com base nos primeiros resultados e impactos.

Eficiência, por realização e por resultado.



41

Tendo presente estes pressupostos, a Avaliação da eficácia e da eficiência deve ser realizada a dois

níveis: (i) ao nível de cada Medida e das respectivas Acções, utilizando os indicadores de realização

e de resultados; e (ii) ao nível do Programa, através de uma visão integradora dos resultados.

Nesta dimensão de avaliação há que ter em conta os seguintes elementos analíticos:

Bateria de indicadores previstos em cada uma das Medidas (comuns e adicionais) e seu

grau de cobertura.

Campo de produção de resultados e efeitos dos apoios [também decorrentes do perfil de

complementaridades externas existentes].

Conjunto de indicadores de impacto do Programa relativos ao crescimento económico, ao

emprego, à produtividade, à biodiversidade, às zonas com elevado valor natural, à água e

às alterações climáticas.

A avaliação específica por Medida vai ser realizada em torno de dois grandes blocos analíticos,

conforme se apresenta no Quadro seguinte. O nível de preenchimento dos campos de

estruturação das Fichas vai ser diferenciado consoante a Medida, sobretudo devido aos

respectivos diferentes níveis de maturidade (há Medidas que não foram, ainda,

operacionalizadas), e à disponibilidade e qualidade/profundidade da informação.

Os principais elementos metodológicos a utilizar para realizar a Avaliação específica por Medida

encontram-se sistematizados no Volume II – Anexo VI. Principais elementos metodológicos a utilizar

para realizar a Avaliação específica das Medidas do PRORURAL.



42

Quadro 3. Avaliação específica por Medida P

on

tos

estr

até

gic

os d

e a

vali

açã

o

• Concepção e programação: pertinência e adequação da estrutura da Medida ao diagnóstico das dimensões-problema existentes; relação entre as áreas prioritárias das Acções da Medida e as orientações comunitárias, nacionais e regionais em matéria de apoio ao desenvolvimento rural; níveis de coerência interna e articulação entre as Medidas; quadro de operacionalização da Medida; compatibilização e articulação com outros instrumentos financeiros, ...

• Gestão e acompanhamento: análise crítica do modelo de gestão; análise dos mecanismos de recepção/apreciação e selecção de candidaturas; análise dos circuitos administrativos, técnicos e financeiros; análise dos dispositivos de acompanhamento e controlo (físico e financeiro); ...

• Parcerias (a apreciar no caso das Medidas 4.1., 4.2. e 4.3.): complementaridade e pertinência das competências/modos de abordagem; adequação da organização da parceria, nomeadamente do trabalho conjunto dos agentes; eficácia dos mecanismos de comunicação; oportunidades e efeitos da partilha de conhecimento.

• Divulgação: apreciação/adequação dos meios de divulgação aos objectivos específicos da Medida e aos destinatários-alvo; análise das estratégias de divulgação

• Sistema de informação: apreciações dos dispositivos existentes; análise da arquitectura funcional do sistema de informação, disponibilidade da informação e grau utilização, capacidade de resposta às necessidades, nomeadamente, em termos de monitorização.

• Realizações e identificação de pontos fortes e de pontos fracos da execução: grau de execução física e financeira; distribuição regional; natureza dos investimentos; tipologia de destinatários;...

• Resultados: tendo em conta os objectivos específicos da Medida e Acções, p.e., por via da resposta aos indicadores e por via da exploração dos dados constantes nos modelos de análise.

Res

ult

ad

os

da

Ava

lia

ção

• Preenchimento do conteúdo dos Indicadores definidos no Documento do PRORURAL com base na informação quantitativa e qualitativa: a estimativa destes indicadores depende dos níveis de qualidade dos dados de realização física e de resultados, constantes dos dispositivos de informação da Medida

• Elementos de complementaridade externa: complementaridades potencial e efectiva com outros instrumentos de política (POSEI, PROAMA, Estratégia Florestal para a RAA, PROCONVERGÊNCIA, PROEMPEGO, …).

• Análise da eficácia e eficiência – balanço de resultados e efeitos, face à matriz de objectivos do PRORURAL e ao conjunto de objectivos comunitários para o desenvolvimento rural (elementos de contributividade): sistematização dos resultados e de dimensões de efeitos, segundo os objectivos específicos do Programa, com relevo para as dominâncias competitividade, produtividade, multifuncionalidade, rendimento, inovação produtiva e tecnológica e integração no mercado.

• Questões Comuns de Avaliação específicas e horizontais (elementos de contributividade): o resultado da avaliação de cada Medida deverá contribuir com um conjunto de elementos de natureza quantitativa e qualitativa para a resposta às QCA.



43

3. RESULTADOS DA AVALIAÇÃO INTERCALAR

A apreciação dos resultados da aplicação do PRORURAL na RA Açores apela a uma análise

cruzada dos níveis de resultados e de impactos potenciais dos domínios de intervenção do

Programa, com as dinâmicas de realização física e financeira alcançadas até ao momento

intercalar da Avaliação. Na fase actual, a ocorrência de impactos específicos em parte significativa

das Medidas (com “timings” de produç~o de efeitos mais diferidos no tempo), n~o tem

correspondência directa em termos de dimensão dos respectivos contributos para os objectivos da

política de desenvolvimento rural para a RA Açores.

No entanto, é possível proceder a um conjunto de análises, baseado no QCAA, que pretende

reflectir a análise encadeada proposta e que culmina na estimação dos Indicadores comuns de

impacto; na resposta às Questões comuns de avaliação específicas e horizontais; e em traçar

um conjunto de comentários qualitativos que terá subjacente as principais conclusões e as

principais recomendações.

Como referido atrás, tendo em vista manter a coerência do fio condutor da análise em torno dos

resultados e dos impactos, este ponto pretende estabilizar uma metodologia capaz de proceder a

uma agregação de grandes domínios de impacto com vista a operacionalizar, na medida do

possível, as recomendações da metodologia proposta nos documentos disponibilizados pela Rede

Europeia de Avaliação. A ponderação/análise cruzada entre os níveis obtidos em termos de

resultados e de impactos nos vários domínios de intervenção do Programa vai permitir elaborar

apreciações de síntese convertíveis nas respostas às Questões Comuns de Avaliação. Esta

apreciação de síntese, com base nas dinâmicas de realização física e financeira alcançadas até ao

momento intercalar da Avaliação, vai permitir, ainda, a apresentação de conclusões e formulação

de recomendações.

Assim, este Ponto estrutura três dimensões de análise: (i) Indicadores comuns de impacto; (ii)

questões comuns de avaliação; e (iii) conclusões e recomendações.

3.1. Indicadores comuns de impacto

O QCAA prevê um conjunto de sete Indicadores Comuns de Impacto, relativos ao crescimento

económico, à criação de emprego, à produtividade do trabalho, ao declínio da biodiversidade,

à manutenção de sistemas agrícolas e florestais com elevado valor, à qualidade da água e às

alterações climáticas, os quais reflectem claramente os objectivos/prioridades estabelecidas pelo

Conselho Europeu para acompanhar o desenvolvimento rural.



44

O conceito de Avaliação de Programas de Desenvolvimento Rural no período de programação

2007-2013 foca-se muito na avaliação de impactos porque permite detectar evidências,

compreender o funcionamento de uma política específica e fornecer diferentes informações sobre

a sustentabilidade dos efeitos das políticas de intervenção:

Cede informação da eficiência da política de intervenção e do seu contributo para a

exequibilidade dos objectivos gerais da sociedade (p.e., ao nível do crescimento ou do

desenvolvimento);

Aumenta a capacidade de decisão, fornece argumentos para a redefinição e a

continuidade ou descontinuidade das políticas/Programas, comparando os benefícios com

os custos; e

Ajuda à aprendizagem do funcionamento dos processos económicos, sociais e ambientais.

A avaliação de impactos dos Programas de Desenvolvimento Rural, têm merecido uma particular

atenção por parte da Rede Europeia de Avaliação, que constituiu e coordenou Grupos de Peritos

integrados em Grupos de Trabalhos Temáticos que foram responsáveis pela elaboração de dois

documentos metodológicos sobre a Avaliação de impactos dos Programas de desenvolvimento

rural: "Approaches for assessing the impacts of the Rural Development Programmes in the context of

multiple intervening factors, March 2010” e “Capturing Impacts of LEADER and Measures Related to

Quality of Life in Rural Areas, Draft WP 2, April 2010” (específico para os Eixos 3 e 4).

Estes documentos têm por objectivo dar corpo a uma abordagem que permita aos Estados

Membros seleccionarem métodos e instrumentos apropriados e convergentes para o

estabelecimento da avaliação dos impactos dos Programas de Desenvolvimento Rural. A

dimensão de análise fundamental para a estimação dos indicadores de impacto processa dois

fluxos principais de informação: análise de eficácia e eficiência das Medidas do Programa e análise

documental e estatística complementar.

De acordo com o QCAA, os indicadores de impacto referem-se a benefícios do Programa, para

além dos efeitos imediatos nos seus beneficiários directos ao nível da intervenção, assim como na

zona de aplicação do Programa, devendo considerar-se as interacções que ocorrem entre as

diferentes intervenções e as respectivas complementaridades, e os efeitos sinergéticos e efeitos

de arrastamento que poderão produzir. Suportando a avaliação de impactos nesta perspectiva,

deve partir-se do princípio que uma única Medida pode produzir vários resultados e impactos, para

além dos que se encontram definidos no Documento do PRORURAL.



45

Ainda de acordo com o QCAA a estimativa dos indicadores de impacto deve ser efectuada a partir

das realizações e dos resultados de cada uma das Medidas, tendo presente a hierarquia de

objectivos e de resultados dessas Medidas e do próprio Programa, conforme decorre do esquema

seguinte.

Figura 5. Hierarquia de indicadores e objectivos, associada à avaliação de impactos

Esta abordagem está igualmente implícita na Avaliação por Medida que percorre diversas

componentes específicas que reverterão para os resultados da Avaliação Intercalar (lógica de

cadeia que nascerá na Acção e concluirá no Programa).

Figura 6. Cadeia de Avaliação de Impactos

Hierarquia de Indicadores

Impactos

Resultados

Realizações

Hierarquia de Objectivos

Objectivos Globais

Objectivos Específicos

Objectivos Operacionais

Acção

Medida

EixoPrograma



46

No entanto, e como principal constrangimento à estimação concreta dos indicadores definidos, a

trajectória de execução financeira do PRORURAL não contribui para a existência de impactos,

uma vez que o número de projectos concretizados e a produzir resultados é residual. Em algumas

Medidas, designadamente as Medidas de investimento, as primeiras aprovações datam de 2009;

este aspecto tem naturalmente consequências sobre a temporalidade da produção de resultados

em muitos projectos como a terá, igualmente, na produção de impactos que se prevê mais

prolongada.

Aliás, existem dimensões dos documentos metodológicos produzidos pela Rede Europeia de

Avaliação que, mesmo reajustados à natureza dos objectivos específicos do PRORURAL e

reflectidas nos impactos específicos do Programa, têm uma dimensão qualitativa ou de estimação

não viável a partir dos dispositivos de informação existentes, particularmente no que respeita aos

impactos atribuíveis ao Eixo 2 – Melhoria do Ambiente e da Paisagem Rural.

A acrescer, a grande maioria das Medidas de investimento (Eixo 1 e Eixo 3 e Medida 2.4. do Eixo 2)

não tem um número de projectos executados suficiente para que seja possível a medição de

resultados e, consequentemente, de impactos. Neste contexto, e no âmbito desta Avaliação

Intercalar, o estabelecimento de uma relação de tipo biunívoco entre as realizações das

Medidas e os impactos do Programa envolve níveis de reducionismo importantes: a

alternativa proposta pela Equipa de Avaliação é avaliar o desempenho das Medidas e Acções

com base nos resultados esperados e nos impactos potenciais, não obstante a apresentação

das metodologias para a aferição desses mesmos impactos, a aplicar na Avaliação ex-post.

Antes de se proceder à apresentação das metodologias a observar para a avaliação dos impactos

do PRORURAL nos 7 Indicadores definidos, importa salientar algumas questões relevantes que

ajudam a esclarecer a natureza e o conteúdo dessas metodologias.



47

Figura 7. Indicadores Comuns de Impacto – definidos no QCAA

É certo que, de uma forma geral, os procedimentos metodológicos a estabelecer com a finalidade

de se proceder a uma avaliação de impactos colocam grandes desafios e estão longe de se

assemelhar aos de uma “ciência exacta”dada a especificidade, diversidade e complexidade das

questões socioeconómicas e ambientais. Como se sabe, é muito difícil afirmar sobre a existência

de relações lineares de causa-efeito, sobretudo, em matéria de avaliação de impactos ambientais.

Sem minorar a importância dos problemas que se colocam a qualquer metodologia de avaliação

de impacto, as questões de seguida enumeradas são as que se consideram como tendo particular

relevância na avaliação dos impactos do PRORURAL, e no cumprimento dos princípios

metodológicos fixados nos documentos metodológicos de referência.

Como se sabe, os modelos de impacto procuram “identificar e estabelecer as relações causais

entre os objectivos e os resultados da política, proporcionando um enquadramento que possibilite

a introdução de melhorias nas avaliações futuras” (Primdahl et al., 2010: 1246). Contudo, e apesar

da importância dessa avaliação de impactos no momento intercalar da aplicação do

PRORURAL, a estimação daqueles indicadores enfrenta sérias restrições dada a não

disponibilidade: (i) de elementos relativos à definição e caracterização de situações de

referência; e (ii) de informação quantificada, sistematizada, fiável e baseada em séries

temporais e espaciais com alguma consistência. Em consequência, a Avaliação Intercalar terá de

se basear, sobretudo, em informação resultante de indicadores de resultado, à qual se associará,

sempre que possível, outro tipo de informação que, de forma directa ou indirecta, procurará servir

de complemento.

Indicadores socio-económicos

Crescimento económico

Criação de emprego

Produtividade do trabalho

Indicadores ambientais

Inversão do declínio da biodiversidade

Manutenção de terras agrícolas e florestais de elevado valor natural

Melhoria da qualidade da água

Combate às alterações climáticas



48

De notar que o aspecto referido em segundo lugar embora não seja específico à RAA e, portanto, à

avaliação dos impactos do PRORURAL, mas partilhado pelos EM do sul da União Europeia

condiciona, desde logo, a integração e o cumprimento pleno dos princípios metodológicos fixados

no documento “Approaches for assessing the impacts of the Rural Development Programmes in the

context of multiple intervening factors” (2010), bem como as metodologias descritas no presente

Relatório para a avaliação do impacto do Programa que, não sendo aplicadas na Avaliação

Intercalar, poderão vir a ser aplicadas na Avaliação ex-post, no ano de 2015.

Desta forma, este Relatório Preliminar da Avaliação Intercalar do PRORURAL tem, ainda, por

objectivo propor um conjunto de procedimentos de forma a acautelar a recolha e a disponibilidade

de informação que possa vir a ser utilizada para a avaliação dos Indicadores Comuns de Impacto

aquando da realização da Avaliação ex-post do Programa e tendo em conta os princípios

metodológicos definidos nos documentos da Rede Europeia de Avaliação.

Face ao exposto, o presente Relatório de Avaliação Intercalar tem subjacente dois propósitos: por

um lado, definir as metodologias de avaliação para os 7 Indicadores Comuns de Impacto acima

enumerados tendo em consideração: os princípios metodológicos especificados nos documentos

da Rede Europeia de Avaliação; e as dificuldades que os dois aspectos antes referidos colocam à

adopção plena dos mesmos embora, como referido, se procure minorá-las na medida das

limitações existentes.

Com base no exposto, a Equipa de Avaliação terá de definir, num primeiro passo, o contributo

potencial de cada intervenção para cada um dos Indicadores de impacto (identificar qual e

classificá-lo como positivo – muito forte, médio e fraco; misto ou negativo). A estimação desse

contributo vai encontrar suporte nos elementos seguintes (a ponderação dos factores é a seguinte:

(i) 0,30; (ii) 0,20; e (iii) 0,50):

(i) análise do peso de cada Medida no conjunto de intervenções do Programa: dotação

financeira de cada Medida em relação ao envelope financeiro global do Programa;

(ii) avaliação qualitativa do contributo de cada Medida, decorrente dos resultados do

conjunto das entrevistas e dos inquéritos e estudos de caso previstos realizar; e,

(iii) análise da eficiência e eficácia no cumprimento dos respectivos objectivos (indicadores

de realização e de resultado previstos: p.e., valor acrescentado resultante dos

investimentos efectuados, área em que a gestão do espaço rural é bem sucedida,

evitando a marginalizaç~o e o abandono da terra …).



49

O quadro seguinte reflecte um exercício preliminar acerca do contributo de cada um dos domínios

de intervenção (Códigos CE) sobre os sete indicadores comuns de impacto.

Quadro 4. Intervenções do Programa de Desenvolvimento Rural e sua relação com os indicadores de impacto (exercício preliminar)

Ob

ject

ivo

s

Sub-Objectivos Código

da Medida

Indicadores de Impacte

Cre

scim

en

to

Eco

nó

mic

o

Cri

açã

o d

e

em

pre

go

Pro

du

tivi

da

de

do

tra

ba

lho

Re

vers

ão

do

de

clín

io d

a

bio

div

ers

ida

de

Ma

nu

ten

ção

do

va

lor

da

n

atu

ral

Au

me

nto

da

qu

ali

da

de

da

ág

ua

Co

mb

ate

às

alt

era

çõe

s

clim

áti

cas

Co

mp

eti

tivi

da

de

do

se

cto

r

ag

ríco

la e

flo

rest

al

Conhecimento e potencial humano

111

112

113

114

115

Inovação e potencial físico

121

122

123

124

125

126

Am

bie

nte

e M

eio

Ru

ral

Gestão sustentável dos

territórios agrícolas e

protecção e aumento dos

recursos naturais

212

213

214

216

221

222

223

224

225

226

227

Qu

ali

da

de

de

Vid

a

Diversificação da economia rural

311

312

313

Qualidade de vida nas áreas rurais

321

323

Coerência e sinergias territoriais

331

Abordagem Leader na disseminação do

PDR

413

421

431

Legenda:

Forte Médio Fraco Misto Negativo Sem relação

A classificação dos impactos vai ser efectuada através do método scoring, que consiste na selecção

de um nível numa escala graduada em unidades de medida quantitativa (p.e., uma escala de -10 a

+10), com vista a representar a relevância do efeito.



50

O exercício de sistematização da informação constante da matriz de importância relativa das

intervenções sobre os resultados do Programa/impactos (reportada à programação) evidencia um

desempenho diferenciado, podendo mesmo traçar-se uma linha divisória entre os impactos:

os impactes específicos associados ao aumento da produtividade, do emprego e da

produtividade de trabalho fortemente medeados pelos Eixos 1, 3; e

os impactos associados às questões ambientais traduzidos pelo Eixo 2.

Num segundo passo, a Equipa de Avaliação, terá de quantificar/contabilizar os contributos

concretos de cada Medida para cada um dos indicadores de impacto dependendo, neste caso, da

informação decorrente da aplicação das metodologias específicas para o cálculo de cada um dos

indicadores.

O resultado da avaliação dos impactos, baseado no método de trabalho proposto atrás,

contempla, assim, uma dimensão qualitativa e uma dimensão quantitativa. O peso destas duas

dimensões na aferição global do impacto do Programa vai depender, sobretudo, dos níveis de

qualidade e de fiabilidade dos dados de realização física e de resultados.

3.1.1. Indicadores socioeconómicos

A avaliação do impacto socioeconómico é uma ferramenta usada para avaliar, de modo

quantitativo, a dimensão dos impactos imputáveis a um determinado Programa sobre o contexto

em que intervém. No caso do PRORURAL, o impacto socioeconómico vai ser medido através do

crescimento económico, da criação de emprego e da produtividade de trabalho (cf. esquema

seguinte).

Figura 8- Indicadores Comuns de Impacto e respectiva unidade de medida


Medida do indicador:

Acréscimo do VAB (€)



Acréscimo líquido de emprego (UTA's;

ETC's)



Acréscimo do VAB por unidade de trabalho

(€/UTA; €/ETC)



51

A abordagem metodológica, para além da identificação dos impactos directos sobre os

beneficiários do Programa, vai requerer, ainda, a definição de todos os efeitos externos, enquanto

consequências indirectas de uma determinada alteração (positiva ou negativa). Nesse contexto, a

avaliação de impactos terá de ter em conta os efeitos sistematizados no esquema seguinte.

Figura 9. Efeitos do PRORURAL, sobre os beneficiários directos e os beneficiários indirectos

Fonte: “Approaches for assessing the impacts of the Rural Development Programmes in the context of multiple intervening factors” (Março, 2010)

3.

3 Por efeito de inércia entende-se uma mudança verificada na sequência de uma qualquer intervenção sobre um

destinatário directo, mas que se teria verificado mesmo sem a existência dessa intervenção, ou seja, ocorrem resultados teriam acontecido independentemente do projecto de investimento. A alavancagem, ou efeito de alavanca, trata da propensão do determinado projecto induzir mais investimento privado. Este é um efeito esperado da aplicação dos recursos financeiros do PRORURAL. O efeito de substituição consiste no efeito sobre um determinado beneficiário em detrimento de outra entidade não elegível. Este efeito pode surgir, p.e., quando uma empresa substitui uma actividade por outra semelhante para tirar partido do apoio em causa. O efeito de deslocação trata da proporção de resultados (outputs) que beneficiam elementos externos à área ou potenciais beneficiários do Programa ou projecto. Os efeitos multiplicadores estão relacionados com o desenvolvimento/arrastamento de novas actividades económicas quer associadas a potenciais aumentos no rendimento disponível local, quer associadas a fluxos de produção e de comercialização.

Efeitos do Programa

Efeitos directos

VAB

Emprego


Efeitos indirectos

Nível micro - beneficiários directos

Efeito de inércia

Efeito de alavanca

Nível macro - beneficiários indirectos

Efeito de substituição

Efeito de deslocamento

Efeito de multiplicação



52

A. AVALIAÇÃO INTERCALAR

A avaliação do impacto socioeconómico visa, grosso modo, descrever o que teria acontecido sem

a intervenção do Programa face ao que efectivamente se realizou no período de vigência do

mesmo. Contudo, e como já referido atrás, a trajectória de execução física e financeira das

Medidas de investimento do PRORURAL não permite a estimação concreta de resultados e,

consequentemente, de impactos, pelo que a Equipa de Avaliação optou por realizar a

avaliação do desempenho das Medidas e respectivas Acções através dos resultados esperados

e dos impactos potenciais.

Metodologia

A avaliação dos resultados esperados vai ser e efectuada através de uma abordagem micro ou “de

baixo para cima” (“down-top”), ou seja, a partir dos projectos. Com efeito, a metodologia a seguir

consiste na exploração dos sistemas de informação SiRURAL (Eixo 1 e Medida 2.4. do Eixo 2) e e-

rural (Eixos 3 e 4), designadamente, na exploração dos dados constantes dos modelos de análise

dos pedidos de apoio aprovados, à qual se associará, sempre que possível, outro tipo de

informação que, de forma directa ou indirecta, procurará servir de complemento.

Os tipos de recolha de informação complementar vão ser os seguintes: entrevistas, Estudos de

caso e inquéritos, cujos instrumentos se encontram sistematizados no Volume II deste Relatório.

Em simultâneo, a Equipa de Avaliação vai trabalhar em conjunto com a Autoridade de Gestão, no

sentido de organizar um conjunto de procedimentos de recolha e sistematização de informação,

de forma a acautelar a disponibilidade de informação aquando da realização da Avaliação ex-post

e tendo sempre como base a metodologia definida do Documento metodológico elaborado pela

Rede Europeia de Avaliação.

A variação do VAB, a criação de emprego e a produtividade do trabalho vão ser calculados a partir de

informação de referência (antes da candidatura ao PRORURAL) e de informação sobre os

resultados que o beneficiário espera alcançar, tendo como base os dados constantes dos modelos

de análise dos pedidos de apoio aprovados e homologados. A metodologia, bastante reducionista

face às metodologias apresentadas no Documento elaborado pela Rede Europeia de Avaliação,

consiste nos passos seguintes:



53

1. Recolha dos dados indicativos sobre o VAB e o número de empregos por empresa

beneficiária (situação de referência (S0) e situação após a execução do investimento (S1))

2. Calcular os resultados através do acréscimo de VAB através do método Average

Treatment Effects4 (ATE), por Medida.

3. No caso o VAB, o resultado final vai expressar-se em paridade de poder de compra (PPC)

em relação à União Europeia (UE-27). O PPC relaciona o poder de aquisição com o custo

de vida regional e vai ser calculado com base nos elementos estatísticos disponíveis no

EUROSTAT5, nomeadamente, utilizando as taxas de conversão estabelecidas põe esse

Gabinete de estatísticas europeu.

No caso do número de empregos criado as unidades de medida vão ser expressas em

Unidades de trabalho por ano (UTA’s) e Equivalente Tempo Inteiro (ETI).

Em termos de produtividade do trabalho, a medida vai ser expressa em VAB/ETI ou UTA.

A acrescer, a Equipa de Avaliação vai avaliar outros indicadores micro-económicos (ao nível dos

projectos de investimento apoiados) que, no caso do sector agrícola, vão permitir comparações

com dados gerais recolhidos no âmbito do Recenseamento Geral Agrícola de 2009 (prevê-se que o

4 Modelo econométrico utilizado para comparar as intervenções no âmbito do Programa. O ATE mede a diferença

média nos rendimentos causada pela aplicação do Programa. 5GDP per capita in PPS: Reference Metadata in Euro SDMX Metadata Structure (ESMS)

VAB = valor total da produção - consumos intermédios

Emprego = Mão de Obra em número de Postos de Trabalho Equivalentes ou em Unidades de Trabalho Ano

Fórmula de Cálculo

N – dimensão da amostra

Y0i – resultado antes da aplicação do Programa

Y1i – resultado depois da aplicação do Programa

y1i − y0i = βi.- efeito geral da aplicação do Programa



54

INE disponibilize os dados preliminares no final de Setembro de 2010). De entre esses indicadores,

destacam-se os seguintes:

Rendimento por entidade beneficiada, por hectare e por UTA.

Valor Acrescentado Bruto por hectare (produtividade da terra).

Criação de emprego por intervalos de montantes de financiamento, por entidade

beneficiada.

Para além do cálculo dos efeitos directos, o cálculo dos efeitos indirectos do Programa constitui

um aspecto crucial da análise de eficácia das intervenções porque, entre outros factores, é

importante para perceber as dinâmicas de investimento face ao ciclo das unidades

produtivas/empresas e as atitudes dos potenciais beneficiários face ao Programa, podendo, ainda,

ser útil na afinação dos objectivos e dos resultados de determinadas Medidas ou de determinadas

tipologias de projectos. Estes efeitos vão ser avaliados por via da aplicação de inquéritos e da

realização de entrevistas e de estudos de caso, ou seja, numa base qualitativa.

Principais condicionantes

A utilização de resultados a partir dos modelos de análise dos projectos aprovados e homologados

vão demonstrar efeitos meramente indicativos e que podem indicar um efeito ilusório da

aplicação do Programa.

B. AVALIAÇÃO EX-POST

Os elementos seguintes descrevem a metodologia a aplicar na Avaliação ex-post, a ocorrer no ano

de 2015. A metodologia a adoptar pela Equipa de Avaliação para a avaliação dos impactos do

PRORURAL assenta, essencialmente, nos Documentos produzidos pela Rede Europeia de

Avaliação, intitulados “Approaches for assessing the impacts of the Rural Development Programmes

in the context of multiple intervening factors” (Março, 2010) e “Capturing Impacts of LEADER and

Measures Related to Quality of Life in Rural Areas” (Abril, 2010).



55


Contextualização

De acordo com o Documento do PRORURAL, o impacto do Programa sobre o crescimento

económico vai ser medido através do Acréscimo do Valor Acrescentado Bruto (€), tendo em

conta os benefícios directos (projectos apoiados pelo PRORURAL – parte do mesmo princípio que

a ciência económica: relação objectiva entre o nível de investimentos e o crescimento económico)

e os efeitos indirectos na área de aplicação do Programa (efeitos de inércia, de alavanca, de

substituição, de deslocamento e multiplicadores).

A questão do Crescimento económico vai subdividir-se, ainda, em dois níveis: (i) o contributo de

cada Medida (particularmente as Medidas de investimento) para os objectivos do Programa; e, (ii)

o contributo do Programa para o crescimento económico da região e do país. Nesta última

vertente é necessário ponderar a contribuição dos sectores apoiados no âmbito do Programa para

o VAB regional e nacional, com recurso complementar às Publicações do INE.

Metodologia – o processo em 8 passos:

1. Recolha/cálculo do valor acrescentado bruto gerado pelos beneficiários do Programa a nível

micro (exploração ou indústria agro-alimentar) antes do Programa e após a implementação

do Programa.

2. Recolha/cálculo do valor acrescentado bruto gerado por entidades com um perfil

semelhante que não foram beneficiárias do Programa.

3. Cálculo da variação de VAB (%) gerado pelo grupo de beneficiários causado pelo Programa.

Este cálculo deve decorrer (i) da comparação com grupos contrafactuais ajustados aos

grupos de beneficiários, e (ii) da aplicação do método ATE.

4. Selecção acurada de outros grupos de empresas consideradas ser indirectamente afectadas

pelo Programa.

5. Cálculo da variação de valor acrescentado (%) nos grupos formados em (4), causada pelo

Programa (efeitos indirectos do Programa: positivos e negativos).

O saldo acumulado de VAB pode ser obtido adicionando-se os efeitos líquidos associados ao

Programa para todos os grupos relevantes (beneficiários directos, beneficiários indirectos,

outros grupos/sectores influenciados).



56

6. Agregação das variações no valor acrescentado em ambos os grupos (beneficiários directos

e indirectos do Programa).

7. Cálculo do equilíbrio geral decorrente dos vários efeitos do Programa (substituição,

deslocamento, multiplicador, etc.).

8. Cálculo do valor acrescentado bruto líquido subtraindo (7) de (6).

A análise de informação vai efectuar-se com base em recolha de informação secundária (p.e.,

dados constantes da RICA, informação constante do RGA) e documental (p.e., Manuais Técnicos

do EVALSED – Guia para a avaliação do desenvolvimento socio-económico); e em recolha de

informação primária (p.e., por via de inquéritos).

De acordo com o Documento metodológico “Approaches for assessing the impacts of the Rural

Development Programmes in the context of multiple intervening factors”:

o VAB e outros dados sobre características importantes das explorações

agrícolas/empresas (beneficiários, não-beneficiários e beneficiários indirectos), calculados

nos momentos antes e após a implementação do Programa, podem ser obtidos a partir da

RICA, micro-estatísticas e inquéritos;

o VAB ao nível sectorial pode ser obtido através dos dados de contabilidade para os

sub-sectores agrícola, florestal, agro-alimentar, …

a informação sobre as paridades de compra são compiladas pelo EUROSTAT numa base

anual.

No entender da Equipa de Avaliação, a metodologia definida apresenta fortes limitações porque

assenta em fontes de informação que não estão disponíveis para todos os sub-sectores e para

todas as empresas (p.e., a RICA contempla apenas empresas do sector agrícola) e para todas as

regiões (a RA Açores não é muitas vezes considerada em termos de informação estatística, mas

antes incluída em informação estatística nacional).


Para além das questões relacionadas com a disponibilidade e fiabilidade da informação (cf. Ponto

4.1. deste Relatório), e na perspectiva da Equipa de Avaliação, a estimação do crescimento

económico no contexto do Programa não deverá assentar numa visão restritiva associada ao

aumento d0 VAB, antes deverá considerar de forma importante outros factores implícitos que

contribuem para o aumento do VAB.



57

Com efeito, a compreensão destes factores é tão ou mais importante que a própria quantificação

de impactos, pois podem ter sido induzidos pelo acesso a outras Medidas do Programa. Neste

cabaz cabem factores associados, nomeadamente, à melhoria das competências profissionais de

agricultores e trabalhadores envolvidos em projectos apoiados pelo PRORURAL, à valorização dos

produtos, ao reforço da capacidade tecnológica das empresas beneficiadas, à renovação do tecido

empresarial agrícola e à melhoria das condições infra-estruturais da economia rural – um conjunto

de vectores que já demonstrou a sua capacidade para gerar crescimento. A acrescer há separações

de resultados que não são lineares, de que são exemplo projectos de investimento geradores de

de emprego, de inovação, de renovação do tecido empresarial e de melhoria de condições de vida

e de trabalho.

Sendo a avaliação de impactos determinante para justificar as políticas de intervenção e a lógica

que lhes está subjacente, ter-se-á de ter em conta que os impactos são difíceis de avaliar porque os

resultados demoram normalmente muito tempo a ser reconhecidos e dependem, ainda, de outros

factores. Mesmo que os todos os efeitos indirectos sejam avaliados, é impossível prever a

influência p.e., de outras políticas sectoriais/regionais, da situação económica e financeira da RA

Açores.

Para além das questões enunciadas acima, a metodologia recomendada não contempla diversas

tipologias de investimento apoiadas pelo FEADER, nomeadamente, projectos no âmbito da

melhoria das condições infra-estruturais (Medida 1.11.) e projectos ligados à formação e

informação (Medidas 1.1. e 1.4.) e, ainda, projectos ligados à instalação de jovens agricultores vs.

reforma antecipada (Medidas 1.2. e 1.3.).

No caso específico dos Eixos 3 e 4, o documento metodológico6 foca-se muito na importância da

avaliação de impactos7 enquanto a Equipa de Avaliação considera ser legítimo a valorização das

tendências directamente associadas aos objectivos gerais do Programa, sendo que os impactos

nos territórios rurais vão muito para além do período de vigência do Programa. Essas tendências

podem contribuir para: i) identificar ameaças e oportunidades na RA Açores e ii) ajudar a

interpretar os impactes alcançados com o Programa à luz das tendências económicas, sociais,

estruturais e ambientais gerais. No Ponto H do Volume II, apresenta-se o conjunto de indicadores

quantitativos fundamentais para a avaliação das mudanças nos territórios rurais.

6 Capturing Impacts of LEADER and Measures Related to Quality of Life in Rural Areas” (Abril, 2010).

7 Definindo o impacte como o efeito da intervenção que perdura a médio e longo prazo, podendo ser

positivo ou negativo, esperado ou inesperado, indirecto ou observado ao nível macro económico e social – impactes globais.



58


Contextualização

Os domínios de intervenção presentes na arquitectura do PRORURAL desenham um perfil de

impactos diversificados, em que assume especial importância a criação de emprego. A

importância da avaliação deste indicador decorre da questão em que medida os investimentos

apoiados tiveram capacidade para gerar emprego nos vários sub-sectores agrícola, florestal e

alimentar e nos territórios rurais.

O indicador Criação de emprego vai ser medido através do Acréscimo Líquido de Emprego

(expresso em UTA e ETC) após dedução de todos os efeitos, à semelhança do indicador relativo

ao crescimento económico.

Metodologia

A quantificação dos impactos ao nível do emprego deve ser abordada sob duas perspectivas:

nível micro, é analisado o mecanismo de como o apoio do Programa contribuiu para a

criação de emprego. Isso permite quantificar os efeitos de criação bruta de emprego tendo

em conta o efeito de inércia, mas não os efeitos de deslocamento e multiplicadores.

nível macro: como os efeitos de deslocamento e multiplicadores ocorrem na área

circundante aos beneficiários do Programa, o âmbito da análise precisa ser alargado. O

contributo do Programa para a evolução do emprego regional tende a ser avaliado dessa

forma, partindo do pressuposto que ocorrem efeitos de deslocamento e multiplicadores

na área de aplicação do programa.

A análise de nível micro poderá ser feita por via de comparações de grupos de controlo de

beneficiários e não-beneficiários. Uma questão crucial na comparação de grupos de controlo

consiste em encontrar não beneficiários que têm características semelhantes aos beneficiários.

Uma opção é estratificar ambos os grupos ao longo das suas características (dimensão da

exploração, nível educacional, etc.). Todavia, com pequenas populações de beneficiários e, assim,

amostras também pequenas, frequentemente acabam em sub-amostras que são demasiado

pequenas para aplicar testes estatísticos.

A ideia de correspondência é extrair “gémeos" dos beneficiários e não-beneficiários para uma

amostra e comparar as médias de ambos os grupos. Entre os diferentes métodos de

correspondência, Propensity Score Matching (PSM) é o mais popular. Beneficiários e



59

não-beneficiários são combinados com base nessa pontuação – uma medida agregada de

múltiplas características individuais.

Com base nos valores agregados poder-se-á calcular a diferença média do número de postos de

trabalho criados a tempo inteiro entre os beneficiários e os não-beneficiários, representado o

efeito bruto de emprego.

Para superar eventuais lacunas de dados, a informação poderá ser complementada por métodos

quantitativos e qualitativos – realizados o mais independentemente uns dos outros – podendo

confirmar a informação obtida ou, se se verificar desvios, empreender numa verificação da

matéria em análise com maior profundidade.

No caso de não ser possível a aplicação do método PSM (p.e, dificuldades em formar grupos de

controlo) será calculado o número médio de empregos criado nas empresas que beneficiaram de

apoio no âmbito do PRORURAL.

A análise macro do impacto relativo à criação de emprego implica ter modelos econométricos que

requerem dados provenientes de observações repetidas dos mesmos itens de pelos menos 2 ou 3

anos. Dado o facto de a Região não contemplar estes estudos aprofundados, podem ser obtidos

dados médios que se captam subtraindo o desvio anual da média global da variável em análise.

Figura 10. Efeitos indirectos na criação de emprego com o apoio de um qualquer Programa

Fonte: EVALSED – Guia para a Avaliação, 2004.

Emprego adicional líquido B = A-C-D-E+F



60


No Indicador de impacto Criação de emprego há que considerar não só o emprego criado mas

também a manutenção de emprego. Esta abordagem menos estrita na estimativa deste Indicador

revela-se a mais adequada face à conjuntura económica e social, em que se demonstra importante

e, por vezes essencial, a manutenção dos postos de trabalho. Aliás, a conjugação de diversas

Medidas do Programa tende a valorizar, precisamente, a manutenção do emprego (p.e., a Medida

2.1. Manutenção da actividade agrícola em zonas desfavorecidas). Os recursos disponíveis para o

apoio ao investimento em várias áreas e em diversas Medidas têm, contudo, como objectivo

estimular a racionalização das explorações e empresas do Complexo

agro-florestal, objectivo que pode entrar em conflito com o objectivo de criação de emprego (cf.

Quadro 4, pág. 51).

À semelhança do que acontece no indicador crescimento económico, o documento metodológico

produzido pela Rede de Avaliação não contempla os diversos factores que podem contribuir para a

criação de emprego, nomeadamente, capacitação técnica através de formação profissional.

Na perspectiva da Equipa de Avaliação, a este indicador vai estar, também, associada uma análise

sobre as condições de trabalho, as qualificações e o acesso e participação das mulheres no

mercado de trabalho.


Contextualização

Os indicadores de impacto associados ao Programa, embora explicitando efeitos gerais de

comportamentos das políticas e agentes, apresentam expectativas cuja evolução permite

perspectivar uma contribuição positiva para as metas traçadas, nomeadamente para o aumento

da produtividade do trabalho, medida através da relação entre o VAB e as unidades de

trabalho em UTA´s ou ETC.

A medição deste impacto é importante na medida em que existem referências à melhoria da

competitividade pela produtividade do trabalho, embora esta componente não seja explícita nos

projectos de investimento.

Para a avaliação deste indicador a Equipa de Avaliação considerará, igualmente, as diversas

Medidas que têm como objectivos a melhoria das qualificações e aptidões profissionais dos



61

activos do Complexo agro-florestal, podendo contribuir para criar uma dinâmica importante no

aumento da produtividade do trabalho.

Metodologia

A abordagem para determinar os efeitos brutos e líquidos ao nível micro, encontra-se

sistematizada nos passos seguintes:

Etapa 1: Identificação de grupos de amostra de beneficiários directos e de grupo de comparação,

constituído por não-beneficiários

Note-se que a abordagem de nível micro só permite contabilizar os efeitos indirectos na

produtividade do trabalho no âmbito do mesmo sector e região, pelo que tem de ser feita uma

análise minuciosa da cadeia de resultados para identificar os potenciais beneficiários indirectos. A

definição da amostra tem de ter em conta os objectivos e o peso financeiro de cada uma das

Medidas. Além disso, a agregação possível de impactos das Medidas que contribuem para

objectivos específicos como o aumento do capital humano têm de ser consideradas.

Para estabelecer os efeitos líquidos, é necessário identificar o que teria acontecido sem

intervenção (ou seja, estabelecer o contrafactual), utilizando, num cenário de disponibilidade de

informação, uma aplicação combinada de um método de correspondência (PSM) e o método de

diferença na diferença (Difference-in-Difference – DID).

Etapa 2: Recolha de dados

A recolha de dados de nível micro exigida para o cálculo do valor bruto acrescentado e em tempo

integral equivalentes deve ser efectuada a nível de cada empresa/exploração dos beneficiários e

não-beneficiários. Para o sector agrícola podem ser utilizados os dados da RICA. Para os sectores

florestal e agro-alimentar terão de ser identificadas outras fontes, p.e., através de processos de

inquirição e de estudo de casos, e de estatísticas formais.

A fim de permitir o cálculo da variação percentual VBA/UTA ou ETC, é necessário recolher

informação pelo menos em dois momentos no tempo; antes (t0) e depois (t1) do apoio, contudo, a

produção de resultados varia muito face à natureza do investimento (há projectos em que a

produção de resultados concretos vai muito para além do período de vigência do Programa,

nomeadamente, no que respeita aos investimentos na área florestal).



62

Etapa 3: Cálculo da variação % de valor acrescentado/emprego tempo completo criado

O cálculo da mudança do VBA/UTA ou ETC baseia-se nas definições e nas componentes de análise

definidas no indicador do EUROSTAT. O cálculo da variação percentual é feito através de dedução

do valor do t0 de t1 e multiplicando o valor por 100. O valor tem de ser calculado ao nível do

beneficiário.

Etapa 4: Identificação e dedução dos efeitos de inércia

Os efeitos de inércia podem ocorrer em beneficiários directos. As opções para identificar esses

efeitos baseiam-se na recolha de informação primária, p.e., através de estudos de caso ou de

processos de inquirição aos beneficiários ou, ainda, por comparação com agricultores e empresas

que fizeram investimentos mesmo sem o apoio do PRORURAL.

Os casos em que sejam identificados esses efeitos de inércia, serão registados e excluídos do

cálculo da variação média do VAB/UTA ou ETC (%).

Etapa 5: Cálculo da variação VAB/UTA ou ETC (%) criada pelo grupo de beneficiários directos,

derivando as situações contrafactuais adequadas

Etapa 6: Identificação, avaliação e atribuição de efeitos nível macro, incluindo o deslocamento e

efeitos multiplicadores.

Para se identificar todos os efeitos indirectos do Programa incluindo efeitos de deslocamento e

multiplicadores, tem de ser aplicada uma abordagem a nível macro. Actualmente estão

disponíveis dois métodos para esse tipo de análise: modelos (estatísticos e econométricos) e

métodos qualitativos. A tarefa para estimar os efeitos de deslocamento e multiplicadores é um

desafio exigente e requer o recurso a uma combinação de métodos. O cálculo de efeitos líquidos

no nível micro tem muitas limitações porque a esse nível só se pode incluir efeitos de

deslocamento e multiplicadores, que são expressos pela produtividade do trabalho limitada a um

sector específico ou área delimitada.

Etapa 7: Estimativa de efeitos líquidos do programa

A etapa final no processo de medição dos impactos no âmbito da produtividade do trabalho

consiste na avaliação dos efeitos brutos calculados ao nível micro, tendo em conta os efeitos ao

nível macro. Assim, os efeitos brutos identificados ao nível dos beneficiários são comparados com

as tendências gerais observadas, resultantes da análise de nível macro.



63


A produtividade do trabalho (grosso modo o valor do VAB dividido pelo número de trabalhadores

a tempo inteiro) depende naturalmente dos equipamentos e tecnologias usados, da qualificação

da mão-de-obra e dos métodos e técnicas de gestão adoptados nas empresas. Ora, a análise da

produtividade do trabalho deve estar sempre associada a uma sistematização de dimensões de

efeitos que contribuem para o aumento da mesma, o que não acontece com o conceito do

indicador definido (p.e., a produtividade do trabalho pode melhorar através de investimentos em

aquisição e substituição de equipamentos ou através da frequência de acções de formação ou

mesmo através da introdução de novas práticas e métodos de produção).

Acresce que os valores de produtividade do trabalho inerentes aos sub-sectores agrícola, florestal

e agro-alimentar e às empresas de sectores diversificados nas zonas rurais não são comparáveis,

pelo que a sua análise deve ser efectuada em separado.

Os efeitos de deslocamento podem ocorrer em qualquer Medida e directamente sobre a melhoria

da competitividade de uma empresa ou sector ou região. A maioria destes efeitos tendem a

tornar-se evidentes em matéria de emprego e de rendimento mas não são susceptíveis de ser

observáveis na produtividade do trabalho. Pelo que é necessária uma reflexão aprofundada sobre

os percursos metodológicos para o cálculo dos impactos, p.e., identificando à partida onde podem

ocorrer efeitos de deslocamento e como estimar esses efeitos.

A identificação de todos os efeitos de deslocamento só é possível através de uma análise de nível

de macro, sendo que essa análise tem de recorrer à combinação dos três indicadores de impacto

socio-económico. No que se refere aos efeitos multiplicadores, os mesmos podem ser medidos

através do estabelecimento de uma amostra de beneficiários indirectos, uma análise que se

considera muito complexa já que é difícil aceder a dados concretos desse tipo de beneficiários.

A produtividade do trabalho também está sujeita a flutuações cíclicas, sendo que estas variações

têm de ser consideradas aquando da interpretação dos resultados. Com a finalidade de superar o

hiato entre os efeitos observados e os efeitos total do Programa, será necessário aplicar métodos

qualitativos (entrevistas, estudos de caso e inquéritos) em conjunto com a análise quantitativa.



64

De forma a acautelar a existência de informação com alguma representatividade e fiabilidade

para que os Indicadores de Impacto socioeconómico possa ser objecto de avaliação com

alguma consistência técnica na avaliação ex-post do Programa apresentam-se, de seguida, os

procedimentos metodológicos desde já a observar e a implementar:

Assegurar a entrega das contabilidades dos beneficiários do Programa, numa base anual,

implementando, um sistema para o registo e organização dos dados pertinentes para a

Avaliação (p.e., valor total da produção, valor dos consumos intermédios, número de

postos de trabalho a tempo inteiro).

Empreender na sensibilização dos produtores agrícolas para a integração na rede de

contabilidades agrícolas, sendo de analisar igualmente as condições oferecidas aos

mesmos e os métodos contabilístico mais adequados a cada uma das situações.

Assegurar a continuidade das explorações agrícolas constantes da base da RICA.

Pesquisar informação sobre modelos de produção em que seja possível verificar os

aumentos de VAB decorrentes da utilização de infra-estruturas apoiada pelo Programa.

Tentar assegurar a disponibilização de informação do Recenseamento Geral Agrícola, o

mais tardar até final de Setembro de 2010.

3.1.2. Indicadores ambientais

No caso das questões agro-ambientais, um modelo de impacto baseia-se nas relações entre os

problemas, os objectivos das Medidas, o uso do solo e as práticas de gestão adoptadas pelos

agricultores, e os resultados ambientais destas práticas (Primdahl et al., 2010). A adopção deste

tipo de modelos é relevante não só em termos da avaliação da(s) política(s), mas também no

“desenho” e avaliações futuras da(s) mesma(s) (Primdahl et al., 2010).

Porém, em qualquer tipo de modelo de impacto é de sublinhar a importância e a necessidade de

acautelar a possibilidade e validade de se extrapolarem resultados baseados em informação

recolhida a escalas micro para escalas de maior dimensão. No caso concreto, estas cautelas

colocam-se, concretamente, na dificuldade de inferir sobre o contributo relativo de cada Medida

do PRORURAL para os impactos ambientais a analisar e a avaliar, aliás, uma situação comum a



65

diversos EM, em particular, aos EM do sul (Rodrigo, 20038 - e não só - Primdahl et al., 2010)9). Esta

questão coloca-se sobretudo devido a três aspectos:

Pela diversidade de Medidas que integram os diferentes Eixos do Programa e a

complexidade que dela decorre.

Por existir Medidas cujos efeitos potenciais podem concorrer entre si, ou seja, por

exemplo, o potencial efeito positivo resultante da aplicação da Medida X (por exemplo, do

Eixo 2) pode ser minorado, ou até anulado, pelo efeito da aplicação da Medida Y (por

exemplo, do Eixo 1). De acordo com o PRORURAL as Medidas identificadas como tendo

potenciais efeitos sobre os indicadores referidos são as Medidas do Eixo 2. Porém, e como

foi referido, na avaliação do impacto ambiental do PRORURAL há também que ter em

consideração Medidas do Programa que possam estar a exercer um potencial efeito

negativo e contrário aos objectivos definidos, como é o caso da Medida 1.5 “Modernizaç~o

das explorações agrícolas” e da Medida 1.11 “Melhoria e desenvolvimento de infra-

estruturas” do Eixo 1 do PRORURAL (cf. quadro relaç~o entre Medidas e impactos). Nas

metodologias a adoptar na avaliação dos Indicadores de Impacto Ambiental vai procurar-

se contemplar essas “zonas de conflito de interesses” entre Medidas.

Pela complexidade e a natureza dos processos ambientais que torna difícil as avaliações de

impacto no curto prazo, no caso concreto este prazo corresponde a 3 anos (Avaliação

Intercalar) e a 7 anos (Avaliação ex-post). Este aspecto coloca-se com maior acuidade na

avaliação do impacto ambiental do PRORURAL sobre a biodiversidade. Com efeito,

“embora as relações entre habitats ricos em espécies de aves e baixas incorporações no

solo de factores de produção estejam bem documentadas (...) estas relações são

8 Rodrigo, Isabel (2003), “A quest~o ambiental nos territórios rurais e nas agriculturas da Uni~o Europeia”, em Portela,

José e João Castro Caldas (Orgs.), Portugal Chão, Celta, 2003.. 9 Primdahl, Jørgen et al. (2010) “Current use of impact models for agri-environment schemes and potential for

improvements of policy design and assessment”, Journal of Environmental Management, 91. Este trabalho — baseado numa análise de uma amostra de 60 programas agro-ambientais de 7 Estados Membros (Dinamarca, Finlândia, Alemanha, Grécia, Hungria, Irlanda e Reino Unido) e em 3 tipos de modelos de impacto: Modelos Quantitativos (baseados em robustos quadros teóricos e informação documentada predizem como as mudanças nas práticas agrícolas afectam questões ambientais específicas), Modelos Qualitativos (baseados em quadros teóricos robustos mas incapazes de predizer, quantitativamente, os efeitos) e Modelos de Senso Comum (caracterizados por uma fraca formulação, das relações entre práticas agrícolas e efeitos ambientais, e não baseadas em evidências, mas que antes reflectem percepções gerais de como os resultados ambientais estão ligados às intervenções) — concluiu que mais de metade dos “compromissos agro-ambientais” (management packages) analisados baseavam-se em Modelos de Impacto de Senso Comum, e não em evidências documentadas. Concluiu ainda que, contrariamente ao que sucedia com as questões ambientais relativas { biodiversidade e { paisagem, eram os “compromissos agro-ambientais” definidos para os recursos naturais (qualidade e quantidade da água e qualidade do solo) que reflectiam e se baseavam em Modelos de Impacto Quantitativos.



66

complexas e muito dependentes de escalas temporais e espaciais bem como dos

mecanismos biológicos subjacentes” (Primdahl et al., 2010: 1247)10.

Apresenta-se de seguida um conjunto de aspectos a ter em conta na estimativa dos diversos

Indicadores de Impacto Ambiental: Inversão do declínio da biodiversidade, Manutenção do alto valor

natural dos sistemas agrícolas e florestais, Aumento da qualidade da água e Combate às alterações

climáticas.

Inversão do declínio da biodiversidade

Contextualização

De acordo com o QCAA, este indicador de impacto trata do indicador específico para a avaliação

do objectivo “Invers~o do declínio da biodiversidade”. Ainda segundo esse documento, aquele

indicador de Impacto é definido pela “Alteração da tendência na biodiversidade medida

através da população de aves características de zonas agrícolas”.

Metodologia

A avaliação do efeito das Medidas do Eixo 2 do PROPRURAL sobre a Inversão do declínio da

biodiversidade é suposta basear-se na combinação da informação resultante de indicadores da

situação de referência (Indicador Comum da Situação de Referência) e de indicadores de

resultado.

De acordo com o PRORURAL, o Indicador de Impacto Inversão do declínio da biodiversidade é

medido pela variação da população de aves características das zonas agrícolas (número de

indivíduos). As espécies de aves seleccionadas no âmbito do PRORURAL foram o pombo torcaz

(Columba palumbus) e o melro preto (Turdus merula).

10

Primdahl, Jørgen et al. (2010) “Current use of impact models for agri-environment schemes and potential for improvements of policy design and assessment”, Journal of Environmental Management, 91.



67

Pombo torcaz e Melro preto

O documento “Approaches for assessing the impacts of the Rural Development Programmes in the

context of multiple intervening factors”, neste âmbito, refere-se à utilização do Índice de Aves

Comuns das Zonas Agrícolas (FBI – Farmland Birds Indicator), o qual é identificado como um

“barometer of environmental change in the countryside and thus as a surrogate for change in

biodiversity and nature more broadly” e adoptado enquanto um “EU Structural Indicator and a

Sustainable Development Indicator” (p|g. 118).

A fim de permitir a operacionalização deste indicador, o documento citado disponibiliza uma lista

de 19 espécies de aves associadas/dependentes da actividade agrícola. Porém, tendo em

consideração a possibilidade de existir outras espécies mais adequadas à situação nacional e/ou

regional dos Estados Membros (EM), o documento disponibiliza ainda um outro grupo padrão

constituído por 36 espécies. Esta lista alargada de 36 espécies de aves coincide com a do Conselho

Europeu do Censo de Aves.

Para além do FBI, a estimação do indicador de impacto vai considerar o Indicador de Resultado

correspondente à Superfície (ha) em que a gestão do espaço rural é praticada com êxito, contribuindo

para a biodiversidade e a manutenção de terras agrícolas e florestais de elevado valor natural. Ou

seja, este indicador refere-se à área total (ha) abrangida por duas Acções da Medida 2.2.,

conforme se pode constatar no quadro seguinte, onde figuram as metas quantificadas para esse

indicador.



68

Quadro 5. Metas quantificadas para o Indicador Comuns de resultado ‘Área em que a gestão do espaço rural é bem sucedida contribuindo para a biodiversidade e a preservação de terras agrícolas

e florestais de Elevado Valor

Medida Indicador do QCAA

Descrição Cód. Acção PRORURAL

Metas

2.2 Pagamentos agro ambientais e Natura 2000

Protecção da biodiversidade e dos valores naturais e paisagísticos

2.2.2 300-380 (ha)

Pagamentos Natura 2000 em terras agrícolas

2.2.3 280-360 (ha)

Fonte: PRORURAL, versão de 2010.


Tendo por objectivo avaliar o Impacto Ambiental do PRORURAL na “Invers~o do declínio da

biodiversidade” adopta-se o conjunto de dados fornecido pelo Projecto Censo de Aves Comuns

(CAC), iniciado na RA Açores em 2007 e conduzido pela Sociedade Portuguesa para o Estudo das

Aves (SPEA)11. Este programa de monitorização a longo prazo de aves comuns nidificantes por

tipo de habitat (agrícola, florestal, ...) constitui uma ferramenta importante para medir a

sustentabilidade das decisões políticas no contexto ambiental. É neste âmbito que se inscrevem os

índices seguintes como indicadores de Biodiversidade:

Índice de Aves Comuns (IAC) que é fornecido pelo CAC e está incluído na Estratégia

Nacional de Desenvolvimento Sustentável 2005-2015:

Índice de Aves Comuns de Zonas Agrícolas (IACZA) foi também incluído no Plano

Estratégico Nacional para o Desenvolvimento Rural 2007-2013.

Os indicadores IAC e IACZA estão já a ser utilizados regularmente por entidades oficiais em

Portugal, como a Agência Portuguesa do Ambiente (APA), o Instituto Nacional de Estatística (INE)

e o Ministério da Agricultura, do Desenvolvimento Rural e das Pescas (MADRP), sendo de

sublinhar que o CAC extravasa o contexto nacional, uma vez que está integrado no Esquema Pan-

Europeu de Monitorização de Aves Comuns (PECBMS). O PECBMS utiliza as aves comuns como

indicadores do estado geral do ambiente na Europa e é coordenado pelo Birdlife International e

pelo European Bird Census Council (EBCC), sendo de ressaltar que os dados obtidos em Portugal

estão também a contribuir anualmente para o indicador de aves selvagens da União Europeia.

11

SPEA, Censo de Aves Comuns do Arquipélago dos Açores. Balanço dos Primeiros Três Anos & Resultados do Período 2007-2013, 2009.



69

O primeiro relatório que descreve o estado das populações de aves comuns nos Açores, no âmbito

do Programa CAC, intitula-se Censo de Aves Comuns do Arquipélago dos Açores. Balanço dos

Primeiros Três Anos & Resultados do Período 2007-2013, e foi publicado pela SPEA em 2009.

Apresenta “resultados de abund}ncia para 29 espécies de aves, baseados em dados preliminares

referentes aos anos 2007 e 2008 e recolhidos em 19 unidades de amostragem” (SPEA, 2009:1).

No balanço do 1º triénio do projecto CAC nos Açores e nas 29 espécies de aves monitorizadas

figuram as espécies Columba palumbus (pombo torcaz) e Turdus merula (melro preto). De acordo

com o documento da SPEA acima identificado, o número médio de indivíduos detectado por

ponto de escuta da espécie Columba palumbus duplicou entre 2007 e 2008 (de 0,116 em 2007 para

0,296 em 2008) e o número médio de indivíduos detectado por ponto de escuta da espécie Turdus

merula declinou (3,458 em 2007 para 3,394 em 2008) (cf. SPEA, 2009).

Face ao exposto, a análise da variação do número de aves vai ter como Indicador de Referência e

os valores das monitorizações a partir de 2007, tendo os mesmos que ser utilizados com algumas

reservas ou como indicador aproximado, em virtude de o Programa CAC:

Não dispor de informação na primeira época para a totalidade das ilhas. Como é referido

“(...) em quatro das unidades de amostragem atribuídas, a monitorização não foi

cumprida, fazendo com que o Pico e a Graciosa não fossem abrangidas pelo CAC neste

ano inaugural [2007]” (SPEA, 2009: 7), embora em 2008, sublinhe-se que a totalidade das

unidades de amostragem, distribuídas por todas as ilhas da RAA; tenham sido

monitorizadas.

Estar desajustado entre a informação possível de ser utilizada e as recomendações da

Rede Europeia de Avaliação. Segundo esta, o ano de 2000 é identificado, para efeitos de

comparabilidade, como o ano de referência ou seja, o ano para o qual existe maior

cobertura geográfica à escala da União Europeia.

Contemplar um carácter preliminar da informação disponível, como também é

reconhecido no documento da SPEA: “É certamente cedo para tirar grandes conclusões

sobre tendências populacionais, por isso requerer| mais anos de amostragem (...)” (SPEA,

2009:1).

Em face do exposto, e para efeitos da Avaliação Intercalar, a Equipa de Avaliação terá em conta a

informação disponibilizada pelo Programa CAC dos Açores, isto é, os resultados relativos a 2007 e

2008, mas também deverá ter os resultados relativos ao ano de 2009, sendo que a análise da

informação disponível deverá ser feita por ilha e por tipo de habitat. Para anos anteriores procurar-



70

se-á descrever situação de referência apenas de forma qualitativa e com base em referências

bibliográficas dispersas.


De forma a acautelar a existência de informação com alguma representatividade e fiabilidade para

que o Indicador de Impacto possa ser objecto de avaliação com alguma consistência técnica na

avaliação ex-post do Programa apresentam-se, de seguida, os procedimentos metodológicos

desde já a observar e a implementar:

Garantir que as medições nas actuais 19 unidades de amostragem e sítios podem

constituir-se como indicadores de situação de referência para efeitos da Avaliação

ex-post do PRORURAL.

Assegurar, com o apoio da SPEA, a pertinência das espécies seleccionadas face ao

objectivo de avaliar o declínio da biodiversidade; e a possibilidade de essas espécies serem

substituídas ou adicionadas outras espécies de aves que figuram no grupo padrão das 36

espécies considerado no documento metodológico produzido pela Rede Europeia de

Avaliaç~o de forma a alargar o “grupo-alvo” das espécies a monitorizar in situ.

Identificar, com o apoio da SPEA, a localização das 19 unidades de amostragem e a

selecção dos sítios (pontos de contagem dentro das quadrículas) do Projecto CAC,

avaliando a sua representatividade face aos habitats agrícolas e florestais mais

representativos da RAA e, sobretudo, que foram objecto de apoio por parte do

PRORURAL. Note-se que “As oito classes pertencentes ao nível 1 da classificaç~o de

habitats para o Continente e Madeira foram também utilizados para os Açores. No

entanto, apenas os códigos de habitat correspondentes {s classes “E Zonas Humanizadas”

e “H Rochedos de Interior” foram conservados sem alterações”. Nos restantes foram

efectuadas alterações, “a cada nível da classificaç~o de habitats, de modo a suprimir a

informação desajustada para os Açores e acrescentar novos códigos que tornassem

possível uma melhor descrição dos habitats açorianos (SPEA, 2009: 5)12.

Estabelecer unidades de amostragem/controlo em parcelas/explorações agrícolas

beneficiárias e não-beneficiárias das Medidas do Eixo 2 do PRORURAL– vulgarmente

12

Sobre os códigos de habitats considerados pelo Programa CAC dos Açores ver a Tabela 2 do documento da SPEA (2009).



71

designado por “reference points” (Primdahl et al., 2010)13 - para as espécies Columba

palumbus e Turdus merula e para outras que puderem vir a ser seleccionadas

Garantir a monitorização in situ das espécies de aves nestas unidades de

amostragem/controlo.

Garantir que os procedimentos de representatividade, de unidades de amostragem, sítios

e monitorização estão em conformidade com os elementos enumerados no documento

metodológico sobre os indicadores de impacto.


Até ao Estudo de Avaliação Intercalar, a importância atribuída à implementação atempada dos

procedimentos enumerados foi inexistente, não tendo havido a criação de laços e de sinergias

entre a Autoridade de Gestão e a SPEA. Contudo, a implementação desse tipo de sinergias é tanto

mais relevante quanto:

(i) o Community Strategic Guidelines for Rural Development afirma a importância de

proteger e reforçar os recursos naturais e as paisagens nas áreas rurais e que os recursos

afectados ao Eixo 2 deverão contribuir para a biodiversidade e sua preservação, sendo

esta uma das três áreas prioritárias da União Europeia;

(ii) o Guidance Note B on the CMEF sublinha a importância de as questões de avaliação

horizontal serem avaliadas no contexto do indicador de referência estipulado para o

indicador de impacto em análise; e

(iii) a larga maioria dos 27 EM já disporem de avaliações e tendências quantitativas de

“farmland bird species populations”. De notar que esta afirmação é válida não só para os

EM do Norte e Centro da UE, promotores e leaders da política ambiental e agro-

ambiental (Rodrigo: 2003)14 mas também para EM que integraram o conjunto de países

que mais recentemente aderiram à União Europeia.

Por fim, é também de recordar a exigência da Comissão sobre a utilização dos recursos com

consequências, ou seja, que a avaliação das políticas se processe em bases objectivas e

13

Primdahl, Jørgen et al. (2010) “Current use of impact models for agri-environment schemes and potential for improvements of policy design and assessment”, Journal of Environmental Management, 91. Como este estudo refere, “tendo por objectivo medir a performance e os efeitos de resultado devem ser estabelecida uma espécie de reference points “. Isto pode ser feito comparando a evoluç~o do uso do solo/práticas de gestão e o estado ambiental em terras beneficiadas e n~o beneficiadas” (Primdahl, Jørgen et al., 2010: 1247). 14

Rodrigo, Isabel (2003), “A quest~o ambiental nos territórios rurais e nas agriculturas da Uni~o Europeia”, em Portela, José e João Castro Caldas (Orgs.), Portugal Chão, Celta, 2003, pp. 167-187.



72

quantificadas. Como se sabe, desde o início da Política Agro-ambiental que a Comissão

Europeia vem gradualmente a introduzir linhas de orientação para a avaliação dos impactos

agro-ambientais, mais exigentes e quantificadas, as quais culminaram no actual QCAA.

Manutenção de terras agrícolas e florestais de elevado valor natural

Contextualização

O conceito de sistemas agrícolas e florestais de alto valor natural é um conceito relativamente

recente (introduzido nos anos 90) e descreve aquelas actividades e superfícies agrícolas que,

devido às suas características, é expectável que constituam o suporte de elevados níveis de

biodiversidade ou espécies e habitats com preocupações de conservação (Baldock et al., 1993;

Beaufoy et al., 1994; Bignal and McCracken, 2000). Os sistemas agrícolas e florestais com maior

valor natural constituem, assim, abrigo a numerosos tipos de habitats, os quais dependem da

continuidade desses sistemas para a sua conservação.

Os sistemas agrícolas e florestais de alto valor natural devem contemplar, nas suas características,

e em simultâneo, baixa intensidade de produção, presença de vegetação

semi-natural e elevada diversidade de cobertura do solo, conforme se encontra esquematizado na

figura seguinte.

Figura 11. Características-chave dos sistemas agrícolas de alto valor natural

Fonte: Approaches for assessing the impacts of the Rural Development Programmes in the context of multiple intervening factors, Março 2010.

HNV

Sistemas de baixa intensidade: Encabeçamento/ha Azoto/ha Biocidas/ha

Alta diversidade de cobertura do solo: Culturas Pousios Pastagens e arbustos Elementos naturais

Alta proporção de vegetação semi-natural Pastos e arbustos Árvores Divisórias naturais das

parcelas Corpos de água



73

As culturas permanentes, nomeadamente, os pomares tradicionais de frutos e de frutos secos,

podem ser consideradas de elevado valor natural, pois as características-chave consistem na

presença de árvores e de sobcoberto semi-natural. O sob-coberto semi-natural é um elemento

essencial na biodiversidade destes sistemas agrícolas e deve estar presente todo ou em quase

todo o ano.

Os sistemas para ser considerados de alto valor natural não devem ser irrigados nem fertilizados

com adubos azotados e não devem ser utilizados biocidas ou insecticidas de largo espectro, pelo

que cabe, nestes sistemas, pastagens naturais de Ilhas menos densas em termos animais. A

presença de elementos como muros de pedra e divisórias de parcelas naturais, são de extrema

importância para o reforço da biodiversidade, características de alguns sistemas de produção na

RA Açores, nomeadamente, da cultura da vinha na Ilha do Pico.

Metodologia

O indicador de referência não foi considerado aquando da concepção do Programa, devido ao

facto de não estar definida, ainda, a área ocupada por sistemas agrícolas e florestais de alto valor

natural, na RA Açores, pelo que não se dispõe de elementos caracterizadores da situação de

referência, nem de elementos que permitam realizar a avaliação deste indicador.

Todavia, está em curso a definição de uma metodologia pela Autoridade de Gestão, com o apoio

do Gabinete de Políticas e Planeamento do Ministério da Agricultura do Desenvolvimento Rural e

das Pescas, para apurar os valores de referência, reportados ao ano de 2007.

De acordo com a Autoridade de Gestão do PRORURAL, na definição da metodologia está implícita

a preocupação com a sua utilização por parte da Equipa de Avaliação, sendo possível utilizar a

mesma metodologia para verificar a influência que o Programa teve sobre esses sistemas no final

do período de vigência do PRORURAL.

Os passos que a Autoridade de Gestão vai seguir para chegar ao indicador de referência, são os

seguintes:

1. Identificação de sistemas agrícolas reconhecidos pelo seu alto valor natural, tendo em

consideração o documento orientador “The Application of the High Nature Value Impact

Indicator”, elaborado pela Rede Europeia de Avaliação.

2. Identificação de critérios que, aplicados à informação relativa aos pedidos de pagamento,

permitam reconhecer os sistemas identificados.



74

3. Aplicação dos critérios à informação de base e avaliação da área associada aos sistemas

caracterizados, tendo em consideração a necessidade de se evitar a dupla contagem.

Note-se que cada EM tem a liberdade de adoptar qualquer metodologia para identificar os

sistemas de alto valor natural respectivos, desde que aplicando as características-chave e os

conceitos base definidos pela Rede Europeia de Avaliação.

Face ao exposto, e tendo em conta a influência específica do PRORURAL nesses sistemas de alto

valor natural, a avaliação do indicador de Impacto ambiental atribuirá destaque à Medida

“Pagamentos Natura 2000 em terras agrícolas” (Cód. (CE) 213 da Acç~o 2.2.3 – “Pagamentos

Natura 2000 em terras agrícolas” do Eixo 2, dado o facto de a mesma se encontrar

especificamente vocacionada para a “Manutenç~o das terras agrícolas e florestais de Elevado

Valor Natural”, como consta dos objectivos que estiveram subjacentes à sua inclusão no

PRORURAL, a saber:

(i) manter o estado de conservação favorável dos Sítios de Importância comunitária da

Rede Natura 2000 designados no âmbito da Directiva 92/43/CEE de 21 de Maio

Directiva [Directiva Habitats];

(ii) evitar a deterioração dos habitats naturais, dos habitats das espécies, bem como as

perturbações que atinjam as espécies para as quais os Sítios de Importância

Comunitária foram designados, na medida em que possam ter um efeito significativo;

e

(iii) promover a implementação de medidas dinamizadoras preventivas para o Sector

Agrícola/Pecuário identificado no Plano Sectorial da Rede Natura 2000 da Região.

Melhoria da qualidade da água

Contextualização

De acordo com o documento do PRORURAL, o indicador de Impacto Melhoria da qualidade da

água é definido como a alteração quantitativa na estimativa do balanço bruto dos nutrientes no

solo que pode ser atribuída à intervenção, uma vez contabilizados efeitos de dupla contagem,

peso morto e de deslocamento/substituição. O balanço bruto dos nutrientes indica a potencial

perda de nutrientes nas massas de água, susceptível de ser prejudicial para a qualidade da água.

Este indicador é medido através da variação da quantidade de azoto utilizada, em toneladas.



75

Para o cálculo do balanço bruto de nutrientes no solo, a Equipa de Avaliação vai adoptar a

metodologia da OCDE15, recomendada no documento Approaches for assessing the impacts of the

Rural Development Programmes in the context of multiple intervening factors e também utilizada

pelo INE16.O cálculo do balanço bruto de nutrientes restringir-se-á ao azoto. A exclusão,

nomeadamente, do cálculo do balanço do fósforo advém do definido no Programa PRORURAL,

versão 201017.

De acordo com a metodologia da OECD/EUROSTAT, 2003, e do IRENA Indicator Fact Sheet; IRENA

18.1 – Gross Nitrogen Balance, “o c|lculo do balanço bruto de nutrientes no solo estabelece as

relações entre o uso de nutrientes pela agricultura, as alterações na qualidade ambiental e o uso

sustentável dos solos. (...) Quando o objectivo é avaliar o impacto ambiental do excesso de azoto,

é necessária informação relativa à gestão do azoto pela exploração, o tipo de solo e as condições

climáticas, uma vez que todos estes factores desempenham um papel relevante do destino do

azoto no ambiente” (IRENA 18.1 – Gross Nitrogen Balance).

No que refere ao balanço do azoto, este último documento esclarece ainda que o mesmo se

relaciona com o potencial excedente de azoto no solo agrícola, sendo aquele “estimado através da

diferença entre o azoto adicionado/incorporado a um dado sistema agrícola [input] e o azoto

retido/removido pelo sistema [output] por hectare de terra agrícola.

O uso excessivo de adubos azotados na gestão das actividades agrícolas vegetais é um dos

factores que contribui para a acumulação de azoto no solo (e na água)18. De notar que a poluição

do solo com azoto pela actividade agrícola não resulta exclusivamente da acção dos adubos, como

aliás a definição de balanço do azoto acima exposta esclarece. A mineralização de detritos e

correctivos orgânicos, a fixação do azoto atmosférico, as águas da chuva e da rega são exemplos

de outros factores que também podem contribuir para a poluição do solo (e das águas) com azoto.

Porém, no caso dos detritos e correctivos orgânicos, dado que o processo de libertação de azoto

15

OCDE, OECD National Soil Surface Nitrogen Balances: Explanatory Notes”, OECD Secretariat, March, 2001, 19 p..; OECD/EUROSTAT, 2003, IRENA Indicator Fact Sheet; IRENA 18.1 – Gross Nitrogen Balance. 16

INE, Indicadores agro-ambientais 1989-2007; INE, Estatísticas dos Indicadores Agro-ambientais: Documento Metodológico, Versão 1.0. 17

Por exemplo, nas páginas 270 e 271 daquele documento. 18

Sobre esta questão ver, p.e., a metodologia utilizada na análise do potencial poluente por nitratos, baseada na estimativa da concentração média de nitratos de origem agrícola na água de escoamento, tendo por base o cálculo do balanço do azoto nas principais actividades agrícolas, vegetais e animais, praticadas na Região Ribatejo e Oeste e que consta do documento final do “Estudo sobre a Aplicaç~o das Medidas Agro-Ambientais no Ribatejo e Oeste no período 2000-2006”. Este Estudo teve por objectivo propor as medidas agro-ambientais que se afiguravam ajustadas à realidade socioeconómica, ambiental e dos recursos naturais da Região Ribatejo e Oeste, foi realizado em 1998 e financiado pela Direcção Geral do Desenvolvimento Rural do Ministério da Agricultura, do Desenvolvimento Rural e das Pescas. Intitula-se Agricultura e ambiente no Ribatejo e Oeste e foi realizado por Isabel Rodrigo & José Lima Santos, Departamento de Economia Agrária e Sociologia Rural, ISA, 1998.



76

(nítrico) é mais lento e gradual, os riscos de acumulação de azoto no solo e a sua transferência para

os aquíferos são teoricamente menores, comparativamente ao que sucede com a acção dos

adubos.

Os impactos ambientais positivos do Programa PRORURAL a nível da “Melhoria da qualidade da

|gua” advêm essencialmente das Medidas do Eixo 2 do Programa, com destaque para as

seguintes Intervenções: “Agricultura Biológica” (AB); “Manutenç~o da extensificaç~o da produç~o

pecu|ria” (MEPP) e “Protecç~o de lagoas” (PL) que constituem a Acç~o 2.2.1 “Promoç~o de

Modos de Produç~o Sustent|veis”.

Porém, e como já reiterado neste Relatório, na avaliação do impacto ambiental do PRORURAL há

também que ter em consideração Medidas do Programa que possam estar a exercer um efeito

negativo e contrário aos objectivos definidos. De uma forma geral, tendem a ser Medidas do Eixo 1

do PRORURAL que, pela sua natureza, possuem potencialidades acrescidas para contrariar o

potencial efeito positivo da aplicação das Medidas do Eixo 2.

Metodologia

O indicador balanço bruto de azoto contabiliza todos os inputs e outputs da exploração agrícola e

todas as emissões residuais da agricultura no solo, água e no ar (volatilização da amónia). Os

principais inputs do balanço incluem os volumes de azoto na forma de fertilizante mineral, de

fertilizante orgânico, de fixação biológica de azoto e de deposição atmosférica por hectare. Os

principais outputs do balanço incluem os volumes de azoto retidos/removidos pelas culturas onde

se incluem as pastagens e as culturas forrageiras consumidas pelo gado por hectare” (IRENA 18.1 –

Gross Nitrogen Balance).

Nos pontos seguintes ilustra-se o cálculo do balanço bruto do azoto no solo, de acordo com a

metodologia da OECD/EUROSTAT, 2003/IRENA Indicator Fact Sheet; IRENA 18.1 — Gross Nitrogen

Balance.



77

1. Definir os termos e fluxos a considerar no cálculo do balanço bruto do azoto no solo

.

2. Proceder à estimativa de cada um dos respectivos termos da Equação 1

[(N)Fert.M] determinada com base nas quantidades de azoto presentes nos fertilizantes

minerais mais utilizados.

[(N)Fert.O] = número de animais (cabeças), por espécie animal * coeficiente de

conversão do estrume em azoto (Kg./cabeça/ano) da espécie animal em causa +

quantidade de estrume * coeficiente de conversão, de acordo com a espécie animal.

[(N)Dep.Atm] = SAU * coeficiente de deposição atmosférica da RA Açores.

[(N)Fix. Bio] = área cultivada com leguminosas * coeficiente de fixação de azoto

das culturas leguminosas + SAU (terra arável, culturas permanentes e pastagens

permanentes) * coeficiente de fixação de azoto dos organismos vivos.

[Nec. Cul. Agríc.(N)] = azoto retido/removido do solo pela cultura agrícola (a) *

coeficiente de remoção do azoto dessa cultura + azoto retido/removido do solo

pela cultura agrícola (n) * coeficiente de remoção do azoto dessa cultura.

Equação 1

[N]=[(N)Fert.M]+[(N)Fert.O]+[(N)Dep.Atm]+[(N)Fix.Bio]–[Nec.Cul.Agríc.(N)]

[N] - balanço do azoto a calcular (Kg.N)

[(N)Fert.M] - quantidade de azoto adicionado/incorporado no solo sob a forma de fertilizantes minerais azotados (Kg.N)

[(N)Fert.O] - quantidade de azoto adicionado/incorporado no solo sob a forma de fertilizante orgânico (estrume animal) (Kg.N)

[(N)Dep.Atm] - quantidade de azoto no solo por deposição atmosférica (Kg.N)

[(N)Fix. Bio] - quantidade de azoto fixado no solo por leguminosas e por organismos vivos (Kg.N)

[Nec.Cul.Agríc.(N)] - necessidades das culturas em azoto para um determinado nível de

produção, ou seja, o volume de azoto retido/removido pelas culturas, incluindo as pastagens e

culturas forrageiras consumidas pela actividade pecuária (Kg.)



78

3. Cálculo dos efeitos de peso morto, dupla contagem e deslocamento

Efeito de peso morto ou de inércia

Corresponde às entradas e saídas de azoto nas explorações beneficiárias que ocorreriam

na ausência do Programa (esta é a situação contrafactual). Supõe-se, portanto, que a

adesão das explorações às Medidas do Eixo 2 contribuirá para reduzir a quantidade de

azoto incorporado no solo por estas unidades produtivas.

Neste contexto, tem de se definir a situação contrafactual, ou seja, uma amostra não

“sujeita” {s Intervenções do PRORURAL. Por outras palavras, h| que seleccionar uma

amostra de explorações agrícolas não-beneficiárias que possuam o mesmo perfil que as

explorações beneficiárias, de modo a ser possível estabelecer comparações. Para estas

explorações é necessário estimar o balanço do azoto como definido na Equação 1.

Efeito de dupla contagem

Corresponde à identificação do contributo individual de cada Medida/Intervenção, para o

balanço do azoto, sempre que o beneficiário em análise aufira de apoios de mais do que

uma Medida/Intervenção com efeitos sobre o balanço do azoto na exploração. Nas

situações em que a mesma exploração agrícola tenha aderido a várias

Medidas/Intervenções que possam influenciar o balanço do azoto, será necessário

determinar o impacto causado por cada uma dessas Medidas/Intervenções de forma a

evitar a dupla contagem.

Exemplo

Para acautelar esta situação, sugere-se o exemplo seguinte: a exploração A aderiu às

Medidas/Intervenções X e Y. O balanço do azoto estimado para a exploração A (NA)

reflecte, naturalmente, os impactos das duas Medidas/Intervenções. Para determinar o

contributo de cada uma delas, há que determinar, em primeiro lugar, um factor de peso

(P) para cada uma das Medidas/Intervenções. Este factor deverá ser calculado do seguinte

modo:



79

No exemplo da exploração A o efeito relativo de cada Medida/Intervenção é determinado de

acordo com as Equações 4 e 5

Efeito de deslocamento

Este efeito refere-se a efeitos indirectos no balanço bruto de nutrientes em explorações

não-beneficiárias de Medidas do Eixo 2 do PRORURAL. Por exemplo, considere-se uma

exploração agrícola não-beneficiária que pratica um sistema de produção orientado para a

pecuária extensiva e que venda o estrume produzido a outra exploração, beneficiária p.e.

da Intervenção Agricultura biológica. Neste exemplo, o azoto com origem no estrume será

Equação 2

P(XY) = (NX)/(NX + NY)

Equação 3

P(YX) = (NY)/(NX + NY)

Onde:

P(XY) é o peso da Medida/Intervenção X em relação à Medida/Intervenção Y

P(YX) é o peso da Medida/Intervenção Y em relação à Medida/Intervenção X,

sendo P(XY) + P(YX) = 1

N(X) é a média do balanço do azoto de explorações que tenham aderido só à Medida/Intervenção (X)

N(Y) é a média do balanço do azoto de explorações que tenham aderido só à Medida/Intervenção (Y)

Equação 4

NA(X) = P(XY)*NA

Equação 5

NA(Y) = P(YX)*NA

Onde:

NA(X) é o balanço do azoto da exploração A em resultado da sua adesão à Medida/Intervenção X

NA(Y) é o balanço do azoto da exploração A em resultado da sua adesão à Medida/Intervenção Y,

P(XY) e P(YX) são os pesos (P) das Medidas/Intervenções X e Y. Estes pesos são determinados, respectivamente, de acordo com as Equações 2 e 3

NA é o balanço do azoto na exploração A, o qual reflectirá a adesão de A às Medidas/Intervenções X e Y.



80

contabilizado como uma entrada de azoto na exploração beneficiária. Os efeitos de

substituição/deslocamento referem-se, portanto, à alteração no balanço de azoto na

exploração não-beneficiária que, ao vender o estrume (em vez de o incorporar no solo),

regista, consequentemente, um input inferior de azoto no solo.

Para a determinação dos efeitos de deslocamento é necessário i) identificar a origem de

todas as introduções (inputs) de azoto sob a forma de fertilizante orgânico (estrume

animal) nas parcelas beneficiárias das Intervenções do PRORURAL, na situação antes e

depois da implementação das mesmas; e (ii) identificar se o estrume é oriundo da

actividade pecuária exercida em regime de exploração intensiva ou extensiva.

De seguida apresentam-se os procedimentos a adoptar na Avaliação Intercalar e na Avaliação ex

post do Programa PRORURAL.


De seguida, apresentam-se os procedimentos metodológicos a observar para a avaliação do

Indicador de Impacto Melhoria da qualidade da água na Avaliação Intercalar do PRORURAL. Esses

procedimentos encontram-se descritos sob duas perspectivas diferentes, tentando atenuar as

indisponibilidades em termos de informação, mas que deve ser analisadas em conjunto.

Análise com base no Regime de ajudas a conceder para fazer face ao custo acrescido do

adubo derivado dos encargos com o transporte marítimo para a Região Autónoma dos Açores

i) análise da informação por agricultor, área da parcela e respectivo aproveitamento do

solo (cultura), por ilha e por ano, desde 2003, constante dos pedidos de ajudas a

conceder aos agricultores para fazer face ao custo acrescido do adubo, derivado dos

encargos com o transporte marítimo para a RA Açores ao abrigo da Portaria nº 10/2009

de 20 de Fevereiro da Secretaria Regional da Agricultura e Florestas, bem como das

Portarias anteriores(com início em 2003).

Pese embora a larga maioria dos agricultores da RA Açores que utiliza adubos faça uso

dos benefícios concedidos ao abrigo desta Portaria, sublinhe-se que a utilização desta

informação é um indicador cujo conteúdo possui relevância reduzida, quando se tem

por objectivo avaliar o impacto ambiental do PRORURAL na melhoria da qualidade da

água. Com efeito, aquela informação refere-se à quantidade de adubos utilizados pelos

agricultores, sem que os mesmos sejam descriminados pelo peso/quantidade dos

adubos azotados e respectiva composição em azoto.



81

A análise da evolução da referida informação desde 2003, e de acordo com as variáveis

acima especificadas, permite meramente concluir sobre a evolução do consumo de

adubos na RAA. Permite ainda inferir a evolução do consumo de adubos azotados que,

de acordo com a informação do PRORURAL, versão de 2010, tendem a ser os mais

utilizados pelos agricultores da RAA. Segundo este documento, de acordo com as

estimativas constantes no Plano Regional da Água elaborado em 2001, o consumo de

fertilizantes azotados elementares de Azoto varia entre 10 Kg/ha SAU no Corvo e 392

Kg/ha SAU em São Miguel com apenas 4 ilhas a ultrapassar 100 Kg/ha SAU (média de

Portugal Continental 350 Kg/ha SAU; e o consumo de Fósforo entre 1 Kg/ha SAU nas

Flores e 73 Kg/ha SAU em São Miguel (média nacional 180 Kg/ha SAU) (PRORURAL,

versão 2010, pág. 88).

ii) análise da informação relativa às análises de solo exigidas para a atribuição da ajuda

aos correctivos alcalinizantes, ao abrigo do normativo legal acima explicitado, e que

tem por finalidade comprovar a necessidade da sua aplicação.

A análise desta informação deverá obedecer às variáveis enumeradas em (i),

concretamente, por agricultor, área da parcela e respectivo aproveitamento do solo

(cultura), por ilha e por ano, desde 2003, e deverá ser cruzada com a informação

recolhida em (i), sempre que o mesmo por agricultor, área da parcela e respectivo

aproveitamento do solo (cultura), por ilha e por ano, desde 2003, tenha beneficiado dos

dois tipos de apoio (ao adubos e aos correctivos alcalinizantes).

Análise dos indicadores de resultado relativos às Intervenções da Acção 2.2.1 do Eixo 2 do

PRORURAL cujas metas figuram no Quadro 6.

Quadro 6. Metas quantificadas para os Indicadores de Acompanhamento e Avaliação da Acção 2.2.1 da Medida 2.2 “Pagamentos Agro-ambientais e Natura 2000”

Descrição Metas (ha)

Superfície, em que a gestão do espaço rural, contribui para a qualidade da água (ha) 80-100

Superfície, em que a gestão do espaço rural, contribui para a qualidade dos solos (ha) 32.000 – 37.000

Fonte: PRORURAL, versão de 2010.



82


Nos pontos seguintes indicam-se os procedimentos a adoptar para efeitos da Avaliação ex-post do

Programa:

1. Cálculo do balanço do azoto nas explorações beneficiárias do PRORURAL, antes e após a

adesão às Medidas seleccionadas

2. Determinação do efeito de peso morto, isto é, dos impactos na qualidade da água que

teriam ocorrido na ausência do Programa e incluir este efeito no balanço estimado em (1).

3. Contabilização do efeito de dupla contagem nos casos em que a mesma exploração auferido

de dois ou mais apoios que tenham influência sobre o balanço do azoto.

4. Identificação dos efeitos de deslocamento e discussão dos valores determinados em (2) e (3)

tendo em conta estes efeitos.

A operacionalização dos pontos (2), (3), e (4) encontra-se detalhada no item da metodologia (págs.

82-85).

Condicionantes

No âmbito da resposta a este indicador, há aspectos importante a ter em consideração, entre os

quais se destacam os seguintes:

inviabilidade da medição da componente de deposição atmosférica do azoto, com origem

em sectores não agrícolas;

ausência de dados consensuais sobre a quantidade de fertilizantes aplicados no

Arquipélago (PRORURAL, versão 2010, pág. 88);

variabilidade dos níveis de consumo de fertilizantes nas várias ilhas da RA Açores;

inexistência de informação disponível que permita proceder ao cálculo do balanço de

azoto.

No que respeita ao último aspecto assinalado, considera-se que o contributo dos dados constantes

da RICA e dos pagamentos ao abrigo da Portaria nº 10/2009 de 20 de Fevereiro, poderá ser uma

mais-valia relevante uma vez que pode possibilitar a determinação da quantidade de adubo

aplicada em explorações agrícolas não-beneficiárias do PRORURAL e, deste modo, avaliar e

deduzir o efeito de inércia. Supõe-se, neste contexto, que poderá haver uma recolha adicional de



83

informação sobre o tipo e quantidades de adubos utilizados pelas explorações, mas também o

teor de azoto dos adubos azotados que as mesmas incorporam no solo. O mesmo sucede com o

que se prende com as quantidades de estrume utilizado, a origem animal do mesmo, e a

proveniência do estrume (se da própria exploração ou adquirido a terceiros).

Uma outra fonte de informação adicional pode ser utilizada se se verificar o desenvolvimento do

Plano de Fertilização Racional, o qual visa uma melhor caracterização dos níveis de fertilizantes

utilizados na RA Açores e tem um sistema de aconselhamento dirigido para uma prática de

fertilização adequada. Este Plano, implementado pelo Governo regional e a Universidade dos

Açores, tem como principal objectivo mitigar a poluição provocada pelo excesso de fertilizações

nas explorações agro-pecuárias, particularmente, nas Ilhas de São Miguel, da Terceira e do Pico.

Contribuição para o combate às alterações climáticas

Contextualização

O Indicador de Impacto Contribuição para o combate às alterações climáticas é avaliado sobretudo

em termos do acréscimo da produção de energias renováveis em meio rural, de acordo com o

Quadro Comum de Acompanhamento e Avaliação (QCAA). Este indicador de referência é definido

em termos da variação quantitativa e qualitativa na produção de energia renovável que pode ser

atribuído, após a remoção do efeito de dupla-contagem, inércia e deslocamento e é medido no

valor estimado de toneladas equivalente de petróleo (tep).

No que se refere à contribuição para o combate às alterações climáticas, existem, na estrutura do

PRORURAL, várias Medidas que tendem, mesmo que indirectamente, a contribuir para a

diminuição das emissões de gases de estufa e para o sequestro de carbono, assumindo particular

relevância as Medidas constantes do Eixo 2 e as intervenções florestais inscritas na Medida 1.6. do

Eixo 1.

Todavia, note-se que outras Medidas do Eixo 1, embora não apoiando intervenções que visem

directamente o combate às alterações climáticas, abrangem sistemas de produção com efeitos

positivos nesta matéria, destacando-se a Medida 1.5 (Modernização das explorações agrícolas)

nos apoios concedidos para a modernização do parque de máquinas agrícolas (recorrendo a

tecnologias menos poluidoras) e a instalação de energias renováveis.



84

Também os apoios para a implementação de sistemas de tratamento dos efluentes pecuários,

inscritos na Medida 1.5, valorizados nos novos desafios que se colocam à reestruturação do sector

leiteiro19 com potencial aproveitamento para a produção de biogás, permitirão contribuir para

este objectivo-chave.

Condicionantes à aplicação da metodologia definida pela Rede Europeia de Avaliação

A estimativa deste Indicador de impacto, à semelhança do que ocorre para os anteriores será

efectuada tendo presente a situação de referência, constante dos elementos de diagnóstico do

Documento do PRORURAL. Todavia, a própria Comissão Europeia reconhece que a experiência de

avaliação dos impactos das medidas de política de Desenvolvimento Rural nas alterações

climáticas é limitada e que se baseia sobretudo em indicadores de área e produção.

No que respeita aos Indicadores Comuns da Situação de Referência, são considerados três tipos

de indicadores de base relacionados:

Produção de energia renovável da agricultura e florestas;

Superfície Agrícola Útil dedicada a culturas energéticas e de biomassa;

Emissões de Gases com Efeito de Estufa (GEE) pela agricultura.

O indicador de referência utilizado pelo PRORURAL consiste no acréscimo da produção de energias

renováveis em meio rural, em tep. Contudo, na avaliação ex-ante do PRORURAL foram

identificados os seguintes aspectos:

a produção de energias renováveis na agricultura não é efectuada na RA Açores: a cultura

de oleoginosas e de cereais, particularmente, trigo e cevada, é praticamente inexistente

na Região;

a produção de energias renováveis a partir da produção florestal não se tem verificado: é

negligenciável qualquer utilização de matos ou outros sub-produtos florestais;

existe apenas uma unidade de produção de biogás em toda a Região (a partir de efluentes

da produção suína);

19

Decisão da Comissão de 2.3.2010 que aprova a revisão do Programa de Desenvolvimento Rural dos Açores relativo ao período de programação 2007-2013 e altera a Decisão da Comissão C(2007) 6162 de 4 de Dezembro de 2007 que aprova este Programa de desenvolvimento rural.



85

não está disponível para a RA Açores informação sobre as emissões de gases com efeito

de estufa (págs. 53 e 54).

A acrescer não estão afectas áreas agrícolas e/ou florestais para a produção de energia e

biomassa. De acordo com o Relatório de Execução do PRORURAL, relativo ao ano de 2008, o

aproveitamento da biomassa na RA Açores encontra-se num estado muito inicial. Embora sejam

muitos os factores que motivam a exploração da biomassa, particularmente, os seus conteúdos

energéticos, o seu aproveitamento não se efectua (uma das formas mais simples de

aproveitamento da biomassa passará certamente pela queima da madeira, recurso relativamente

abundante na região e que necessita de uma melhor gestão, em igual modo, a limpeza das

manchas florestais pode ser um contributo extremamente importante, não só pelo

aproveitamento energético, como também pela gestão do risco de incêndio e pela criação de

emprego, pág. 25).

Em suma, a escassa informação estatística com níveis de desagregação e de actualização

desejáveis ao processo de actualização dos contextos iniciais de Programação; a inexistência de

conteúdos informativos adequados à natureza dos indicadores de impacto; e a ausência de uma

situação de referência consistente, não constitui uma base de trabalho robusta para a avaliação do

indicador de impacto em análise.

Face ao exposto, e em sede de Avaliação Intercalar, este indicador de impacto, será avaliado com

base em informação de indicadores de resultados, complementando a análise com recurso a

informação qualitativa, sobretudo, através de alguns documentos de referência recomendados

pelo documento metodológico elaborado pela Rede Europeia de Avaliação.

Em simultâneo, a Equipa de Avaliação, em conjunto com a Autoridade de Gestão e com entidades

de referência (p.e., a Universidade dos Açores) tentará ultrapassar essas eventuais insuficiências,

nomeadamente, através da introdução de factores qualitativos na análise a empreender ou

mesmo sugerir outra medida para calcular o impacto, p.e., Emissões de Gases com Efeito de

Estufa (GEE). Neste contexto, refira-se que esta unidade medida poderia porventura ser mais

adequada à realidade do sector agrícola da RA Açores, sobretudo, pela importância que assume a

produção de gado bovino (leite e carne) [e tendo em conta que ainda este ano vai ser disponibilizado

um referencial estatístico com dados acurados sobre o número de animais existente na RA Açores –

RGA 09].



86

Neste alinhamento, a principal fonte de dados é a Agência Europeia do Ambiente (AEA), que

compila os dados dos Estados-Membros sobre as alterações climáticas. Os EM aplicam as

orientações do Intergovernmental Panel on Climate Change (IPCC), de 1996, para estimar as

emissões e utilizam um formato de informação comum para a apresentação dos seus inventários.

A entidade responsável pela elaboração do Inventário Nacional sobre as Emissões de Gases de

Estufa é a Agência Portuguesa para o Ambiente (APA), que recentemente elaborou o “Portuguese

National Inventory Report on Greenhouse Gases, 1990 – 2008” (Abril, 2010), apresentado no

âmbito da Convenção sobre as Alterações Climáticas e do Protocolo de Quioto. Este documento

apresenta as emissões de GEE de diversas fontes, sendo de destacar a quantificação das emissões

associadas à actividade agrícola (p.e., emissões de metano (CH4) proveniente da fermentação

entérica e emissões de CH4 e N2O proveniente da gestão de estrumes); e as emissões e remoções

ligadas ao uso da terra (p.e., áreas florestais e pastagens). Pese embora no documento seja

perceptível a ausência da RA Açores para alguns dos aspectos avaliados, é de notar que o mesmo

apresenta pistas e metodologias e valores de referência para o cálculo destes valores.

A título de exemplo, apresenta-se a metodologia para as emissões proveniente da fermentação

entérica do gado. As emissões são estimadas para cada tipo de animal através da multiplicação do

número de animais pelo respectivo factor de emissão.

EmiCH4 (y) = t [EF(i,y) * N(i,y)] onde, para cada espécie: EmiCH4 - emissões de metano da fermentação entérica no ano y, kg CH4/ano; EF - factor de emissão para a população específica do animal no ano y, kg/cabeça/ano;; N - número de animais do tipo i no ano y, cabeça.



87

Quadro 7. Factores de emissão provenientes da fermentação entérica (kg CH4/cabeça/ano)

Tipo de animal Sub - classe kg (CH4/cabeça/ano)

Bovino Leiteiro Vacas leiteiras 91-119

Bovinos de Carne

Vitelos de carne ( <1 ano) 32-36

Vitelos machos para substituição ( <1 ano) 40-46

Vitelos fêmeas para substituição ( <1 ano) 34-39

Machos (1-2 anos) 62-70

Fêmeas (1-2 anos) 42-48

Fêmeas para reprodução (1-2 anos) 48 - 55

Novilho (> 2 anos) 77 - 88

Vacas adultas (> 2 anos) 52 - 59

Vacas adultas para substituição (> 2 anos) 52 - 59

Vacas 64 - 74

Suínos

Leitões (< 20kg) 0,3

Porcos de engorda (20-50 kg) 1,3

Porcos de engorda(50-80 kg) 1,9

Porcos de engorda (> 110 kg) 2,2

Javali (> 50 Kg) 2,5

Porcas cobertas 1,8

Porcas não cobertas 3,8

Ovinos

Ovelhas 8,1-10,7

Outros: carneiros 10-13,1

Cordeiros 4,3-5,6

Caprinos

Bode 7,8-9,4

Outros: Bodes jovens 4,8-5,8

Cabritos 2,6-3,1

Equídeos Cavalos 18

Gado asinino 10

Outros Coelhos 3,6

Fonte: Portuguese National Inventory Report on Greenhouse Gases, 1990 – 2008, APA, Abril 2010.

3.2. Questões Comuns de Avaliação (específicas e horizontais)

No âmbito do QCAA foi definido um conjunto alargado de Questões Comuns de Avaliação (QCA)

que devem ser respondidas nas Avaliações Intercalar e ex-post. Tendo por referência as QCA que

se procura responder apresenta-se de seguida a abordagem metodológica para responder a essas

Questões horizontais e específicas, a qual assenta na análise do conjunto de indicadores definidos

no Programa, de acordo com a cadeia de lógica do Programa (Eixo, Medida e Acção); e na vasta

recolha de informação com base nas técnicas e instrumentos de avaliação, organizadas de acordo

com a natureza das Questões; e nos resultados da Avaliação.

Os níveis de trabalho assinalados constituem uma aproximação objectiva às QCA em matéria do

seu preenchimento, incluindo a recolha de informação relevante e com base em técnicas analíticas

precisas mas carecendo de capacidade para esclarecer os critérios e aspectos e para conduzir a

http://pt.wikipedia.org/wiki/Gado_asinino



88

resultados/conclusões fiáveis, particularmente, no que se refere às QCA horizontais (a

metodologia para a resposta à QCA encontra-se descrita no Volume II – Anexo IX. Metodologia

para a resposta às Questões Comuns de Avaliação, horizontais e específicas.

As Questões de Avaliação horizontal tratam de uma aproximação à estimativa do possível

impacto do Programa sobre, nomeadamente, a realização das prioridades comunitárias em

relação à renovada Estratégia de Lisboa de crescimento e emprego; dos três domínios prioritários

para a protecção e a melhoria dos recursos e paisagens naturais nas zonas rurais; dos objectivos da

política de coesão económica e social; e dos objectivos de competitividade, inovação e

sustentabilidade do Complexo agro-florestal. O enfoque consiste, assim, na apreciação dos

resultados, efeitos e impactos do Programa sobre dimensões macro (nível nacional e

comunitário).

Ora, a Equipa de Avaliação questiona até que ponto existe influência do PRORURAL sobre as

questões transversais europeias, devido a diversos factores, entre os quais se destaca a

insularidade e os recursos financeiros, face a outros EM, mais bem posicionados em termos

territoriais, com uma maior dimensão e com recursos bastante mais elevados para a aplicação da

política de desenvolvimento rural.

A Equipa de Avaliação deixa, assim, registada a grande dificuldade de responder a questões com

um tão forte pendor de influência a nível europeu e, consequentemente, questiona a pertinência

da resposta a essas mesmas questões por considerar que os impactos do desenvolvimento das

actividades do complexo agro-florestal e do desenvolvimento rural são usualmente absorvidos nas

actividades a que dizem respeito e nas zonas de intervenção imediatas. Não obstante, o Volume II

deste Relatório apresenta quer a metodologia geral, quer a metodologias para responder

especificamente a cada uma das QCA, horizontais e específicas (cf. Anexo IX).

A figura seguinte sistematiza, de forma aligeirada, os principais recursos que vão ser utilizados em

cada tipologia de Questão.



89

Figura 12. Recursos que vão ser utilizados na resposta às Questões Comuns de Avaliação

A resposta às Questões Comuns de Avaliação horizontais vai recorrer à utilização de indicadores

socioeconómicos e de contexto resultantes de estatísticas nacionais e europeias (p.e., resultantes

do trabalho desenvolvido pelo EUROSTAT), para além de fontes de dados secundários quando for

possível o seu ajustamento à natureza da Questão de Avaliação e ao espaço territorial, já que

muitos dos indicadores que se demonstram importantes não contemplam desagregação ao nível

regional, sendo considerados apenas no contexto nacional.

Na maioria dos casos é possível recorrer aos indicadores de resultado e de impacto para construir

respostas suficientemente fiáveis no que se refere à componente quantitativa. No entanto, esta

componente perde alguma significância quando se pretende uma análise alargada em termos

Questões de Avaliação

específicas

Recursos

•Entrevistas•Reuniões de trabalho•Informação documental•Resultados da aplicação de

Inquéritos e da realização de Estudos de Caso

•Estimativa dos indicadores de realização e deresultado das Medidas

•Avaliação da eficiência e de eficácia por Medida

Questões de Avaliação

horizontais

Recursos

•Entrevistas•Reuniões de trabalho•Informação documental•Indicadores de contexto•Resultados da aplicação de

Inquéritos e da realização de Estudos de Caso

•Estimativa dos indicadores de impacto do Programa

•Resposta às Questõs de Avaliação específicas



90

físicos/territoriais. A manobra que pode permitir contornar essa insuficiência em termos de

informação concreta consiste no recurso ao processamento de informação qualitativa,

consubstanciada através de entrevistas e de pesquisa e análise de informação documental.

Outra base de informação para a resposta às Questões de Avaliação horizontais consiste na

estimativa dos sete Indicadores Comuns de Impacto do Programa

A resposta às Questões Comuns de Avaliação específicas ocorre com base no somatório de

diversas dimensões analíticas, reflectindo todo o trabalho de Avaliação, sobretudo aquele

efectuado ao nível das Medidas.

A metodologia base para a resposta às QCA específicas, assenta predominantemente em

componentes de carácter documental e estatístico/quantitativo (estatísticas formais e bases de

dados dos sistemas de informação que dão suporte á gestão do Programa), sendo igualmente

importante o contributo decorrente da análise de informação primária recolhida através de

entrevistas, de processos de inquirição e de Estudos de caso.

O conceito de instrumento de avaliação para a resposta às Questões Comuns de Avaliação

consiste numa Ficha detalhada e individualizada de acordo com a natureza distinta das áreas de

intervenção do Programa e de acordo com a multiplicidade de fluxos de informação quantitativa e

qualitativa que se revele possível reunir e produzir no processo de Avaliação. Esta matriz contém

as Questões de Avaliação, o quadro de referência ou o conjunto de elementos de

contextualização, os elementos de resposta esperados e o processo de trabalho. As Fichas por

Questão Comum de Avaliação encontram-se definidas no Volume II deste Relatório.

Note-se, todavia, que as Fichas constituem uma ferramenta em construção e aperfeiçoamento,

podendo ser ajustadas de acordo com os seguintes factores:

natureza distinta das QCA e das Medidas e impactos associados;

diversidade de fluxos de informação quantitativa e qualitativa que se revele possível reunir

e produzir em sede de Avaliação Intercalar (documentos de referência, estatísticas

formais, inquéritos, entrevistas, …);

perfil de intervenientes-chave nas Medidas e Acções que delimita, em termos técnicos e

territoriais, o quadro de condução de entrevistas, de inquéritos e de Estudos de caso

(elementos a constar nos instrumentos de inquirição – questões a colocar –, tipologia de

entidades a entrevistar, definição de amostras a inquirir, selecção de beneficiários e/ou de

projectos a estudar). Note-se que os instrumentos de inquirição não vão construídos



91

especificamente para dar resposta às Questões Comuns de Avaliação, no entanto, vão

contemplar elementos que contribuem efectivamente para essa resposta.

Para preparar a Avaliação ex-post, sugere-se que a Autoridade de Gestão empreenda na revisão

das QCA horizontais, tal como previsto na Nota de Orientação B do Documento Orientações para

a Avaliação Contínua dos Programas de Desenvolvimento Rural (DGaGRI, Setembro 2006). De

acordo com esse documento ao estabelecer o sistema de avaliação, a AG deve rever as QCA, com

o objectivo de determinar o que é necessário organizar em termos de recolha e análise de

informação para responder a essas Questões de uma forma significativa e adequada, pois as QCA

foram definidas de uma forma que as tornasse aplicáveis a um grande número de Programas,

sendo necessário estabeleçer níveis-alvo mais precisos, reflectidos por Questões mais específicas.

(pág. 11).

3.3. Conclusões e recomendações

Esta componente de balanço da Avaliação Intercalar vai incidir nas dimensões de avaliação da

estratégia adoptada e de avaliação da eficácia e eficiência do programa, baseando-se

estritamente nos resultados da avaliação qualitativa e quantitativa, decorrente dos trabalhos de

Avaliação realizados pelos avaliadores.

Em termos de modelo de intervenção, o PRORURAL vai produzir um conjunto de resultados e

efeitos nos campos de aplicação das Medidas, o qual vai contribuir quer para os objectivos

específicos e operacionais das Medidas/Acções, quer para a árvore de objectivos do Programa,

quer para a resposta às dimensões-problema identificadas no diagnóstico da situação de partida.

Esses contributos demonstram a pertinência e relevância da Estratégia adoptada.

Em termos de Conclusões, face à actualização de alguns elementos de diagnóstico, à

aproximação ao quadro de evolução mais recente das dinâmicas de realização das Medidas do

Programa, que dependem em grande parte dos níveis de absorção de recursos de financiamento e

da capacidade de realização das entidades beneficiárias, das dinâmicas de execução e de

aproximação às metas programadas para os diferentes domínios de intervenção do Programa e

face às opções/ajustamentos pontuais consagrados nos Exames Anuais, será possível avaliar as

dimensões de contributividade mais vasta do Programa (potenciais contributos macro

identificados na Avaliação), conforme se destaca no esquema seguinte.



92

Figura 13. Dimensões de contributividade mais vasta do PRORURAL

Ainda no perfil de Conclusões, os elementos de balanço serão sistematizados em torno das duas

vertentes-chave que estruturam a Avaliação Intercalar do PRORURAL: (i) a avaliação em

profundidade das Medidas - Conclusões específicas da Avaliação Intercalar; e (ii) a análise dos

temas transversais (sistema de gest~o e acompanhamento, divulgaç~o e informaç~o, …) –

Conclusões gerais da Avaliação Intercalar.

No que respeita às Recomendações, a Equipa de Avaliação vai organizar, num único Ponto do

Relatório, um conjunto relevante de Recomendações que foram apresentadas ao longo da

avaliação em profundidade das Medidas e da análise dos temas transversais, tratando-se de uma

síntese centrada em duas vertentes/perspectivas de trabalho:

Perspectiva ligada aos aspectos de carácter operacional.

Esta vertente terá como objectivo identificar o tipo de alterações de estratégia e de

objectivos necessários para o período de programação em vigência. Na óptica das

orientações dos novos desafios da política de desenvolvimento rural e da própria filosofia

dos instrumentos de financiamento da política veiculados pelo FEADER (princípios e

regras de aplicação) haverá vantagem em olhar para a concepção e operacionalização das

Medidas e do Programa e equacionar opções no sentido de melhoria da eficiência e da

eficácia em termos de implementação e execução do Programa, em torno da realização

dos seus objectivos estratégicos e operacionais.

Dimensões de contributividade mais vasta do PRORURAL

Contributo para os objectivos da política de desenvolvimento rural na RA Açores – impactos,

eficiência e eficácia do Programa ao nível regional

Contributo para o valor acrescentado comunitário –

impactos aos nível das prioridades ligadas à Estratégia de Lisboa e à Estratégica da EU

para o Desenvolvimento Sustentável



93

Perspectiva ligada aos aspectos de carácter macro económico e de política geral e de

preparação do novo ciclo de intervenções estruturais pós-2013.

Esta vertente pretende contribuir para uma reflexão sobre o novo enquadramento para a

política agrícola e de desenvolvimento rural a nível da União Europeia e, designadamente,

das novas orientações de financiamento das políticas sectoriais, com consequências no

horizonte do próximo período de programação. Em síntese, trata-se de identificar o tipo

de alterações de estratégia, de novos desafios e de objectivos pós 2013, relativamente aos

itens seguintes:

Contributo para a coesão económica e social da RA Açores;

Abordagens da programação e conteúdos das intervenções;

Reforço das componentes ambiental, qualidade, segurança alimentar e

bem-estar animal;

Promoção da competitividade das unidades produtivas e dos territórios;

Enquadramento socio-económico condicionante;

Tendência liberalizante do comércio de bens agrícolas, designadamente, do leite;

Integração gradual da inovaç~o e do conhecimento; (…).

Também uma particular atenção com a realização das recomendações deverá ser tida em conta

neste momento intercalar de avaliação, relativamente aos desígnios do desenvolvimento

local-rural. Não há para os avaliadores qualquer dúvida de que as ELD darão um contributo

significativo nos seus territórios de intervenção, dada a competência e experiência dos GAL. No

entanto, há um conjunto de questões específicas que advêm de anteriores recomendações e da

experiência dos avaliadores que deverão ser mantidas em observação (cf. figura seguinte).



94

Figura 14. Questões a ter em conta aquando da formulação de Recomendações no âmbito dos Eixos 3 e 4

•Igualdade de género nos órgãos de decisão dos GAL

•Incorporação do princípio da inovação nas ELD

•Procedimentos desenvolvidos para evitar atrasos no arranque dos projectos de forma a não desmotivar os potenciais promotores e a não criar constrangimentos ao nível do planeamento de tarefas por parte dos GAL

•Formas de participação das entidades parceiras que constituem os GAL

•Operacionalização das ELD numa lógica de cooperação interterritorial

•Concepção das Estratégias Locais de Desenvolvimento enquanto factor limitativo da criatividade das intervenções possíveis

•Procedimentos para motivar os GAL para a cooperação transnacional

•Empowerment das comunidades locais e dos indivíduos

•Acções valorizadoras do património ambiental

•Motivação dos GAL para a cooperação.

Questões específicas que deverão ser mantidas em observação,servindo de orientação para a formulação de Recomendações noâmbitos dos Eixos 3 e 4



95

4. LIMITAÇÕES DO ESTUDO E ASPECTOS CRÍTICOS PARA A SUA OPERACIONALIZAÇÃO

4.1. Aspectos gerais

Tendo em vista garantir os resultados delineados para o processo de avaliação, justifica-se

enunciar os seguintes condicionantes e factores críticos do estudo de avaliação:

Efeitos de “conjuntura” que podem influenciar os resultados da avaliação, dada a

insuficiente execução do PRORURAL para tecer considerações de forma mais consistente,

nomeadamente, no que respeita à eficiência e à eficácia do Programa;

Eventuais alterações da política agrícola e de desenvolvimento rural e efeitos das

alterações introduzidas recentemente, decorrentes do Exame de Saúde da PAC.

Grau de cobertura e de actualização do perfil de informação de contexto, de forma a

contribuir para a reanálise da matriz SWOT, exercício fundamental para apreciar o grau de

actualidade das dimensões-problema e das tendências de evolução (internas e externas)

contempladas no Documento de programação do PRORURAL;

Pertinência da vertente da Avaliação associada às Questões Comuns de Avaliação

horizontais, sobretudo pela sua utilidade. Está-se em crer que o conteúdo das respostas

poderá enviesar os resultados da Avaliação, já que os impactos do Programa irão

desvanecer-se, não pela qualidade de aplicação do mesmo, mas pela sua localização

geográfica relativamente isolada face ao contexto europeu.

Existência de informação documental de referência/científica desagregada para o

contexto particular da RA Açores, dada a sua relevância para o estudo de avaliação (a

análise de informação qualitativa poderá ajudar a provar e explicar as relações, as

diferenças contextuais e a qualidade dessas relações), nomeadamente de informação

sobre questões ambientais (p.e., emissão de GEE) e produtivas (p.e., modelos que

permitam perspectivar a produção em áreas florestais);

Possibilidade do fornecimento de dados incorrectos ou deturpados no âmbito dos

processos de inquirição e da dificuldade em manter taxas de resposta elevadas, o que pode

colocar em causa a fiabilidade dos dados.



96

Em termos metodológicos, de entre os desafios que se colocam a esta avaliação, destaca-se a

aplicação das metodologias decorrentes dos dois documentos elaborados pela Rede Europeia de

Avaliaç~o: “Approaches for assessing the impacts of the rural development programmes in the

context of multiple intervening factors” e “Capturing Impacts of LEADER and Measures Related to

Quality of Life in Rural Areas” (para o caso específico dos Eixos III e IV). Estes documentos, embora

se tenham tornado úteis como documentos orientadores têm um suporte teórico, metodológico e

estatístico pesado, acabando por evidenciar uma falta de normalização de técnicas e métodos de

recolha de informação e dos respectivos procedimentos para a avaliação dos impactos.

Além de que a metodologia no âmbito dos impactos socioeconómicos se centrou na área de

intervenção do Programa destinada à modernização das explorações agrícolas, em detrimento de

outras consideradas igualmente importantes, nomeadamente, formação profissional, infra-

estruturação, investimento nas florestas e investimento nas agro-indústrias.

O recurso a metodologias mais complexas trouxe algumas questões, que será necessário

ultrapassar, nomeadamente as seguintes:

Separação dos efeitos de Medidas isoladas dos efeitos gerais provocados por factores

exógenos à intervenção ou por influência de outras Medidas do Programa no caso de a

entidade ser beneficiária de mais que uma Medida. Efeitos cruzados serão muitas vezes

observados.

Garantia da validade e fiabilidade dos dados e da informação analisada para construir um

corpo de evidência viável.

Relação entre os resultados quantitativos e os resultados qualitativos, com significativa

congruência de forma a conseguir responder a todas as dimensões analíticas.

Para responder a estes desafios o trabalho de avaliação deverá atender a algumas componentes

consideradas fundamentais:

Calcular, sempre que possível, as mudanças que ocorreriam sem a intervenção específica

do Programa;

Medir, sempre que possível, os efeitos a um nível micro e macro (utilizando metodologias

específicas), combinando de forma significativa os resultados num mesmo cenário;

Considerar e estimar, sempre que possível, todos os efeitos directos e indirectos do

Programa (positivos e negativos);

Construir dados e informação de base que permita de uma forma imparcial estipular os

efeitos.



97

4.2. Aspectos específicos - perfil de Informação quantitativa e qualitativa de suporte à Avaliação Intercalar

A Avaliação Intercalar centra-se principalmente nas relações entre as tipologias de intervenção e

os pedidos de apoio aprovados e entre os resultados esperados e os resultados efectivos, tendo

em vista a concretização do quadro estratégico programado aquando da concepção do

Programas. Para além das questões de natureza organizativa e operacional inerentes à

implementação do Programa, estas relações serão igualmente detectáveis na qualidade dos

projectos e na sua capacidade para materializar os objectivos a que se propuseram.

Ora, a centralidade da análise micro/ao nível dos projectos, requerida em praticamente todas as

componentes de avaliação, suscita naturalmente alguns desafios de envergadura ao Estudo de

Avaliação que devem, com vantagem para o exercício, ser antecipados, no sentido de encontrar as

condições adequadas para os minimizar/ultrapassar.

Neste contexto, pese embora a exploração dos sistemas de informação garantam o acesso a um

vasto manancial de informação sobre os pedidos de apoio aprovados, do ponto de vista da

concretização dos respectivos resultados os sistemas de informação não estão preparados para

devolver essa informação, ficando-se bastante aquém do nível de explicitação de variáveis que a

Avaliação Intercalar exige. A informação sobre os resultados não é recolhida pelos sistemas de

acompanhamento físico no terreno e o Programa não dispõe de informação de execução

comparável com a que existe nos modelos de análise, excepto para as questões de execução

financeira.

Como nem sempre a dinâmica concreta de execução dos projectos consegue responder aos

termos previstos nos pedidos de candidatura, o conhecimento da dinâmica de execução efectiva

constitui um factor-chave do processo de avaliação.

Este hiato entre a informação constante dos pedidos de apoio e a de execução/produção de

resultados coloca os principais desafios ao processo de avaliação. Tais desafios serão minorados

pela recolha de informação junto dos próprios beneficiários: a combinação de métodos de

inquirição aos promotores, a realização de estudo de casos a esses mesmos promotores

(responsáveis por projectos relevantes ou projectos em que as boas práticas são transferíveis),

constitui uma das vias que a metodologia de avaliação pressupõe desenvolver para contornar

alguns desses desafios.

Assim, a informação quantitativa a extrair dos Sistemas de informação constituirá um

complemento da informação disponibilizada. No entanto, e tendo em conta que os dados



98

constantes nos pedidos de apoio e respectivos modelos de análise são puramente indicativos, a

Equipa de Avaliação em conjunto com a Autoridade de Gestão vai tentar implementar um

conjunto de procedimentos para a recolha sistemática e fiável de elementos acerca da execução

dos projectos e respectivos resultados, e entre os quais se destacam os seguintes:

levantamento de informação adicional aos autos de fecho dos projectos aquando da visita

por ocasião do último pedido de pagamento, a ser efectuado a todos os projectos dos

Eixos 1 e 3;

solicitação da entrega das contabilidades das explorações nos 5 anos consecutivos ao

início da execução dos projectos de investimento;

realização de reuniões de trabalho com outras entidades oficiais no sentido de se criar

sinergias em termos de fluxos de informação (p.e. SPEA, SRAM, APA).

Relativamente ao processo de inquirição, estão previstos mecanismos que assegurem a maior taxa

de resposta possível, nomeadamente, reforço dos pedidos de resposta através de telefonemas. O

resultado destes processos, a par das entrevistas e dos Estudos de Caso previstos realizar,

constituem outras linhas de análise para ultrapassar as lacunas de informação em termos de

resultados efectivos e mensuráveis.

Também é nesta combinação de métodos que os dados constantes dos pedidos de apoio são

relevantes, já que permitem avaliar os desvios entre a dinâmica programada com a dinâmica

efectiva, em termos de concretização dos resultados esperados

Em suma, as principais dificuldades, identificadas nesta primeira fase da Avaliação, estão

relacionadas com o objectivo da Comissão Europeia relativo à quantificação dos indicadores de

impacto e à resposta consistente às Questões de Avaliação Comuns definidas. Nesta fase, a

Equipa de Avaliação procura encontrar modalidades de trabalho adequadas à quantificação dos

indicadores de impacto do Programa e à resposta às QCA horizontais. Dos maiores problemas

com que a Equipa de Avaliação se debate, mesmo que generalistas, destacam-se os seguintes:

não haver valores de referência para as medidas de indicador utilizadas;

não haver informação sistematizada sobre o contributo das ajudas para os indicadores de

impacto;



99

recolha de dados sobre beneficiários e, sobretudo, não-beneficiários do Programa em dois

momentos distintos, antes e após a adesão ao Programa, e havendo a certeza das

mudanças operadas serem exclusivamente imputáveis ao Programa;

estimação dos efeitos líquidos do programa, sendo necessário um conjunto vasto de

informação sobre as áreas envolventes de áreas beneficiárias do programa;

desfasamento temporal: os efeitos do Programa podem ocorrer no curto-prazo mas

também no médio e longo-prazo, por vezes, para além do período de vigência do

programa;

estabelecimento de relações causa-efeito, no caso dos indicadores de impacto.


Para uma boa análise quantitativa dos efeitos do programa, ou seja, para uma avaliação objectiva

e fiável dos resultados da implementação das Medidas do PRORURAL e, consequentemente, do

impacto do mesmo para a prossecução da estratégia definida na RA Açores, é crucial assegurar (i)

a disponibilidade de dados microeconómicos em abundância; e (ii) a aplicação de metodologias de

avaliação avançadas (estatísticas e econométricas). Para além disso é recomendável recolher

informação qualitativa que dê suporte aos resultados obtidos, p.e., através da realização de

pesquisas de informação adicional, da aplicação de inquéritos e da realização de entrevistas e de

estudos de caso, nomeadamente a não-beneficiários.

Todavia, e como referido por diversas vezes, o perfil de informação disponível não se coaduna com

as exigências das metodologias recomendadas pelos documentos elaborados pela Rede Europeia

de Avaliação. O quadro seguinte pretende sistematizar os vectores mais importantes em termos

de lacunas de informação tendo em conta o exemplo seguinte.

O documento metodológico “Approaches for assessing the impacts of the rural development

programmes in the context of multiple intervening factors” sugere que as actividades de recolha de

dados e de cálculo do VAB sejam realizadas utilizando para o efeito as bases de dados disponíveis,

p.e., a RICA, utilizando informações de beneficiários e de não-beneficiários do Programa. Ora,

esta sugestão só se afigura relevante para a Medida do Programa que apoia a modernização das

explorações agrícolas, não sendo possível aplicar esta sugestão na avaliação das outras Medidas

do Programa (elementos explicativos no quadro seguinte).



100

Quadro 8. Disponibilidade e fiabilidade da informação, designadamente, no que respeita á utilização dos dados constantes da RICA

Necessidades de informação Trabalho a efectuar e sinalização das principais dificuldades

Recolha de informação ao nível dos beneficiários do Programa antes e após a implementação do Programa.

A recolha desta informação pode fazer-se por duas vias: através dos dados constantes da RICA e através das contabilidades que os beneficiários têm de entregar à AG, nos cinco anos consecutivos após a contratação do pedido de apoio.

A RICA é a fonte de dados relacionada as explorações agrícolas mais relevante. Todavia, apresenta duas limitações importantes: não fornece um conjunto de dados constante dada a variação das explorações integradas na Rede e não inclui informação sobre as diversas actividades das explorações, mas apenas da actividade que representa a OTE.

Dados estatísticos adicionais e inquéritos (micro-estatísticas e inquéritos periódicos ou relacionadas com a avaliação) podem complementar estes dados, particularmente para o sector não-agrícola, pois fora deste sector, a disponibilidade de dados secundários torna-se escassa.

Estão, ainda, disponíveis várias estatísticas nacionais e do Eurostat, sobre diferentes sectores económicos ou sobre indicadores sociais mas a disponibilidade e nível de desagregação varia consideravelmente entre os Estados-Membros sendo que, por vezes, as estatísticas estão disponíveis apenas ao nível nacional.

Neste caso, os inquéritos serão a única fonte de dados no âmbito da avaliação das actividades não-agrícolas.

Recolha de informação ao nível de não-beneficiários, com um perfil semelhante ao dos beneficiários do Programa.

A recolha desta informação pode fazer-se por duas vias: através dos dados constantes da RICA e através das estatísticas regionais, relativas ao sector agrícola.

As análises de nível micro devem ser efectuadas por meio de comparações de grupos de controlo dos beneficiários e não-beneficiários.

Uma questão crucial na comparação de grupos de controlo consiste em encontrar não-beneficiários que tenham características semelhantes aos beneficiários.

Uma opção é estratificar ambos os grupos ao longo das suas características (área de actividade, área da exploração, nível educacional, etc.). Contudo, com pequenas populações de beneficiários e, assim, tamanhos de amostra pequenos, as subamostras acabam frequentemente por ser demasiado pequenas para aplicar testes estatísticos.

Dados, com recolha ao nível das diferentes Ilhas.

Na análise dos dados seria importante assegurar a representatividade quer das diferentes actividades, quer de diferentes locais. No caso da RA Açores esta questão assume particular importância pela diferenciação marcada ao nível das diferentes Ilhas. Além de que a análise dos dados deverá ter em conta essa diferenciação para definir os resultados não directamente explicados pela influência do Programa.

Em suma, o trabalho de avaliação vai consistir em três fases/vertentes-base de recolha e análise

de dados, cuja fiabilidade e consistência estará dependente da disponibilidade desses mesmos

dados (cf. esquema seguinte).



101

Figura 15. Vertentes-base para a recolha e análise de informação, para responder aos objectivos da Avaliação Intercalar

Estabelecimento de estimativas ao nível dosbeneficiários directos e indirectos e com base emindicadores de realização e de resultado, na comparaçãocom coeficientes de projectos similares, em avaliaçõesanteriores e em modelização (para cálculo de duplacontagem, inércia e deslocamento)

Verificação cruzada face à situação contrafactual etendências contextuais na área de intervenção doPrograma, particularmente, no tocante a forças,pressões e respostas relevantes.

Estimativa do contributo para a tendência geral ao nívelda área de intervenção do Programa (tendência de base),sempre que viável/estatisticamente significativa emrelação a outros factores.



102

PROSSEGUIMENTO DOS TRABALHOS

No âmbito deste Relatório Preliminar importa apresentar um diagrama sucinto de

desenvolvimento metodológico e faseamento do Estudo de Avaliação Intercalar. O cronograma

das actividades de avaliação considera as quinzenas entre os meses de Abril e Novembro de 2010

(15 quinzenas) e obedecerá à calendarização esquematizada na tabela seguinte.

Quadro 9. Cronograma das Actividades de Avaliação

Abr. Maio Jun. Jul. Ag. Set. Out. Nov.

Quinzenas

Actividades 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

Reunião com AG – lançamento do Estudo de Avaliação

Reuniões de trabalho com responsáveis pelas Medidas

Elaboração do Relatório Metodológico

Entrega do Relatório Preliminar

Realização de entrevistas e de Estudos de caso

Inquérito aos beneficiários

Análise de conteúdo das entrevistas, dos estudos de caso e da documentação recolhida

Tratamento estatístico de indicadores e de inquéritos

Elaboração do Relatório Intermédio

Entrega do Relatório Intermédio

Estimação e análise dos indicadores de impacto

Resposta às Questões Comuns de Avaliação

Elaboração do Relatório Final

Entrega do Relatório Final



103

Em termos mais específicos, entre a entrega do presente Relatório e a entrega do relatório

Intermédio, a Equipa de Avaliaç~o tem por objectivo realizar todo o ‘trabalho de campo’ previsto e

analisar toda a documentação assinalada ao longo do presente Relatório e no Volume II – Fontes

de informação a utilizar para assegurar a Avaliação Contínua do PRORURAL. Nos pontos

seguintes descreve-se sucintamente as actividades que vão ser desenvolvidas:

Definição da estrutura definitiva dos instrumentos de inquirição (guiões de entrevista e

de Estudo de Casos e questionários): esta actividade vai ser realizada em conjunto com a

AG, assim como identificação dos interlocutores-chave a auscultar. A aplicação desses

instrumentos vai ocorrer assim que a AG valide os mesmos.

Análise de informação documental que permitirá, por um lado, contextualizar a esfera de

intervenção do Programa e, por ouro lado, analisar as dinâmicas de implementação,

operacionalização e de execução do Programa e, ainda, fundamentar algumas opções

metodológicas e alguns resultados da Avaliação Intercalar.

Recolha e análise da informação quantitativa actualizada a 30 de Junho de 2010: a

recolha de dados vai ocorrer a partir dos Sistemas de informação do PRORURAL

(indicadores de realização e de resultado, características-chave dos pedidos de apoio e dos

beneficiários – cuja análise vai permitir a verificação do progresso do PRORURAL face às

metas estabelecidas); das estatísticas formais [nomeadamente com a expectativa de se

poder vir a utilizar os dados do RGA de 2009] (informação sobre o contexto onde opera o

PRORURAL – cuja análise vai permitir traçar as tendências que se têm vindo a registar na

RA Açores].

Reuniões de trabalho com elementos da Autoridade de Gestão (responsáveis pela

implementação e gestão do Programa, pela execução das Medidas, pelo sistema de

acompanhamento e controlo) e com elementos responsáveis pelos Sistemas de

informação. Este tipo de reuniões vai, igualmente, ser necessário no âmbito da produção

de informação-base para responder aos indicadores de impacto e às QCA (p.e., SPEA,

APA, …);

Análise da informação empírica recolhida, tendo presente os objectivos da Avaliação

Intercalar e a utilização específica dos seus resultados.

Elaboração do Relatório Intermédio, que compreenderá um conjunto de resultados

preliminares do processo de Avaliação.

Relatório Preliminar Maio 2010prorural.azores.gov.pt/ficheiros/1862010153937.pdfMaio 2010...

Documents

Transcript of Relatório Preliminar Maio 2010prorural.azores.gov.pt/ficheiros/1862010153937.pdfMaio 2010...