Relatório Preliminar
Maio 2010
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
ÍNDICE
VOLUME I
APRESENTAÇÃO ................................................................................................................... 1
1. ENQUADRAMENTO DO ESTUDO ................................................................................................... 3 1.1. Objecto de Avaliação .................................................................................................... 3
1.2. Âmbito e Objectivos da Avaliação .............................................................................. 14
1.3. Breve nota sobre as actividades já desenvolvidas ...................................................... 16
2. QUADRO METODOLÓGICO DE REFERÊNCIA DA AVALIAÇÃO ............................................................ 19
2.1. Referencial metodológico (modelo global de Avaliação) .......................................... 20
2.2. Métodos de recolha e análise da informação ............................................................. 25
2.3. Metodologias específicas de Avaliação ...................................................................... 33
2.3.1. Dimensões com carácter de avaliação transversal ................................................ 35
2.3.2. Dimensões com carácter de avaliação específico .................................................. 40
3. RESULTADOS DA AVALIAÇÃO INTERCALAR .................................................................................. 43
3.1. Indicadores comuns de impacto ................................................................................. 43
3.1.1. Indicadores socioeconómicos ................................................................................. 50
3.1.2. Indicadores ambientais ........................................................................................... 64
3.2. Questões Comuns de Avaliação (específicas e horizontais) ...................................... 87
3.3. Conclusões e recomendações .................................................................................... 91
4. LIMITAÇÕES DO ESTUDO E ASPECTOS CRÍTICOS PARA A SUA OPERACIONALIZAÇÃO ........................... 95
4.1. Aspectos gerais ........................................................................................................... 95
4.2. Aspectos específicos - perfil de Informação quantitativa e qualitativa de suporte à
Avaliação Intercalar ................................................................................................................ 97
PROSSEGUIMENTO DOS TRABALHOS.............................................................................................. 102
VOLUME II - INSTRUMENTOS DE RECOLHA E ANÁLISE DE INFORMAÇÃO
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
ÍNDICE DE QUADROS
Quadro 1. Resumo da alteração proposta à Medida 1.5. Modernização das explorações agrícolas ........................ 10
Quadro 2. Abordagem multi-método: identificação de métodos de recolha e análise de informação a utilizar na
Avaliação Intercalar ............................................................................................................................ 26
Quadro 3. Avaliação específica por Medida ......................................................................................................... 42
Quadro 4. Intervenções do Programa de Desenvolvimento Rural e sua relação com os indicadores de impacto
(exercício preliminar) .......................................................................................................................... 49
Quadro 5. Metas quantificadas para o Indicador Comuns de resultado ‘Área em que a gest~o do espaço rural é
bem sucedida contribuindo para a biodiversidade e a preservação de terras agrícolas e florestais de
Elevado Valor ...................................................................................................................................... 68
Quadro 6. Metas quantificadas para os Indicadores de Acompanhamento e Avaliação da Acção 2.2.1 da Medida
2.2 “Pagamentos Agro-ambientais e Natura 2000” .............................................................................. 81
Quadro 7. Factores de emissão provenientes da fermentação entérica (kg CH4/cabeça/ano) ................................ 87
Quadro 8. Disponibilidade e fiabilidade da informação, designadamente, no que respeita á utilização dos
dados constantes da RICA .................................................................................................................. 100
Quadro 9. Cronograma das Actividades de Avaliação ......................................................................................... 102
ÍNDICE DE FIGURAS
Figura 1. Objectivos estratégicos da política de desenvolvimento rural .............................................................. 4
Figura 2. Matriz de relação Eixos Prioritários x Domínios prioritários de intervenção x Medidas .......................... 5
Figura 3. Vectores estratégicos da estratégia de desenvolvimento local/rural ..................................................... 8
Figura 4. Esquema metodológico global .......................................................................................................... 24
Figura 5. Hierarquia de indicadores e objectivos, associada à avaliação de impactos ........................................ 45
Figura 6. Cadeia de Avaliação de Impactos ....................................................................................................... 45
Figura 7. Indicadores Comuns de Impacto – definidos no QCAA ....................................................................... 47
Figura 8- Indicadores Comuns de Impacto e respectiva unidade de medida ...................................................... 50
Figura 9. Efeitos do PRORURAL, sobre os beneficiários directos e os beneficiários indirectos ........................... 51
Figura 10. Efeitos indirectos na criação de emprego com o apoio de um qualquer Programa ............................ 59
Figura 11. Características-chave dos sistemas agrícolas de alto valor natural .....................................................72
Figura 12. Recursos que vão ser utilizados na resposta às Questões Comuns de Avaliação ............................... 89
Figura 13. Dimensões de contributividade mais vasta do PRORURAL ............................................................... 92
Figura 14. Questões a ter em conta aquando da formulação de Recomendações no âmbito dos Eixos 3 e 4 ...... 94
Figura 15. Vertentes-base para a recolha e análise de informação, para responder aos objectivos da Avaliação
Intercalar .......................................................................................................................................... 101
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
SIGLAS E ACRÓNIMOS
AB Agricultura Biológica AEA Agência Europeia do Ambiente AG Autoridade de Gestão APA Agência Portuguesa do Ambiente ATE Average Treatment Effect CAC Censo de Aves Comuns CMEF Common Monitoring and Evaluation Framework DGAgri Direcção Geral da Agricultura e do Desenvolvimento Rural DID Difference-in-Difference DRACA Direcção Regional dos Assuntos Comunitários da Agricultura EBCC European Bird Census Council EDL Elaboração da Estratégia Local de Desenvolvimento EM Estados-Membros ETI Equivalente Tempo Inteiro EUROSTAT Gabinete de Estatísticas da União Europeia EVALSED Guia para a avaliação do desenvolvimento socio-económico FBI Farmland Birds Indicator FEADER Fundo Europeu Agrícola de Desenvolvimento Rural GAL Grupo de Acção Local GEE Gases com Efeito de Estufa GPP Gabinete de Planeamento e Políticas IAC Índice de Aves Comuns IACZA Índice de Aves Comuns de Zonas Agrícolas IFAP Instituto de Financiamento da Agricultura e Pescas IGF Inspecção Geral de Finanças INE Instituto Nacional de Estatística IPCC Intergovernmental Panel on Climate Change IRENA International Renewable Energy Agency LEADER Ligações Entre Acções de Desenvolvimento da Economia Rural MADRP Ministério da Agricultura, do Desenvolvimento Rural e das Pescas MEPP Manutenção da extensificação da produção pecuária OCDE Organização para a Cooperação e Desenvolvimento Econômico PAC Política Agrícola Comum PDL Plano de Desenvolvimento Local PDRu Plano de Desenvolvimento Rural dos Açores PECBMS Esquema Pan-Europeu de Monitorização de Aves Comuns PENDR Plano Estratégico Nacional do Desenvolvimento Rural PL Protecção de lagoas POA Programa Operacional de Ambiente PPC Paridade de poder de compra PROAMA Programa de Apoio à Modernização Agrícola PRORURAL Programa de Desenvolvimento Rural da Região Autónoma dos Açores PSM Propensity Score Matching QCA Questões Comuns de Avaliação QCAA Quadro Comum de Acompanhamento e Avaliação RA Açores Região Autónoma dos Açores RGA Recenseamento Geral Agrícola RICA Rede de Informação de Contabilidades Agrícolas SAU Superfície Agrícola Útil SIFAP Sistema Integrado de Financiamento à Agricultura e Pescas
(continua)
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
(cont.)
SiRURAL Sistema de Informação Rural da Região Autónoma dos Açores SPEA Sociedade Portuguesa para o Estudo das Aves SPEA Sociedade Portuguesa para o Estudo das Aves SRAF Secretaria Regional da Agricultura e Florestas SRAM Secretaria Regional do Ambiente e do Mar SREA Serviço Regional de Estatística dos Açores SWOT Forças, Fraquezas, Oportunidades e Ameaças TEP toneladas equivalente de petróleo UE 27 União Europeia UTA’s Unidades de trabalho por ano VAB Valor Acrescentado Bruto
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
1
APRESENTAÇÃO
No contexto da estratégia de Desenvolvimento Rural, a Avaliação Intercalar do PRORURAL
contempla o objectivo geral de aferir o modo como a execução física e financeira e os
compromissos em matéria de gestão, acompanhamento, controlo e informação e comunicação do
Programa, no período de referência, estão a ser prosseguidos e a traduzir-se nas realizações,
resultados e impactos esperados. Tendo presente estes elementos de enquadramento da
Avaliação Intercalar, o Relatório Preliminar entende desenvolver uma Metodologia assente numa
estratégia de trabalho que valorize as seguintes vertentes:
Aferir, com base na nova informação disponível, tanto de natureza financeira, como de
realizações físicas, resultados e impactos, em que medida se mantêm válidas as formas de
intervenção do PRORURAL (relevância estratégica, pertinência de objectivos, coerência
interna e externa).
Fornecer informação relevante que ajude a melhorar o desempenho do PRORURAL
(eficácia na obtenção dos objectivos pretendidos e eficiência na utilização dos recursos;
funções de gest~o e acompanhamento, necessidade de alterações, …).
Contribuir, mesmo que de uma forma genérica, para uma reflexão sobre o novo
enquadramento para a política agrícola e de desenvolvimento rural, com consequências
no horizonte do próximo período de programação.
O presente Relatório é constituído por dois Volumes, sendo o primeiro constituído por quatro
grandes Capítulos; e segundo que contempla a apresentação de todos os Anexos do presente
Relatório, assim como de todos os instrumentos de inquirição.
No Enquadramento do Estudo procede-se à descrição sumária do objecto de avaliação à luz dos
seus objectivos estratégicos e específicos, assim como da dinâmica de operacionalização e
implementação do Programa e uma revisão sistemática e análise dos resultados das Avaliações
anteriores. Este Capítulo vai incluir, ainda, uma reflexão sobre o âmbito e os objectivos do Estudo
de Avaliação Intercalar e a descrição das principais actividades desenvolvidas.
O segundo Capítulo, relativo ao Quadro metodológico de referência da Avaliação, pretende
sistematizar as análises a efectuar face às opções metodológicas. Este Capítulo compreende um
primeiro ponto referente ao modelo global de Avaliação, o qual reflecte a moldura de toda a
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
2
metodologia de Avaliação; um segundo Ponto relativo aos métodos de recolha e análise de
informação, que apresenta de forma detalhada os instrumentos metodológicos a utilizar bem
como a sua aplicação; e um terceiro ponto dedicado às metodologias específicas, que vai
aprofundar as metodologias de avaliação apresentadas na Proposta, ajustadas à luz dos diversos
vectores de conhecimento do Programa, bem como às recomendações e sugestões dos
documentos produzidos pelos Grupos de Trabalho Temáticos coordenados pela European
Evaluation Network for Rural Development (Rede Europeia de Avaliação).
No Capítulo relativo aos Resultados da Avaliação Intercalar, apresenta-se os principais outputs
da aplicação dos instrumentos metodológicos, incluindo a resposta aos Indicadores comuns de
impacto e às Questões Comuns de Avaliação; e a apresentação das conclusões e a formulação das
Recomendações.
No quarto e último Capítulo, dar-se-á a conhecer um conjunto de Limitações do Estudo e aspectos
críticos para a sua operacionalização, as quais poderão vir a condicionar o desenvolvimento das
actividades de avaliação e a limitar a produção de outputs úteis, atempados e com qualidade.
Por fim, no ponto intitulado Prosseguimento dos trabalhos apresenta-se uma referência geral
para a prossecução dos trabalhos de avaliação, designadamente as actividades que se consideram
adequadas desenvolver nas próximas duas fases do Estudo de Avaliação Intercalar.
Este Relatório Metodológico, constituindo o corpo de procedimentos que enforma a Avaliação
Intercalar do PRORURAL, não deve ser encarado como um documento estanque e imutável. Na
verdade, considera-se que a arquitectura da metodologia aqui desenhada deverá sempre que
necessário ser alvo de adequações, que permitam responder ao principal objectivo desta
Avaliação: contribuir para o aperfeiçoamento de um Programa que promova a agricultura e o
desenvolvimento rural.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
3
1. ENQUADRAMENTO DO ESTUDO
1.1. Objecto de Avaliação
O Programa de Desenvolvimento Rural da Região Autónoma dos Açores (RA Açores) –
PPRROORRUURRAALL, enquadra-se na política de desenvolvimento rural definida pela União Europeia para
o período de programação 2007-2013, tendo sido concebido com base no contexto delineado pelo
Plano Estratégico Nacional do Desenvolvimento Rural – PENDR (MADRP, 2007) e nas Orientações
estratégicas comunitárias para o desenvolvimento rural (Regulamento (CE) n.º 1698/2005, do
Conselho, de 20 de Setembro).
Para a concepção do PRORURAL contribuíram os resultados dos Estudos de Avaliação do período
de programação anterior e o diagnóstico da situação de partida regional; o
Sub-programa da Regi~o Autónoma dos Açores “Adaptaç~o da Política Agrícola Comum {
realidade Açoriana” (elaborado no }mbito do Regulamento n.º 247/2006, do Conselho, de 30 de
Janeiro); a Avaliação ex-ante (que incluiu uma avaliação estratégica ambiental); e os pareceres de
diversas entidades públicas e privadas com relevo a nível regional.
Num contexto de crescentes exigências face aos desafios económicos, sociais e ambientais que a
sociedade enfrenta, o desenvolvimento rural tem de assentar num conjunto de sistemas agrícolas
e florestais economicamente competitivos e, em simultâneo, ambientalmente equilibrados e
sustentáveis; e na revitalização económica e cultural dos territórios rurais.
O desenvolvimento de um modelo com estas características afigura-se, contudo, muitas vezes
complexo, sobretudo em zonas económica e socialmente deprimidas ou com fortes desvantagens
naturais, sendo difícil garantir um desenvolvimento harmonioso do território. Para que tal ocorra,
exige-se um esforço adicional da participação dos cidadãos nos processos de decisão e gestão do
desenvolvimento, que se assume como um factor determinante na criação das condições para
esse desenvolvimento.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
4
Figura 1. Objectivos estratégicos da política de desenvolvimento rural
O PPRROORRUURRAALL foi aprovado pela Decisão C (2007) 6162, de 4 de Dezembro de 2007, da Comissão
Europeia. A política de desenvolvimento rural é financiada pelo Fundo Europeu Agrícola de
Desenvolvimento Rural (FEADER) e rege-se pelo Regulamento n.º 1698/2005, de 20 de Setembro.
O Programa inicialmente foi aprovado com um montante total de despesa pública de perto de 323
Milhões de Euros, montante a que corresponde de 85% de contribuição FEADER (cerca de 275
Milhões de Euros). Os montantes disponíveis têm como objectivo assegurar os compromissos
assumidos no período de programação anterior, apoiar projectos de investimento no âmbito dos
Eixos 1 e 3 e da Medida 2.4. do Eixo 2 e conceder ajudas forfetárias no âmbito do Eixo 2. O
esquema seguinte permite cruzar os domínios de intervenção prioritários do Programa com as
respectivas Medidas.
A estratégia do Programa contempla três dimensões na sua forma de aplicação: económica,
ambiental e social, as quais se complementam e reflectem o grande objectivo subjacente da
promoção da competitividade das explorações agro-pecuárias e empresas
agro-transformadoras e dos territórios rurais, atribuindo prioridade à preservação do ambiente e à
atractividade das zonas rurais, e tendo como preocupação latente a coesão territorial e social
(diminuição das assimetrias que dividem as ilhas que constituem o Arquipélago e que dividem o
Arquipélago do Continente e do resto da Europa).
Estratégia global de
desenvolvimento rural
Promoção da competitividade dos
sectores agrícola e florestal
Correcto ordenamento do
espaço rural e gestão sustentável dos
recursos naturais
Melhoria da qualidade de vida e diversificação da economia nas
zonas rurai
Reforço da coesão territorial e social
Promoção da intervenção dos
cidadãos na gestão sectorial e do
território rural
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
5
Figura 2. Matriz de relação Eixos Prioritários x Domínios prioritários de intervenção x Medidas
Domínios prioritários de intervenção
(Sub-objectivos)
Medidas
Promoção da utilização continuada e sustentável das terras agrícolas
Promoção da gestão sustentável das terras agrícolas
Promoção da gestão sustentável das terras florestais
2.1. Manutenção da actividade agrícola em zonas desfavorecidas
2.2. Pagamentos agro-ambientais e Natura 2000 2.3. Apoio a investimentos não produtivos
2.4. Gestão do espaço florestal
Eix
o P
rio
ritá
rio
1.
Au
me
nta
r a
co
mp
eti
tivi
da
de
do
s se
cto
res
ag
ríco
la e
flo
rest
al
Domínios prioritários de intervenção
(Sub-objectivos)
Medidas
Aumento dos conhecimentos e melhoria do potencial humano do sector agro-florestal
Promoção da inovação e da qualidade e reestruturação e desenvolvimento das fileiras do sector agro-florestal
Melhoria das infra-estruturas de apoio à actividade agrícola e florestal
1.1. Formação profissional e acções de informação 1.2. Instalação de jovens agricultores 1.3. Reforma Antecipada 1.4. Serviços de gestão e aconselhamento
1.5. Modernização das explorações agrícolas 1.6. Melhoria do valor económico das florestas 1.7. Aumento do valor dos produtos agrícolas e
florestais 1.8. Cooperação para a promoção da inovação 1.9. Criação e desenvolvimento de novos instrumentos
financeiros
1.10. Catástrofes naturais
1.11. Melhoria e desenvolvimento de infra-estruturas
Eix
o P
rio
ritá
rio
2.
Me
lho
ria
do
Am
bie
nte
e d
a p
ais
ag
em
ru
ral
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
6
Figura 2. Matriz de relação Eixos Prioritários x Domínios prioritários de intervenção x Medidas (cont.)
Na perspectiva da Avaliação Contínua de 2008 (IESE, 2009, pág. 17), as Medidas definidas no
PRORURAL revelam uma correspondência sólida e muito próxima dos objectivos principais dos
quatro Eixos prioritários, sendo clara a coerência entre as Medidas implementadas e os objectivos
visados, através do apoio a projectos e de ajudas que:
contribuem fortemente para o dinamismo das fileiras agro-pecuária e florestal;
estimulam a modernização e diversificação do mosaico produtivo;
reforçam as infra-estruturas de apoio ao sector agro-florestal e agro-industrial;
Domínios prioritários de intervenção
(Sub-objectivos)
Medidas
Promoção da diversificação da economia e
do emprego em meio rural
Promoção da melhoria da qualidade de vida
nas zonas rurais
Desenvolvimento de competências a nível
local
3.1. Diversificação da economia e criação de emprego em meio rural
3.2. Melhoria da qualidade de vida nas zonas rurais
3.3. Formação e informação
Eix
o P
rio
ritá
rio
3. Q
ua
lid
ad
e d
e v
ida
na
s
zon
as
rura
is e
div
ers
ific
açã
o d
a e
con
om
ia
rura
l
Domínios prioritários de intervenção
(Sub-objectivos)
Medidas
Integração da Abordagem LEADER na
programação
4.1. Execução das estratégias locais de desenvolvimento
4.2. Cooperação LEADER
4.3. Funcionamento dos GAL, aquisição de competências e animação dos territórios
Eix
o P
rio
ritá
rio
4.
Ab
ord
ag
em
LE
AD
ER
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
7
incentivam a sustentabilidade das produções e a preservação do ambiente e da paisagem;
e
estimulam a manutenção de um tecido económico e social nas zonas rurais (em particular
nas ilhas com menores dinâmicas económica e social).
Na abordagem do Eixo LEADER, não é demais reforçar o carácter original e inovador da sua
metodologia, suportada em alguns princípios simples que têm permitido desde o início privilegiar
acções que contribuem para a melhoria das condições de vida específicas dos territórios de baixa
densidade (Grupo de Acção Local - GAL, Plano de Desenvolvimento Local - PDL, procura de
ligações, co-financiamento, colocação em rede dos territórios).
Na evolução natural da metodologia LEADER surgiram as Estratégia Locais de Desenvolvimento
(ELD), que consistem no “modelo de desenvolvimento para um território com vista a dar resposta às
suas necessidades através da valorização dos seus recursos endógenos, assente num conjunto de
prioridades e objectivos fixados a partir de um diagnóstico, privilegiando uma abordagem integrada,
inovadora e com efeitos multiplicadores” (alínea c) do ponto 1 do artigo 4º da Portaria nº 66/2008).
No caso da RA Açores, as ELD compreendem as seguintes orientações regionais1:
a) Ser integrada, baseada na interacção ao nível dos agentes, sectores e projecto e centrada nos
aspectos dominantes representativos da identidade e recursos específicos do território, de
forma a atingir os objectivos estabelecidos;
b) Promover um processo de desenvolvimento coerente com as características do território, em
especial sob o ponto de vista socioeconómico, justificando a respectiva viabilidade económica
e sustentabilidade;
c) Valorizar a criação de sinergias com o sector primário;
d) Mostrar coerência com as orientações estratégicas nacionais, regionais e sectoriais e
complementaridade com outros instrumentos de política incidentes no mesmo território.
No que concerne ao modelo de desenvolvimento local/rural para a RA Açores, a Estratégia
Regional de Desenvolvimento Rural centra-o em cinco grandes vectores.
1 Eixo 4 – Orientações para a Elaboração da Estratégia Local de Desenvolvimento (EDL), Autoridade de
Gestão do PRORURAL, Orientação nº 1, 08 de Agosto de 2008.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
8
Figura 3. Vectores estratégicos da estratégia de desenvolvimento local/rural
Este cenário de intervenção, com especificidades próprias, resulta de adaptações que advêm da
condição ultraperiférica, das características do sector agrícola, do quadro de ruralidade existente,
das políticas agrícolas comunitárias, das especificidades em matéria de ambiente, bem como da
organização político-institucional.
Em suma, embora a estrutura das Medidas (forma de aplicação e respectivos objectivos) do
PRORURAL acolha um perfil de continuidade com o período de programação anterior, demonstra
um enriquecimento incorporado pela importância atribuída às questões da competitividade, da
inovação e da qualidade, da sustentabilidade ambiental, da valorização territorial e da
atractividade dos territórios rurais.
a) Alterações de contexto e internas ao PRORURAL
Na gestão do PRORURAL e desde a Avaliação Contínua do ano de 2008, não ocorreram alterações
internas significativas, todavia, assinale-se o esforço que a Equipa da DRACA e os Organismos
Intermédios de Gestão têm vindo a fazer no sentido da estabilização de procedimentos para dar
resposta às diversas vertentes de operacionalização do Programa e para atenuar os atrasos da sua
implementação.
Neste contexto, refira-se que a mais recente filosofia, inerente à aplicação do FEADER, exigiu a
(re)análise de todos os procedimentos, sobretudo no que se refere à sua racionalização e
normalização (redefinição do modelo de governação e da articulação com o IFAP, implementação
Melhoria da qualidade de vida nas zonas rurais
Implementação e execução de estratégias
de desenvolvimento local
Funcionamento dos GAL, aquisição de competências e animação dos
territórios rurais
Diversisficação da economia e criação de
emprego no meio rural
Cooperação interterritorial e
transnacional
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
9
de um quadro legislativo diferente e mais exigente, integraç~o da iniciativa LEADER, …) e,
consequentemente, o desenvolvimento de sistemas de informação robustos, aumentando o grau
de complexidade do trabalho.
A implementação do Programa também esteve dependente da sua acreditação, a qual ocorreu
apenas em 30 de Abril de 2009, contribuindo para o atraso na operacionalização de diversas
Medidas que já estavam regulamentadas e com candidaturas abertas. Para esse atraso contribuiu,
ainda, a alteração ao nível da gestão de processos ligada aos pedidos de pagamento que, embora
inicialmente prevista ser ‘alojada’ no SiRURAL, não sofreu qualquer alteraç~o e ficou ‘alojada’ no
sistema do IFAP. Esta alteração acarretou a alteração das Portarias e atrasos nos pedidos de
pagamento.
A agravar as dificuldades no arranque inicial do Programa, surgiram preocupações relativamente à
qualidade dos pedidos de apoio apresentados, nomeadamente, no âmbito da Medida 1.5.
Modernização das explorações agrícolas, em que foram óbvias a fraca qualidade técnica dos
projectos de investimento e as deficiências em termos de instrução dos processos de candidatura.
Estas situações provocaram consequentes atrasos no processo de decisão.
No que se refere às condições socioeconómicas gerais e a outros instrumentos financeiros com
potencial influência sobre a implementação e execução do Programa, não se verificaram
alterações significativas no período de vigência do Programa (2007-2009).
No entanto, em termos sectoriais, ocorreu uma alteração com forte influência sobre o sector agro-
pecuário: o Conselho de Ministros da Agricultura de Novembro de 2008 adoptou um compromisso
político decorrente do “Health Check da PAC”, que teve por resultado o Regulamento (CE) n.º
74/2009 do Conselho, de 19 de Janeiro de 2009. Esse Regulamento estabelece o reforço das
prioridades comunitárias no âmbito dos Programas de Desenvolvimento Rural, valorizando os
novos desafios para a agricultura europeia: alterações climáticas, energias renováveis, gestão da
água, biodiversidade e reestruturação do sector leiteiro. Neste contexto, a reestruturação do sector
leiteiro foi estabelecida como uma das novas prioridades comunitárias para o desenvolvimento
rural.
Na sequência da aplicação do Regulamento (CE) n.º 74/2009, o qual vem pressionar a importância
da reestruturação do sector leiteiro na economia da Região Autónoma dos Açores, o PRORURAL
implementou a alteração (a sua segunda) da Medida 1.5. Modernização das Explorações Agrícolas,
que viu o seu envelope financeiro reforçado em 20 Milhões de Euros. A alteração foi aprovada por
Decisão da Comissão em 02 de Março de 2010.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
10
Quadro 1. Resumo da alteração proposta à Medida 1.5. Modernização das explorações agrícolas
Descrição da Medida 1.5. Beneficiários Nível de apoio
Nos Objectivos da Medida é aditado o
seguinte: “Reestruturar o sector
leiteiro regional”
No Âmbito é aditado o seguinte
travess~o “Apoiar projectos de
investimento no sector leiteiro que
visem a sua reestruturaç~o”.
Nas Prioridades é aditado o seguinte
travess~o: “Visem investimentos
numa óptica de reestruturação da
produç~o pecu|ria leiteira”.
Todos os produtores
de leite
Majoração em 10 pontos
percentuais das ajudas para o
sector leiteiro (bovinicultura de
leite).
Alguns dos investimentos
propostos já estavam previstos
no PRORURAL, sendo o reforço
do incentivo no sector leiteiro
efectuado através da majoração
da taxa de ajuda de 75% para
85%.
Efeitos potenciais
melhorar o desempenho económico das explorações agrícolas leiteiras através de uma melhor racionalização dos factores de produção;
incentivar a gestão sustentável dos recursos hídricos;
atenuar a pressão ambiental (poluição da água, erosão e contaminação dos solos), nomeadamente através do apoio à construção de fossas, nitreiras, canais de drenagem, construção de reservatórios de água, etc.;
introduzir novas tecnologias, nomeadamente através de novos equipamentos de ordenha, processos de produção biológico, etc.;
melhorar as condições de higiene e de bem-estar dos animais, nomeadamente, através da construção de lojetes (zonas cobertas com separadores individuais para a pernoita dos animais) e de parques de alimentação (zona de retenção dos animais, equipada com estruturas destinadas à alimentação dos animais, que tem por objectivo evitar o pisoteamento das pastagens no inverno, bem como permitir um melhor maneio dos animais e uma melhor gestão das pastagens).
A Decisão 2006/144/CE relativa às orientações estratégicas comunitárias de desenvolvimento rural
(período de programação 2007-2013) foi, igualmente, alterada pela publicação da Decisão do
Conselho, de 19 de Janeiro de 2009. Entre as alterações previstas, destaca-se uma pela sua forte
influência no sector agrícola da RA Açores: a supressão gradual das quotas leiteiras até à sua
liberalização, em 20152.
b) Revisão sistemática e análise dos resultados das Avaliações anteriores
Esta componente da Avaliação Intercalar, tem em vista preencher uma dimensão de balanço
compreensivo da evolução das Medidas e do Programa no período 2008/2010 (sobretudo ao longo
do último ano) e, designadamente, aferir até que ponto essa evolução mantém válidas (ou não) as
2 Aumento anual de 1% das quotas entre 2009/10 e 2013/14. Em 2009/10 e 2010/11, os agricultores que
excedam as suas quotas em mais de 6% terão de pagar uma imposição 50% mais elevada que o normal.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
11
Conclusões e Recomendações formuladas no âmbito da Avaliação Contínua relativa ao ano de
2008.
Um ensaio de leitura desse Relatório de Avaliação muito centrado na operacionalização do
Programa permite evidenciar alguns vectores-chave a ter presentes neste exercício de Avaliação,
predominantemente centrado nas dimensões eficiência e eficácia do Programa.
As alíneas seguintes sistematizam um conjunto relevante de Conclusões e Recomendações para
sustentar esta revisão. A referência da vertente Recomendações é útil também na perspectiva do
ponto seguinte, que trata de compreender em que medida as Recomendações enunciadas pela
Avaliação de 2008 foram acolhidas.
Conclusões gerais da Avaliação Contínua do PRORURAL – ano de 2008
A estrutura dos Eixos prioritários e respectivo quadro de objectivos apresenta uma
adequação satisfatória aos condicionamentos que afectam o desenvolvimento das
actividades no sector agro-florestal.
As Medidas definidas no PRORURAL revelam uma correspondência fiel e muito próxima
dos objectivos dos quatro Eixos prioritários, sendo clara a coerência entre as Medidas
implementadas e os objectivos visados.
O modelo de gestão implementado contempla as características, a estrutura e as
competências adequadas às necessidades em matéria de análise, de controlo
administrativo e de acompanhamento do Programa. No entanto, observou-se uma
relação desproporcionada entre as atribuições e competências de que a DRACA se
encontra incumbida e a estrutura técnica de que dispõe para assegurar as mesmas.
Verificou-se um atraso significativo na implementação do Programa que acarretou taxas
de aprovação de pedidos de apoio e taxas de execução residuais, com a excepção do Eixo
2.
Recomendações da Avaliação Contínua do PRORURAL – ano de 2008
Do trabalho efectuado pela Equipa de Avaliação destaca-se um conjunto de recomendações,
ainda que formulado num cenário de insuficiente implementação do Programa. Nesta síntese das
Recomendações formuladas no âmbito da Avaliação Contínua de 2008, assinalam-se em itálico
aquelas que foram acolhidas pela Autoridade de Gestão (AG), como base de ajustamentos
necessários à boa execução do Programa.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
12
Recomendações de carácter transversal
i. Visão compreensiva das necessidades de reestruturação nas áreas de especialização
produtiva, e de ajustamento das lógicas de investimento das explorações leiteiras regionais,
devido à supressão gradual das quotas leiteiras [Decisão do Conselho 2009/61/CE, de 19 de
Janeiro], com recurso a um Estudo estratégico;
ii. Realização de um Diagnóstico de Competências e Necessidades de Formação Profissional
que fundamente uma abordagem estratégica indispensável a uma utilização dotada de
eficácia e eficiência das verbas destinadas à formação profissional.
Principais recomendações de carácter operacional
(i) Reforço da estrutura técnica do PRORURAL.
(ii) Organizar a informação constante dos Sistemas de informação numa óptica de produção
de dados que permitam o cálculo de indicadores.
(iii) Ponderação da elegibilidade de tractores e alfaias agrícolas na tipologia de investimento
máquinas e equipamentos, a qual deverá evoluir para uma expressão mais limitada nas
lógicas de investimento da Medida.
(iv) Apresentação de candidaturas por via de concurso (Medida 1.5), de modo a tornar mais
abrangente a base para selecção das candidaturas.
(v) Ampliar os esforços orientados para a diversificação dos segmentos de actividade
apoiados pelas Medidas 1.5. e 1.7.
(vi) Reforço da integração/articulação das estruturas empresariais com a Universidade dos
Açores, entre outras entidades.
(vii) Orientar a aprovação dos projectos da Medida 1.11. de forma a assegurar: (i) uma maior
distribuição regional dos projectos; (ii) um maior investimento em infra-estruturas fora
dos perímetros de ordenamento agrário (POA); e (iii) um direccionamento dos apoios
para a estruturação fundiária e o abastecimento de energia eléctrica.
(viii) Acelerar os processos de controlo das Medidas do Eixo 2, para que o pagamento das ajudas
ocorra no ano a que se refere a candidatura.
(ix) Reanalisar a conformidade da Acção Pagamentos Rede Natura 2000 em terras agrícolas.
“
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
13
(x) Reforço das acções relativas ao empreendedorismo jovem, à inovação sócio-
-local e produtiva e à valorização do património ambiental, no âmbito da
implementação das ELD dinamizadas pelos GAL, nas respectivas Zonas de Intervenção
(Eixo 3).
(xi) Melhoria dos níveis de flexibilidade do modelo de governação e do funcionamento das
acções enquadradas nas ELD atenuando a excessiva normalização, limitadora do potencial
inovador do Método LEADER.
No conjunto das Recomendações que integram a Avaliação Contínua de 2008, permanece um
leque de propostas que se considera útil reconsiderar. Nesse sentido, serão objecto de ponderação
na perspectiva da Avaliação Intercalar, designadamente, em matéria de reprogramação.
Em termos de tarefas técnicas, a revisão sistemática assentou fundamentalmente nos elementos
seguintes: (i) reuniões de trabalho com responsáveis/coordenadores de cada uma das Medidas do
PRORURAL; e (ii) entrevistas com gestora do PRORURAL. Com base nestas componentes
metodológicas, foram sistematizadas as principais actividades da AG no desempenho das suas
responsabilidades sobre os dispositivos de gestão e os circuitos de operacionalização (cf. Ponto
seguinte).
c) Principais actividades desenvolvidas pela Autoridade de Gestão
Com base nas entrevistas exploratórias à Autoridade de Gestão, cujos principais objectivos se
centraram na recolha de informação sobre os mecanismos de operacionalização, com o
diagnóstico dos estrangulamentos existentes, e sobre as dinâmicas de aprovação e de execução
das Medidas do PRORURAL, foi perceptível um grande empenho da DRACA e dos Organismos
Intermédios na solução dos vários constrangimentos que surgiram ao longo do ano de 2009, assim
como no acolhimento de algumas das Recomendações efectuadas pela Avaliação Contínua do
PRORURAL, relativa ao ano de 2008. Neste sentido, a gestão do Programa envolveu-se de forma
mais empenhada no desenvolvimento das seguintes vertentes de trabalho:
Estabilizar os mecanismos de operacionalização das diversas Medidas (gestão interna e
acompanhamento da execução dos pedidos de apoio aprovados).
Implementar as Medidas que não foram operacionalizadas durante o ano de 2008
(regulamentação específica, critérios de selecção, divulgação, …).
”
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
14
Estabilizar a estruturação do Sistema de Gestão, com prioridade para a relação
institucional com o IFAP e para a resolução de questões identificadas pela Inspecção Geral
de Finanças (IGF);
Desenvolvimento das aplicações informáticas de modo a assegurar os processos de gestão
de pedidos de apoio e a devolução de indicadores de realização e de resultado.
Alteração da Medida 1.5. Modernização das explorações agrícolas, decorrente da Decisão
do Conselho de 19 de Janeiro de 2009.
Implementação de diversos mecanismos de divulgação.
Revisão dos critérios de selecção de todas as Medidas e Acções do PRORURAL na
sequência do Exame Anual ao Programa, com o objectivo de ver definida uma pontuação
mínima a atingir para que os pedidos de apoio possam ser seleccionados para aprovação.
Contudo, a trajectória de geração de resultados, analisada em função dos níveis de absorção de
recursos de financiamento e da capacidade de execução das entidades beneficiárias, coloca num
patamar insatisfatório as ‘performances’ das principais Medidas de investimento do Programa,
sendo de relevar neste âmbito as preocupações que a Comissão Europeia tem assinalado a este
respeito.
Neste contexto refira-se que o volume de pedidos de apoio aprovados aumentou
substancialmente durante o ano de 2010, assim como a execução financeira, contrariando uma
tendência que se verificava nos anos anteriores de vigência do Programa.
1.2. Âmbito e Objectivos da Avaliação
O actual Ciclo de Avaliação (2008-2015) encontra enquadramento, fundamentalmente, no
Regulamento (CE) n.º 1698/2005, de 20 de Setembro, relativo ao desenvolvimento rural, sendo
complementado pelo Manual sobre o Quadro Comum de Acompanhamento e Avaliação (Direcção
Geral da Agricultura e do Desenvolvimento Rural, Setembro de 2006) o qual, como o nome indica,
desenha uma abordagem para o acompanhamento e a avaliação dos Programas de
Desenvolvimento Rural, no período de programação 2007-2013.
Tendo por base estes dois documentos orientadores, a Avaliação dos Programas de
Desenvolvimento Rural assume um novo conceito, sendo efectuada anualmente, para além dos
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
15
três momentos de Avaliação habituais (ex-ante, Intercalar e ex-post) e procurando uma
abordagem comum entre os diversos Estados-Membros (EM).
O Artigo 86.º do Regulamento (CE) n.º 1698/2005 do Conselho, de 20 de Setembro caracteriza os
conteúdos dos diferentes momentos de Avaliaç~o da seguinte forma: “As Avaliações Intercalares e
ex-post examinam o grau de utilização dos recursos, a eficácia e eficiência da programação do
FEADER, o seu impacto socioeconómico e o seu impacto nas prioridades comunitárias. As avaliações
abrangem os objectivos do Programa e destinam-se a tirar ensinamentos relativos à política de
desenvolvimento rural. Identificam os factores que contribuíram para o sucesso ou o fracasso da
execução dos programas, incluindo o que diz respeito à sustentabilidade, bem como as melhores
práticas”.
Em síntese, a Avaliação dos programas de desenvolvimento rural deverá contribuir para melhorar
a política, clarificar factores críticos de sucesso e/ou insucesso na execução dos Programas e
evidenciar boas práticas sustentáveis, demonstrativas e transferíveis.
A Avaliação Intercalar é efectuada durante o ciclo de vida do Programa, tem um carácter
multidimensional e tem por grande objectivo o acompanhamento dos processos, permitindo uma
comparação entre as actividades e os resultados previstos e alcançados, identificando desvios e
novas necessidades, propondo acções correctivas e elaborando sempre que necessário o
ajustamento dos instrumentos de intervenção.
Na Avaliação Intercalar espera-se observar, sobretudo, os primeiros resultados e impactes das
intervenções, avaliando recursos dispendidos e objectivos alcançados. A importância da Avaliação
Intercalar reside na possibilidade de introduzir ajustamentos no Programa, de forma a
melhorar a sua eficiência e a sua eficácia, sendo os seus principais objectivos os seguintes:
“Avaliar o nível de utilizaç~o dos recursos, a efic|cia e a eficiência da programaç~o do
FEADER, o impacto socio-económico e o impacto nas prioridades estabelecidas.
Rever os objectivos do Programa e tirar lições relativas à política de desenvolvimento
rural definida para a RA Açores.
Identificar os factores que contribuíram para o sucesso ou para o insucesso da
implementação do Programa, incluindo nessa análise a sustentabilidade das
intervenções e a identificação de boas práticas.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
16
Proceder a uma análise crítica dos resultados e impactos alcançados, face aos
objectivos definidos identificando de forma objectiva e fundamentada as causas dos
eventuais afastamentos relativamente ao previsto e programado.
Propor medidas para melhorar a qualidade do Programa e a sua implementaç~o” (cf.
Caderno de Encargos para a aquisição de serviços de realização da Avaliação Contínua
do PRORURAL, págs. 21 e 22).
1.3. Breve nota sobre as actividades já desenvolvidas
No âmbito da preparação da Avaliação Intercalar do PRORURAL, a Equipa de Avaliação
desenvolveu algumas actividades, sobretudo, com o objectivo de elaborar o presente Relatório e
de desenhar o plano dos trabalhos de avaliação para o ano de 2010.
O Relatório Preliminar preenche uma função de aprofundamento metodológico da Proposta
Técnica apresentada em Setembro de 2009, sendo que esse aprofundamento beneficia dos
seguintes vectores de trabalho, entretanto, desenvolvidos:
(i) recolha e análise de um conjunto alargado de documentos de referência e de suporte
técnico visando, nomeadamente, a apreciação de metodologias alternativas para a
resposta aos indicadores de impacto e a dotação de uma perspectiva próxima em
matéria de coordenação/gestão e em matéria de implementação e de execução do
Programa;
(ii) recolha de informação empírica, através da realização de uma série de entrevistas
exploratórias com a Gestão do Programa (Gestora, responsáveis por Eixos e Medidas e
responsáveis por procedimentos de controlo), com o objectivo de obter elementos sobre
o contexto em análise (operacionalização e implementação, dinâmicas de execução,
principais dificuldades, …);
(iii) definição dos principais vectores de análise dos instrumentos de suporte à realização das
entrevistas, dos inquéritos e dos estudos de casos, que constituem parte da arquitectura
metodológica da Avaliação Intercalar e a base de trabalho a desenvolver nos próximos
meses;
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
17
(iv) definição dos planos de recolha de informação, incluindo as amostras no âmbito dos
diferentes universos de beneficiários a inquirir e a identificação de entidades a
entrevistar e os casos a analisar;
(v) realização de uma série de reuniões de trabalho entre a Equipa de Avaliação, as equipas
informáticas (SiRURAL e e-rural) e a Autoridade de Gestão para afinar as questões
relacionadas com a resposta aos indicadores de realização e de resultado do Programa.
Esta vertente de trabalho de campo apresenta-se, apenas, parcialmente conseguida sendo
necessário nas próximas semanas assegurar o acesso a informação substantiva que permita a
construção efectiva daquelas amostras e a identificação dos casos concretos a estudar. A própria
realização de um primeiro ciclo de entrevistas contribuirá, decerto, para a conclusão desse
exercício.
Os instrumentos de avaliação utilizados nesta primeira fase da Avaliação em resposta às
necessidades de informação de suporte às componentes de Avaliação em desenvolvimento, foram
as seguintes:
Análise documental/regulamentar;
Entrevistas e reuniões de trabalho;
Análise quantitativa dos dados de execução física e financeira do Programa.
No que se refere à análise qualitativa da informação recolhida, destaca-se a análise de conteúdos
das entrevistas realizadas e dos documentos examinados (Documento do PRORURAL,
Regulamentos específicos das Medidas, documentação produzida pela Rede Europeia de
Avaliação, entre outros), sobretudo, numa óptica de aquisição de conhecimentos base sobre o
contexto de operacionalização, implementação e execução do Programa e de conhecimentos
técnicos para desenvolver as metodologias necessárias à prossecução do Estudo de Avaliação.
Relativamente às técnicas utilizadas para a análise quantitativa, destaca-se a compilação e análise
de informação/dados de execução física e financeira das Medidas do Programa.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
19
2. QUADRO METODOLÓGICO DE REFERÊNCIA DA AVALIAÇÃO
A Avaliação Intercalar insere-se no ciclo de Avaliação dos Programas Operacionais
co-financiados pelos fundos estruturais e tem por finalidade, traçar um balanço de conjunto
actualizado das condições de desenvolvimento dos Programas, nomeadamente o grau de
concretização dos objectivos globais e específicos, por Eixo Prioritário e Medida/Tipologia de
intervenção e a produção de resultados e efeitos face aos problemas diagnosticados, resultando
num instrumento que tem por objectivo melhorar a qualidade, eficiência e eficácia da execução do
Programa.
O roteiro metodológico que a Equipa de Avaliação procura desenvolver apresenta uma lógica de
encadeamento de resultados que, com base na informação recolhida e processada, vai contribuir
para responder às componentes específicas de avaliação, para a apresentação de conclusões e
para a formulação de recomendações numa óptica de introdução de melhorias ao nível da
implementação e execução do Programa, tendo sempre por base a organização do trabalho em
função da resposta às Questões Comuns de Avaliação e da quantificação dos Indicadores de
impacto.
No plano metodológico, o enquadramento da Avaliação Intercalar é suportado
fundamentalmente por Documentos complementares com origem na Comissão Europeia e na
Rede Europeia de Avaliação.
A Comissão Europeia - Direcção Geral da Agricultura e do Desenvolvimento Rural (DGAgri)
publicou, em Setembro de 2006, o Manual sobre o Quadro Comum de Acompanhamento e
Avaliação (QCAA) e uma série de Notas de Orientação, que contemplam uma abordagem comum
de acompanhamento e avaliação dos Programas de desenvolvimento rural e que definem (i) os
requisitos de Avaliação, (ii) um conjunto alargado de indicadores comuns relativos à execução
financeira, às realizações físicas, aos resultados e aos impactos do Programa e (iii) uma lista
extensa de Questões Comuns de Avaliação.
Ainda no plano metodológico, um apoio ao desenvolvimento das actividades e da metodologia de
acompanhamento e avaliação é proporcionado pela Rede Europeia de Avaliação, a qual
disponibiliza documentos metodológicos sobre os métodos e ferramentas a utilizar no processo
de Avaliação dos impactos associados aos Programas de desenvolvimento rural.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
20
Neste contexto, a Avaliação Intercalar será conduzida pela Proposta Técnica aprovada, mas
também pelos recentes documentos produzidos pelos Grupos de Trabalhos Temáticos
coordenados pela Rede Europeia de Avaliação: "Approaches for assessing the impacts of the Rural
Development Programmes in the context of multiple intervening factors, March 2010” e “Capturing
Impacts of LEADER and Measures Related to Quality of Life in Rural Areas, Draft WP 2, April 2010”
(específico para os Eixos III e IV).
Estes documentos não têm por objectivo estabelecer um método de avaliação comum para toda a
União Europeia, mas antes dar corpo a uma abordagem que permita aos Estados Membros
rendibilizarem o seu trabalho e seleccionarem métodos e instrumentos apropriados e
desenvolverem um ponto de vista convergente no estabelecimento dos impactos de Programas
de Desenvolvimento Rural. A importância desta reflexão determina a sua incorporação neste
documento metodológico.
2.1. Referencial metodológico (modelo global de Avaliação)
O modelo global de Avaliação tem como objectivo fundamental responder adequadamente a
todas as dimensões definidas na Proposta Técnica de Avaliação. Neste Ponto pretende-se
estabelecer o modelo de metodológico aperfeiçoado face à Proposta Técnica (elementos
principais a contemplar, bem como as orientações relativas aos procedimentos a seguir) tendo em
conta a situação actual do Programa e o perfil de informação que, à partida, vai ser possível
disponibilizar à Equipa de Avaliação.
De entre os elementos-chave que vão servir de orientação à Avaliação, salientam-se os seguintes:
análise das realizações e resultados obtidos até final de Junho de 2010 em função dos
objectivos e da execução financeira do Programa (análise centrada nas realizações e
resultados globais, em função das prioridades e valorizando os indicadores do
Programa);
análise dos impactos obtidos até Junho de 2010 e probabilidade de realização dos
objectivos das Medidas e do Programa;
análise de questões comuns de avaliação horizontais e específicas nas ópticas regional,
sectorial e do Estado-membro;
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
21
apresentação de conclusões relativas à eficiência, eficácia, impacto e recomendações
relativamente ao futuro (identificação das eventuais mudanças na estratégia e
objectivos do PRORURAL).
As opções metodológicas que estruturam o modelo de Avaliação Intercalar assentam e dependem
de um adequado equilíbrio entre duas perspectivas de trabalho:
(i) a perspectiva de avaliação por Medida, indispensável face aos requisitos de diversas
dimensões analíticas e face, também, à diversidade de intervenções e tipologia de
resultados esperados, comportados nas diferentes Medidas do PRORURAL; e
(ii) uma visão integradora da avaliação do Programa como um todo, para a qual deve
contribuir um conjunto de vertentes de análise que incorporam as preocupações de
natureza transversal do Programa (concepção e programação, sistema de gestão e
acompanhamento, eficiência e eficácia, …).
O delineamento de objectivos e de temas a abordar foi contemplado na formulação detalhada do
quadro de actividades a empreender no âmbito da Avaliação, aquando da Proposta Técnica, cujo
conteúdo se reproduz do diagrama seguinte, o qual evidencia a relação entre as técnicas e
instrumentos com a natureza das componentes específicas de Avaliação.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
22
(continua)
Dimensões de Avaliação Vectores de
Análise/Conteúdos-tipo
Reanálise SWOT do sector agro-rural; Reanálise da hierarquia de prioridades e da coerência interna, por Eixo
prioritário; Reanálise da adequação dos objectivos às necessidades (objectivos
FEADER e objectivos gerais, específicos e operacionais do Programa); Reanálise da coerência externa e da conformidade com políticas
regionais, nacionais e comunitárias; Avaliação da necessidade de introduzir alterações face a mudança no
contexto de partida, decorrente de factores internos ou internos ao próprio Programa.
Avaliação do Sistema de
Gestão e Acompanhamento
Identificar os actores intervenientes na gestão, execução e acompanhamento do Programa e respectivas responsabilidades;
Apreciação da articulação entre os vários actores e entre os diferentes níveis de responsabilidade;
Análise da adequação dos indicadores utilizados para a monitorização do Programa;
Análise da adequação e compreensibilidade do quadro normativo (critérios de selecção de Projectos, condições de elegibilidade dos beneficiários e de investimentos, etc.);
Análise da participação dos parceiros sociais (p.e., integração das prioridades horizontais na execução do Programa).
Avaliação do sistema de informação e dos
procedimentos de recolha e de produção de dados
Análise da a eficácia do sistema no tocante à produção de informação atempada, fidedigna e útil para os vários procedimentos inerentes à execução do Programa (processos de análise, decisão, contratação, pagamento e controlo dos pedidos de apoio, verificação de elegibilidades e afectação das despesas, apuramento de indicadores de acompanhamento, de gestão e de avaliação), segundo os critérios seguintes: organização do sistema em termos de informação
produzida/capacidade de produção de informação automática e dirigida (indicadores de resultados, de realização, etc.);
fiabilidade dos procedimentos de recolha de informação; utilidade dos indicadores pré-definidos e possibilidade/capacidade
de produção de outros indicadores que sejam vantajosos quer para a gestão e acompanhamento do Programa, quer para os momentos de avaliação (p.e., decorrentes dos formulários de candidatura).
Avaliação dos dispositivos de
divulgação do Programa
Análise da adequação dos meios de comunicação utilizados, dos conteúdos transmitidos e dos públicos-alvo alcançados;
Avaliação da clareza, acessibilidade e actualização da informação; Avaliação da execução do Plano de Comunicação, elaborado pela
Autoridade de Gestão; Apreciação da eficácia na transmissão de informação aos potenciais
beneficiários do Programa.
Reanálise da coerência,
relevância e do quadro lógico
do Programa
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
23
Fonte: Especificações Técnicas do Caderno de Encargos para o Concurso para a Avaliação Contínua do PRORURAL.
A avaliação assenta na percepção da mudança, pelo que será necessário aferir as performances
relativas à utilização do FEADER, obedecendo a critérios de avaliação relacionados com a
qualidade da gestão e o nível de execução financeira e a eficácia e a eficiência do PRORURAL.
Neste contexto, os vectores-base de trabalho a ter em consideração no exercício da Avaliação são
os seguintes:
Reunir informação relevante, tanto de natureza financeira, como de realizações físicas,
resultados e impactos.
Aferir com base na informação recolhida em que medida se mantém válida a adequação
das formas de intervenção (relevância estratégica, pertinência de objectivos, consistência
interna e externa) e do seu desempenho (eficácia na obtenção dos objectivos pretendidos,
eficiência na utilização dos recursos).
Apreciar em que medida o Programa permitiu superar ou reduzir os problemas e pontos
fracos evidenciados aquando da concepção do mesmo.
Produzir conclusões sobre a avaliação de conjunto do Programa, designadamente em
matéria da sua utilidade, da sua sustentabilidade ou do seu valor acrescentado.
Dimensões de Avaliação Vectores de
Análise/Conteúdos-tipo
Avaliação da eficácia e da
eficiência
Análise da adequação do peso financeiro de cada Medida e Acção face aos resultados e impactos esperados;
Análise da eficiência em termos de custo por realização e por resultado; Aferição até que ponto os objectivos definidos foram alcançados pelas
Medidas e Acções e pelo Programa no seu global;
Resposta às Questões Comuns
de Avaliação
Responder às Questões Comuns de Avaliação, tendo por referência o enquadramento específico do Programa, o conjunto de indicadores definidos de acordo com a cadeia lógica do Programa (Eixo/Medida/Acção) e a informação qualitativa recolhida, sobretudo, no âmbito das avaliações específicas por Medida.
Criar soluções para colmatar eventuais necessidades de informação.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
24
Propor recomendações para melhorar a qualidade do Programa e a sua execução, tendo
sempre em conta a geração de resultados e impactos conducentes aos seus objectivos.
O esquema seguinte permite visualizar o encadeamento dos vectores de trabalho referidos atrás.
Figura 4. Esquema metodológico global
Análise de informação qualitativa (análise documental; análise de conteúdo de entrevistas comintervenientes e observadores privilegiados, análise de conteúdos de Estudos de caso; análise deinformação recolhida em reuniões de trabalho)
Análise de informação quantitativa (informação estatística formal; dados de execução física efinanceira das Medidas do Programa; análise de dados dos inquéritos; ...)
Reanálise da coerência, relevância e do quadro lógico do ProgramaAvaliação do Sistema de Gestão e Acompanhamento
Avaliação do sistema de informação e dos procedimentos de recolha e de produção de dadosAvaliação dos dispositivos de divulgação do Programa
Avaliação da eficácia e da eficiência
Análise do contributo do Programa para atingir os objectivos fixados na estratégia regional, nacional e comunitária
Análise específica por Medida
Resposta às Questões omuns de Avaliação horizontais e específicas
Quantificação dos indicadores de impacto
Apresentação de Conclusões e formulação de recomendações
Inputs
Dimensões de Avaliação
Outputs
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
25
Para construir o ‘corpo de evidências’ é necessário recolher e analisar informação estatística
secundária e primária, formal e empírica que garanta a leitura de resultados e a “mediç~o da
mudança”, sendo que para a sua interpretação e justificação recorrer-se-á a informação
documental/qualitativa. Nesta análise dever ter-se em conta dois níveis: macro – ocorrências; e
micro - induzido pela intervenção das diversas Medidas (utilização dos recursos financeiros).
Partindo-se dos resultados da primeira fase de trabalho, dever-se-á identificar os contributos das
Medidas e saber de que forma (esperada ou inesperada) a Medida contribui para aqueles
contextos específicos, procurando-se desenhar a cadeia de efeitos e a sua relação com o Programa
no seu todo.
A última fase respeita à interpretação dos indicadores e da informação qualitativa (subjectiva e
objectiva), que eventualmente permitirá um ajuizamento sobre o contributo das Medidas de
desenvolvimento rural para a mudança/para os impactos do Programa. Para esta fase será crucial
o complemento da informação recolhida através dos instrumentos aplicados pela Equipa de
Avaliação.
Em suma, a linha de desenvolvimento dos trabalhos apresenta uma lógica de cadeia de resultados
que, com base na informação recolhida e processada, vai contribuir para as componentes
específicas de avaliação, para a apresentação de conclusões e para a formulação e fundamentação
de recomendações
2.2. Métodos de recolha e análise da informação
Das actividades a empreender para suportar quadro metodológico descrito, destaca-se a recolha e
processamento de informação. À partida existem várias possibilidades quanto ao tipo de recolha
de informação a efectuar, independentemente de se tratar de uma análise qualitativa ou de uma
análise quantitativa, sendo por vezes utilizadas em conjunto de acordo com as combinações mais
adequadas para cada componente de Avaliação.
Note-se que a componente de carácter qualitativo tem em vista dotar a Avaliação de informação
empírica em torno da visão de determinadas entidades e leaders de opinião acerca dos objectivos
e [potenciais] resultados e efeitos do Programa, e face à situação no momento de Avaliação e às
perspectivas futuras para a RA Açores naquele contexto específico, tendo em conta o
enquadramento socioeconómico, técnico-produtivo e ambiental.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
26
O quadro metodológico descrito, foi desenvolvido para dar resposta aos objectivos da Avaliação
Intercalar do PRORURAL, sendo que, na óptica deste Relatório Preliminar, importa apresentar
uma descrição detalhada das técnicas associadas à recolha de informação (fontes primárias e
secundárias).
Neste âmbito considera-se que a qualidade da Avaliação será tanto melhor se se cruzar
abordagens qualitativas e quantitativas enquadradas numa arquitectura abrangente e coerente,
tendo em consideração uma perspectiva múltipla de relações cruzadas (interna/externa,
diferentes stakeholders) e visões abrangentes de beneficiários e entidades ligadas à gestão do
Programa). Assim, os processos de recolha e análise de informação deverão assentar numa
abordagem multi-método, sendo que a aplicação dos instrumentos de recolha de informação e
das ferramentas de análise adequar-se-ão quer aos domínios de avaliação quer ao objecto
concreto sob apreciação.
Faz-se notar, desde já, que a Avaliação está fortemente dependente da qualidade e fiabilidade da
informação disponível para alimentar as dimensões de resposta de natureza quantitativa,
nomeadamente, de resposta aos indicadores de realização e de resultado. Este é um aspecto
crítico transversal à abordagem metodológica global e específica, que se espera seja garantida, à
partida, pela disponibilidade de informação dos vários Sistemas de informação.
De entre as técnicas e instrumentos disponíveis, evidenciam-se os sistematizados no quadro
seguinte.
Quadro 2. Abordagem multi-método: identificação de métodos de recolha e análise de informação a utilizar na Avaliação Intercalar
Abordagem multi-método
Métodos de recolha
Pesquisa de informação documental, administrativa e regulamentar
Pesquisa de informação quantitativa - exploração do SiRURAL, e-rural e SiAGRI
Pesquisa de informação estatística formal
Entrevistas Reuniões de trabalho Estudos de caso Inquéritos a beneficiários >Observação directa
Métodos de análise
Análise SWOT – tendências Análise de conteúdos de entrevistas e de
documentos Desenho de esquemas lógicos, árvore de
objectivos e mapa de impactos esperados Processamento e análise dos dados de
inquéritos aos beneficiários Análise comparativa do conjunto de
indicadores com as metas e resultados previstos
Análise de indicadores de realização e de resultado
Definição e análise de indicadores de gestão
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
27
Nos pontos seguintes descrevem-se os aspectos essenciais dos diversos instrumentos de trabalho,
sendo que se apresenta a sua descrição detalhada no Volume II – Instrumentos de recolha e
Análise de informação.
a) Pesquisa e análise documental
A pesquisa de informação documental tem como objectivo recolher informações publicadas e
disponíveis que se demonstrem relevantes para a questão em análise, podendo incluir o envio de
solicitações de informação.
A análise de informação documental tem em vista efectuar uma reconsideração crítica, na óptica
dos objectivos do Estudo, de um vasto conjunto de documentos de referência e de suporte técnico
(Volume II – A. Fontes de informação documental). Esta análise vai abranger diversos estudos,
relatórios e documentos técnicos de diversas fontes, nomeadamente com o objectivo de proceder
a uma análise crítica dos factores que influenciam e enquadram quer o contexto em que o
Programa opera, quer a sua gestão interna, tendo presente os elementos associados ao novo
período de programação, com fortes repercussões na implementação e na execução dos diversos
domínios de intervenção.
O resultado da leitura dos vários documentos será sistematizado a partir da sua integração nos
diversos domínios de avaliação.
b) Entrevistas a interlocutores-chave
Esta técnica consiste num instrumento preferencial para recolher informação qualitativa e para
confirmar ou infirmar hipóteses. As entrevistas serão orientadas em moldes semi-directivos, com
o apoio de guiões ajustados aos interlocutores e às áreas de intervenção do Programa, cuja
estrutura contempla uma margem de flexibilidade razoável no que respeita aos dados a recolher,
que são essencialmente qualitativos. Os interlocutores serão convidados a expressar as suas
opiniões sobre a matéria em análise. Uma pesquisa junto dos beneficiários ou das entidades
associativas, por exemplo, poderá permitir compreender, o ciclo de vida e os resultados de
determinado investimento ou poderá revelar factores favoráveis e desfavoráveis à criação de
empresas em áreas rurais.
A informação recolhida através deste instrumento será submetida primeiro a uma segmentação
dos seus conteúdos (entre operacional e estratégico e entre geral e específico) e depois
enquadrada de acordo com o domínio de avaliação numa grelha de leitura e interpretação comum
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
28
a todas as entrevistas, permitindo, desta forma, sistematizar os vários pontos de vista dos
diferentes interlocutores entrevistados.
Na aplicação desta técnica prevê-se privilegiar as entrevistas em profundidade, realizadas
individualmente e com o recurso à modalidade de contacto directo (em sessões presenciais). Não
obstante, poderão ser organizados focus-group se se revelar necessário (entrevistas/reuniões em
grupo nas quais interagem uma figura central, o moderador, e um pequeno conjunto de pessoas).
Qualquer dos casos implica ter como suporte guiões de orientação preparados pelos avaliadores.
Esses Guiões, apresentados de forma sumária no ponto B. Entidades a entrevistas e Guiões a utilizar
do Volume II deste Relatório, contêm campos/questões relativos à programação e concepção do
PRORURAL, implementação de dispositivos de gestão e acompanhamento e produção de
resultados e efeitos. Deverão, igualmente, proporcionar a recolha de material adicional com
interesse para a Avaliação.
Consideram-se, à partida, dois importantes ciclos de entrevistas:
(i) na fase inicial, abrangendo responsáveis a nível regional da estrutura da SRAF e outros
intervenientes-chave do PRORURAL (p.e., os Organismos Intermédios de Gestão,
Associações de Desenvolvimento Local), as entidades associativas e empresariais da
Região (promotores ou não de projectos de investimento) e a observadores privilegiados
das realidades objecto de intervenção no âmbito das Medidas do Programa e que
disponham de uma visão no plano dos resultados e dos efeitos;
(ii) num segundo momento, já na última fase do Estudo, este leque de
responsáveis/intervenientes poderá, eventualmente, ser confrontado com
resultados-chave do processo de Avaliação, com o objectivo de identificar os aspectos
negativos (a atenuar/corrigir) e os aspectos positivos (a desenvolver/fomentar) e de
elencar actuações recomendáveis.
As entrevistas constituem, igualmente, uma técnica satisfatória para assegurar a Avaliação das
Medidas que, pelo seu peso financeiro, pela natureza dos apoios que conferem ou pelo tipo e
volume de beneficiários abrangidos, não se justifique ser avaliadas utilizando inquéritos com base
em questionários mais fechados.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
29
c) Exploração dos sistemas de informação
Esta ferramenta contempla a exploração do vasto conjunto de dados quantitativos de natureza
financeira e física associado à execução e monitorização do Programa. Esta componente está
ligada à informação de base – fontes relacionadas com a execução do PRORURAL (SiRURAL,
SIFAP e e-RURAL) que devem ser objecto de exploração e análise, nomeadamente com vista ao
apuramento dos indicadores definidos no Programa. Afigura-se igualmente importante proceder-
se à análise de dossiers de pedidos de apoio de um leque de projectos não aprovados com vista à
construção de tipologias de motivos de não aprovação.
Entre os dados de natureza física destaca-se o papel dos indicadores de realização [física e
financeira] e de resultado, ou seja, os indicadores de acompanhamento associados às metas
estabelecidas para as respectivas Medidas. Neste âmbito, a Avaliação vai mais longe do que
explorar os dados constantes nos sistemas de informação, apreciando a qualidade dos mesmos
para a monitorização, acompanhamento e avaliação do Programa e a sua capacidade de
fundamentar os processos de decisão.
O processamento da informação recolhida orientar-se-á, sobretudo, para o domínio de avaliação
da eficácia e da eficiência. No caso do SiRURAL e do e-rural, o acesso à informação já foi facultado
à equipa de avaliadores através da criação de um utilizador do sistema de informação para
exploração directa da informação.
d) Reuniões de trabalho
Considera-se essencial o desenvolvimento de um ciclo de reuniões de trabalho na fase inicial da
Avaliação, abrangendo a Autoridade de Gestão do Programa e a respectiva Estrutura de Apoio
Técnico, assim como entidades oficiais ‘gestoras de mananciais de informação’ importantes para a
resposta a diversas dimensões de trabalho (p.e., Agência Portuguesa do Ambiente (APA),
Sociedade Portuguesa para o Estudo das Aves (SPEA)), com vista a dotar o Estudo de
elementos-chave para desenvolver o Quadro Lógico da Avaliação.
e) Pesquisa de informação estatística
Esta técnica consiste na recolha e utilização de dados quantitativos de fontes secundárias que
permitam compreender o contexto do Programa (cf. Volume II – C. Fontes de informação
estatística), incluindo censos e levantamentos e outros dados administrativos. Os dados
estatísticos podem, ainda, ser utilizados para revelar impactos relevantes ao longo do tempo e ser
úteis para a identificação de necessidades e de tendências.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
30
O processamento das estatísticas socio-económicas gerais, da agricultura, da pecuária, das
florestas, da indústria agro-alimentar e do desenvolvimento rural, deverá permitir reformular o
diagnóstico da situação de partida (momento de concepção e programação do PRORURAL) e
estabilizar a construção de matrizes SWOT (identificação de forças e fraquezas e de
oportunidades e ameaças). Geralmente, pode ser utilizada uma série de fontes mas no caso
particular da Avaliação do PRORURAL a Equipa de Avaliação vai concentrar-se na gama de dados
produzida pelo Serviço Regional de Estatística dos Açores (SREA), pelo Instituto Nacional de
Estatística (INE), pelo Gabinete de Planeamento e Políticas (GPP) e pelo Gabinete de Estatísticas
da União Europeia (EUROSTAT).
Este tipo de informação tem igualmente utilidade na óptica da estimativa/actualização dos
indicadores de base e da estimativa dos impactos específicos e globais constantes dos Anexos I e II
do Documento do PRORURAL (produtividade, natureza do investimento e competitividade,
inovação produtiva e tecnológica, emprego e competências, qualidade da água, inversão do
declínio da biodiversidade, etc.).
Uma outra componente está ligada à Rede de Informação de Contabilidades Agrícolas, que
encerra informação contabilística e técnica de uma amostra de explorações agrícolas da RA
Açores, sendo uma fonte privilegiada de dados micro-económicos que reflectem a evolução
dessas explorações em termos estruturais (efectivos, quantidade de trabalho, áreas e quantidades
produzidas, etc.) e em termos económicos e financeiros (valor da produção das várias culturas,
compras e vendas, custos de produção, juros e subsídios, etc.).
f) Inquéritos aos beneficiários do Programa
Os inquéritos aos beneficiários vão ser utilizados para recolher evidências ao nível das pessoas
directamente afectadas pelo Programa, presumindo que vão beneficiar da sua intervenção. As
respostas ao inquérito vão contribuir para dispor de um conjunto alargado de elementos de
informação de carácter quantitativo e qualitativo, permitindo compreender a visão dos
beneficiários relativamente às questões colocadas.
O processo de inquirição vai ser efectuado por via postal, fax ou online, de acordo com o
público-alvo e vai abranger a totalidade ou uma amostra representativa de beneficiários. Os
inquéritos vão incluir a colocação de uma série de perguntas padronizadas de acordo com a
Medida que está em análise. Este método não apresenta dificuldades de implementação desde
que se obtenha uma amostra bem referenciada (dados para a recepção dos inquéritos).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
31
Em virtude do estado ainda imaturo em termos de implementação de diversas Medidas do
Programa, dos processos de inquirição previstos em sede de Proposta, estão previstos quatro
grandes tipos de inquéritos (específicos, nas suas questões, de acordo com a natureza das
Medidas):
Inquéritos aos projectos de investimento por via postal, junto dos respectivos promotores
para recolha de informação económica das componentes de investimento, campos de
produção de resultados e efeitos, expectativas quanto à melhoria da competitividade das
explorações, áreas de inovação técnico-produtiva e tecnológica, ...
Inquérito ao universo de promotores designadamente das Medidas 1.2., 1.3., 1.5. e 1.6.
Os Inquéritos dirigidos a produtores agro-pecuários beneficiários das ajudas no âmbito
do Eixo 2, os quais vão ser aplicados via postal e, em termos de estrutura, têm em vista um
conjunto de aspectos centrados no impacto dessas ajudas nas explorações agro-pecuárias
e florestais.
Inquérito a uma amostra de beneficiários das Medidas 2.1. e 2.2.
Inquérito a promotores ou beneficiários de projectos inseridos nas estratégias locais de
desenvolvimento. Tem-se em vista apurar a situação de partida e os contributos
expectáveis e/ou alguns impactes já identificáveis, as modalidades de intervenção na
envolvente dos territórios rurais, etc.
Inquérito ao universo dos beneficiários das Medidas do Eixo 3.
Dada a pouca maturação dos projectos aprovados no âmbito dos Eixos 1 e 3, os inquéritos vão
apontar para a compreensão de três aspectos fundamentais: caracterização do beneficiário e do
projecto de investimento, acessibilidade do Programa e respectiva motivação e resultados
esperados (cf. Volume II – D. Inquéritos a aplicar aos beneficiários de diversas Medidas do
PRORURAL).
No que respeita ao Eixo 2, a amostra de beneficiários a inquirir deverá coincidir com a amostra dos
beneficiários das Intervenções Indemnizações Compensatórias e das Medidas
Agro-ambientais inquiridos aquando da “Avaliaç~o final do Plano de Desenvolvimento Rural dos
Açores (PDRu Açores)”. Este procedimento tem a vantagem de permitir “acompanhar” o
comportamento de um conjunto de agricultores na passagem do PDRu Açores para o PRORURAL
e comparar resultados entre os dois Programas no que respeita a eventuais alterações estruturais
da unidade produtiva, modalidades de conhecimento dos dois Programas, motivações de adesão,
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
32
e dificuldades de funcionamento dos Programas. O questionário por inquérito terá a mesma base
que o instrumento utilizado nessa avaliação sendo, no entanto, adaptado ao período temporal da
presente Avaliação Intercalar e às Medidas, Acções e Intervenções do PRORURAL e respectivos
resultados esperados.
A totalidade das variáveis presente nos Inquéritos vai ser sujeita a uma análise estatística dos
dados, com recurso a técnicas univariadas e bivariadas indutivas, sendo que se vai utilizar para
esse efeito o PAWS Statistics. No caso das perguntas de resposta aberta, a sua codificação será
feita a posteriori, com base na proximidade do significado das respostas. Em Medidas cuja
diferenciação regional seja importante (p.e., Medidas 1.5, 2.1. e 2.2.) poderá ser apresentado um
conjunto de Fichas-síntese por Ilha, contemplando as linhas de análise que se considerem mais
relevantes.
g) Estudos de Caso
Os Estudos de Casos consistem numa ferramenta privilegiada em termos de recolha de
informação na medida em que envolvem uma análise aprofundada de aspectos quantitativos e
qualitativos relativos à aplicação do Programa, sob a perspectiva dos beneficiários, contribuindo,
assim, para uma compreensão profunda e detalhada de dois planos:
por um lado, constitui uma razoável aproximação à forma como os beneficiários
interpretam os objectivos do Programa, absorvem o apoio financeiro das diversas
Medidas e Acções e discutem em torno dos [potenciais] resultados e efeitos e das suas
expectativas face ao futuro;
por outro lado, permite obter uma visão contrastada de aspectos-chave na respectiva
relação com o PRORURAL, p.e., divulgação, operacionalização, gestão e
desenvolvimento das Medidas do Programa, obviamente a partir de uma
posição/observação a nível micro.
Em articulação com a Gestão do Programa serão seleccionados cerca de dez Casos de Estudo (cf.
Volume II – E. Estudo de Casos a realizar e principais linhas de análise) a realizar a um conjunto de
beneficiários, com base em guiões de carácter semi-directivo, pressupondo uma entrevista
presencial aos intervenientes-chave. Este método de observação no local vai explorar a situação
ou contexto específico numa forma monográfica e vai ser baseado em formas mistas de análise
(qualitativa e quantitativa).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
33
Associado ao conceito de Avaliação Contínua, a Equipa de Avaliação optou pelo
acompanhamento dos pedidos de apoio seleccionados para Estudo de caso ao longo do período
de programação, pressupondo a observação dos mesmos pedidos de apoio ao longo dos anos
(2010 – 2015). A selecção terá uma distribuição representativa do arquipélago e sempre que
possível contemplará uma boa prática demonstrativa e preferencialmente transferível.
h) Painéis de discussão
Estes painéis são instrumentos que integram elementos interactivos, sendo essenciais para a
qualidade do processamento da informação recolhida. Os painéis de discussão assumem um
carácter menos formal, quando se trate de sessões de trabalho de equipa (reuniões de
brainstorming), ou um carácter mais formal sob o formato de “entrevistas” colectivas, isto é, em
simultâneo com diversos interlocutores/especialistas detentores de informação de determinada
natureza.
A interacção entre os membros do grupo é facilitada por um elemento do núcleo central da Equipa
de Avaliação, que coloca as questões para discussão. Esta tipologia apresenta duas grandes
vantagens: recolher uma grande quantidade de informação qualitativa; e permitir a partilha e
comparação de experiências e de pontos de vista diferenciados.
No âmbito desta Avaliação, estes formatos de recolha de informação poderão vir a ocorrer na fase
intermédia do Estudo.
2.3. Metodologias específicas de Avaliação
O ponto deste Capítulo, referente às Metodologias Específicas, destina-se a abordar de forma
detalhada as questões metodológicas e os objectivos das principais componentes específicas de
avaliação. Este Ponto compreende três componentes principais norteadas pelo objectivo de
Avaliação das dimensões analíticas que foram apresentadas na Proposta Técnica em Setembro de
2009 e que continuam válidas:
DDiimmeennssõõeess ccoomm ccaarráácctteerr ddee aavvaalliiaaççããoo ttrraannssvveerrssaall – reanálise do quadro lógico do
Programa, avaliação do sistema de gestão e acompanhamento, avaliação do sistema de
informação e dos procedimentos de recolha e de produção de dados, e Avaliação dos
dispositivos de divulgação do Programa.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
34
O percurso metodológico associado a estas dimensões, que assumem um posicionamento
transversal face à aplicação do Programa, privilegia a componente documental e a
componente de recolha de informação empírica.
De uma forma geral estão em causa, por um lado, a articulação existente entre os
objectivos do Programa e a estratégia comunitária e a resposta que as Medidas possam
dar às dimensões-problema e, por outro, a gestão deste instrumento de política agrícola e
de desenvolvimento rural.
Uma outra linha de reflexão decorre da informação e da divulgação, a primeira com
importância em termos de operacionalização e de gestão e a segunda em termos de
alcance do Programa aos seus potenciais beneficiários.
No âmbito desta Avaliação Intercalar, a análise da coerência da estratégia assume
particular significado, no sentido de compreender quais as potencialidades e
constrangimentos que eventualmente se coloquem em componentes estruturais do
Programa, a meio do seu período de execução.
DDiimmeennssããoo ccoomm ccaarráácctteerr ddee aavvaalliiaaççããoo eessppeeccííffiiccoo,, rreellaacciioonnaaddaa ccoomm aa eeffiicciiêênncciiaa ee eeffiiccáácciiaa
ddoo PPrrooggrraammaa – avaliação específica por Medida.
O quadro de referência para a Avaliação Intercalar é constituído por um esquema
conceptual de cadeias de resultados e impactos específicos (Acção – Medida – Eixo –
Programa), partindo do pressuposto que esses impactos específicos não se esgotam nos
objectivos estratégicos do Programa em que se inserem, mas podem influenciar
mudanças ao nível do sector agro-rural da RA Açores.
Assim, uma desagregação ao nível dos objectivos específicos do PRORURAL e a sua
articulação com os seus objectivos estratégicos permite, através de uma cadeia explícita
de resultados, apreender melhor a sua efectiva contribuição. É neste contexto que (i) num
primeiro momento, se vai estabelecer uma relação a montante entre os objectivos do
Programa e os objectivos específicos das Medidas, relação que delimita o perfil de
resultados específicos; (ii) num segundo momento, se vai analisar os contributos
específicos de cada uma das Medidas do Programa, permitindo posteriormente a sua
integração na análise supra-resultados ou de impactos.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
35
2.3.1. Dimensões com carácter de avaliação transversal
Na estruturação deste Ponto procura-se integrar as dimensões de análise que assumem um
posicionamento transversal face à aplicação do Programa especificando, para cada componente
específica, a metodologia de avaliação, sob a forma de fichas-síntese que se encontram
subdivididas em torno de quatro blocos de análise:
1. Contextualização da matéria a avaliar, assinalando os principais objectivos;
2. Identificação dos aspectos mais importantes a considerar no âmbito da avaliação da
dimensão em análise;
3. Actividades de avaliação a realizar;
4. Principais resultados esperados da avaliação empreendida.
Os principais elementos metodológicos a utilizar para realizar a Avaliação das componentes
específicas encontram-se sistematizados no Volume II – F. Principais elementos metodológicos a
utilizar para realizar a Avaliação das componentes transversais.
Reanálise da coerência, relevância e do Quadro lógico do Programa
2. Contextualização
Esta análise destina-se a comprovar a validade, a pertinência e a relevância da estratégia adoptada ou a necessidade de adaptação face a alterações ocorridas nos contextos sócio-económico, técnico-produtivo e ambiental de que se destacam, nomeadamente, as incidências da revisão da Reforma da PAC e os novos desafios da política comunitária de desenvolvimento rural e a persistência de bloqueamentos socio-estruturais e financeiros que limitam o desenvolvimento de segmentos de actividade com potencial competitivo. Esta validação deve ocorrer a dois níveis:
Internamente à estrutura do Programa, considerando os resultados da Avaliação Intercalar e de avaliações anteriores;
Externamente ao Programa, tendo em conta outros instrumentos de apoio ao sector agro-rural e outras políticas públicas e estratégias que intervêm na esfera do Programa ou na zona de intervenção do mesmo.
3. Aspectos a considerar
Resultados de avaliações anteriores com vista a identificar os factores que confirmem (ou não) a pertinência da estratégia definida ou que influenciem a eficácia da execução das Medidas e do Programa.
Quadro geral de concepção e programação do PRORURAL e respectivo posicionamento e opções face ao contexto e ao perfil de intervenções do período de programação anterior.
Hierarquia de prioridades e consistência dos Eixos prioritários, bem como da estrutura de Medidas e Acções, face aos objectivos do PRORURAL, à estratégia para a Região Autónoma dos Açores e à estratégia comunitária para o desenvolvimento rural.
Coerência externa e conformidade com políticas regionais, nacionais e comunitárias, nomeadamente relativas à agricultura e desenvolvimento rural, ao ambiente, à valorização do território e ao emprego.
(Continua)
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
36
Reanálise da coerência, relevância e do Quadro lógico do Programa
4. Actividades de avaliação
reanalisar a matriz SWOT do sector agro-rural, tendo em vista apreciar o grau de actualidade das dimensões-problema e das tendências de evolução (internas e externas) contempladas no Documento do PRORURAL e utilizadas no âmbito do exercício de avaliação ex-ante;
reanalisar a hierarquia de prioridades e da coerência interna, por Eixo prioritário;
reanalisar a adequação dos objectivos às necessidades (objectivos FEADER e objectivos gerais, específicos e operacionais do Programa);
reanalisar a coerência externa e a conformidade com políticas regionais, nacionais e comunitárias;
avaliar a necessidade de introduzir alterações face a mudança no contexto de partida, decorrente de factores externos ou internos ao próprio Programa.
5. Outputs expectáveis
Elaboração de matrizes SWOT, por Eixo prioritário.
Síntese dos elementos-chave de coerência entre os objectivos do PRORURAL e o perfil de objectivos de carácter global presentes na formulação das políticas e prioridades regionais, nacionais e comunitárias.
Sistematização das fronteiras, articulações e complementaridades, designadamente em matéria de competitividade, coesão económica e social e sustentabilidade ambiental.
Síntese de eventuais alterações a introduzir no perfil de intervenção do PRORURAL, face à mudança da situação de partida.
Validação (ou não) da adequação da estratégia, em função dos desenvolvimentos decorrentes da execução do PRORURAL e alterações de contexto e factores externos.
Avaliação do sistema de gestão e acompanhamento
1. Contextualização
A análise desta componente específica compreende dois planos: a análise da qualidade, da eficácia e da eficiência dos dispositivos de acompanhamento, gestão e controlo; e a apreciação da articulação entre os organismos competentes para assegurar o sistema de gestão e de acompanhamento.
A primeira vertente tem, como principal objectivo, avaliar os dispositivos e sistemas de informação concebidos para apoiar a gestão e o acompanhamento do PRORURAL, verificando a sua eficiência e a sua eficácia.
A segunda vertente visa apreciar as modalidades e níveis de integração de um conjunto de entidades relevantes na gestão do Programa. A referida integração deve ser apreciada em termos de implementação e gestão do Programa, de resultados obtidos e de identificação de eventuais constrangimentos e de principais sinergias, verificando a eficiência diversos circuitos de gestão e dos dispositivos de controlo.
(Continua)
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
37
(cont.)
Avaliação do sistema de gestão e acompanhamento
2. Aspectos a considerar
Entidades responsáveis pela gestão, pelo acompanhamento e pelo controlo do Programa e respectivos elos de ligação.
Envolvimento dos parceiros sociais.
Circuitos de gestão e de acompanhamento e dispositivos de controlo físico e financeiro.
Legislação comunitária, nacional e regional.
Normas e procedimentos internos do Programa.
Regulamentos das Medidas e Acções.
3. Actividades de avaliação
identificar os actores intervenientes na gestão, execução e acompanhamento do Programa e respectivas responsabilidades;
apreciar a articulação entre os vários actores e entre os diferentes níveis de responsabilidade;
analisar a adequação dos indicadores utilizados para a monitorização do Programa;
avaliar a adequação e compreensibilidade do quadro normativo (critérios de selecção, condições de elegibilidade, etc.);
apreciar a participação dos parceiros sociais (p.e., integração das prioridades horizontais na execução do Programa);
análise dos níveis de integração entre as entidades responsáveis pela gestão, pelo acompanhamento e pelo controlo do Programa.
4. Outputs expectáveis
Sistematização das performances alcançadas em matéria de gestão e de acompanhamento e em matéria de integração de responsabilidades entre as várias entidades envolvidas.
Síntese dos elementos-chave no que se refere à participação dos parceiros sociais, e análise da incorporação das respectivas preocupações.
Validação (ou não) do modelo de gestão para alcançar os objectivos do Programa, de forma eficiente e eficaz.
Síntese dos requisitos de organização e de soluções e alternativas de apoio, no caso de se reconhecer constrangimentos no modelo de gestão.
Verificação da qualidade dos documentos regulamentares e legislativos.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
38
Avaliação do sistema de informação e dos procedimentos de recolha e de produção de dados
1. Contextualização
A intervenção do FEADER desenha perspectivas amplas em termos de resultados e efeitos para a agricultura e desenvolvimento rural, o que justificou o desenvolvimento de um conjunto de sistemas de informação ambicioso e que estimulou a organização de um sistema de gestão, acompanhamento e controlo experimentado e eficaz.
O Programa possui uma estrutura diversificada de Medidas, dividida em três grandes Eixos de intervenção, que possuem sistemas de informação com uma estrutura organizativa e de fluxos e aplicações e de indicadores próprios. Esta fragmentação é um dado a ter em conta na óptica da avaliação, sobretudo num contexto em que existem requisitos muito precisos a preencher e que, aliás, são de utilidade interna ao Programa, p.e., no tocante ao cálculo dos indicadores que adquirem relevância na própria Avaliação e na elaboração dos Relatórios de Execução.
2. Aspectos a considerar
Conjunto de dispositivos de informação e tipo de dados que asseguram a gestão do Programa e seu nível de articulação/complementaridade e de interligação/integração.
Matriz de indicadores utilizada no Programa e seu grau de adequação, de cobertura e de actualização.
Procedimentos de recolha de dados e concentração/integração de toda a informação a nível físico e financeiro.
Relação entre as entidades com responsabilidade ao nível da gestão do Programa, nomeadamente, em termos de partilha da informação por todos os utilizadores envolvidos.
Enquadramento das exigências comunitárias, nacionais e regionais relativas aos requisitos de informação fidedigna e relevante em tempo útil, que tem como objectivo final apoiar as tomadas de decisão.
Transparência da informação e mecanismos de apoio em aspectos operacionais pela possibilidade de consulta dos dados constantes dos pedidos de apoio pelos próprios beneficiários.
3. Actividades de avaliação
analisar a eficácia do sistema no tocante à produção de informação atempada, fidedigna e útil para os vários procedimentos inerentes à execução do Programa (processos de análise, decisão, contratação, pagamento e controlo de projectos, verificação de elegibilidades e afectação das despesas, apuramento de indicadores), segundo os critérios seguintes:
organização do sistema em termos de informação produzida/capacidade de produção de informação automática e dirigida face às necessidades de gestão (p.e.,indicadores de resultado e de realização);
fiabilidade dos procedimentos de recolha de informação;
utilidade dos indicadores pré-definidos e possibilidade/capacidade de produção de outros indicadores que sejam vantajosos quer para a gestão e acompanhamento do Programa, quer para os momentos de avaliação (p.e., decorrentes dos formulários de candidatura).
analisar a adequação dos indicadores de contexto utilizados na fase de concepção do PRORURAL e de realização, de resultado e de impacte previstos no Programa.
(Continua)
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
39
(cont.)
Avaliação do sistema de informação e dos procedimentos de recolha e de produção de dados
4. Outputs expectáveis
Apreciação das soluções adoptadas e estabelecer uma aproximação rigorosa às capacidades/possibilidades dos dispositivos previstos e implementados. Trata-se de perceber com que níveis de qualidade e insuficiências esses dispositivos respondem a um modelo de avaliação concebido de forma exigente, designadamente, em matéria de construção e estimativa de indicadores.
Sistematização das alterações face ao período de programação anterior quer no relacionamento com os agentes económicos/promotores dos projectos, quer nos processos de trabalho e disponibilização de informação.
Sistematização dos pontos estratégicos de análise: implementação do sistema de informação, qualidade e disponibilidade de informação, relevância dos indicadores utilizados e fiabilidade da informação.
Exploração dos dispositivos de informação de forma a validar (ou não) a bateria de indicadores em termos de relevância e pertinência (p.e., através do cruzamento entre os objectivos e os indicadores definidos do Programa), de influência na gestão, de capacidade de processamento e análise da informação, …
Exploração dos dispositivos de informação de forma a validar (ou não) a sua robusticidade em termos de segurança e de forma a averiguar se estão equacionadas soluções de recurso para salvaguardar a informação (p.e., compatibilidade e possibilidade de transferência de dados).
Apreciação do grau de partilha da informação pelos utilizadores envolvidos, no sentido de possibilitar a melhoria da eficácia na gestão do Programa.
Avaliação dos dispositivos de divulgação do Programa
1. Contextualização
A divulgação/publicitação do Programa oferece a oportunidade a todos os potenciais beneficiários de tomarem conhecimento e de se candidatarem ao Programa.
Esta componente tem como objectivo apreciar o grau de adequação e eficácia do modelo de publicitação e de divulgação do programa, da abertura de candidaturas e identificar eventuais necessidades de ajustamento à estratégia.
2. Aspectos a considerar
Plano de comunicação.
Procedimentos e instrumentos de comunicação/divulgação adoptados para a divulgação do Programa (acções de divulgaç~o, sessões de esclarecimento, anúncios, …).
Informaç~o transmitida (clareza, utilidade, oportunidade, …).
Modo como é realizada a divulgação do Programa e da abertura de candidaturas (condições, regulamentos, objectivos, …).
Modo como os beneficiários tomam conhecimento do Programa.
(Continua)
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
40
(cont.)
Avaliação dos dispositivos de divulgação do Programa
3. Actividades de avaliação
analisar a adequação dos meios de comunicação utilizados, dos conteúdos transmitidos e dos públicos-alvo alcançados;
avaliar a clareza, acessibilidade e actualização da informação;
avaliar a execução do Plano de Comunicação, elaborado pela Autoridade de Gestão;
analisar a eficácia na transmissão de informação aos potenciais beneficiários do Programa.
4. Outputs expectáveis
Síntese da programação prevista em termos de divulgação e comunicação e seu grau de execução.
Validação ou (não) da estratégia de comunicação e divulgação do programa em termos de eficácia (métodos utilizados, alcance dos potenciais beneficiários, qualidade e clareza da informação transmitida, …).
Recomendações no sentido de melhorar a divulgação do Programa.
2.3.2. Dimensões com carácter de avaliação específico
A avaliação de carácter específico centra-se na análise da eficácia e da eficiência do Programa.
Esta análise tem em vista aferir as performances relativas à utilização do FEADER, à luz de um
conjunto de critérios em matéria de gestão, de eficácia, de execução financeira e de impactos. A
avaliação desta componente específica, tendo em conta a análise do contributo de cada Medida,
deve permitir aferir em que medida o PRORURAL se revela eficaz na concretização dos seus
objectivos e que recursos utiliza para alcançar esses objectivos.
A avaliação de eficácia encontra-se, naturalmente, dependente da fiabilidade e actualização da
informação relativa à realização física e financeira das Medidas, de forma a proceder à análise dos
resultados obtidos e progressos alcançados face aos objectivos programados.
A avaliação de eficiência, que se orienta para as vertentes das realizações físicas e dos resultados
alcançados, comparativamente com os meios e recursos mobilizados, deverá preencher os
seguintes elementos analíticos:
Peso financeiro de cada prioridade, com base nos primeiros resultados e impactos.
Eficiência, por realização e por resultado.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
41
Tendo presente estes pressupostos, a Avaliação da eficácia e da eficiência deve ser realizada a dois
níveis: (i) ao nível de cada Medida e das respectivas Acções, utilizando os indicadores de realização
e de resultados; e (ii) ao nível do Programa, através de uma visão integradora dos resultados.
Nesta dimensão de avaliação há que ter em conta os seguintes elementos analíticos:
Bateria de indicadores previstos em cada uma das Medidas (comuns e adicionais) e seu
grau de cobertura.
Campo de produção de resultados e efeitos dos apoios [também decorrentes do perfil de
complementaridades externas existentes].
Conjunto de indicadores de impacto do Programa relativos ao crescimento económico, ao
emprego, à produtividade, à biodiversidade, às zonas com elevado valor natural, à água e
às alterações climáticas.
A avaliação específica por Medida vai ser realizada em torno de dois grandes blocos analíticos,
conforme se apresenta no Quadro seguinte. O nível de preenchimento dos campos de
estruturação das Fichas vai ser diferenciado consoante a Medida, sobretudo devido aos
respectivos diferentes níveis de maturidade (há Medidas que não foram, ainda,
operacionalizadas), e à disponibilidade e qualidade/profundidade da informação.
Os principais elementos metodológicos a utilizar para realizar a Avaliação específica por Medida
encontram-se sistematizados no Volume II – Anexo VI. Principais elementos metodológicos a utilizar
para realizar a Avaliação específica das Medidas do PRORURAL.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
42
Quadro 3. Avaliação específica por Medida P
on
tos
estr
até
gic
os d
e a
vali
açã
o
• Concepção e programação: pertinência e adequação da estrutura da Medida ao diagnóstico das dimensões-problema existentes; relação entre as áreas prioritárias das Acções da Medida e as orientações comunitárias, nacionais e regionais em matéria de apoio ao desenvolvimento rural; níveis de coerência interna e articulação entre as Medidas; quadro de operacionalização da Medida; compatibilização e articulação com outros instrumentos financeiros, ...
• Gestão e acompanhamento: análise crítica do modelo de gestão; análise dos mecanismos de recepção/apreciação e selecção de candidaturas; análise dos circuitos administrativos, técnicos e financeiros; análise dos dispositivos de acompanhamento e controlo (físico e financeiro); ...
• Parcerias (a apreciar no caso das Medidas 4.1., 4.2. e 4.3.): complementaridade e pertinência das competências/modos de abordagem; adequação da organização da parceria, nomeadamente do trabalho conjunto dos agentes; eficácia dos mecanismos de comunicação; oportunidades e efeitos da partilha de conhecimento.
• Divulgação: apreciação/adequação dos meios de divulgação aos objectivos específicos da Medida e aos destinatários-alvo; análise das estratégias de divulgação
• Sistema de informação: apreciações dos dispositivos existentes; análise da arquitectura funcional do sistema de informação, disponibilidade da informação e grau utilização, capacidade de resposta às necessidades, nomeadamente, em termos de monitorização.
• Realizações e identificação de pontos fortes e de pontos fracos da execução: grau de execução física e financeira; distribuição regional; natureza dos investimentos; tipologia de destinatários;...
• Resultados: tendo em conta os objectivos específicos da Medida e Acções, p.e., por via da resposta aos indicadores e por via da exploração dos dados constantes nos modelos de análise.
Res
ult
ad
os
da
Ava
lia
ção
• Preenchimento do conteúdo dos Indicadores definidos no Documento do PRORURAL com base na informação quantitativa e qualitativa: a estimativa destes indicadores depende dos níveis de qualidade dos dados de realização física e de resultados, constantes dos dispositivos de informação da Medida
• Elementos de complementaridade externa: complementaridades potencial e efectiva com outros instrumentos de política (POSEI, PROAMA, Estratégia Florestal para a RAA, PROCONVERGÊNCIA, PROEMPEGO, …).
• Análise da eficácia e eficiência – balanço de resultados e efeitos, face à matriz de objectivos do PRORURAL e ao conjunto de objectivos comunitários para o desenvolvimento rural (elementos de contributividade): sistematização dos resultados e de dimensões de efeitos, segundo os objectivos específicos do Programa, com relevo para as dominâncias competitividade, produtividade, multifuncionalidade, rendimento, inovação produtiva e tecnológica e integração no mercado.
• Questões Comuns de Avaliação específicas e horizontais (elementos de contributividade): o resultado da avaliação de cada Medida deverá contribuir com um conjunto de elementos de natureza quantitativa e qualitativa para a resposta às QCA.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
43
3. RESULTADOS DA AVALIAÇÃO INTERCALAR
A apreciação dos resultados da aplicação do PRORURAL na RA Açores apela a uma análise
cruzada dos níveis de resultados e de impactos potenciais dos domínios de intervenção do
Programa, com as dinâmicas de realização física e financeira alcançadas até ao momento
intercalar da Avaliação. Na fase actual, a ocorrência de impactos específicos em parte significativa
das Medidas (com “timings” de produç~o de efeitos mais diferidos no tempo), n~o tem
correspondência directa em termos de dimensão dos respectivos contributos para os objectivos da
política de desenvolvimento rural para a RA Açores.
No entanto, é possível proceder a um conjunto de análises, baseado no QCAA, que pretende
reflectir a análise encadeada proposta e que culmina na estimação dos Indicadores comuns de
impacto; na resposta às Questões comuns de avaliação específicas e horizontais; e em traçar
um conjunto de comentários qualitativos que terá subjacente as principais conclusões e as
principais recomendações.
Como referido atrás, tendo em vista manter a coerência do fio condutor da análise em torno dos
resultados e dos impactos, este ponto pretende estabilizar uma metodologia capaz de proceder a
uma agregação de grandes domínios de impacto com vista a operacionalizar, na medida do
possível, as recomendações da metodologia proposta nos documentos disponibilizados pela Rede
Europeia de Avaliação. A ponderação/análise cruzada entre os níveis obtidos em termos de
resultados e de impactos nos vários domínios de intervenção do Programa vai permitir elaborar
apreciações de síntese convertíveis nas respostas às Questões Comuns de Avaliação. Esta
apreciação de síntese, com base nas dinâmicas de realização física e financeira alcançadas até ao
momento intercalar da Avaliação, vai permitir, ainda, a apresentação de conclusões e formulação
de recomendações.
Assim, este Ponto estrutura três dimensões de análise: (i) Indicadores comuns de impacto; (ii)
questões comuns de avaliação; e (iii) conclusões e recomendações.
3.1. Indicadores comuns de impacto
O QCAA prevê um conjunto de sete Indicadores Comuns de Impacto, relativos ao crescimento
económico, à criação de emprego, à produtividade do trabalho, ao declínio da biodiversidade,
à manutenção de sistemas agrícolas e florestais com elevado valor, à qualidade da água e às
alterações climáticas, os quais reflectem claramente os objectivos/prioridades estabelecidas pelo
Conselho Europeu para acompanhar o desenvolvimento rural.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
44
O conceito de Avaliação de Programas de Desenvolvimento Rural no período de programação
2007-2013 foca-se muito na avaliação de impactos porque permite detectar evidências,
compreender o funcionamento de uma política específica e fornecer diferentes informações sobre
a sustentabilidade dos efeitos das políticas de intervenção:
Cede informação da eficiência da política de intervenção e do seu contributo para a
exequibilidade dos objectivos gerais da sociedade (p.e., ao nível do crescimento ou do
desenvolvimento);
Aumenta a capacidade de decisão, fornece argumentos para a redefinição e a
continuidade ou descontinuidade das políticas/Programas, comparando os benefícios com
os custos; e
Ajuda à aprendizagem do funcionamento dos processos económicos, sociais e ambientais.
A avaliação de impactos dos Programas de Desenvolvimento Rural, têm merecido uma particular
atenção por parte da Rede Europeia de Avaliação, que constituiu e coordenou Grupos de Peritos
integrados em Grupos de Trabalhos Temáticos que foram responsáveis pela elaboração de dois
documentos metodológicos sobre a Avaliação de impactos dos Programas de desenvolvimento
rural: "Approaches for assessing the impacts of the Rural Development Programmes in the context of
multiple intervening factors, March 2010” e “Capturing Impacts of LEADER and Measures Related to
Quality of Life in Rural Areas, Draft WP 2, April 2010” (específico para os Eixos 3 e 4).
Estes documentos têm por objectivo dar corpo a uma abordagem que permita aos Estados
Membros seleccionarem métodos e instrumentos apropriados e convergentes para o
estabelecimento da avaliação dos impactos dos Programas de Desenvolvimento Rural. A
dimensão de análise fundamental para a estimação dos indicadores de impacto processa dois
fluxos principais de informação: análise de eficácia e eficiência das Medidas do Programa e análise
documental e estatística complementar.
De acordo com o QCAA, os indicadores de impacto referem-se a benefícios do Programa, para
além dos efeitos imediatos nos seus beneficiários directos ao nível da intervenção, assim como na
zona de aplicação do Programa, devendo considerar-se as interacções que ocorrem entre as
diferentes intervenções e as respectivas complementaridades, e os efeitos sinergéticos e efeitos
de arrastamento que poderão produzir. Suportando a avaliação de impactos nesta perspectiva,
deve partir-se do princípio que uma única Medida pode produzir vários resultados e impactos, para
além dos que se encontram definidos no Documento do PRORURAL.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
45
Ainda de acordo com o QCAA a estimativa dos indicadores de impacto deve ser efectuada a partir
das realizações e dos resultados de cada uma das Medidas, tendo presente a hierarquia de
objectivos e de resultados dessas Medidas e do próprio Programa, conforme decorre do esquema
seguinte.
Figura 5. Hierarquia de indicadores e objectivos, associada à avaliação de impactos
Esta abordagem está igualmente implícita na Avaliação por Medida que percorre diversas
componentes específicas que reverterão para os resultados da Avaliação Intercalar (lógica de
cadeia que nascerá na Acção e concluirá no Programa).
Figura 6. Cadeia de Avaliação de Impactos
Hierarquia de Indicadores
Impactos
Resultados
Realizações
Hierarquia de Objectivos
Objectivos Globais
Objectivos Específicos
Objectivos Operacionais
Acção
Medida
EixoPrograma
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
46
No entanto, e como principal constrangimento à estimação concreta dos indicadores definidos, a
trajectória de execução financeira do PRORURAL não contribui para a existência de impactos,
uma vez que o número de projectos concretizados e a produzir resultados é residual. Em algumas
Medidas, designadamente as Medidas de investimento, as primeiras aprovações datam de 2009;
este aspecto tem naturalmente consequências sobre a temporalidade da produção de resultados
em muitos projectos como a terá, igualmente, na produção de impactos que se prevê mais
prolongada.
Aliás, existem dimensões dos documentos metodológicos produzidos pela Rede Europeia de
Avaliação que, mesmo reajustados à natureza dos objectivos específicos do PRORURAL e
reflectidas nos impactos específicos do Programa, têm uma dimensão qualitativa ou de estimação
não viável a partir dos dispositivos de informação existentes, particularmente no que respeita aos
impactos atribuíveis ao Eixo 2 – Melhoria do Ambiente e da Paisagem Rural.
A acrescer, a grande maioria das Medidas de investimento (Eixo 1 e Eixo 3 e Medida 2.4. do Eixo 2)
não tem um número de projectos executados suficiente para que seja possível a medição de
resultados e, consequentemente, de impactos. Neste contexto, e no âmbito desta Avaliação
Intercalar, o estabelecimento de uma relação de tipo biunívoco entre as realizações das
Medidas e os impactos do Programa envolve níveis de reducionismo importantes: a
alternativa proposta pela Equipa de Avaliação é avaliar o desempenho das Medidas e Acções
com base nos resultados esperados e nos impactos potenciais, não obstante a apresentação
das metodologias para a aferição desses mesmos impactos, a aplicar na Avaliação ex-post.
Antes de se proceder à apresentação das metodologias a observar para a avaliação dos impactos
do PRORURAL nos 7 Indicadores definidos, importa salientar algumas questões relevantes que
ajudam a esclarecer a natureza e o conteúdo dessas metodologias.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
47
Figura 7. Indicadores Comuns de Impacto – definidos no QCAA
É certo que, de uma forma geral, os procedimentos metodológicos a estabelecer com a finalidade
de se proceder a uma avaliação de impactos colocam grandes desafios e estão longe de se
assemelhar aos de uma “ciência exacta”dada a especificidade, diversidade e complexidade das
questões socioeconómicas e ambientais. Como se sabe, é muito difícil afirmar sobre a existência
de relações lineares de causa-efeito, sobretudo, em matéria de avaliação de impactos ambientais.
Sem minorar a importância dos problemas que se colocam a qualquer metodologia de avaliação
de impacto, as questões de seguida enumeradas são as que se consideram como tendo particular
relevância na avaliação dos impactos do PRORURAL, e no cumprimento dos princípios
metodológicos fixados nos documentos metodológicos de referência.
Como se sabe, os modelos de impacto procuram “identificar e estabelecer as relações causais
entre os objectivos e os resultados da política, proporcionando um enquadramento que possibilite
a introdução de melhorias nas avaliações futuras” (Primdahl et al., 2010: 1246). Contudo, e apesar
da importância dessa avaliação de impactos no momento intercalar da aplicação do
PRORURAL, a estimação daqueles indicadores enfrenta sérias restrições dada a não
disponibilidade: (i) de elementos relativos à definição e caracterização de situações de
referência; e (ii) de informação quantificada, sistematizada, fiável e baseada em séries
temporais e espaciais com alguma consistência. Em consequência, a Avaliação Intercalar terá de
se basear, sobretudo, em informação resultante de indicadores de resultado, à qual se associará,
sempre que possível, outro tipo de informação que, de forma directa ou indirecta, procurará servir
de complemento.
Indicadores socio-económicos
Crescimento económico
Criação de emprego
Produtividade do trabalho
Indicadores ambientais
Inversão do declínio da biodiversidade
Manutenção de terras agrícolas e florestais de elevado valor natural
Melhoria da qualidade da água
Combate às alterações climáticas
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
48
De notar que o aspecto referido em segundo lugar embora não seja específico à RAA e, portanto, à
avaliação dos impactos do PRORURAL, mas partilhado pelos EM do sul da União Europeia
condiciona, desde logo, a integração e o cumprimento pleno dos princípios metodológicos fixados
no documento “Approaches for assessing the impacts of the Rural Development Programmes in the
context of multiple intervening factors” (2010), bem como as metodologias descritas no presente
Relatório para a avaliação do impacto do Programa que, não sendo aplicadas na Avaliação
Intercalar, poderão vir a ser aplicadas na Avaliação ex-post, no ano de 2015.
Desta forma, este Relatório Preliminar da Avaliação Intercalar do PRORURAL tem, ainda, por
objectivo propor um conjunto de procedimentos de forma a acautelar a recolha e a disponibilidade
de informação que possa vir a ser utilizada para a avaliação dos Indicadores Comuns de Impacto
aquando da realização da Avaliação ex-post do Programa e tendo em conta os princípios
metodológicos definidos nos documentos da Rede Europeia de Avaliação.
Face ao exposto, o presente Relatório de Avaliação Intercalar tem subjacente dois propósitos: por
um lado, definir as metodologias de avaliação para os 7 Indicadores Comuns de Impacto acima
enumerados tendo em consideração: os princípios metodológicos especificados nos documentos
da Rede Europeia de Avaliação; e as dificuldades que os dois aspectos antes referidos colocam à
adopção plena dos mesmos embora, como referido, se procure minorá-las na medida das
limitações existentes.
Com base no exposto, a Equipa de Avaliação terá de definir, num primeiro passo, o contributo
potencial de cada intervenção para cada um dos Indicadores de impacto (identificar qual e
classificá-lo como positivo – muito forte, médio e fraco; misto ou negativo). A estimação desse
contributo vai encontrar suporte nos elementos seguintes (a ponderação dos factores é a seguinte:
(i) 0,30; (ii) 0,20; e (iii) 0,50):
(i) análise do peso de cada Medida no conjunto de intervenções do Programa: dotação
financeira de cada Medida em relação ao envelope financeiro global do Programa;
(ii) avaliação qualitativa do contributo de cada Medida, decorrente dos resultados do
conjunto das entrevistas e dos inquéritos e estudos de caso previstos realizar; e,
(iii) análise da eficiência e eficácia no cumprimento dos respectivos objectivos (indicadores
de realização e de resultado previstos: p.e., valor acrescentado resultante dos
investimentos efectuados, área em que a gestão do espaço rural é bem sucedida,
evitando a marginalizaç~o e o abandono da terra …).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
49
O quadro seguinte reflecte um exercício preliminar acerca do contributo de cada um dos domínios
de intervenção (Códigos CE) sobre os sete indicadores comuns de impacto.
Quadro 4. Intervenções do Programa de Desenvolvimento Rural e sua relação com os indicadores de impacto (exercício preliminar)
Ob
ject
ivo
s
Sub-Objectivos Código
da Medida
Indicadores de Impacte
Cre
scim
en
to
Eco
nó
mic
o
Cri
açã
o d
e
em
pre
go
Pro
du
tivi
da
de
do
tra
ba
lho
Re
vers
ão
do
de
clín
io d
a
bio
div
ers
ida
de
Ma
nu
ten
ção
do
va
lor
da
n
atu
ral
Au
me
nto
da
qu
ali
da
de
da
ág
ua
Co
mb
ate
às
alt
era
çõe
s
clim
áti
cas
Co
mp
eti
tivi
da
de
do
se
cto
r
ag
ríco
la e
flo
rest
al
Conhecimento e potencial humano
111
112
113
114
115
Inovação e potencial físico
121
122
123
124
125
126
Am
bie
nte
e M
eio
Ru
ral
Gestão sustentável dos
territórios agrícolas e
protecção e aumento dos
recursos naturais
212
213
214
216
221
222
223
224
225
226
227
Qu
ali
da
de
de
Vid
a
Diversificação da economia rural
311
312
313
Qualidade de vida nas áreas rurais
321
323
Coerência e sinergias territoriais
331
Abordagem Leader na disseminação do
PDR
413
421
431
Legenda:
Forte Médio Fraco Misto Negativo Sem relação
A classificação dos impactos vai ser efectuada através do método scoring, que consiste na selecção
de um nível numa escala graduada em unidades de medida quantitativa (p.e., uma escala de -10 a
+10), com vista a representar a relevância do efeito.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
50
O exercício de sistematização da informação constante da matriz de importância relativa das
intervenções sobre os resultados do Programa/impactos (reportada à programação) evidencia um
desempenho diferenciado, podendo mesmo traçar-se uma linha divisória entre os impactos:
os impactes específicos associados ao aumento da produtividade, do emprego e da
produtividade de trabalho fortemente medeados pelos Eixos 1, 3; e
os impactos associados às questões ambientais traduzidos pelo Eixo 2.
Num segundo passo, a Equipa de Avaliação, terá de quantificar/contabilizar os contributos
concretos de cada Medida para cada um dos indicadores de impacto dependendo, neste caso, da
informação decorrente da aplicação das metodologias específicas para o cálculo de cada um dos
indicadores.
O resultado da avaliação dos impactos, baseado no método de trabalho proposto atrás,
contempla, assim, uma dimensão qualitativa e uma dimensão quantitativa. O peso destas duas
dimensões na aferição global do impacto do Programa vai depender, sobretudo, dos níveis de
qualidade e de fiabilidade dos dados de realização física e de resultados.
3.1.1. Indicadores socioeconómicos
A avaliação do impacto socioeconómico é uma ferramenta usada para avaliar, de modo
quantitativo, a dimensão dos impactos imputáveis a um determinado Programa sobre o contexto
em que intervém. No caso do PRORURAL, o impacto socioeconómico vai ser medido através do
crescimento económico, da criação de emprego e da produtividade de trabalho (cf. esquema
seguinte).
Figura 8- Indicadores Comuns de Impacto e respectiva unidade de medida
Crescimento económico
Medida do indicador:
Acréscimo do VAB (€)
Criação de emprego
Medida do indicador:
Acréscimo líquido de emprego (UTA's;
ETC's)
Produtividade do trabalho
Medida do indicador:
Acréscimo do VAB por unidade de trabalho
(€/UTA; €/ETC)
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
51
A abordagem metodológica, para além da identificação dos impactos directos sobre os
beneficiários do Programa, vai requerer, ainda, a definição de todos os efeitos externos, enquanto
consequências indirectas de uma determinada alteração (positiva ou negativa). Nesse contexto, a
avaliação de impactos terá de ter em conta os efeitos sistematizados no esquema seguinte.
Figura 9. Efeitos do PRORURAL, sobre os beneficiários directos e os beneficiários indirectos
Fonte: “Approaches for assessing the impacts of the Rural Development Programmes in the context of multiple intervening factors” (Março, 2010)
3.
3 Por efeito de inércia entende-se uma mudança verificada na sequência de uma qualquer intervenção sobre um
destinatário directo, mas que se teria verificado mesmo sem a existência dessa intervenção, ou seja, ocorrem resultados teriam acontecido independentemente do projecto de investimento. A alavancagem, ou efeito de alavanca, trata da propensão do determinado projecto induzir mais investimento privado. Este é um efeito esperado da aplicação dos recursos financeiros do PRORURAL. O efeito de substituição consiste no efeito sobre um determinado beneficiário em detrimento de outra entidade não elegível. Este efeito pode surgir, p.e., quando uma empresa substitui uma actividade por outra semelhante para tirar partido do apoio em causa. O efeito de deslocação trata da proporção de resultados (outputs) que beneficiam elementos externos à área ou potenciais beneficiários do Programa ou projecto. Os efeitos multiplicadores estão relacionados com o desenvolvimento/arrastamento de novas actividades económicas quer associadas a potenciais aumentos no rendimento disponível local, quer associadas a fluxos de produção e de comercialização.
Efeitos do Programa
Efeitos directos
VAB
Emprego
Produtividade do trabalho
Efeitos indirectos
Nível micro - beneficiários directos
Efeito de inércia
Efeito de alavanca
Nível macro - beneficiários indirectos
Efeito de substituição
Efeito de deslocamento
Efeito de multiplicação
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
52
A. AVALIAÇÃO INTERCALAR
A avaliação do impacto socioeconómico visa, grosso modo, descrever o que teria acontecido sem
a intervenção do Programa face ao que efectivamente se realizou no período de vigência do
mesmo. Contudo, e como já referido atrás, a trajectória de execução física e financeira das
Medidas de investimento do PRORURAL não permite a estimação concreta de resultados e,
consequentemente, de impactos, pelo que a Equipa de Avaliação optou por realizar a
avaliação do desempenho das Medidas e respectivas Acções através dos resultados esperados
e dos impactos potenciais.
Metodologia
A avaliação dos resultados esperados vai ser e efectuada através de uma abordagem micro ou “de
baixo para cima” (“down-top”), ou seja, a partir dos projectos. Com efeito, a metodologia a seguir
consiste na exploração dos sistemas de informação SiRURAL (Eixo 1 e Medida 2.4. do Eixo 2) e e-
rural (Eixos 3 e 4), designadamente, na exploração dos dados constantes dos modelos de análise
dos pedidos de apoio aprovados, à qual se associará, sempre que possível, outro tipo de
informação que, de forma directa ou indirecta, procurará servir de complemento.
Os tipos de recolha de informação complementar vão ser os seguintes: entrevistas, Estudos de
caso e inquéritos, cujos instrumentos se encontram sistematizados no Volume II deste Relatório.
Em simultâneo, a Equipa de Avaliação vai trabalhar em conjunto com a Autoridade de Gestão, no
sentido de organizar um conjunto de procedimentos de recolha e sistematização de informação,
de forma a acautelar a disponibilidade de informação aquando da realização da Avaliação ex-post
e tendo sempre como base a metodologia definida do Documento metodológico elaborado pela
Rede Europeia de Avaliação.
A variação do VAB, a criação de emprego e a produtividade do trabalho vão ser calculados a partir de
informação de referência (antes da candidatura ao PRORURAL) e de informação sobre os
resultados que o beneficiário espera alcançar, tendo como base os dados constantes dos modelos
de análise dos pedidos de apoio aprovados e homologados. A metodologia, bastante reducionista
face às metodologias apresentadas no Documento elaborado pela Rede Europeia de Avaliação,
consiste nos passos seguintes:
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
53
1. Recolha dos dados indicativos sobre o VAB e o número de empregos por empresa
beneficiária (situação de referência (S0) e situação após a execução do investimento (S1))
2. Calcular os resultados através do acréscimo de VAB através do método Average
Treatment Effects4 (ATE), por Medida.
3. No caso o VAB, o resultado final vai expressar-se em paridade de poder de compra (PPC)
em relação à União Europeia (UE-27). O PPC relaciona o poder de aquisição com o custo
de vida regional e vai ser calculado com base nos elementos estatísticos disponíveis no
EUROSTAT5, nomeadamente, utilizando as taxas de conversão estabelecidas põe esse
Gabinete de estatísticas europeu.
No caso do número de empregos criado as unidades de medida vão ser expressas em
Unidades de trabalho por ano (UTA’s) e Equivalente Tempo Inteiro (ETI).
Em termos de produtividade do trabalho, a medida vai ser expressa em VAB/ETI ou UTA.
A acrescer, a Equipa de Avaliação vai avaliar outros indicadores micro-económicos (ao nível dos
projectos de investimento apoiados) que, no caso do sector agrícola, vão permitir comparações
com dados gerais recolhidos no âmbito do Recenseamento Geral Agrícola de 2009 (prevê-se que o
4 Modelo econométrico utilizado para comparar as intervenções no âmbito do Programa. O ATE mede a diferença
média nos rendimentos causada pela aplicação do Programa. 5GDP per capita in PPS: Reference Metadata in Euro SDMX Metadata Structure (ESMS)
VAB = valor total da produção - consumos intermédios
Emprego = Mão de Obra em número de Postos de Trabalho Equivalentes ou em Unidades de Trabalho Ano
Fórmula de Cálculo
N – dimensão da amostra
Y0i – resultado antes da aplicação do Programa
Y1i – resultado depois da aplicação do Programa
y1i − y0i = βi.- efeito geral da aplicação do Programa
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
54
INE disponibilize os dados preliminares no final de Setembro de 2010). De entre esses indicadores,
destacam-se os seguintes:
Rendimento por entidade beneficiada, por hectare e por UTA.
Valor Acrescentado Bruto por hectare (produtividade da terra).
Criação de emprego por intervalos de montantes de financiamento, por entidade
beneficiada.
Para além do cálculo dos efeitos directos, o cálculo dos efeitos indirectos do Programa constitui
um aspecto crucial da análise de eficácia das intervenções porque, entre outros factores, é
importante para perceber as dinâmicas de investimento face ao ciclo das unidades
produtivas/empresas e as atitudes dos potenciais beneficiários face ao Programa, podendo, ainda,
ser útil na afinação dos objectivos e dos resultados de determinadas Medidas ou de determinadas
tipologias de projectos. Estes efeitos vão ser avaliados por via da aplicação de inquéritos e da
realização de entrevistas e de estudos de caso, ou seja, numa base qualitativa.
Principais condicionantes
A utilização de resultados a partir dos modelos de análise dos projectos aprovados e homologados
vão demonstrar efeitos meramente indicativos e que podem indicar um efeito ilusório da
aplicação do Programa.
B. AVALIAÇÃO EX-POST
Os elementos seguintes descrevem a metodologia a aplicar na Avaliação ex-post, a ocorrer no ano
de 2015. A metodologia a adoptar pela Equipa de Avaliação para a avaliação dos impactos do
PRORURAL assenta, essencialmente, nos Documentos produzidos pela Rede Europeia de
Avaliação, intitulados “Approaches for assessing the impacts of the Rural Development Programmes
in the context of multiple intervening factors” (Março, 2010) e “Capturing Impacts of LEADER and
Measures Related to Quality of Life in Rural Areas” (Abril, 2010).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
55
Crescimento económico
Contextualização
De acordo com o Documento do PRORURAL, o impacto do Programa sobre o crescimento
económico vai ser medido através do Acréscimo do Valor Acrescentado Bruto (€), tendo em
conta os benefícios directos (projectos apoiados pelo PRORURAL – parte do mesmo princípio que
a ciência económica: relação objectiva entre o nível de investimentos e o crescimento económico)
e os efeitos indirectos na área de aplicação do Programa (efeitos de inércia, de alavanca, de
substituição, de deslocamento e multiplicadores).
A questão do Crescimento económico vai subdividir-se, ainda, em dois níveis: (i) o contributo de
cada Medida (particularmente as Medidas de investimento) para os objectivos do Programa; e, (ii)
o contributo do Programa para o crescimento económico da região e do país. Nesta última
vertente é necessário ponderar a contribuição dos sectores apoiados no âmbito do Programa para
o VAB regional e nacional, com recurso complementar às Publicações do INE.
Metodologia – o processo em 8 passos:
1. Recolha/cálculo do valor acrescentado bruto gerado pelos beneficiários do Programa a nível
micro (exploração ou indústria agro-alimentar) antes do Programa e após a implementação
do Programa.
2. Recolha/cálculo do valor acrescentado bruto gerado por entidades com um perfil
semelhante que não foram beneficiárias do Programa.
3. Cálculo da variação de VAB (%) gerado pelo grupo de beneficiários causado pelo Programa.
Este cálculo deve decorrer (i) da comparação com grupos contrafactuais ajustados aos
grupos de beneficiários, e (ii) da aplicação do método ATE.
4. Selecção acurada de outros grupos de empresas consideradas ser indirectamente afectadas
pelo Programa.
5. Cálculo da variação de valor acrescentado (%) nos grupos formados em (4), causada pelo
Programa (efeitos indirectos do Programa: positivos e negativos).
O saldo acumulado de VAB pode ser obtido adicionando-se os efeitos líquidos associados ao
Programa para todos os grupos relevantes (beneficiários directos, beneficiários indirectos,
outros grupos/sectores influenciados).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
56
6. Agregação das variações no valor acrescentado em ambos os grupos (beneficiários directos
e indirectos do Programa).
7. Cálculo do equilíbrio geral decorrente dos vários efeitos do Programa (substituição,
deslocamento, multiplicador, etc.).
8. Cálculo do valor acrescentado bruto líquido subtraindo (7) de (6).
A análise de informação vai efectuar-se com base em recolha de informação secundária (p.e.,
dados constantes da RICA, informação constante do RGA) e documental (p.e., Manuais Técnicos
do EVALSED – Guia para a avaliação do desenvolvimento socio-económico); e em recolha de
informação primária (p.e., por via de inquéritos).
De acordo com o Documento metodológico “Approaches for assessing the impacts of the Rural
Development Programmes in the context of multiple intervening factors”:
o VAB e outros dados sobre características importantes das explorações
agrícolas/empresas (beneficiários, não-beneficiários e beneficiários indirectos), calculados
nos momentos antes e após a implementação do Programa, podem ser obtidos a partir da
RICA, micro-estatísticas e inquéritos;
o VAB ao nível sectorial pode ser obtido através dos dados de contabilidade para os
sub-sectores agrícola, florestal, agro-alimentar, …
a informação sobre as paridades de compra são compiladas pelo EUROSTAT numa base
anual.
No entender da Equipa de Avaliação, a metodologia definida apresenta fortes limitações porque
assenta em fontes de informação que não estão disponíveis para todos os sub-sectores e para
todas as empresas (p.e., a RICA contempla apenas empresas do sector agrícola) e para todas as
regiões (a RA Açores não é muitas vezes considerada em termos de informação estatística, mas
antes incluída em informação estatística nacional).
Principais condicionantes
Para além das questões relacionadas com a disponibilidade e fiabilidade da informação (cf. Ponto
4.1. deste Relatório), e na perspectiva da Equipa de Avaliação, a estimação do crescimento
económico no contexto do Programa não deverá assentar numa visão restritiva associada ao
aumento d0 VAB, antes deverá considerar de forma importante outros factores implícitos que
contribuem para o aumento do VAB.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
57
Com efeito, a compreensão destes factores é tão ou mais importante que a própria quantificação
de impactos, pois podem ter sido induzidos pelo acesso a outras Medidas do Programa. Neste
cabaz cabem factores associados, nomeadamente, à melhoria das competências profissionais de
agricultores e trabalhadores envolvidos em projectos apoiados pelo PRORURAL, à valorização dos
produtos, ao reforço da capacidade tecnológica das empresas beneficiadas, à renovação do tecido
empresarial agrícola e à melhoria das condições infra-estruturais da economia rural – um conjunto
de vectores que já demonstrou a sua capacidade para gerar crescimento. A acrescer há separações
de resultados que não são lineares, de que são exemplo projectos de investimento geradores de
de emprego, de inovação, de renovação do tecido empresarial e de melhoria de condições de vida
e de trabalho.
Sendo a avaliação de impactos determinante para justificar as políticas de intervenção e a lógica
que lhes está subjacente, ter-se-á de ter em conta que os impactos são difíceis de avaliar porque os
resultados demoram normalmente muito tempo a ser reconhecidos e dependem, ainda, de outros
factores. Mesmo que os todos os efeitos indirectos sejam avaliados, é impossível prever a
influência p.e., de outras políticas sectoriais/regionais, da situação económica e financeira da RA
Açores.
Para além das questões enunciadas acima, a metodologia recomendada não contempla diversas
tipologias de investimento apoiadas pelo FEADER, nomeadamente, projectos no âmbito da
melhoria das condições infra-estruturais (Medida 1.11.) e projectos ligados à formação e
informação (Medidas 1.1. e 1.4.) e, ainda, projectos ligados à instalação de jovens agricultores vs.
reforma antecipada (Medidas 1.2. e 1.3.).
No caso específico dos Eixos 3 e 4, o documento metodológico6 foca-se muito na importância da
avaliação de impactos7 enquanto a Equipa de Avaliação considera ser legítimo a valorização das
tendências directamente associadas aos objectivos gerais do Programa, sendo que os impactos
nos territórios rurais vão muito para além do período de vigência do Programa. Essas tendências
podem contribuir para: i) identificar ameaças e oportunidades na RA Açores e ii) ajudar a
interpretar os impactes alcançados com o Programa à luz das tendências económicas, sociais,
estruturais e ambientais gerais. No Ponto H do Volume II, apresenta-se o conjunto de indicadores
quantitativos fundamentais para a avaliação das mudanças nos territórios rurais.
6 Capturing Impacts of LEADER and Measures Related to Quality of Life in Rural Areas” (Abril, 2010).
7 Definindo o impacte como o efeito da intervenção que perdura a médio e longo prazo, podendo ser
positivo ou negativo, esperado ou inesperado, indirecto ou observado ao nível macro económico e social – impactes globais.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
58
Criação de emprego
Contextualização
Os domínios de intervenção presentes na arquitectura do PRORURAL desenham um perfil de
impactos diversificados, em que assume especial importância a criação de emprego. A
importância da avaliação deste indicador decorre da questão em que medida os investimentos
apoiados tiveram capacidade para gerar emprego nos vários sub-sectores agrícola, florestal e
alimentar e nos territórios rurais.
O indicador Criação de emprego vai ser medido através do Acréscimo Líquido de Emprego
(expresso em UTA e ETC) após dedução de todos os efeitos, à semelhança do indicador relativo
ao crescimento económico.
Metodologia
A quantificação dos impactos ao nível do emprego deve ser abordada sob duas perspectivas:
nível micro, é analisado o mecanismo de como o apoio do Programa contribuiu para a
criação de emprego. Isso permite quantificar os efeitos de criação bruta de emprego tendo
em conta o efeito de inércia, mas não os efeitos de deslocamento e multiplicadores.
nível macro: como os efeitos de deslocamento e multiplicadores ocorrem na área
circundante aos beneficiários do Programa, o âmbito da análise precisa ser alargado. O
contributo do Programa para a evolução do emprego regional tende a ser avaliado dessa
forma, partindo do pressuposto que ocorrem efeitos de deslocamento e multiplicadores
na área de aplicação do programa.
A análise de nível micro poderá ser feita por via de comparações de grupos de controlo de
beneficiários e não-beneficiários. Uma questão crucial na comparação de grupos de controlo
consiste em encontrar não beneficiários que têm características semelhantes aos beneficiários.
Uma opção é estratificar ambos os grupos ao longo das suas características (dimensão da
exploração, nível educacional, etc.). Todavia, com pequenas populações de beneficiários e, assim,
amostras também pequenas, frequentemente acabam em sub-amostras que são demasiado
pequenas para aplicar testes estatísticos.
A ideia de correspondência é extrair “gémeos" dos beneficiários e não-beneficiários para uma
amostra e comparar as médias de ambos os grupos. Entre os diferentes métodos de
correspondência, Propensity Score Matching (PSM) é o mais popular. Beneficiários e
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
59
não-beneficiários são combinados com base nessa pontuação – uma medida agregada de
múltiplas características individuais.
Com base nos valores agregados poder-se-á calcular a diferença média do número de postos de
trabalho criados a tempo inteiro entre os beneficiários e os não-beneficiários, representado o
efeito bruto de emprego.
Para superar eventuais lacunas de dados, a informação poderá ser complementada por métodos
quantitativos e qualitativos – realizados o mais independentemente uns dos outros – podendo
confirmar a informação obtida ou, se se verificar desvios, empreender numa verificação da
matéria em análise com maior profundidade.
No caso de não ser possível a aplicação do método PSM (p.e, dificuldades em formar grupos de
controlo) será calculado o número médio de empregos criado nas empresas que beneficiaram de
apoio no âmbito do PRORURAL.
A análise macro do impacto relativo à criação de emprego implica ter modelos econométricos que
requerem dados provenientes de observações repetidas dos mesmos itens de pelos menos 2 ou 3
anos. Dado o facto de a Região não contemplar estes estudos aprofundados, podem ser obtidos
dados médios que se captam subtraindo o desvio anual da média global da variável em análise.
Figura 10. Efeitos indirectos na criação de emprego com o apoio de um qualquer Programa
Fonte: EVALSED – Guia para a Avaliação, 2004.
Emprego adicional líquido B = A-C-D-E+F
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
60
Principais condicionantes
No Indicador de impacto Criação de emprego há que considerar não só o emprego criado mas
também a manutenção de emprego. Esta abordagem menos estrita na estimativa deste Indicador
revela-se a mais adequada face à conjuntura económica e social, em que se demonstra importante
e, por vezes essencial, a manutenção dos postos de trabalho. Aliás, a conjugação de diversas
Medidas do Programa tende a valorizar, precisamente, a manutenção do emprego (p.e., a Medida
2.1. Manutenção da actividade agrícola em zonas desfavorecidas). Os recursos disponíveis para o
apoio ao investimento em várias áreas e em diversas Medidas têm, contudo, como objectivo
estimular a racionalização das explorações e empresas do Complexo
agro-florestal, objectivo que pode entrar em conflito com o objectivo de criação de emprego (cf.
Quadro 4, pág. 51).
À semelhança do que acontece no indicador crescimento económico, o documento metodológico
produzido pela Rede de Avaliação não contempla os diversos factores que podem contribuir para a
criação de emprego, nomeadamente, capacitação técnica através de formação profissional.
Na perspectiva da Equipa de Avaliação, a este indicador vai estar, também, associada uma análise
sobre as condições de trabalho, as qualificações e o acesso e participação das mulheres no
mercado de trabalho.
Produtividade do trabalho
Contextualização
Os indicadores de impacto associados ao Programa, embora explicitando efeitos gerais de
comportamentos das políticas e agentes, apresentam expectativas cuja evolução permite
perspectivar uma contribuição positiva para as metas traçadas, nomeadamente para o aumento
da produtividade do trabalho, medida através da relação entre o VAB e as unidades de
trabalho em UTA´s ou ETC.
A medição deste impacto é importante na medida em que existem referências à melhoria da
competitividade pela produtividade do trabalho, embora esta componente não seja explícita nos
projectos de investimento.
Para a avaliação deste indicador a Equipa de Avaliação considerará, igualmente, as diversas
Medidas que têm como objectivos a melhoria das qualificações e aptidões profissionais dos
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
61
activos do Complexo agro-florestal, podendo contribuir para criar uma dinâmica importante no
aumento da produtividade do trabalho.
Metodologia
A abordagem para determinar os efeitos brutos e líquidos ao nível micro, encontra-se
sistematizada nos passos seguintes:
Etapa 1: Identificação de grupos de amostra de beneficiários directos e de grupo de comparação,
constituído por não-beneficiários
Note-se que a abordagem de nível micro só permite contabilizar os efeitos indirectos na
produtividade do trabalho no âmbito do mesmo sector e região, pelo que tem de ser feita uma
análise minuciosa da cadeia de resultados para identificar os potenciais beneficiários indirectos. A
definição da amostra tem de ter em conta os objectivos e o peso financeiro de cada uma das
Medidas. Além disso, a agregação possível de impactos das Medidas que contribuem para
objectivos específicos como o aumento do capital humano têm de ser consideradas.
Para estabelecer os efeitos líquidos, é necessário identificar o que teria acontecido sem
intervenção (ou seja, estabelecer o contrafactual), utilizando, num cenário de disponibilidade de
informação, uma aplicação combinada de um método de correspondência (PSM) e o método de
diferença na diferença (Difference-in-Difference – DID).
Etapa 2: Recolha de dados
A recolha de dados de nível micro exigida para o cálculo do valor bruto acrescentado e em tempo
integral equivalentes deve ser efectuada a nível de cada empresa/exploração dos beneficiários e
não-beneficiários. Para o sector agrícola podem ser utilizados os dados da RICA. Para os sectores
florestal e agro-alimentar terão de ser identificadas outras fontes, p.e., através de processos de
inquirição e de estudo de casos, e de estatísticas formais.
A fim de permitir o cálculo da variação percentual VBA/UTA ou ETC, é necessário recolher
informação pelo menos em dois momentos no tempo; antes (t0) e depois (t1) do apoio, contudo, a
produção de resultados varia muito face à natureza do investimento (há projectos em que a
produção de resultados concretos vai muito para além do período de vigência do Programa,
nomeadamente, no que respeita aos investimentos na área florestal).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
62
Etapa 3: Cálculo da variação % de valor acrescentado/emprego tempo completo criado
O cálculo da mudança do VBA/UTA ou ETC baseia-se nas definições e nas componentes de análise
definidas no indicador do EUROSTAT. O cálculo da variação percentual é feito através de dedução
do valor do t0 de t1 e multiplicando o valor por 100. O valor tem de ser calculado ao nível do
beneficiário.
Etapa 4: Identificação e dedução dos efeitos de inércia
Os efeitos de inércia podem ocorrer em beneficiários directos. As opções para identificar esses
efeitos baseiam-se na recolha de informação primária, p.e., através de estudos de caso ou de
processos de inquirição aos beneficiários ou, ainda, por comparação com agricultores e empresas
que fizeram investimentos mesmo sem o apoio do PRORURAL.
Os casos em que sejam identificados esses efeitos de inércia, serão registados e excluídos do
cálculo da variação média do VAB/UTA ou ETC (%).
Etapa 5: Cálculo da variação VAB/UTA ou ETC (%) criada pelo grupo de beneficiários directos,
derivando as situações contrafactuais adequadas
Etapa 6: Identificação, avaliação e atribuição de efeitos nível macro, incluindo o deslocamento e
efeitos multiplicadores.
Para se identificar todos os efeitos indirectos do Programa incluindo efeitos de deslocamento e
multiplicadores, tem de ser aplicada uma abordagem a nível macro. Actualmente estão
disponíveis dois métodos para esse tipo de análise: modelos (estatísticos e econométricos) e
métodos qualitativos. A tarefa para estimar os efeitos de deslocamento e multiplicadores é um
desafio exigente e requer o recurso a uma combinação de métodos. O cálculo de efeitos líquidos
no nível micro tem muitas limitações porque a esse nível só se pode incluir efeitos de
deslocamento e multiplicadores, que são expressos pela produtividade do trabalho limitada a um
sector específico ou área delimitada.
Etapa 7: Estimativa de efeitos líquidos do programa
A etapa final no processo de medição dos impactos no âmbito da produtividade do trabalho
consiste na avaliação dos efeitos brutos calculados ao nível micro, tendo em conta os efeitos ao
nível macro. Assim, os efeitos brutos identificados ao nível dos beneficiários são comparados com
as tendências gerais observadas, resultantes da análise de nível macro.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
63
Principais condicionantes
A produtividade do trabalho (grosso modo o valor do VAB dividido pelo número de trabalhadores
a tempo inteiro) depende naturalmente dos equipamentos e tecnologias usados, da qualificação
da mão-de-obra e dos métodos e técnicas de gestão adoptados nas empresas. Ora, a análise da
produtividade do trabalho deve estar sempre associada a uma sistematização de dimensões de
efeitos que contribuem para o aumento da mesma, o que não acontece com o conceito do
indicador definido (p.e., a produtividade do trabalho pode melhorar através de investimentos em
aquisição e substituição de equipamentos ou através da frequência de acções de formação ou
mesmo através da introdução de novas práticas e métodos de produção).
Acresce que os valores de produtividade do trabalho inerentes aos sub-sectores agrícola, florestal
e agro-alimentar e às empresas de sectores diversificados nas zonas rurais não são comparáveis,
pelo que a sua análise deve ser efectuada em separado.
Os efeitos de deslocamento podem ocorrer em qualquer Medida e directamente sobre a melhoria
da competitividade de uma empresa ou sector ou região. A maioria destes efeitos tendem a
tornar-se evidentes em matéria de emprego e de rendimento mas não são susceptíveis de ser
observáveis na produtividade do trabalho. Pelo que é necessária uma reflexão aprofundada sobre
os percursos metodológicos para o cálculo dos impactos, p.e., identificando à partida onde podem
ocorrer efeitos de deslocamento e como estimar esses efeitos.
A identificação de todos os efeitos de deslocamento só é possível através de uma análise de nível
de macro, sendo que essa análise tem de recorrer à combinação dos três indicadores de impacto
socio-económico. No que se refere aos efeitos multiplicadores, os mesmos podem ser medidos
através do estabelecimento de uma amostra de beneficiários indirectos, uma análise que se
considera muito complexa já que é difícil aceder a dados concretos desse tipo de beneficiários.
A produtividade do trabalho também está sujeita a flutuações cíclicas, sendo que estas variações
têm de ser consideradas aquando da interpretação dos resultados. Com a finalidade de superar o
hiato entre os efeitos observados e os efeitos total do Programa, será necessário aplicar métodos
qualitativos (entrevistas, estudos de caso e inquéritos) em conjunto com a análise quantitativa.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
64
De forma a acautelar a existência de informação com alguma representatividade e fiabilidade
para que os Indicadores de Impacto socioeconómico possa ser objecto de avaliação com
alguma consistência técnica na avaliação ex-post do Programa apresentam-se, de seguida, os
procedimentos metodológicos desde já a observar e a implementar:
Assegurar a entrega das contabilidades dos beneficiários do Programa, numa base anual,
implementando, um sistema para o registo e organização dos dados pertinentes para a
Avaliação (p.e., valor total da produção, valor dos consumos intermédios, número de
postos de trabalho a tempo inteiro).
Empreender na sensibilização dos produtores agrícolas para a integração na rede de
contabilidades agrícolas, sendo de analisar igualmente as condições oferecidas aos
mesmos e os métodos contabilístico mais adequados a cada uma das situações.
Assegurar a continuidade das explorações agrícolas constantes da base da RICA.
Pesquisar informação sobre modelos de produção em que seja possível verificar os
aumentos de VAB decorrentes da utilização de infra-estruturas apoiada pelo Programa.
Tentar assegurar a disponibilização de informação do Recenseamento Geral Agrícola, o
mais tardar até final de Setembro de 2010.
3.1.2. Indicadores ambientais
No caso das questões agro-ambientais, um modelo de impacto baseia-se nas relações entre os
problemas, os objectivos das Medidas, o uso do solo e as práticas de gestão adoptadas pelos
agricultores, e os resultados ambientais destas práticas (Primdahl et al., 2010). A adopção deste
tipo de modelos é relevante não só em termos da avaliação da(s) política(s), mas também no
“desenho” e avaliações futuras da(s) mesma(s) (Primdahl et al., 2010).
Porém, em qualquer tipo de modelo de impacto é de sublinhar a importância e a necessidade de
acautelar a possibilidade e validade de se extrapolarem resultados baseados em informação
recolhida a escalas micro para escalas de maior dimensão. No caso concreto, estas cautelas
colocam-se, concretamente, na dificuldade de inferir sobre o contributo relativo de cada Medida
do PRORURAL para os impactos ambientais a analisar e a avaliar, aliás, uma situação comum a
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
65
diversos EM, em particular, aos EM do sul (Rodrigo, 20038 - e não só - Primdahl et al., 2010)9). Esta
questão coloca-se sobretudo devido a três aspectos:
Pela diversidade de Medidas que integram os diferentes Eixos do Programa e a
complexidade que dela decorre.
Por existir Medidas cujos efeitos potenciais podem concorrer entre si, ou seja, por
exemplo, o potencial efeito positivo resultante da aplicação da Medida X (por exemplo, do
Eixo 2) pode ser minorado, ou até anulado, pelo efeito da aplicação da Medida Y (por
exemplo, do Eixo 1). De acordo com o PRORURAL as Medidas identificadas como tendo
potenciais efeitos sobre os indicadores referidos são as Medidas do Eixo 2. Porém, e como
foi referido, na avaliação do impacto ambiental do PRORURAL há também que ter em
consideração Medidas do Programa que possam estar a exercer um potencial efeito
negativo e contrário aos objectivos definidos, como é o caso da Medida 1.5 “Modernizaç~o
das explorações agrícolas” e da Medida 1.11 “Melhoria e desenvolvimento de infra-
estruturas” do Eixo 1 do PRORURAL (cf. quadro relaç~o entre Medidas e impactos). Nas
metodologias a adoptar na avaliação dos Indicadores de Impacto Ambiental vai procurar-
se contemplar essas “zonas de conflito de interesses” entre Medidas.
Pela complexidade e a natureza dos processos ambientais que torna difícil as avaliações de
impacto no curto prazo, no caso concreto este prazo corresponde a 3 anos (Avaliação
Intercalar) e a 7 anos (Avaliação ex-post). Este aspecto coloca-se com maior acuidade na
avaliação do impacto ambiental do PRORURAL sobre a biodiversidade. Com efeito,
“embora as relações entre habitats ricos em espécies de aves e baixas incorporações no
solo de factores de produção estejam bem documentadas (...) estas relações são
8 Rodrigo, Isabel (2003), “A quest~o ambiental nos territórios rurais e nas agriculturas da Uni~o Europeia”, em Portela,
José e João Castro Caldas (Orgs.), Portugal Chão, Celta, 2003.. 9 Primdahl, Jørgen et al. (2010) “Current use of impact models for agri-environment schemes and potential for
improvements of policy design and assessment”, Journal of Environmental Management, 91. Este trabalho — baseado numa análise de uma amostra de 60 programas agro-ambientais de 7 Estados Membros (Dinamarca, Finlândia, Alemanha, Grécia, Hungria, Irlanda e Reino Unido) e em 3 tipos de modelos de impacto: Modelos Quantitativos (baseados em robustos quadros teóricos e informação documentada predizem como as mudanças nas práticas agrícolas afectam questões ambientais específicas), Modelos Qualitativos (baseados em quadros teóricos robustos mas incapazes de predizer, quantitativamente, os efeitos) e Modelos de Senso Comum (caracterizados por uma fraca formulação, das relações entre práticas agrícolas e efeitos ambientais, e não baseadas em evidências, mas que antes reflectem percepções gerais de como os resultados ambientais estão ligados às intervenções) — concluiu que mais de metade dos “compromissos agro-ambientais” (management packages) analisados baseavam-se em Modelos de Impacto de Senso Comum, e não em evidências documentadas. Concluiu ainda que, contrariamente ao que sucedia com as questões ambientais relativas { biodiversidade e { paisagem, eram os “compromissos agro-ambientais” definidos para os recursos naturais (qualidade e quantidade da água e qualidade do solo) que reflectiam e se baseavam em Modelos de Impacto Quantitativos.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
66
complexas e muito dependentes de escalas temporais e espaciais bem como dos
mecanismos biológicos subjacentes” (Primdahl et al., 2010: 1247)10.
Apresenta-se de seguida um conjunto de aspectos a ter em conta na estimativa dos diversos
Indicadores de Impacto Ambiental: Inversão do declínio da biodiversidade, Manutenção do alto valor
natural dos sistemas agrícolas e florestais, Aumento da qualidade da água e Combate às alterações
climáticas.
Inversão do declínio da biodiversidade
Contextualização
De acordo com o QCAA, este indicador de impacto trata do indicador específico para a avaliação
do objectivo “Invers~o do declínio da biodiversidade”. Ainda segundo esse documento, aquele
indicador de Impacto é definido pela “Alteração da tendência na biodiversidade medida
através da população de aves características de zonas agrícolas”.
Metodologia
A avaliação do efeito das Medidas do Eixo 2 do PROPRURAL sobre a Inversão do declínio da
biodiversidade é suposta basear-se na combinação da informação resultante de indicadores da
situação de referência (Indicador Comum da Situação de Referência) e de indicadores de
resultado.
De acordo com o PRORURAL, o Indicador de Impacto Inversão do declínio da biodiversidade é
medido pela variação da população de aves características das zonas agrícolas (número de
indivíduos). As espécies de aves seleccionadas no âmbito do PRORURAL foram o pombo torcaz
(Columba palumbus) e o melro preto (Turdus merula).
10
Primdahl, Jørgen et al. (2010) “Current use of impact models for agri-environment schemes and potential for improvements of policy design and assessment”, Journal of Environmental Management, 91.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
67
Pombo torcaz e Melro preto
O documento “Approaches for assessing the impacts of the Rural Development Programmes in the
context of multiple intervening factors”, neste âmbito, refere-se à utilização do Índice de Aves
Comuns das Zonas Agrícolas (FBI – Farmland Birds Indicator), o qual é identificado como um
“barometer of environmental change in the countryside and thus as a surrogate for change in
biodiversity and nature more broadly” e adoptado enquanto um “EU Structural Indicator and a
Sustainable Development Indicator” (p|g. 118).
A fim de permitir a operacionalização deste indicador, o documento citado disponibiliza uma lista
de 19 espécies de aves associadas/dependentes da actividade agrícola. Porém, tendo em
consideração a possibilidade de existir outras espécies mais adequadas à situação nacional e/ou
regional dos Estados Membros (EM), o documento disponibiliza ainda um outro grupo padrão
constituído por 36 espécies. Esta lista alargada de 36 espécies de aves coincide com a do Conselho
Europeu do Censo de Aves.
Para além do FBI, a estimação do indicador de impacto vai considerar o Indicador de Resultado
correspondente à Superfície (ha) em que a gestão do espaço rural é praticada com êxito, contribuindo
para a biodiversidade e a manutenção de terras agrícolas e florestais de elevado valor natural. Ou
seja, este indicador refere-se à área total (ha) abrangida por duas Acções da Medida 2.2.,
conforme se pode constatar no quadro seguinte, onde figuram as metas quantificadas para esse
indicador.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
68
Quadro 5. Metas quantificadas para o Indicador Comuns de resultado ‘Área em que a gestão do espaço rural é bem sucedida contribuindo para a biodiversidade e a preservação de terras agrícolas
e florestais de Elevado Valor
Medida Indicador do QCAA
Descrição Cód. Acção PRORURAL
Metas
2.2 Pagamentos agro ambientais e Natura 2000
Protecção da biodiversidade e dos valores naturais e paisagísticos
2.2.2 300-380 (ha)
Pagamentos Natura 2000 em terras agrícolas
2.2.3 280-360 (ha)
Fonte: PRORURAL, versão de 2010.
A. AVALIAÇÃO INTERCALAR
Tendo por objectivo avaliar o Impacto Ambiental do PRORURAL na “Invers~o do declínio da
biodiversidade” adopta-se o conjunto de dados fornecido pelo Projecto Censo de Aves Comuns
(CAC), iniciado na RA Açores em 2007 e conduzido pela Sociedade Portuguesa para o Estudo das
Aves (SPEA)11. Este programa de monitorização a longo prazo de aves comuns nidificantes por
tipo de habitat (agrícola, florestal, ...) constitui uma ferramenta importante para medir a
sustentabilidade das decisões políticas no contexto ambiental. É neste âmbito que se inscrevem os
índices seguintes como indicadores de Biodiversidade:
Índice de Aves Comuns (IAC) que é fornecido pelo CAC e está incluído na Estratégia
Nacional de Desenvolvimento Sustentável 2005-2015:
Índice de Aves Comuns de Zonas Agrícolas (IACZA) foi também incluído no Plano
Estratégico Nacional para o Desenvolvimento Rural 2007-2013.
Os indicadores IAC e IACZA estão já a ser utilizados regularmente por entidades oficiais em
Portugal, como a Agência Portuguesa do Ambiente (APA), o Instituto Nacional de Estatística (INE)
e o Ministério da Agricultura, do Desenvolvimento Rural e das Pescas (MADRP), sendo de
sublinhar que o CAC extravasa o contexto nacional, uma vez que está integrado no Esquema Pan-
Europeu de Monitorização de Aves Comuns (PECBMS). O PECBMS utiliza as aves comuns como
indicadores do estado geral do ambiente na Europa e é coordenado pelo Birdlife International e
pelo European Bird Census Council (EBCC), sendo de ressaltar que os dados obtidos em Portugal
estão também a contribuir anualmente para o indicador de aves selvagens da União Europeia.
11
SPEA, Censo de Aves Comuns do Arquipélago dos Açores. Balanço dos Primeiros Três Anos & Resultados do Período 2007-2013, 2009.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
69
O primeiro relatório que descreve o estado das populações de aves comuns nos Açores, no âmbito
do Programa CAC, intitula-se Censo de Aves Comuns do Arquipélago dos Açores. Balanço dos
Primeiros Três Anos & Resultados do Período 2007-2013, e foi publicado pela SPEA em 2009.
Apresenta “resultados de abund}ncia para 29 espécies de aves, baseados em dados preliminares
referentes aos anos 2007 e 2008 e recolhidos em 19 unidades de amostragem” (SPEA, 2009:1).
No balanço do 1º triénio do projecto CAC nos Açores e nas 29 espécies de aves monitorizadas
figuram as espécies Columba palumbus (pombo torcaz) e Turdus merula (melro preto). De acordo
com o documento da SPEA acima identificado, o número médio de indivíduos detectado por
ponto de escuta da espécie Columba palumbus duplicou entre 2007 e 2008 (de 0,116 em 2007 para
0,296 em 2008) e o número médio de indivíduos detectado por ponto de escuta da espécie Turdus
merula declinou (3,458 em 2007 para 3,394 em 2008) (cf. SPEA, 2009).
Face ao exposto, a análise da variação do número de aves vai ter como Indicador de Referência e
os valores das monitorizações a partir de 2007, tendo os mesmos que ser utilizados com algumas
reservas ou como indicador aproximado, em virtude de o Programa CAC:
Não dispor de informação na primeira época para a totalidade das ilhas. Como é referido
“(...) em quatro das unidades de amostragem atribuídas, a monitorização não foi
cumprida, fazendo com que o Pico e a Graciosa não fossem abrangidas pelo CAC neste
ano inaugural [2007]” (SPEA, 2009: 7), embora em 2008, sublinhe-se que a totalidade das
unidades de amostragem, distribuídas por todas as ilhas da RAA; tenham sido
monitorizadas.
Estar desajustado entre a informação possível de ser utilizada e as recomendações da
Rede Europeia de Avaliação. Segundo esta, o ano de 2000 é identificado, para efeitos de
comparabilidade, como o ano de referência ou seja, o ano para o qual existe maior
cobertura geográfica à escala da União Europeia.
Contemplar um carácter preliminar da informação disponível, como também é
reconhecido no documento da SPEA: “É certamente cedo para tirar grandes conclusões
sobre tendências populacionais, por isso requerer| mais anos de amostragem (...)” (SPEA,
2009:1).
Em face do exposto, e para efeitos da Avaliação Intercalar, a Equipa de Avaliação terá em conta a
informação disponibilizada pelo Programa CAC dos Açores, isto é, os resultados relativos a 2007 e
2008, mas também deverá ter os resultados relativos ao ano de 2009, sendo que a análise da
informação disponível deverá ser feita por ilha e por tipo de habitat. Para anos anteriores procurar-
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
70
se-á descrever situação de referência apenas de forma qualitativa e com base em referências
bibliográficas dispersas.
B. AVALIAÇÃO EX-POST
De forma a acautelar a existência de informação com alguma representatividade e fiabilidade para
que o Indicador de Impacto possa ser objecto de avaliação com alguma consistência técnica na
avaliação ex-post do Programa apresentam-se, de seguida, os procedimentos metodológicos
desde já a observar e a implementar:
Garantir que as medições nas actuais 19 unidades de amostragem e sítios podem
constituir-se como indicadores de situação de referência para efeitos da Avaliação
ex-post do PRORURAL.
Assegurar, com o apoio da SPEA, a pertinência das espécies seleccionadas face ao
objectivo de avaliar o declínio da biodiversidade; e a possibilidade de essas espécies serem
substituídas ou adicionadas outras espécies de aves que figuram no grupo padrão das 36
espécies considerado no documento metodológico produzido pela Rede Europeia de
Avaliaç~o de forma a alargar o “grupo-alvo” das espécies a monitorizar in situ.
Identificar, com o apoio da SPEA, a localização das 19 unidades de amostragem e a
selecção dos sítios (pontos de contagem dentro das quadrículas) do Projecto CAC,
avaliando a sua representatividade face aos habitats agrícolas e florestais mais
representativos da RAA e, sobretudo, que foram objecto de apoio por parte do
PRORURAL. Note-se que “As oito classes pertencentes ao nível 1 da classificaç~o de
habitats para o Continente e Madeira foram também utilizados para os Açores. No
entanto, apenas os códigos de habitat correspondentes {s classes “E Zonas Humanizadas”
e “H Rochedos de Interior” foram conservados sem alterações”. Nos restantes foram
efectuadas alterações, “a cada nível da classificaç~o de habitats, de modo a suprimir a
informação desajustada para os Açores e acrescentar novos códigos que tornassem
possível uma melhor descrição dos habitats açorianos (SPEA, 2009: 5)12.
Estabelecer unidades de amostragem/controlo em parcelas/explorações agrícolas
beneficiárias e não-beneficiárias das Medidas do Eixo 2 do PRORURAL– vulgarmente
12
Sobre os códigos de habitats considerados pelo Programa CAC dos Açores ver a Tabela 2 do documento da SPEA (2009).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
71
designado por “reference points” (Primdahl et al., 2010)13 - para as espécies Columba
palumbus e Turdus merula e para outras que puderem vir a ser seleccionadas
Garantir a monitorização in situ das espécies de aves nestas unidades de
amostragem/controlo.
Garantir que os procedimentos de representatividade, de unidades de amostragem, sítios
e monitorização estão em conformidade com os elementos enumerados no documento
metodológico sobre os indicadores de impacto.
Principais condicionantes
Até ao Estudo de Avaliação Intercalar, a importância atribuída à implementação atempada dos
procedimentos enumerados foi inexistente, não tendo havido a criação de laços e de sinergias
entre a Autoridade de Gestão e a SPEA. Contudo, a implementação desse tipo de sinergias é tanto
mais relevante quanto:
(i) o Community Strategic Guidelines for Rural Development afirma a importância de
proteger e reforçar os recursos naturais e as paisagens nas áreas rurais e que os recursos
afectados ao Eixo 2 deverão contribuir para a biodiversidade e sua preservação, sendo
esta uma das três áreas prioritárias da União Europeia;
(ii) o Guidance Note B on the CMEF sublinha a importância de as questões de avaliação
horizontal serem avaliadas no contexto do indicador de referência estipulado para o
indicador de impacto em análise; e
(iii) a larga maioria dos 27 EM já disporem de avaliações e tendências quantitativas de
“farmland bird species populations”. De notar que esta afirmação é válida não só para os
EM do Norte e Centro da UE, promotores e leaders da política ambiental e agro-
ambiental (Rodrigo: 2003)14 mas também para EM que integraram o conjunto de países
que mais recentemente aderiram à União Europeia.
Por fim, é também de recordar a exigência da Comissão sobre a utilização dos recursos com
consequências, ou seja, que a avaliação das políticas se processe em bases objectivas e
13
Primdahl, Jørgen et al. (2010) “Current use of impact models for agri-environment schemes and potential for improvements of policy design and assessment”, Journal of Environmental Management, 91. Como este estudo refere, “tendo por objectivo medir a performance e os efeitos de resultado devem ser estabelecida uma espécie de reference points “. Isto pode ser feito comparando a evoluç~o do uso do solo/práticas de gestão e o estado ambiental em terras beneficiadas e n~o beneficiadas” (Primdahl, Jørgen et al., 2010: 1247). 14
Rodrigo, Isabel (2003), “A quest~o ambiental nos territórios rurais e nas agriculturas da Uni~o Europeia”, em Portela, José e João Castro Caldas (Orgs.), Portugal Chão, Celta, 2003, pp. 167-187.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
72
quantificadas. Como se sabe, desde o início da Política Agro-ambiental que a Comissão
Europeia vem gradualmente a introduzir linhas de orientação para a avaliação dos impactos
agro-ambientais, mais exigentes e quantificadas, as quais culminaram no actual QCAA.
Manutenção de terras agrícolas e florestais de elevado valor natural
Contextualização
O conceito de sistemas agrícolas e florestais de alto valor natural é um conceito relativamente
recente (introduzido nos anos 90) e descreve aquelas actividades e superfícies agrícolas que,
devido às suas características, é expectável que constituam o suporte de elevados níveis de
biodiversidade ou espécies e habitats com preocupações de conservação (Baldock et al., 1993;
Beaufoy et al., 1994; Bignal and McCracken, 2000). Os sistemas agrícolas e florestais com maior
valor natural constituem, assim, abrigo a numerosos tipos de habitats, os quais dependem da
continuidade desses sistemas para a sua conservação.
Os sistemas agrícolas e florestais de alto valor natural devem contemplar, nas suas características,
e em simultâneo, baixa intensidade de produção, presença de vegetação
semi-natural e elevada diversidade de cobertura do solo, conforme se encontra esquematizado na
figura seguinte.
Figura 11. Características-chave dos sistemas agrícolas de alto valor natural
Fonte: Approaches for assessing the impacts of the Rural Development Programmes in the context of multiple intervening factors, Março 2010.
HNV
Sistemas de baixa intensidade: Encabeçamento/ha Azoto/ha Biocidas/ha
Alta diversidade de cobertura do solo: Culturas Pousios Pastagens e arbustos Elementos naturais
Alta proporção de vegetação semi-natural Pastos e arbustos Árvores Divisórias naturais das
parcelas Corpos de água
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
73
As culturas permanentes, nomeadamente, os pomares tradicionais de frutos e de frutos secos,
podem ser consideradas de elevado valor natural, pois as características-chave consistem na
presença de árvores e de sobcoberto semi-natural. O sob-coberto semi-natural é um elemento
essencial na biodiversidade destes sistemas agrícolas e deve estar presente todo ou em quase
todo o ano.
Os sistemas para ser considerados de alto valor natural não devem ser irrigados nem fertilizados
com adubos azotados e não devem ser utilizados biocidas ou insecticidas de largo espectro, pelo
que cabe, nestes sistemas, pastagens naturais de Ilhas menos densas em termos animais. A
presença de elementos como muros de pedra e divisórias de parcelas naturais, são de extrema
importância para o reforço da biodiversidade, características de alguns sistemas de produção na
RA Açores, nomeadamente, da cultura da vinha na Ilha do Pico.
Metodologia
O indicador de referência não foi considerado aquando da concepção do Programa, devido ao
facto de não estar definida, ainda, a área ocupada por sistemas agrícolas e florestais de alto valor
natural, na RA Açores, pelo que não se dispõe de elementos caracterizadores da situação de
referência, nem de elementos que permitam realizar a avaliação deste indicador.
Todavia, está em curso a definição de uma metodologia pela Autoridade de Gestão, com o apoio
do Gabinete de Políticas e Planeamento do Ministério da Agricultura do Desenvolvimento Rural e
das Pescas, para apurar os valores de referência, reportados ao ano de 2007.
De acordo com a Autoridade de Gestão do PRORURAL, na definição da metodologia está implícita
a preocupação com a sua utilização por parte da Equipa de Avaliação, sendo possível utilizar a
mesma metodologia para verificar a influência que o Programa teve sobre esses sistemas no final
do período de vigência do PRORURAL.
Os passos que a Autoridade de Gestão vai seguir para chegar ao indicador de referência, são os
seguintes:
1. Identificação de sistemas agrícolas reconhecidos pelo seu alto valor natural, tendo em
consideração o documento orientador “The Application of the High Nature Value Impact
Indicator”, elaborado pela Rede Europeia de Avaliação.
2. Identificação de critérios que, aplicados à informação relativa aos pedidos de pagamento,
permitam reconhecer os sistemas identificados.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
74
3. Aplicação dos critérios à informação de base e avaliação da área associada aos sistemas
caracterizados, tendo em consideração a necessidade de se evitar a dupla contagem.
Note-se que cada EM tem a liberdade de adoptar qualquer metodologia para identificar os
sistemas de alto valor natural respectivos, desde que aplicando as características-chave e os
conceitos base definidos pela Rede Europeia de Avaliação.
Face ao exposto, e tendo em conta a influência específica do PRORURAL nesses sistemas de alto
valor natural, a avaliação do indicador de Impacto ambiental atribuirá destaque à Medida
“Pagamentos Natura 2000 em terras agrícolas” (Cód. (CE) 213 da Acç~o 2.2.3 – “Pagamentos
Natura 2000 em terras agrícolas” do Eixo 2, dado o facto de a mesma se encontrar
especificamente vocacionada para a “Manutenç~o das terras agrícolas e florestais de Elevado
Valor Natural”, como consta dos objectivos que estiveram subjacentes à sua inclusão no
PRORURAL, a saber:
(i) manter o estado de conservação favorável dos Sítios de Importância comunitária da
Rede Natura 2000 designados no âmbito da Directiva 92/43/CEE de 21 de Maio
Directiva [Directiva Habitats];
(ii) evitar a deterioração dos habitats naturais, dos habitats das espécies, bem como as
perturbações que atinjam as espécies para as quais os Sítios de Importância
Comunitária foram designados, na medida em que possam ter um efeito significativo;
e
(iii) promover a implementação de medidas dinamizadoras preventivas para o Sector
Agrícola/Pecuário identificado no Plano Sectorial da Rede Natura 2000 da Região.
Melhoria da qualidade da água
Contextualização
De acordo com o documento do PRORURAL, o indicador de Impacto Melhoria da qualidade da
água é definido como a alteração quantitativa na estimativa do balanço bruto dos nutrientes no
solo que pode ser atribuída à intervenção, uma vez contabilizados efeitos de dupla contagem,
peso morto e de deslocamento/substituição. O balanço bruto dos nutrientes indica a potencial
perda de nutrientes nas massas de água, susceptível de ser prejudicial para a qualidade da água.
Este indicador é medido através da variação da quantidade de azoto utilizada, em toneladas.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
75
Para o cálculo do balanço bruto de nutrientes no solo, a Equipa de Avaliação vai adoptar a
metodologia da OCDE15, recomendada no documento Approaches for assessing the impacts of the
Rural Development Programmes in the context of multiple intervening factors e também utilizada
pelo INE16.O cálculo do balanço bruto de nutrientes restringir-se-á ao azoto. A exclusão,
nomeadamente, do cálculo do balanço do fósforo advém do definido no Programa PRORURAL,
versão 201017.
De acordo com a metodologia da OECD/EUROSTAT, 2003, e do IRENA Indicator Fact Sheet; IRENA
18.1 – Gross Nitrogen Balance, “o c|lculo do balanço bruto de nutrientes no solo estabelece as
relações entre o uso de nutrientes pela agricultura, as alterações na qualidade ambiental e o uso
sustentável dos solos. (...) Quando o objectivo é avaliar o impacto ambiental do excesso de azoto,
é necessária informação relativa à gestão do azoto pela exploração, o tipo de solo e as condições
climáticas, uma vez que todos estes factores desempenham um papel relevante do destino do
azoto no ambiente” (IRENA 18.1 – Gross Nitrogen Balance).
No que refere ao balanço do azoto, este último documento esclarece ainda que o mesmo se
relaciona com o potencial excedente de azoto no solo agrícola, sendo aquele “estimado através da
diferença entre o azoto adicionado/incorporado a um dado sistema agrícola [input] e o azoto
retido/removido pelo sistema [output] por hectare de terra agrícola.
O uso excessivo de adubos azotados na gestão das actividades agrícolas vegetais é um dos
factores que contribui para a acumulação de azoto no solo (e na água)18. De notar que a poluição
do solo com azoto pela actividade agrícola não resulta exclusivamente da acção dos adubos, como
aliás a definição de balanço do azoto acima exposta esclarece. A mineralização de detritos e
correctivos orgânicos, a fixação do azoto atmosférico, as águas da chuva e da rega são exemplos
de outros factores que também podem contribuir para a poluição do solo (e das águas) com azoto.
Porém, no caso dos detritos e correctivos orgânicos, dado que o processo de libertação de azoto
15
OCDE, OECD National Soil Surface Nitrogen Balances: Explanatory Notes”, OECD Secretariat, March, 2001, 19 p..; OECD/EUROSTAT, 2003, IRENA Indicator Fact Sheet; IRENA 18.1 – Gross Nitrogen Balance. 16
INE, Indicadores agro-ambientais 1989-2007; INE, Estatísticas dos Indicadores Agro-ambientais: Documento Metodológico, Versão 1.0. 17
Por exemplo, nas páginas 270 e 271 daquele documento. 18
Sobre esta questão ver, p.e., a metodologia utilizada na análise do potencial poluente por nitratos, baseada na estimativa da concentração média de nitratos de origem agrícola na água de escoamento, tendo por base o cálculo do balanço do azoto nas principais actividades agrícolas, vegetais e animais, praticadas na Região Ribatejo e Oeste e que consta do documento final do “Estudo sobre a Aplicaç~o das Medidas Agro-Ambientais no Ribatejo e Oeste no período 2000-2006”. Este Estudo teve por objectivo propor as medidas agro-ambientais que se afiguravam ajustadas à realidade socioeconómica, ambiental e dos recursos naturais da Região Ribatejo e Oeste, foi realizado em 1998 e financiado pela Direcção Geral do Desenvolvimento Rural do Ministério da Agricultura, do Desenvolvimento Rural e das Pescas. Intitula-se Agricultura e ambiente no Ribatejo e Oeste e foi realizado por Isabel Rodrigo & José Lima Santos, Departamento de Economia Agrária e Sociologia Rural, ISA, 1998.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
76
(nítrico) é mais lento e gradual, os riscos de acumulação de azoto no solo e a sua transferência para
os aquíferos são teoricamente menores, comparativamente ao que sucede com a acção dos
adubos.
Os impactos ambientais positivos do Programa PRORURAL a nível da “Melhoria da qualidade da
|gua” advêm essencialmente das Medidas do Eixo 2 do Programa, com destaque para as
seguintes Intervenções: “Agricultura Biológica” (AB); “Manutenç~o da extensificaç~o da produç~o
pecu|ria” (MEPP) e “Protecç~o de lagoas” (PL) que constituem a Acç~o 2.2.1 “Promoç~o de
Modos de Produç~o Sustent|veis”.
Porém, e como já reiterado neste Relatório, na avaliação do impacto ambiental do PRORURAL há
também que ter em consideração Medidas do Programa que possam estar a exercer um efeito
negativo e contrário aos objectivos definidos. De uma forma geral, tendem a ser Medidas do Eixo 1
do PRORURAL que, pela sua natureza, possuem potencialidades acrescidas para contrariar o
potencial efeito positivo da aplicação das Medidas do Eixo 2.
Metodologia
O indicador balanço bruto de azoto contabiliza todos os inputs e outputs da exploração agrícola e
todas as emissões residuais da agricultura no solo, água e no ar (volatilização da amónia). Os
principais inputs do balanço incluem os volumes de azoto na forma de fertilizante mineral, de
fertilizante orgânico, de fixação biológica de azoto e de deposição atmosférica por hectare. Os
principais outputs do balanço incluem os volumes de azoto retidos/removidos pelas culturas onde
se incluem as pastagens e as culturas forrageiras consumidas pelo gado por hectare” (IRENA 18.1 –
Gross Nitrogen Balance).
Nos pontos seguintes ilustra-se o cálculo do balanço bruto do azoto no solo, de acordo com a
metodologia da OECD/EUROSTAT, 2003/IRENA Indicator Fact Sheet; IRENA 18.1 — Gross Nitrogen
Balance.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
77
1. Definir os termos e fluxos a considerar no cálculo do balanço bruto do azoto no solo
.
2. Proceder à estimativa de cada um dos respectivos termos da Equação 1
[(N)Fert.M] determinada com base nas quantidades de azoto presentes nos fertilizantes
minerais mais utilizados.
[(N)Fert.O] = número de animais (cabeças), por espécie animal * coeficiente de
conversão do estrume em azoto (Kg./cabeça/ano) da espécie animal em causa +
quantidade de estrume * coeficiente de conversão, de acordo com a espécie animal.
[(N)Dep.Atm] = SAU * coeficiente de deposição atmosférica da RA Açores.
[(N)Fix. Bio] = área cultivada com leguminosas * coeficiente de fixação de azoto
das culturas leguminosas + SAU (terra arável, culturas permanentes e pastagens
permanentes) * coeficiente de fixação de azoto dos organismos vivos.
[Nec. Cul. Agríc.(N)] = azoto retido/removido do solo pela cultura agrícola (a) *
coeficiente de remoção do azoto dessa cultura + azoto retido/removido do solo
pela cultura agrícola (n) * coeficiente de remoção do azoto dessa cultura.
Equação 1
[N]=[(N)Fert.M]+[(N)Fert.O]+[(N)Dep.Atm]+[(N)Fix.Bio]–[Nec.Cul.Agríc.(N)]
[N] - balanço do azoto a calcular (Kg.N)
[(N)Fert.M] - quantidade de azoto adicionado/incorporado no solo sob a forma de fertilizantes minerais azotados (Kg.N)
[(N)Fert.O] - quantidade de azoto adicionado/incorporado no solo sob a forma de fertilizante orgânico (estrume animal) (Kg.N)
[(N)Dep.Atm] - quantidade de azoto no solo por deposição atmosférica (Kg.N)
[(N)Fix. Bio] - quantidade de azoto fixado no solo por leguminosas e por organismos vivos (Kg.N)
[Nec.Cul.Agríc.(N)] - necessidades das culturas em azoto para um determinado nível de
produção, ou seja, o volume de azoto retido/removido pelas culturas, incluindo as pastagens e
culturas forrageiras consumidas pela actividade pecuária (Kg.)
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
78
3. Cálculo dos efeitos de peso morto, dupla contagem e deslocamento
Efeito de peso morto ou de inércia
Corresponde às entradas e saídas de azoto nas explorações beneficiárias que ocorreriam
na ausência do Programa (esta é a situação contrafactual). Supõe-se, portanto, que a
adesão das explorações às Medidas do Eixo 2 contribuirá para reduzir a quantidade de
azoto incorporado no solo por estas unidades produtivas.
Neste contexto, tem de se definir a situação contrafactual, ou seja, uma amostra não
“sujeita” {s Intervenções do PRORURAL. Por outras palavras, h| que seleccionar uma
amostra de explorações agrícolas não-beneficiárias que possuam o mesmo perfil que as
explorações beneficiárias, de modo a ser possível estabelecer comparações. Para estas
explorações é necessário estimar o balanço do azoto como definido na Equação 1.
Efeito de dupla contagem
Corresponde à identificação do contributo individual de cada Medida/Intervenção, para o
balanço do azoto, sempre que o beneficiário em análise aufira de apoios de mais do que
uma Medida/Intervenção com efeitos sobre o balanço do azoto na exploração. Nas
situações em que a mesma exploração agrícola tenha aderido a várias
Medidas/Intervenções que possam influenciar o balanço do azoto, será necessário
determinar o impacto causado por cada uma dessas Medidas/Intervenções de forma a
evitar a dupla contagem.
Exemplo
Para acautelar esta situação, sugere-se o exemplo seguinte: a exploração A aderiu às
Medidas/Intervenções X e Y. O balanço do azoto estimado para a exploração A (NA)
reflecte, naturalmente, os impactos das duas Medidas/Intervenções. Para determinar o
contributo de cada uma delas, há que determinar, em primeiro lugar, um factor de peso
(P) para cada uma das Medidas/Intervenções. Este factor deverá ser calculado do seguinte
modo:
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
79
No exemplo da exploração A o efeito relativo de cada Medida/Intervenção é determinado de
acordo com as Equações 4 e 5
Efeito de deslocamento
Este efeito refere-se a efeitos indirectos no balanço bruto de nutrientes em explorações
não-beneficiárias de Medidas do Eixo 2 do PRORURAL. Por exemplo, considere-se uma
exploração agrícola não-beneficiária que pratica um sistema de produção orientado para a
pecuária extensiva e que venda o estrume produzido a outra exploração, beneficiária p.e.
da Intervenção Agricultura biológica. Neste exemplo, o azoto com origem no estrume será
Equação 2
P(XY) = (NX)/(NX + NY)
Equação 3
P(YX) = (NY)/(NX + NY)
Onde:
P(XY) é o peso da Medida/Intervenção X em relação à Medida/Intervenção Y
P(YX) é o peso da Medida/Intervenção Y em relação à Medida/Intervenção X,
sendo P(XY) + P(YX) = 1
N(X) é a média do balanço do azoto de explorações que tenham aderido só à Medida/Intervenção (X)
N(Y) é a média do balanço do azoto de explorações que tenham aderido só à Medida/Intervenção (Y)
Equação 4
NA(X) = P(XY)*NA
Equação 5
NA(Y) = P(YX)*NA
Onde:
NA(X) é o balanço do azoto da exploração A em resultado da sua adesão à Medida/Intervenção X
NA(Y) é o balanço do azoto da exploração A em resultado da sua adesão à Medida/Intervenção Y,
P(XY) e P(YX) são os pesos (P) das Medidas/Intervenções X e Y. Estes pesos são determinados, respectivamente, de acordo com as Equações 2 e 3
NA é o balanço do azoto na exploração A, o qual reflectirá a adesão de A às Medidas/Intervenções X e Y.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
80
contabilizado como uma entrada de azoto na exploração beneficiária. Os efeitos de
substituição/deslocamento referem-se, portanto, à alteração no balanço de azoto na
exploração não-beneficiária que, ao vender o estrume (em vez de o incorporar no solo),
regista, consequentemente, um input inferior de azoto no solo.
Para a determinação dos efeitos de deslocamento é necessário i) identificar a origem de
todas as introduções (inputs) de azoto sob a forma de fertilizante orgânico (estrume
animal) nas parcelas beneficiárias das Intervenções do PRORURAL, na situação antes e
depois da implementação das mesmas; e (ii) identificar se o estrume é oriundo da
actividade pecuária exercida em regime de exploração intensiva ou extensiva.
De seguida apresentam-se os procedimentos a adoptar na Avaliação Intercalar e na Avaliação ex
post do Programa PRORURAL.
A. AVALIAÇÃO INTERCALAR
De seguida, apresentam-se os procedimentos metodológicos a observar para a avaliação do
Indicador de Impacto Melhoria da qualidade da água na Avaliação Intercalar do PRORURAL. Esses
procedimentos encontram-se descritos sob duas perspectivas diferentes, tentando atenuar as
indisponibilidades em termos de informação, mas que deve ser analisadas em conjunto.
Análise com base no Regime de ajudas a conceder para fazer face ao custo acrescido do
adubo derivado dos encargos com o transporte marítimo para a Região Autónoma dos Açores
i) análise da informação por agricultor, área da parcela e respectivo aproveitamento do
solo (cultura), por ilha e por ano, desde 2003, constante dos pedidos de ajudas a
conceder aos agricultores para fazer face ao custo acrescido do adubo, derivado dos
encargos com o transporte marítimo para a RA Açores ao abrigo da Portaria nº 10/2009
de 20 de Fevereiro da Secretaria Regional da Agricultura e Florestas, bem como das
Portarias anteriores(com início em 2003).
Pese embora a larga maioria dos agricultores da RA Açores que utiliza adubos faça uso
dos benefícios concedidos ao abrigo desta Portaria, sublinhe-se que a utilização desta
informação é um indicador cujo conteúdo possui relevância reduzida, quando se tem
por objectivo avaliar o impacto ambiental do PRORURAL na melhoria da qualidade da
água. Com efeito, aquela informação refere-se à quantidade de adubos utilizados pelos
agricultores, sem que os mesmos sejam descriminados pelo peso/quantidade dos
adubos azotados e respectiva composição em azoto.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
81
A análise da evolução da referida informação desde 2003, e de acordo com as variáveis
acima especificadas, permite meramente concluir sobre a evolução do consumo de
adubos na RAA. Permite ainda inferir a evolução do consumo de adubos azotados que,
de acordo com a informação do PRORURAL, versão de 2010, tendem a ser os mais
utilizados pelos agricultores da RAA. Segundo este documento, de acordo com as
estimativas constantes no Plano Regional da Água elaborado em 2001, o consumo de
fertilizantes azotados elementares de Azoto varia entre 10 Kg/ha SAU no Corvo e 392
Kg/ha SAU em São Miguel com apenas 4 ilhas a ultrapassar 100 Kg/ha SAU (média de
Portugal Continental 350 Kg/ha SAU; e o consumo de Fósforo entre 1 Kg/ha SAU nas
Flores e 73 Kg/ha SAU em São Miguel (média nacional 180 Kg/ha SAU) (PRORURAL,
versão 2010, pág. 88).
ii) análise da informação relativa às análises de solo exigidas para a atribuição da ajuda
aos correctivos alcalinizantes, ao abrigo do normativo legal acima explicitado, e que
tem por finalidade comprovar a necessidade da sua aplicação.
A análise desta informação deverá obedecer às variáveis enumeradas em (i),
concretamente, por agricultor, área da parcela e respectivo aproveitamento do solo
(cultura), por ilha e por ano, desde 2003, e deverá ser cruzada com a informação
recolhida em (i), sempre que o mesmo por agricultor, área da parcela e respectivo
aproveitamento do solo (cultura), por ilha e por ano, desde 2003, tenha beneficiado dos
dois tipos de apoio (ao adubos e aos correctivos alcalinizantes).
Análise dos indicadores de resultado relativos às Intervenções da Acção 2.2.1 do Eixo 2 do
PRORURAL cujas metas figuram no Quadro 6.
Quadro 6. Metas quantificadas para os Indicadores de Acompanhamento e Avaliação da Acção 2.2.1 da Medida 2.2 “Pagamentos Agro-ambientais e Natura 2000”
Descrição Metas (ha)
Superfície, em que a gestão do espaço rural, contribui para a qualidade da água (ha) 80-100
Superfície, em que a gestão do espaço rural, contribui para a qualidade dos solos (ha) 32.000 – 37.000
Fonte: PRORURAL, versão de 2010.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
82
B. AVALIAÇÃO EX-POST
Nos pontos seguintes indicam-se os procedimentos a adoptar para efeitos da Avaliação ex-post do
Programa:
1. Cálculo do balanço do azoto nas explorações beneficiárias do PRORURAL, antes e após a
adesão às Medidas seleccionadas
2. Determinação do efeito de peso morto, isto é, dos impactos na qualidade da água que
teriam ocorrido na ausência do Programa e incluir este efeito no balanço estimado em (1).
3. Contabilização do efeito de dupla contagem nos casos em que a mesma exploração auferido
de dois ou mais apoios que tenham influência sobre o balanço do azoto.
4. Identificação dos efeitos de deslocamento e discussão dos valores determinados em (2) e (3)
tendo em conta estes efeitos.
A operacionalização dos pontos (2), (3), e (4) encontra-se detalhada no item da metodologia (págs.
82-85).
Condicionantes
No âmbito da resposta a este indicador, há aspectos importante a ter em consideração, entre os
quais se destacam os seguintes:
inviabilidade da medição da componente de deposição atmosférica do azoto, com origem
em sectores não agrícolas;
ausência de dados consensuais sobre a quantidade de fertilizantes aplicados no
Arquipélago (PRORURAL, versão 2010, pág. 88);
variabilidade dos níveis de consumo de fertilizantes nas várias ilhas da RA Açores;
inexistência de informação disponível que permita proceder ao cálculo do balanço de
azoto.
No que respeita ao último aspecto assinalado, considera-se que o contributo dos dados constantes
da RICA e dos pagamentos ao abrigo da Portaria nº 10/2009 de 20 de Fevereiro, poderá ser uma
mais-valia relevante uma vez que pode possibilitar a determinação da quantidade de adubo
aplicada em explorações agrícolas não-beneficiárias do PRORURAL e, deste modo, avaliar e
deduzir o efeito de inércia. Supõe-se, neste contexto, que poderá haver uma recolha adicional de
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
83
informação sobre o tipo e quantidades de adubos utilizados pelas explorações, mas também o
teor de azoto dos adubos azotados que as mesmas incorporam no solo. O mesmo sucede com o
que se prende com as quantidades de estrume utilizado, a origem animal do mesmo, e a
proveniência do estrume (se da própria exploração ou adquirido a terceiros).
Uma outra fonte de informação adicional pode ser utilizada se se verificar o desenvolvimento do
Plano de Fertilização Racional, o qual visa uma melhor caracterização dos níveis de fertilizantes
utilizados na RA Açores e tem um sistema de aconselhamento dirigido para uma prática de
fertilização adequada. Este Plano, implementado pelo Governo regional e a Universidade dos
Açores, tem como principal objectivo mitigar a poluição provocada pelo excesso de fertilizações
nas explorações agro-pecuárias, particularmente, nas Ilhas de São Miguel, da Terceira e do Pico.
Contribuição para o combate às alterações climáticas
Contextualização
O Indicador de Impacto Contribuição para o combate às alterações climáticas é avaliado sobretudo
em termos do acréscimo da produção de energias renováveis em meio rural, de acordo com o
Quadro Comum de Acompanhamento e Avaliação (QCAA). Este indicador de referência é definido
em termos da variação quantitativa e qualitativa na produção de energia renovável que pode ser
atribuído, após a remoção do efeito de dupla-contagem, inércia e deslocamento e é medido no
valor estimado de toneladas equivalente de petróleo (tep).
No que se refere à contribuição para o combate às alterações climáticas, existem, na estrutura do
PRORURAL, várias Medidas que tendem, mesmo que indirectamente, a contribuir para a
diminuição das emissões de gases de estufa e para o sequestro de carbono, assumindo particular
relevância as Medidas constantes do Eixo 2 e as intervenções florestais inscritas na Medida 1.6. do
Eixo 1.
Todavia, note-se que outras Medidas do Eixo 1, embora não apoiando intervenções que visem
directamente o combate às alterações climáticas, abrangem sistemas de produção com efeitos
positivos nesta matéria, destacando-se a Medida 1.5 (Modernização das explorações agrícolas)
nos apoios concedidos para a modernização do parque de máquinas agrícolas (recorrendo a
tecnologias menos poluidoras) e a instalação de energias renováveis.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
84
Também os apoios para a implementação de sistemas de tratamento dos efluentes pecuários,
inscritos na Medida 1.5, valorizados nos novos desafios que se colocam à reestruturação do sector
leiteiro19 com potencial aproveitamento para a produção de biogás, permitirão contribuir para
este objectivo-chave.
Condicionantes à aplicação da metodologia definida pela Rede Europeia de Avaliação
A estimativa deste Indicador de impacto, à semelhança do que ocorre para os anteriores será
efectuada tendo presente a situação de referência, constante dos elementos de diagnóstico do
Documento do PRORURAL. Todavia, a própria Comissão Europeia reconhece que a experiência de
avaliação dos impactos das medidas de política de Desenvolvimento Rural nas alterações
climáticas é limitada e que se baseia sobretudo em indicadores de área e produção.
No que respeita aos Indicadores Comuns da Situação de Referência, são considerados três tipos
de indicadores de base relacionados:
Produção de energia renovável da agricultura e florestas;
Superfície Agrícola Útil dedicada a culturas energéticas e de biomassa;
Emissões de Gases com Efeito de Estufa (GEE) pela agricultura.
O indicador de referência utilizado pelo PRORURAL consiste no acréscimo da produção de energias
renováveis em meio rural, em tep. Contudo, na avaliação ex-ante do PRORURAL foram
identificados os seguintes aspectos:
a produção de energias renováveis na agricultura não é efectuada na RA Açores: a cultura
de oleoginosas e de cereais, particularmente, trigo e cevada, é praticamente inexistente
na Região;
a produção de energias renováveis a partir da produção florestal não se tem verificado: é
negligenciável qualquer utilização de matos ou outros sub-produtos florestais;
existe apenas uma unidade de produção de biogás em toda a Região (a partir de efluentes
da produção suína);
19
Decisão da Comissão de 2.3.2010 que aprova a revisão do Programa de Desenvolvimento Rural dos Açores relativo ao período de programação 2007-2013 e altera a Decisão da Comissão C(2007) 6162 de 4 de Dezembro de 2007 que aprova este Programa de desenvolvimento rural.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
85
não está disponível para a RA Açores informação sobre as emissões de gases com efeito
de estufa (págs. 53 e 54).
A acrescer não estão afectas áreas agrícolas e/ou florestais para a produção de energia e
biomassa. De acordo com o Relatório de Execução do PRORURAL, relativo ao ano de 2008, o
aproveitamento da biomassa na RA Açores encontra-se num estado muito inicial. Embora sejam
muitos os factores que motivam a exploração da biomassa, particularmente, os seus conteúdos
energéticos, o seu aproveitamento não se efectua (uma das formas mais simples de
aproveitamento da biomassa passará certamente pela queima da madeira, recurso relativamente
abundante na região e que necessita de uma melhor gestão, em igual modo, a limpeza das
manchas florestais pode ser um contributo extremamente importante, não só pelo
aproveitamento energético, como também pela gestão do risco de incêndio e pela criação de
emprego, pág. 25).
Em suma, a escassa informação estatística com níveis de desagregação e de actualização
desejáveis ao processo de actualização dos contextos iniciais de Programação; a inexistência de
conteúdos informativos adequados à natureza dos indicadores de impacto; e a ausência de uma
situação de referência consistente, não constitui uma base de trabalho robusta para a avaliação do
indicador de impacto em análise.
Face ao exposto, e em sede de Avaliação Intercalar, este indicador de impacto, será avaliado com
base em informação de indicadores de resultados, complementando a análise com recurso a
informação qualitativa, sobretudo, através de alguns documentos de referência recomendados
pelo documento metodológico elaborado pela Rede Europeia de Avaliação.
Em simultâneo, a Equipa de Avaliação, em conjunto com a Autoridade de Gestão e com entidades
de referência (p.e., a Universidade dos Açores) tentará ultrapassar essas eventuais insuficiências,
nomeadamente, através da introdução de factores qualitativos na análise a empreender ou
mesmo sugerir outra medida para calcular o impacto, p.e., Emissões de Gases com Efeito de
Estufa (GEE). Neste contexto, refira-se que esta unidade medida poderia porventura ser mais
adequada à realidade do sector agrícola da RA Açores, sobretudo, pela importância que assume a
produção de gado bovino (leite e carne) [e tendo em conta que ainda este ano vai ser disponibilizado
um referencial estatístico com dados acurados sobre o número de animais existente na RA Açores –
RGA 09].
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
86
Neste alinhamento, a principal fonte de dados é a Agência Europeia do Ambiente (AEA), que
compila os dados dos Estados-Membros sobre as alterações climáticas. Os EM aplicam as
orientações do Intergovernmental Panel on Climate Change (IPCC), de 1996, para estimar as
emissões e utilizam um formato de informação comum para a apresentação dos seus inventários.
A entidade responsável pela elaboração do Inventário Nacional sobre as Emissões de Gases de
Estufa é a Agência Portuguesa para o Ambiente (APA), que recentemente elaborou o “Portuguese
National Inventory Report on Greenhouse Gases, 1990 – 2008” (Abril, 2010), apresentado no
âmbito da Convenção sobre as Alterações Climáticas e do Protocolo de Quioto. Este documento
apresenta as emissões de GEE de diversas fontes, sendo de destacar a quantificação das emissões
associadas à actividade agrícola (p.e., emissões de metano (CH4) proveniente da fermentação
entérica e emissões de CH4 e N2O proveniente da gestão de estrumes); e as emissões e remoções
ligadas ao uso da terra (p.e., áreas florestais e pastagens). Pese embora no documento seja
perceptível a ausência da RA Açores para alguns dos aspectos avaliados, é de notar que o mesmo
apresenta pistas e metodologias e valores de referência para o cálculo destes valores.
A título de exemplo, apresenta-se a metodologia para as emissões proveniente da fermentação
entérica do gado. As emissões são estimadas para cada tipo de animal através da multiplicação do
número de animais pelo respectivo factor de emissão.
EmiCH4 (y) = t [EF(i,y) * N(i,y)] onde, para cada espécie: EmiCH4 - emissões de metano da fermentação entérica no ano y, kg CH4/ano; EF - factor de emissão para a população específica do animal no ano y, kg/cabeça/ano;; N - número de animais do tipo i no ano y, cabeça.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
87
Quadro 7. Factores de emissão provenientes da fermentação entérica (kg CH4/cabeça/ano)
Tipo de animal Sub - classe kg (CH4/cabeça/ano)
Bovino Leiteiro Vacas leiteiras 91-119
Bovinos de Carne
Vitelos de carne ( <1 ano) 32-36
Vitelos machos para substituição ( <1 ano) 40-46
Vitelos fêmeas para substituição ( <1 ano) 34-39
Machos (1-2 anos) 62-70
Fêmeas (1-2 anos) 42-48
Fêmeas para reprodução (1-2 anos) 48 - 55
Novilho (> 2 anos) 77 - 88
Vacas adultas (> 2 anos) 52 - 59
Vacas adultas para substituição (> 2 anos) 52 - 59
Vacas 64 - 74
Suínos
Leitões (< 20kg) 0,3
Porcos de engorda (20-50 kg) 1,3
Porcos de engorda(50-80 kg) 1,9
Porcos de engorda (> 110 kg) 2,2
Javali (> 50 Kg) 2,5
Porcas cobertas 1,8
Porcas não cobertas 3,8
Ovinos
Ovelhas 8,1-10,7
Outros: carneiros 10-13,1
Cordeiros 4,3-5,6
Caprinos
Bode 7,8-9,4
Outros: Bodes jovens 4,8-5,8
Cabritos 2,6-3,1
Equídeos Cavalos 18
Gado asinino 10
Outros Coelhos 3,6
Fonte: Portuguese National Inventory Report on Greenhouse Gases, 1990 – 2008, APA, Abril 2010.
3.2. Questões Comuns de Avaliação (específicas e horizontais)
No âmbito do QCAA foi definido um conjunto alargado de Questões Comuns de Avaliação (QCA)
que devem ser respondidas nas Avaliações Intercalar e ex-post. Tendo por referência as QCA que
se procura responder apresenta-se de seguida a abordagem metodológica para responder a essas
Questões horizontais e específicas, a qual assenta na análise do conjunto de indicadores definidos
no Programa, de acordo com a cadeia de lógica do Programa (Eixo, Medida e Acção); e na vasta
recolha de informação com base nas técnicas e instrumentos de avaliação, organizadas de acordo
com a natureza das Questões; e nos resultados da Avaliação.
Os níveis de trabalho assinalados constituem uma aproximação objectiva às QCA em matéria do
seu preenchimento, incluindo a recolha de informação relevante e com base em técnicas analíticas
precisas mas carecendo de capacidade para esclarecer os critérios e aspectos e para conduzir a
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
88
resultados/conclusões fiáveis, particularmente, no que se refere às QCA horizontais (a
metodologia para a resposta à QCA encontra-se descrita no Volume II – Anexo IX. Metodologia
para a resposta às Questões Comuns de Avaliação, horizontais e específicas.
As Questões de Avaliação horizontal tratam de uma aproximação à estimativa do possível
impacto do Programa sobre, nomeadamente, a realização das prioridades comunitárias em
relação à renovada Estratégia de Lisboa de crescimento e emprego; dos três domínios prioritários
para a protecção e a melhoria dos recursos e paisagens naturais nas zonas rurais; dos objectivos da
política de coesão económica e social; e dos objectivos de competitividade, inovação e
sustentabilidade do Complexo agro-florestal. O enfoque consiste, assim, na apreciação dos
resultados, efeitos e impactos do Programa sobre dimensões macro (nível nacional e
comunitário).
Ora, a Equipa de Avaliação questiona até que ponto existe influência do PRORURAL sobre as
questões transversais europeias, devido a diversos factores, entre os quais se destaca a
insularidade e os recursos financeiros, face a outros EM, mais bem posicionados em termos
territoriais, com uma maior dimensão e com recursos bastante mais elevados para a aplicação da
política de desenvolvimento rural.
A Equipa de Avaliação deixa, assim, registada a grande dificuldade de responder a questões com
um tão forte pendor de influência a nível europeu e, consequentemente, questiona a pertinência
da resposta a essas mesmas questões por considerar que os impactos do desenvolvimento das
actividades do complexo agro-florestal e do desenvolvimento rural são usualmente absorvidos nas
actividades a que dizem respeito e nas zonas de intervenção imediatas. Não obstante, o Volume II
deste Relatório apresenta quer a metodologia geral, quer a metodologias para responder
especificamente a cada uma das QCA, horizontais e específicas (cf. Anexo IX).
A figura seguinte sistematiza, de forma aligeirada, os principais recursos que vão ser utilizados em
cada tipologia de Questão.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
89
Figura 12. Recursos que vão ser utilizados na resposta às Questões Comuns de Avaliação
A resposta às Questões Comuns de Avaliação horizontais vai recorrer à utilização de indicadores
socioeconómicos e de contexto resultantes de estatísticas nacionais e europeias (p.e., resultantes
do trabalho desenvolvido pelo EUROSTAT), para além de fontes de dados secundários quando for
possível o seu ajustamento à natureza da Questão de Avaliação e ao espaço territorial, já que
muitos dos indicadores que se demonstram importantes não contemplam desagregação ao nível
regional, sendo considerados apenas no contexto nacional.
Na maioria dos casos é possível recorrer aos indicadores de resultado e de impacto para construir
respostas suficientemente fiáveis no que se refere à componente quantitativa. No entanto, esta
componente perde alguma significância quando se pretende uma análise alargada em termos
Questões de Avaliação
específicas
Recursos
•Entrevistas•Reuniões de trabalho•Informação documental•Resultados da aplicação de
Inquéritos e da realização de Estudos de Caso
•Estimativa dos indicadores de realização e deresultado das Medidas
•Avaliação da eficiência e de eficácia por Medida
Questões de Avaliação
horizontais
Recursos
•Entrevistas•Reuniões de trabalho•Informação documental•Indicadores de contexto•Resultados da aplicação de
Inquéritos e da realização de Estudos de Caso
•Estimativa dos indicadores de impacto do Programa
•Resposta às Questõs de Avaliação específicas
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
90
físicos/territoriais. A manobra que pode permitir contornar essa insuficiência em termos de
informação concreta consiste no recurso ao processamento de informação qualitativa,
consubstanciada através de entrevistas e de pesquisa e análise de informação documental.
Outra base de informação para a resposta às Questões de Avaliação horizontais consiste na
estimativa dos sete Indicadores Comuns de Impacto do Programa
A resposta às Questões Comuns de Avaliação específicas ocorre com base no somatório de
diversas dimensões analíticas, reflectindo todo o trabalho de Avaliação, sobretudo aquele
efectuado ao nível das Medidas.
A metodologia base para a resposta às QCA específicas, assenta predominantemente em
componentes de carácter documental e estatístico/quantitativo (estatísticas formais e bases de
dados dos sistemas de informação que dão suporte á gestão do Programa), sendo igualmente
importante o contributo decorrente da análise de informação primária recolhida através de
entrevistas, de processos de inquirição e de Estudos de caso.
O conceito de instrumento de avaliação para a resposta às Questões Comuns de Avaliação
consiste numa Ficha detalhada e individualizada de acordo com a natureza distinta das áreas de
intervenção do Programa e de acordo com a multiplicidade de fluxos de informação quantitativa e
qualitativa que se revele possível reunir e produzir no processo de Avaliação. Esta matriz contém
as Questões de Avaliação, o quadro de referência ou o conjunto de elementos de
contextualização, os elementos de resposta esperados e o processo de trabalho. As Fichas por
Questão Comum de Avaliação encontram-se definidas no Volume II deste Relatório.
Note-se, todavia, que as Fichas constituem uma ferramenta em construção e aperfeiçoamento,
podendo ser ajustadas de acordo com os seguintes factores:
natureza distinta das QCA e das Medidas e impactos associados;
diversidade de fluxos de informação quantitativa e qualitativa que se revele possível reunir
e produzir em sede de Avaliação Intercalar (documentos de referência, estatísticas
formais, inquéritos, entrevistas, …);
perfil de intervenientes-chave nas Medidas e Acções que delimita, em termos técnicos e
territoriais, o quadro de condução de entrevistas, de inquéritos e de Estudos de caso
(elementos a constar nos instrumentos de inquirição – questões a colocar –, tipologia de
entidades a entrevistar, definição de amostras a inquirir, selecção de beneficiários e/ou de
projectos a estudar). Note-se que os instrumentos de inquirição não vão construídos
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
91
especificamente para dar resposta às Questões Comuns de Avaliação, no entanto, vão
contemplar elementos que contribuem efectivamente para essa resposta.
Para preparar a Avaliação ex-post, sugere-se que a Autoridade de Gestão empreenda na revisão
das QCA horizontais, tal como previsto na Nota de Orientação B do Documento Orientações para
a Avaliação Contínua dos Programas de Desenvolvimento Rural (DGaGRI, Setembro 2006). De
acordo com esse documento ao estabelecer o sistema de avaliação, a AG deve rever as QCA, com
o objectivo de determinar o que é necessário organizar em termos de recolha e análise de
informação para responder a essas Questões de uma forma significativa e adequada, pois as QCA
foram definidas de uma forma que as tornasse aplicáveis a um grande número de Programas,
sendo necessário estabeleçer níveis-alvo mais precisos, reflectidos por Questões mais específicas.
(pág. 11).
3.3. Conclusões e recomendações
Esta componente de balanço da Avaliação Intercalar vai incidir nas dimensões de avaliação da
estratégia adoptada e de avaliação da eficácia e eficiência do programa, baseando-se
estritamente nos resultados da avaliação qualitativa e quantitativa, decorrente dos trabalhos de
Avaliação realizados pelos avaliadores.
Em termos de modelo de intervenção, o PRORURAL vai produzir um conjunto de resultados e
efeitos nos campos de aplicação das Medidas, o qual vai contribuir quer para os objectivos
específicos e operacionais das Medidas/Acções, quer para a árvore de objectivos do Programa,
quer para a resposta às dimensões-problema identificadas no diagnóstico da situação de partida.
Esses contributos demonstram a pertinência e relevância da Estratégia adoptada.
Em termos de Conclusões, face à actualização de alguns elementos de diagnóstico, à
aproximação ao quadro de evolução mais recente das dinâmicas de realização das Medidas do
Programa, que dependem em grande parte dos níveis de absorção de recursos de financiamento e
da capacidade de realização das entidades beneficiárias, das dinâmicas de execução e de
aproximação às metas programadas para os diferentes domínios de intervenção do Programa e
face às opções/ajustamentos pontuais consagrados nos Exames Anuais, será possível avaliar as
dimensões de contributividade mais vasta do Programa (potenciais contributos macro
identificados na Avaliação), conforme se destaca no esquema seguinte.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
92
Figura 13. Dimensões de contributividade mais vasta do PRORURAL
Ainda no perfil de Conclusões, os elementos de balanço serão sistematizados em torno das duas
vertentes-chave que estruturam a Avaliação Intercalar do PRORURAL: (i) a avaliação em
profundidade das Medidas - Conclusões específicas da Avaliação Intercalar; e (ii) a análise dos
temas transversais (sistema de gest~o e acompanhamento, divulgaç~o e informaç~o, …) –
Conclusões gerais da Avaliação Intercalar.
No que respeita às Recomendações, a Equipa de Avaliação vai organizar, num único Ponto do
Relatório, um conjunto relevante de Recomendações que foram apresentadas ao longo da
avaliação em profundidade das Medidas e da análise dos temas transversais, tratando-se de uma
síntese centrada em duas vertentes/perspectivas de trabalho:
Perspectiva ligada aos aspectos de carácter operacional.
Esta vertente terá como objectivo identificar o tipo de alterações de estratégia e de
objectivos necessários para o período de programação em vigência. Na óptica das
orientações dos novos desafios da política de desenvolvimento rural e da própria filosofia
dos instrumentos de financiamento da política veiculados pelo FEADER (princípios e
regras de aplicação) haverá vantagem em olhar para a concepção e operacionalização das
Medidas e do Programa e equacionar opções no sentido de melhoria da eficiência e da
eficácia em termos de implementação e execução do Programa, em torno da realização
dos seus objectivos estratégicos e operacionais.
Dimensões de contributividade mais vasta do PRORURAL
Contributo para os objectivos da política de desenvolvimento rural na RA Açores – impactos,
eficiência e eficácia do Programa ao nível regional
Contributo para o valor acrescentado comunitário –
impactos aos nível das prioridades ligadas à Estratégia de Lisboa e à Estratégica da EU
para o Desenvolvimento Sustentável
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
93
Perspectiva ligada aos aspectos de carácter macro económico e de política geral e de
preparação do novo ciclo de intervenções estruturais pós-2013.
Esta vertente pretende contribuir para uma reflexão sobre o novo enquadramento para a
política agrícola e de desenvolvimento rural a nível da União Europeia e, designadamente,
das novas orientações de financiamento das políticas sectoriais, com consequências no
horizonte do próximo período de programação. Em síntese, trata-se de identificar o tipo
de alterações de estratégia, de novos desafios e de objectivos pós 2013, relativamente aos
itens seguintes:
Contributo para a coesão económica e social da RA Açores;
Abordagens da programação e conteúdos das intervenções;
Reforço das componentes ambiental, qualidade, segurança alimentar e
bem-estar animal;
Promoção da competitividade das unidades produtivas e dos territórios;
Enquadramento socio-económico condicionante;
Tendência liberalizante do comércio de bens agrícolas, designadamente, do leite;
Integração gradual da inovaç~o e do conhecimento; (…).
Também uma particular atenção com a realização das recomendações deverá ser tida em conta
neste momento intercalar de avaliação, relativamente aos desígnios do desenvolvimento
local-rural. Não há para os avaliadores qualquer dúvida de que as ELD darão um contributo
significativo nos seus territórios de intervenção, dada a competência e experiência dos GAL. No
entanto, há um conjunto de questões específicas que advêm de anteriores recomendações e da
experiência dos avaliadores que deverão ser mantidas em observação (cf. figura seguinte).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
94
Figura 14. Questões a ter em conta aquando da formulação de Recomendações no âmbito dos Eixos 3 e 4
•Igualdade de género nos órgãos de decisão dos GAL
•Incorporação do princípio da inovação nas ELD
•Procedimentos desenvolvidos para evitar atrasos no arranque dos projectos de forma a não desmotivar os potenciais promotores e a não criar constrangimentos ao nível do planeamento de tarefas por parte dos GAL
•Formas de participação das entidades parceiras que constituem os GAL
•Operacionalização das ELD numa lógica de cooperação interterritorial
•Concepção das Estratégias Locais de Desenvolvimento enquanto factor limitativo da criatividade das intervenções possíveis
•Procedimentos para motivar os GAL para a cooperação transnacional
•Empowerment das comunidades locais e dos indivíduos
•Acções valorizadoras do património ambiental
•Motivação dos GAL para a cooperação.
Questões específicas que deverão ser mantidas em observação,servindo de orientação para a formulação de Recomendações noâmbitos dos Eixos 3 e 4
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
95
4. LIMITAÇÕES DO ESTUDO E ASPECTOS CRÍTICOS PARA A SUA OPERACIONALIZAÇÃO
4.1. Aspectos gerais
Tendo em vista garantir os resultados delineados para o processo de avaliação, justifica-se
enunciar os seguintes condicionantes e factores críticos do estudo de avaliação:
Efeitos de “conjuntura” que podem influenciar os resultados da avaliação, dada a
insuficiente execução do PRORURAL para tecer considerações de forma mais consistente,
nomeadamente, no que respeita à eficiência e à eficácia do Programa;
Eventuais alterações da política agrícola e de desenvolvimento rural e efeitos das
alterações introduzidas recentemente, decorrentes do Exame de Saúde da PAC.
Grau de cobertura e de actualização do perfil de informação de contexto, de forma a
contribuir para a reanálise da matriz SWOT, exercício fundamental para apreciar o grau de
actualidade das dimensões-problema e das tendências de evolução (internas e externas)
contempladas no Documento de programação do PRORURAL;
Pertinência da vertente da Avaliação associada às Questões Comuns de Avaliação
horizontais, sobretudo pela sua utilidade. Está-se em crer que o conteúdo das respostas
poderá enviesar os resultados da Avaliação, já que os impactos do Programa irão
desvanecer-se, não pela qualidade de aplicação do mesmo, mas pela sua localização
geográfica relativamente isolada face ao contexto europeu.
Existência de informação documental de referência/científica desagregada para o
contexto particular da RA Açores, dada a sua relevância para o estudo de avaliação (a
análise de informação qualitativa poderá ajudar a provar e explicar as relações, as
diferenças contextuais e a qualidade dessas relações), nomeadamente de informação
sobre questões ambientais (p.e., emissão de GEE) e produtivas (p.e., modelos que
permitam perspectivar a produção em áreas florestais);
Possibilidade do fornecimento de dados incorrectos ou deturpados no âmbito dos
processos de inquirição e da dificuldade em manter taxas de resposta elevadas, o que pode
colocar em causa a fiabilidade dos dados.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
96
Em termos metodológicos, de entre os desafios que se colocam a esta avaliação, destaca-se a
aplicação das metodologias decorrentes dos dois documentos elaborados pela Rede Europeia de
Avaliaç~o: “Approaches for assessing the impacts of the rural development programmes in the
context of multiple intervening factors” e “Capturing Impacts of LEADER and Measures Related to
Quality of Life in Rural Areas” (para o caso específico dos Eixos III e IV). Estes documentos, embora
se tenham tornado úteis como documentos orientadores têm um suporte teórico, metodológico e
estatístico pesado, acabando por evidenciar uma falta de normalização de técnicas e métodos de
recolha de informação e dos respectivos procedimentos para a avaliação dos impactos.
Além de que a metodologia no âmbito dos impactos socioeconómicos se centrou na área de
intervenção do Programa destinada à modernização das explorações agrícolas, em detrimento de
outras consideradas igualmente importantes, nomeadamente, formação profissional, infra-
estruturação, investimento nas florestas e investimento nas agro-indústrias.
O recurso a metodologias mais complexas trouxe algumas questões, que será necessário
ultrapassar, nomeadamente as seguintes:
Separação dos efeitos de Medidas isoladas dos efeitos gerais provocados por factores
exógenos à intervenção ou por influência de outras Medidas do Programa no caso de a
entidade ser beneficiária de mais que uma Medida. Efeitos cruzados serão muitas vezes
observados.
Garantia da validade e fiabilidade dos dados e da informação analisada para construir um
corpo de evidência viável.
Relação entre os resultados quantitativos e os resultados qualitativos, com significativa
congruência de forma a conseguir responder a todas as dimensões analíticas.
Para responder a estes desafios o trabalho de avaliação deverá atender a algumas componentes
consideradas fundamentais:
Calcular, sempre que possível, as mudanças que ocorreriam sem a intervenção específica
do Programa;
Medir, sempre que possível, os efeitos a um nível micro e macro (utilizando metodologias
específicas), combinando de forma significativa os resultados num mesmo cenário;
Considerar e estimar, sempre que possível, todos os efeitos directos e indirectos do
Programa (positivos e negativos);
Construir dados e informação de base que permita de uma forma imparcial estipular os
efeitos.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
97
4.2. Aspectos específicos - perfil de Informação quantitativa e qualitativa de suporte à Avaliação Intercalar
A Avaliação Intercalar centra-se principalmente nas relações entre as tipologias de intervenção e
os pedidos de apoio aprovados e entre os resultados esperados e os resultados efectivos, tendo
em vista a concretização do quadro estratégico programado aquando da concepção do
Programas. Para além das questões de natureza organizativa e operacional inerentes à
implementação do Programa, estas relações serão igualmente detectáveis na qualidade dos
projectos e na sua capacidade para materializar os objectivos a que se propuseram.
Ora, a centralidade da análise micro/ao nível dos projectos, requerida em praticamente todas as
componentes de avaliação, suscita naturalmente alguns desafios de envergadura ao Estudo de
Avaliação que devem, com vantagem para o exercício, ser antecipados, no sentido de encontrar as
condições adequadas para os minimizar/ultrapassar.
Neste contexto, pese embora a exploração dos sistemas de informação garantam o acesso a um
vasto manancial de informação sobre os pedidos de apoio aprovados, do ponto de vista da
concretização dos respectivos resultados os sistemas de informação não estão preparados para
devolver essa informação, ficando-se bastante aquém do nível de explicitação de variáveis que a
Avaliação Intercalar exige. A informação sobre os resultados não é recolhida pelos sistemas de
acompanhamento físico no terreno e o Programa não dispõe de informação de execução
comparável com a que existe nos modelos de análise, excepto para as questões de execução
financeira.
Como nem sempre a dinâmica concreta de execução dos projectos consegue responder aos
termos previstos nos pedidos de candidatura, o conhecimento da dinâmica de execução efectiva
constitui um factor-chave do processo de avaliação.
Este hiato entre a informação constante dos pedidos de apoio e a de execução/produção de
resultados coloca os principais desafios ao processo de avaliação. Tais desafios serão minorados
pela recolha de informação junto dos próprios beneficiários: a combinação de métodos de
inquirição aos promotores, a realização de estudo de casos a esses mesmos promotores
(responsáveis por projectos relevantes ou projectos em que as boas práticas são transferíveis),
constitui uma das vias que a metodologia de avaliação pressupõe desenvolver para contornar
alguns desses desafios.
Assim, a informação quantitativa a extrair dos Sistemas de informação constituirá um
complemento da informação disponibilizada. No entanto, e tendo em conta que os dados
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
98
constantes nos pedidos de apoio e respectivos modelos de análise são puramente indicativos, a
Equipa de Avaliação em conjunto com a Autoridade de Gestão vai tentar implementar um
conjunto de procedimentos para a recolha sistemática e fiável de elementos acerca da execução
dos projectos e respectivos resultados, e entre os quais se destacam os seguintes:
levantamento de informação adicional aos autos de fecho dos projectos aquando da visita
por ocasião do último pedido de pagamento, a ser efectuado a todos os projectos dos
Eixos 1 e 3;
solicitação da entrega das contabilidades das explorações nos 5 anos consecutivos ao
início da execução dos projectos de investimento;
realização de reuniões de trabalho com outras entidades oficiais no sentido de se criar
sinergias em termos de fluxos de informação (p.e. SPEA, SRAM, APA).
Relativamente ao processo de inquirição, estão previstos mecanismos que assegurem a maior taxa
de resposta possível, nomeadamente, reforço dos pedidos de resposta através de telefonemas. O
resultado destes processos, a par das entrevistas e dos Estudos de Caso previstos realizar,
constituem outras linhas de análise para ultrapassar as lacunas de informação em termos de
resultados efectivos e mensuráveis.
Também é nesta combinação de métodos que os dados constantes dos pedidos de apoio são
relevantes, já que permitem avaliar os desvios entre a dinâmica programada com a dinâmica
efectiva, em termos de concretização dos resultados esperados
Em suma, as principais dificuldades, identificadas nesta primeira fase da Avaliação, estão
relacionadas com o objectivo da Comissão Europeia relativo à quantificação dos indicadores de
impacto e à resposta consistente às Questões de Avaliação Comuns definidas. Nesta fase, a
Equipa de Avaliação procura encontrar modalidades de trabalho adequadas à quantificação dos
indicadores de impacto do Programa e à resposta às QCA horizontais. Dos maiores problemas
com que a Equipa de Avaliação se debate, mesmo que generalistas, destacam-se os seguintes:
não haver valores de referência para as medidas de indicador utilizadas;
não haver informação sistematizada sobre o contributo das ajudas para os indicadores de
impacto;
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
99
recolha de dados sobre beneficiários e, sobretudo, não-beneficiários do Programa em dois
momentos distintos, antes e após a adesão ao Programa, e havendo a certeza das
mudanças operadas serem exclusivamente imputáveis ao Programa;
estimação dos efeitos líquidos do programa, sendo necessário um conjunto vasto de
informação sobre as áreas envolventes de áreas beneficiárias do programa;
desfasamento temporal: os efeitos do Programa podem ocorrer no curto-prazo mas
também no médio e longo-prazo, por vezes, para além do período de vigência do
programa;
estabelecimento de relações causa-efeito, no caso dos indicadores de impacto.
Principais condicionantes
Para uma boa análise quantitativa dos efeitos do programa, ou seja, para uma avaliação objectiva
e fiável dos resultados da implementação das Medidas do PRORURAL e, consequentemente, do
impacto do mesmo para a prossecução da estratégia definida na RA Açores, é crucial assegurar (i)
a disponibilidade de dados microeconómicos em abundância; e (ii) a aplicação de metodologias de
avaliação avançadas (estatísticas e econométricas). Para além disso é recomendável recolher
informação qualitativa que dê suporte aos resultados obtidos, p.e., através da realização de
pesquisas de informação adicional, da aplicação de inquéritos e da realização de entrevistas e de
estudos de caso, nomeadamente a não-beneficiários.
Todavia, e como referido por diversas vezes, o perfil de informação disponível não se coaduna com
as exigências das metodologias recomendadas pelos documentos elaborados pela Rede Europeia
de Avaliação. O quadro seguinte pretende sistematizar os vectores mais importantes em termos
de lacunas de informação tendo em conta o exemplo seguinte.
O documento metodológico “Approaches for assessing the impacts of the rural development
programmes in the context of multiple intervening factors” sugere que as actividades de recolha de
dados e de cálculo do VAB sejam realizadas utilizando para o efeito as bases de dados disponíveis,
p.e., a RICA, utilizando informações de beneficiários e de não-beneficiários do Programa. Ora,
esta sugestão só se afigura relevante para a Medida do Programa que apoia a modernização das
explorações agrícolas, não sendo possível aplicar esta sugestão na avaliação das outras Medidas
do Programa (elementos explicativos no quadro seguinte).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
100
Quadro 8. Disponibilidade e fiabilidade da informação, designadamente, no que respeita á utilização dos dados constantes da RICA
Necessidades de informação Trabalho a efectuar e sinalização das principais dificuldades
Recolha de informação ao nível dos beneficiários do Programa antes e após a implementação do Programa.
A recolha desta informação pode fazer-se por duas vias: através dos dados constantes da RICA e através das contabilidades que os beneficiários têm de entregar à AG, nos cinco anos consecutivos após a contratação do pedido de apoio.
A RICA é a fonte de dados relacionada as explorações agrícolas mais relevante. Todavia, apresenta duas limitações importantes: não fornece um conjunto de dados constante dada a variação das explorações integradas na Rede e não inclui informação sobre as diversas actividades das explorações, mas apenas da actividade que representa a OTE.
Dados estatísticos adicionais e inquéritos (micro-estatísticas e inquéritos periódicos ou relacionadas com a avaliação) podem complementar estes dados, particularmente para o sector não-agrícola, pois fora deste sector, a disponibilidade de dados secundários torna-se escassa.
Estão, ainda, disponíveis várias estatísticas nacionais e do Eurostat, sobre diferentes sectores económicos ou sobre indicadores sociais mas a disponibilidade e nível de desagregação varia consideravelmente entre os Estados-Membros sendo que, por vezes, as estatísticas estão disponíveis apenas ao nível nacional.
Neste caso, os inquéritos serão a única fonte de dados no âmbito da avaliação das actividades não-agrícolas.
Recolha de informação ao nível de não-beneficiários, com um perfil semelhante ao dos beneficiários do Programa.
A recolha desta informação pode fazer-se por duas vias: através dos dados constantes da RICA e através das estatísticas regionais, relativas ao sector agrícola.
As análises de nível micro devem ser efectuadas por meio de comparações de grupos de controlo dos beneficiários e não-beneficiários.
Uma questão crucial na comparação de grupos de controlo consiste em encontrar não-beneficiários que tenham características semelhantes aos beneficiários.
Uma opção é estratificar ambos os grupos ao longo das suas características (área de actividade, área da exploração, nível educacional, etc.). Contudo, com pequenas populações de beneficiários e, assim, tamanhos de amostra pequenos, as subamostras acabam frequentemente por ser demasiado pequenas para aplicar testes estatísticos.
Dados, com recolha ao nível das diferentes Ilhas.
Na análise dos dados seria importante assegurar a representatividade quer das diferentes actividades, quer de diferentes locais. No caso da RA Açores esta questão assume particular importância pela diferenciação marcada ao nível das diferentes Ilhas. Além de que a análise dos dados deverá ter em conta essa diferenciação para definir os resultados não directamente explicados pela influência do Programa.
Em suma, o trabalho de avaliação vai consistir em três fases/vertentes-base de recolha e análise
de dados, cuja fiabilidade e consistência estará dependente da disponibilidade desses mesmos
dados (cf. esquema seguinte).
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
101
Figura 15. Vertentes-base para a recolha e análise de informação, para responder aos objectivos da Avaliação Intercalar
Estabelecimento de estimativas ao nível dosbeneficiários directos e indirectos e com base emindicadores de realização e de resultado, na comparaçãocom coeficientes de projectos similares, em avaliaçõesanteriores e em modelização (para cálculo de duplacontagem, inércia e deslocamento)
Verificação cruzada face à situação contrafactual etendências contextuais na área de intervenção doPrograma, particularmente, no tocante a forças,pressões e respostas relevantes.
Estimativa do contributo para a tendência geral ao nívelda área de intervenção do Programa (tendência de base),sempre que viável/estatisticamente significativa emrelação a outros factores.
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
102
PROSSEGUIMENTO DOS TRABALHOS
No âmbito deste Relatório Preliminar importa apresentar um diagrama sucinto de
desenvolvimento metodológico e faseamento do Estudo de Avaliação Intercalar. O cronograma
das actividades de avaliação considera as quinzenas entre os meses de Abril e Novembro de 2010
(15 quinzenas) e obedecerá à calendarização esquematizada na tabela seguinte.
Quadro 9. Cronograma das Actividades de Avaliação
Abr. Maio Jun. Jul. Ag. Set. Out. Nov.
Quinzenas
Actividades 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16
Reunião com AG – lançamento do Estudo de Avaliação
Reuniões de trabalho com responsáveis pelas Medidas
Elaboração do Relatório Metodológico
Entrega do Relatório Preliminar
Realização de entrevistas e de Estudos de caso
Inquérito aos beneficiários
Análise de conteúdo das entrevistas, dos estudos de caso e da documentação recolhida
Tratamento estatístico de indicadores e de inquéritos
Elaboração do Relatório Intermédio
Entrega do Relatório Intermédio
Estimação e análise dos indicadores de impacto
Resposta às Questões Comuns de Avaliação
Elaboração do Relatório Final
Entrega do Relatório Final
Avaliação Contínua do PRORURAL 2007-2013
AVALIAÇÃO INTERCALAR – Relatório Preliminar
103
Em termos mais específicos, entre a entrega do presente Relatório e a entrega do relatório
Intermédio, a Equipa de Avaliaç~o tem por objectivo realizar todo o ‘trabalho de campo’ previsto e
analisar toda a documentação assinalada ao longo do presente Relatório e no Volume II – Fontes
de informação a utilizar para assegurar a Avaliação Contínua do PRORURAL. Nos pontos
seguintes descreve-se sucintamente as actividades que vão ser desenvolvidas:
Definição da estrutura definitiva dos instrumentos de inquirição (guiões de entrevista e
de Estudo de Casos e questionários): esta actividade vai ser realizada em conjunto com a
AG, assim como identificação dos interlocutores-chave a auscultar. A aplicação desses
instrumentos vai ocorrer assim que a AG valide os mesmos.
Análise de informação documental que permitirá, por um lado, contextualizar a esfera de
intervenção do Programa e, por ouro lado, analisar as dinâmicas de implementação,
operacionalização e de execução do Programa e, ainda, fundamentar algumas opções
metodológicas e alguns resultados da Avaliação Intercalar.
Recolha e análise da informação quantitativa actualizada a 30 de Junho de 2010: a
recolha de dados vai ocorrer a partir dos Sistemas de informação do PRORURAL
(indicadores de realização e de resultado, características-chave dos pedidos de apoio e dos
beneficiários – cuja análise vai permitir a verificação do progresso do PRORURAL face às
metas estabelecidas); das estatísticas formais [nomeadamente com a expectativa de se
poder vir a utilizar os dados do RGA de 2009] (informação sobre o contexto onde opera o
PRORURAL – cuja análise vai permitir traçar as tendências que se têm vindo a registar na
RA Açores].
Reuniões de trabalho com elementos da Autoridade de Gestão (responsáveis pela
implementação e gestão do Programa, pela execução das Medidas, pelo sistema de
acompanhamento e controlo) e com elementos responsáveis pelos Sistemas de
informação. Este tipo de reuniões vai, igualmente, ser necessário no âmbito da produção
de informação-base para responder aos indicadores de impacto e às QCA (p.e., SPEA,
APA, …);
Análise da informação empírica recolhida, tendo presente os objectivos da Avaliação
Intercalar e a utilização específica dos seus resultados.
Elaboração do Relatório Intermédio, que compreenderá um conjunto de resultados
preliminares do processo de Avaliação.
Top Related