AVALIAR : PARA QUE ?
Dominique VOLLET
CEMAGREF UMR Métafort AgroParisTech-Cemagref-Enita-Inra Clermont Ferrand
Formação ENA-Paris, Ciclo Internacional Especializado de Administração Pública
« Políticas Públicas: da concepção à avaliação"
As origens da avaliação
1789 Declaração dos Direitos do Homem e do Cidadão : « a sociedade tem o direito de exigir esclarecimentos sobre a administração a todos os agentes públicos »
1970 racionalização das escolhas orçamentárias
1980 início da descentralização na França 1990 Impulsão da avaliação pela
Comunidade Europeia 2000 Entrada em vigor da Lei Orgânica sobre
as Leis Financeiras na França (LOLF)
Por que a avaliação se desenvolve ?
Uma complexidade crescente : ajudar a fazer escolhas estratégicas
Os agentes envolvidos e os acordos são numerosos : esclarecer as responsabilidades e verificar a coerência
A escassez de recursos : verificar o bom uso dos recursos financeiros públicos
I) Conceitos : objetos, momento, definições, critérios e
utilidade II) O procedimento da avaliação : natureza, dificuldades gerais e específicas
III) Alguns elementos metodológicos para a avaliação de políticas
Sumário
I) Conceitos
1. Objetos de avaliação
2. Momento da avaliação
3. Definições de acompanhamento e de avaliação
4. Critérios de avaliação
5. Utilidade da avaliação
Os objetos da avaliação
Indivíduo notas, escolares ou profissionais
Organização auditoria, funcionamento da estrutura
Ação do Poder Público Realizações, efeitos....
A avaliação de programa
Programa Sequência de ação limitada no tempo
Definida precisamente em meios e objetivos operacionais
Momento instrumental da política
Objetivos/Meios e impactos
A avaliação de política
Política Conjunto complexo de programas,
procedimentos e normatizações
Visando a um mesmo objetivo geral
Caráter normativo da ação pública
Problemas : agentes envolvidos e valores
Tipos de avaliação
Avaliação ex-post Análise retrospectiva sobre uma medida ou uma política
Avaliação ex-ante Análise prospectiva da possibilidade de implementação e
do impacto de uma medida em preparação
Avaliação in-itinere Avaliação realizada durante a operacionalização de uma
política
Os diferentes momentos da avaliação
Ação públicaAção pública
Ex-
ante
Ex-
ante
Ex-
post
Ex-
post
Inte
rmed
iári
aIn
term
ediá
ria
Acompanhamento contínuo + avaliação regularAcompanhamento contínuo + avaliação regular
In-itinere
In-itinere
t0t0 t1t1
Os instrumentos de gestão e de decisão
Auditoria Respeito aos procedimentos Controle de gestão Atingimento dos objetivos de gestão e respeito às normas Acompanhamento Coleta de dados para medir o estado de realização de uma política Avaliação Busca das relações de causalidade entre os objetivos e os efeitos das políticas para compreender e julgar
Interno e pontual
Interno e permanente aplica-se a um órgão
Aplicam-se a uma ação pública ou a uma política
Valor agregado da avaliaçãoRecursos Realização Resultados Impactos
Controle
Controle de gestão e acompanhamento
Avaliação (dos impactos)
Conforme às normas
standards de boa gestão
Satisfação do público alvo
Definições de avaliação
Avaliar uma política é : "reconhecer e medir seus efeitos próprios" – Deleau 1985
"emitir um julgamento sobre seu valor" – Viveret 1989
"verificar se os meios jurídicos, administrativos ou financeiros empregados permitem produzir os efeitos esperados dessa política e atingir os objetivos que lhe são fixados" – Decreto de 22/01/90
"apreciar sua eficácia comparando seus resultados com os objetivos fixados e com os meios e recursos empregados" – Decreto de 18/11/98
Ângulos de avaliação de uma política pública
INTERESSESPÚBLICOS
NECESSIDADES
ObjetivosMeios
Realização
ResultadosEfeitos Próprios
EVOLUÇÕES DA REALIDADE SOCIAL:
IMPACTOS
SO
CIE
DA
DE
AÇ
ÕE
S
P ÚB
LIC
AS
AV
AL
IAÇ
ÃO
Evolução (utilidade-durabilidade)
Pertinência
Eficácia
EficiênciaCoerência
2
1) Estabelecer um balanço das ações 2) Analisar e compreender o funcionamento da
política 3) Apreciar seus efeitos 4) Verificar as hipóteses (implícitas ou explícitas)
sub-jacentes à ação pública 5) Contribuir para a formação de um julgamento
de valor sobre a política (decisores, agentes envolvidos, população)
6) Contribuir para melhorar a ação pública
Utilidade da avaliação
II) O procedimento de avaliação : As funções da avaliação (1)
Função recapitulativa Fazer uma análise global e distanciada Preparar as decisões relativas à política (abandono,
manutenção ou modificação) Decisores e financiadores : administrações centrais, União europeia...
Função gerencial Contribuir para a condução da ação pública Modificar a afetação de recursos Melhorar a gestão dos serviços
Organismos encarregados da operacionalização (serviços desconcentrados)
As funções da avaliação (2)
Função de formação Esclarecer os agentes envolvidos para que eles adaptem
seus comportamentos Aprendizagem e mobilização
Agentes envolvidos (funcionários, beneficiários…)
Função democrática Contribuir para o debate público sobre as políticas Aplicar o princípio da imputabilidade
= capacidade de prestar contas a seus superiores, a seus mandatários, à população
Sociedade civil, associações, contribuintes...
1) Utilidade-pertinência : informação útil e compreensível a todos os interessados
2) Fiabilidade : utilização de métodos científicos sólidos não suscetíveis de serem questinados
3) Objetividade : mesmas conclusões com uma outra avaliação
4) Possibilidade de generalização : útil para guiar a decisão pública em um espaço e um tempo mais amplos
5) Transparência : explicitar os métodos e seus limites
OS CINCO CRITÉRIOS ADOTADOS PELO CONSELHO CIENTÍFICO DE AVALIAÇÃO
3
Conhecimento da política (1)
Traçar os objetivos da política
Traçar a teoria de ação que guiou a concepção da política
Traçar o procedimento e as normas utilizadas
Identificar as ações implementadas
Conhecimento da política(2)
Definir os indicadores suscetíveis de representar a natureza e a amplitude da ação pública Indicadores de meios Indicadores de realização Indicadores de resultado Indicadores de impactos...
Função dos agentes envolvidos
Conhecimento da política (1) Protagonistas
Idealizadores Serviços encarregados da
instrução ou da implementação Financiadores Populações alvo Beneficiários Organismos setoriais Outros interessados
Pontos de vista sobre a política
objetivos procedimentos meios informação resultados outros impactos
III) Alguns elementos metodológicos para a avaliação de políticas As funções da avaliação
1)Estruturar : esclarecer e hierarquizar os efeitos a serem avaliados, definir os critérios
2) Observar : delimitar o campo de observação, coletar dados
3) Analisar : avaliar os efeitos, cruzar as informações
4) Julgar : emitir um julgamento de síntese
Instrumentos para estruturar a avaliação
- Gráfico de objetivos ou diagrama lógico de impactos
- Análise SWOT (Pontos fortes-Pontos fracos-Oportunidades-Ameaças) Objetivo : encontrar as linhas estratégicas mais pertinentes (ambiente do programa, inventário das ações possíveis, análise externa das oportunidades e ameaças, análise interna dos pontos fortes e fracos, hierarquização das ações possíveis, avaliação de uma estratégia) ; Limite = subjetividade na hierarquização das atividades
Gráfico de objetivos Finalidade Objetivos
Objetivos Ações
estratégicos operacionais
Gráfico de objetivos Finalidade Objetivos Objetivos Ações estratégicos operacionais
Assegurar umdesenvolvimento
equilibrado e sustentável em
sinergia com o polo urbano
Limitar a expansão
urbana
Manter as atividades
comerciais e artesanais
Renovar os alojamentos
antigos
Construção de novos
alojamentos
Realização de alojamentos
sociais
Manter a população local
Atrair novos habitantes
Fixar a população local
Renovar os alojamentos antigos
Melhorar o ambiente urbano
Melhora do conforto interior dos imóveis antigos
Renovação das fachadas dos imóveis antigos
Níveis do gráfico de objetivos
Indicadores Fontes
Finalidade : assegurar um desenvolvimento equilibrado e sustentável em sinergia com o pólo urbano
Variação da população total e das migrações
Recenseamento da população
Objetivo estratégico N°1: Limitar a expansão urbana
Evolução das superfícies urbanizadas e das superfícies agrícolas
Recenseamento da agricultura
Objetivo estratégico N° 2: Manter as atividades comerciais e artesanais
Evolução do número de atividades comerciais e de serviços
INSEE
Objetivo operacional N°1: Renovar os alojamentos antigos
Evolução do número de alojamentos vagos
Objetivo operacional N°2 : Construir alojamentos novos
Evolução do número de alojamentos novos
Recenseamento da população
Instrumentos de observação
1) Entrevistas individuais : roteiro da entrevista, tabela de análise, regras de confidencialidade, relatório e validação.
2) Entrevistas de grupo : seleção dos participantes, roteiro da reunião, informação dos participantes, animação, tabela de análise
3) Estudo de caso : seleção de casos, coleta de informações, análise e generalização.
Instrumentos para a análise de dados
- Sistemas de Informação Geográfica - Análise estrutural-residual - Modelos econômicos : modelo inputs-outputs,
modelos macro-econômicos - Análise fatorial - Grupo de comparação : comparação dos beneficiários,
elegíveis e não aceitos, elegíveis não requerentes, não elegíveis
- Análise de regressão
Instrumentos para emitir um julgamento
- Análise qualitativa tabela de análise
- Análise multicriterial : definição de um número limitado de critérios (5 a 10), ponderação dos critérios, seleção das intervenções a serem comparadas, atribuição de notas aos efeitos, comparação
- Análises custo/benefício e custo/eficácia - Lógica
Orientações sobre a escolha dos métodos
1) Não se contentar com uma técnica emblemática
2) Combinar diferentes instrumentos em cada uma das fases (notadamente coleta de dados, julgamento de valor)
1) Falta de dados sobre o estado inicial ou sobre a evolução da situação
2) Dificuldades em verificar o efeito próprio da política
3) Problemas de prazo na manifestação dos efeitos da política
Avaliação: Dificuldades de ordem geral
Exemplo de avaliação na região Nord Pas de Calais
Contexto geopolítico Construir e afirmar uma identidade regional 2 departamentos Poderosos parceiros locais
Contexto econômico Uma região dinâmica e próspera Um seismo econômico, políticas de reconversão com
vários agentes envolvidos
Conjuntura política Pedido de avaliação da Comunidade Europeia Eleições regionais de 1992 Negociações difíceis para o CPER 94-98 (Contrato de
Projeto Estado-Região)
Aumentar a capacidade de expertise da região para fortalecer sua posição e
legitimidade nas relações com seus parceiros
criação em 1993 da Direção do Projeto e da Avaliação nomeação em 1995 de um responsável pela avaliação
Entre o discurso e a prática : para que servem as avaliações ?
Uma constatação : várias avaliações na região Nord Pas de Calais tiveram pouca ou nenhuma utilidade. Por quê ?
Originadas de uma solicitação, mas confinadas a uma esfera administrativa : qual a apropriação dos resultados pelos agentes políticos ? Decisões a serem tomadas em decorrência das avaliações : alguns partícipes não desejam ou não podem modificar suas práticas As limitações da decisão política : termos curtos, enunciativos A avaliação cujos resultados levam meses para serem obtidos não pode se integrar facilmente no processo de decisão Sem esforço pedagógico, a avaliação permanece um assunto de especialistas
Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?
Levar em conta a avaliação desde o início
Evita os objetivos vagos, as fórmulas encantatórias, a confusão entre finalidades, objetivos e meios
Permite a enunciação clara dos objetivos Favorece a elaboração de indicadores pertinentes
Efeito direto sobre a estratégia do que se quer fazer e sobre a qualidade
Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?
Antes, e no momento
do diagnóstico : identificar os problemas, e formular hipóteses de ações
do prognóstico : avaliar as probabilidades e as condições de sucesso
da estratégia : selecionar os fatores principais da ação
Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?
Durante, e no momento
Do acompanhamento de uma política ou de um programa, por meio de um sistema de indicadores, para redefinir os meios a serem empregados, regular os disfuncionamentos, relançar as parcerias
Quando fazer uma avaliação ou como fazer para que a avaliação seja um verdadeiro instrumento de gestão da qualidade ?
Após, e no momento,
do controle das realizações para medir as diferenças entre o que foi previsto e o que foi realizado, analisar os obstáculos, as causas...
da medida dos efeitos secundários e dos resultados
Conclusão : As questões do iniciante em avaliação de políticas públicas
années 2000
Produzir conhecimentos
objetivos
Otimizar a afetação dos recursos
Prestar contas e dar sentido
à ação públicaPO
R Q
UE
?
Questão n°2
Representar uma ajuda àdecisão pública em face
dos desafios econômicos, sociais, ambientais
Cumprir umaobrigação
O Q
UE
?
Meios RealizaçõesObjetivosImplementação
Questão n°1
AÇÃO PÚBLICA
NÍVEISDE AVALIAÇÃO
CoerênciaPertinência Eficiência
Eficácia
Resultados(efeitos próprios)
Top Related