Sistemas de Avaliação: Promovendo o Encontro entre

Oferta e Demanda

Rio de Janeiro, 15 de agosto de 2012

Ricardo BarrosKarina BugarinDiana Grosner

Adriana Mascarenhas

Uso interno:

Uso da avaliação para aprimorar o desenho ou a forma de gestão e funcionamento do próprio programa avaliado.

Uso externo:

Uso da avaliação de um programa para aprimorar o desenho ou a forma de gestão e funcionamento de outros programas.

Avaliação – Utilização

Histórico:

Aprendendo com os próprios erros e acertos.

Melhores práticas:

Aprendendo com os erros e acertos dos outros.

Avaliação – Experiência

Diversidade:

O federalismo com política social descentralizada permite elevada dose de experimentação.

Documentação:

Experimentação sem documentação não leva a ganhos de efetividade.

Federalismo – Experimentação

Avaliação:

Não basta acumular informação sobre os programas utilizados. Para que ganhos de efetividade sejam alcançados é necessário que cada uma dessas experiências seja avaliada.

Compartilhamento: Para que ganhos de efetividade sejam

alcançados é necessário que os resultados das avaliações sejam compartilhados.

Federalismo – Experimentação

Acesso FormalDisponibilidade:

Programas avaliados precisam disponibilizar suas avaliações.

Repositório: Avaliações disponíveis precisam ser armazenadas em um mesmo ambiente (possivelmente virtual).

Avaliação – Compartilhando

Acesso EfetivoClassificação:

Avaliações precisam ser catalogadas e classificadas quanto à natureza do programa

avaliado e ao tipo de avaliação realizada.

Avaliação – Compartilhando

Acesso EfetivoSumário Executivo:

Necessário que cada avaliação tenha um sumário executivo padronizado que facilite a busca.

Meta-análise: Necessário que existam resenhas e meta-

análises periódicas que facilitem a comparação dos resultados das avaliações existentes.

Avaliação – Compartilhando

1. Explorando a diversidade de políticas públicas produzidas

em um país federativo

- Quatro Questões Fundamentais -

1ª Questão: Que países, blocos de países (OECD, EU, etc.) ou organismos internacionais (Banco Mundial, PNUD, BID, etc.) desenvolveram sistemas que permitem, facilitam e promovem o compartilhamento de informações sobre o desenho e a eficácia das intervenções?

Que países federados desenvolveram sistemas eficazes para compartilhar experiências locais bem sucedidas?

Como esses sistemas funcionam?

2ª Questão: Como estabelecer um marco legal capaz de incentivar gestores a disponibilizar publicamente os desenhos e os resultados das avaliações das intervenções das quais são responsáveis?

O todo ou algum componente desse marco legal já foi ou vem sendo utilizado na prática?

Quais os resultados alcançados (mostraram-se eficazes)?

3ª Questão: Que esquema de incentivos poderia ser implementado para que a obrigatoriedade de disponibilizar publicamente avaliações não funcione como um mecanismo de desincentivo para os gestores não avaliarem seus programas?

Algum desses esquemas já foi efetivamente utilizado na prática?

Quais os resultados alcançados (mostraram-se eficazes)?

4ª Questão: É importante reunir as avaliações em um único lugar?

Em caso afirmativo, qual o perfil do órgão nacional incumbido de buscar e reunir as experiências?

2.Tornando a utilização dos resultados das

avaliações mais efetiva

- Cinco Questões Fundamentais -

1ª Questão: É necessário o desenvolvimento de um sistema classificatório ou basta a utilização de um sistema com software de busca ativa eficiente?

2ª Questão: Existe algum esforço para criar um sistema classificatório de políticas públicas? O todo ou algum componente desse marco legal já foi ou vem sendo utilizado na prática?

Se existe que sistema é esse?

Como classifica as políticas públicas?

Quão refinado (quantas categorias considera) e quão estruturado (em quantos níveis a classificação pode ser realizada) é esse sistema?

3ª Questão: Existe algum tipo de sistema que permita classificar as avaliações por tipo?

Se existe que sistema é esse?

Como classifica as avaliações?

Quão refinado (quantas categorias considera) e quão estruturado (em quantos níveis a classificação pode ser realizada) é esse sistema?

4ª Questão: Qual a importância da elaboração de meta-análises e resenhas para tornar a utilização das avaliações mais efetiva?

Como estimulá-las?

5ª Questão: Como tornar as avaliações mais amigáveis (o papel de sumários executivos e padronização: a importância, a possibilidade de realização e experiências existentes)?