Apostila to Monitor Amen To e Avaliacao de Projeto Sociais

Planejamento, Monitoramento

e Avaliação de Projetos Sociais.

Prefeitura Municipal de

Curitiba

Instituto Municipal de

Administração Pública – IMAP

Área:

Desenvolvimento Social

Luciano Ducci

Prefeito Municipal

Carlos Homero Giacomini

Presidente

Maria do Carmo A. de Oliveira Superintendente

Elaine Rossi Ribeiro Diretora da EAP

Elaboração:

Lycia Tramujas Vasconcellos Neumann

19/05/2010

1

PLANEJAMENTO, MONITORAMENTO E AVALIAÇÃO DE PROJETOS SOCIAIS

Lycia Tramujas Vasconcellos NeumannOficina ministrada para técnicos da Prefeitura Municipal de Curitiba - 2010

Objetivos da Oficina

Há dois propósitos principais para esta oficina:

� Promover a troca de conhecimentos sobre teorias e práticas em Planejamento, Monitoramento e Avaliação de programas e projetos Sociais.

� Levar os participantes a desenvolverem um olhar avaliativo e uma lógica de planejamento e gestão voltada para melhores resultados em programas e projetos sociais.

19/05/2010

2

Agenda de Trabalho

Esta oficina foi dividida em 2 partes:

� Concepção e planejamento políticas e projetos sociais (12h)

� Elaboração, gestão e avaliação de projetos sociais (20h)


Dia 1: Elaboração de Políticas

19/05/2010

3

Para reflexão

“O planejamento não diz respeito a decisões

futuras, mas às implicações futuras de

decisões presentes.”(Peter Drucker)

Políticas, programas e projetos

Alinhamento Conceitual

19/05/2010

4

� Um curso ou método claro de ação, escolhido (pelo governo, instituição, grupo ou indivíduo) dentre algumas alternativas e a partir da análise de determinadas condições, que normalmente determina as decisões presentes e futuras. (adaptado de Webster’s)

� Conjunto de princípios básicos e diretrizes a eles associadas, formulados e implementados pelo grupo gestor da organização, para direcionar e limitar suas ações visando o alcance de objetivos de longo prazo.(adaptado de Business Dictionary.com)

O que se define por política?

� Política é como a organização decide atuar com relação a determinados temas.

� Existem políticas que determinam o funcionamento interno da organização (ex.: Recursos Humanos, Prevenção de Acidentes de Trabalho)

� E políticas que determinam a atuação técnica da organização – através das quais ela busca realizar sua missão e alcançar sua visão de futuro.

Políticas institucionais

19/05/2010

5

Políticas públicas - conceitos

“É o Estado em ação: o Estado implantando um projeto

de governo, através de programas, de ações voltadas

para setores específicos da sociedade”.

(Gobert & Mueller, citado por Höfling)

Para reflexão

“Política Pública não é o mesmo que Decisão Política,

pois, uma Política Pública envolve mais que uma

decisão e requer diversas ações estrategicamente

selecionadas para implementar as decisões tomadas”.

(Pereira, 2007)

19/05/2010

6

Políticas Sociais

Existem 3 níveis de formulação de ação social:

� o nível dos grandes objetivos e eixos estratégicos de ação: a Política

� um nível intermediário em que as políticas são traduzidas em linhas mestras de ações temáticas e/ou setoriais: os Programas

� o nível das ações concretas, delimitadas no tempo, no espaço e pelos recursos existentes, que possam realizar os programas e as políticas: os Projetos

(Armani, citado por Pogoda, Pires e Moretti, s.d.)

PROJETOS

PROGRAMAS

POLÍTICA

Do Estratégico ao Operacional

19/05/2010

7

Do Estratégico ao Operacional

� Programas e projetos tornam operacional uma política

na medida em que traduzem com clareza seus

objetivos e concretizem sua implementação mediante a

aplicação de recursos.

Design Estratégico da Política

Implementação

Reformulação, expansão, redução, encerramento.

Formulação do Programa/ Projeto

Início da operacionalização

Ciclo de um Projeto

19/05/2010

8

Fases das Políticas Públicas

1. Formação de AgendaCom questões que merecem políticas definidas.

2. Formulação Definição dos objetivos, marco jurídicos, administrativo e financeiro.

3. Implementação Elaboração dos planos, programas e projetos que permite executar a política.

4. AvaliaçãoCompara os fins alcançados aos meios mobilizados e aos objetivos inicialmente estabelecidos.

Elaboração - É a preparação para a tomada de decisão.

Baseado na metodologia de

“Policy Analysis” de Eugene Bardach

Elaborando Políticas

19/05/2010

9

1. Defina o problema

2. Colete as evidências

3. Construa alternativas de ação

4. Selecione os critérios

5. Projete os resultados

6. Reflita sobre as desvantagens

7. Tome a decisão

8. Conte sua história

Passos críticos na elaboração de Políticas

� Comece com uma definição clara e objetiva sobre o(s)

problema(s) que procura resolver ou minimizar com a

política.

� Isto lhe dará a razão para realizar todo este trabalho e

norteará a coleta de informações e evidências.

� As primeiras definições do problema poderão ser revisadas

quando mais conhecimento for construído sobre as questões

envolvidas.


19/05/2010

10


Dicas na definição do problema:

� Pense em faltas e excessos (ex.: há muito disso, há pouco daquilo);

� Evite o uso de termos subjetivos (ex.: bom ou ruim, insatisfatório, etc.);

� Quantifique se possível (mesmo que os números não sejam definitivos, darão uma boa idéia do tamanho do problema);

� Condições que causam o problema também são problemas (busque identificar a relação causal entre os problemas e suas condicionantes);

� Perder oportunidades também é um problema.

� Definido o problema é hora de analisar o contexto no qual a

política será implementada e coletar dados e informações para

evidenciar a questão sobre seus vários ângulos.

� Nesta etapa são analisados “o que”, “o onde”, “o quando” e “o

porquê” do problema identificado.

� Para isso deve-se mergulhar na literatura e documentos já

produzidos, realizar pesquisas, entrevistas e análises de

tendências.

2. Colete evidências

19/05/2010

11


� Dados: são fatos ou representação de fatos sobre o mundo. São normalmente valores, medidas, estatísticas, mas podem ir além disso.

� Informações: são formadas por um conjunto de dados devidamente ordenados e organizados de forma a terem significado.

� Evidências: tudo aquilo que pode ser usado para provar que uma determinada afirmação é verdadeira ou falsa.

“Evidências são informações que afetam as crenças das

pessoas (inclusive as suas) sobre aspectos significantes do

problema que está sendo estudado.”

(Bardach)


� Razões para buscar evidências:� Para compreender a natureza e a dimensão do(s)

problema(s) que está tentando definir;

� Para conhecer e analisar características particulares do contexto onde a politica atuará;

� Para avaliar boas práticas, políticas que se mostraram efetivas em situações semelhantes.

O material coletado ajudará não só na melhor formulação do

problema central, como na construção de alternativas de ação e na

definição de resultados esperados.

19/05/2010

12

3. Construa alternativas

Dicas na construção de alternativas:� Comece abrangente e termine bem focado, com no máximo 4

alternativas.� Considere as alternativas propostas por atores-chave no processo

decisório (técnico e político).

� Sempre inclua a alternativa “status quo” nesta análise (ou seja, a manutenção da situação como está).

� Identifique o conceito central de cada alternativa e procure descrevé-lo de forma simples.

� Faça a distinção entre a alternativa básica e suas variações.

Pense nas diferentes políticas, cursos de ação ou estratégias de intervenção que podem ser adotadas para minimizar o problema.

4. Selecione critérios de avaliação

Selecione critérios para avaliar os potenciais resultados de cada alternativa, e não a alternativa em si.

� Um dos principais critérios é o quanto os impactos esperados com a política diminuirão ou resolverão o problema identificado (efetividade).

� Outros critérios comumente usados são: viabilidade, eficiência (custo-efetividade/ custo-benefício); equidade, tempo, ética, legalidade, aceitação política.

19/05/2010

13


Nesta etapa é importante pensar em todos os potenciais resultados e impactos das alternativas de ação.

É a etapa mais difícil!

Procure ser o mais realista possível!

Perguntas para avaliar a potencial efetividade:

1. Qual é o nível mínimo aceitável de efetividade?

2. Que processo pode produzir este nível de efetividade?

3. Quão provável é que este processo alcance este resultado?

4. Qual a probabilidade de fracasso?


Elabore uma matriz de resultados, cruzando alternativas com os critérios selecionados:

Critério 1 Critério 2 Critério 3

Alternativa 1 Resultado Resultado Resultado



Cuidado:� Deve ficar claro nos critérios a unidade e o “valor” que será considerado na análise dos resultados (ex: % de redução de emissão de gases, ou tempo de implantação em meses).

19/05/2010

14

6. Reflita sobre as desvantagens

� Algumas alternativas podem se mostrar superiores nos vários critérios e se tornarem alternativas dominantes.

� Mas, normalmente, uma alternativa é superior em um critério e inferior em outro. É a hora de pesar vantagens x desvantagens de cada uma.� Desvantagem = quando você tem que abrir mão de algo valioso

ou desejável

A análise mais comum de vantagens x desvantagens é entre uso de mais recursos para gerar mais benefícios aos cidadãos.

Ex.: Vale a pena gastar R$100.000/ mês para manter a biblioteca da universidade aberta todos os dias da semana? Ou é melhor manter os gastos atuais e fechá-las nos finais de semana?

7. Decida

� Mesmo que a decisão final não seja sua, se nesta etapa

você ainda não tiver segurança sobre a melhor

alternativa é porque as vantagens e desvantagens não

foram bem pesadas, ou porque alguns aspectos sobre

as alternativas não ficaram bem claros.

� Revise o processo e busque aprimorá-lo.

� Consulte importantes “stakeholders” para evitar futuras

resistências.

19/05/2010

15


� O teste do motorista de táxi� Você acabou de chegar no aeroporto e pegou um táxi. No

trajeto até o hotel o motorista pergunta o que você faz.

� Você responde que trabalha na Prefeitura de Curitiba e está atualmente está trabalhando com o problema X.

� Interessado ele pergunta “qual é a solução para este problema?”

� Você tem 1 minuto para apresentar a resposta de forma clara, coerente e muito simples, antes que ele te acuse de ser um intelectual incompreensível ou uma pessoa muito confusa.


� Ao elaborar o relatório, tenha sempre em mente a audiência (direta e indireta).

� Seja na forma escrita ou oral, a apresentação do relatório tem que fluir, demonstrando consistência e lógica.

� Evite longas digressões e considerações de caráter filosófico.

� Seja direto, objetivo e preciso no uso da linguagem.

� Não caia na armadilha de descrever todas as etapas vividas e os aprendizados. Mantenha o foco no que é importante, considerando a audiência.

19/05/2010

16

O produto final

O que temos ao final deste processo?

� O problema que precisa ser resolvido ou minimizado.

� Algumas alternativas de ação que podem ser tomadas.

� Para cada alternativa, uma série de resultados potenciais.

� Se nenhuma alternativa é dominante considerando os critérios selecionados, as alternativas são analisadas segundo vantagens x desvantagens identificadas.

� Quando solicitado, pode-se apresentar recomendações sobre qual a melhor alternativa de política.


Dia 2: Tendências em Projetos Sociais

19/05/2010

17


Programas e Projetos Sociais

Projeto - conceito

“Um projeto é um empreendimento planejado que

consiste num conjunto de atividades inter-relacionadas

e coordenadas para alcançar objetivos específicos

dentro dos limites de um orçamento e de um período de

tempo dados”.(ONU, citado por Almeida, s.d.)

19/05/2010

18

Programa - conceito

� Programa é um conjunto de projetos de caráter institucional,

com diretrizes bem definidas, voltado para um ou mais

objetivos de uma instituição.

� Geralmente se acha sob a responsabilidade de um coordenador ou

equipe de coordenadores

� Na elaboração de vários projetos sobre o mesmo tema e objetivo,

eles devem ser reunidos e organizados de forma mais ampla em

um programa. Assim, os recursos e esforços podem ser otimizados

e integrados.

(São Paulo.Secretaria do Meio Ambiente, 2005)

Para Reflexão

“O termo projeto carrega o sentido de organizar idéias,

pesquisar, analisar a realidade e desenhar uma

proposta articulada com intencionalidade”.(Marcos José Pereira da Silva)

19/05/2010

19

Projetos Sociais - conceito

� Projetos são ferramentas de ação que delimitam uma

intervenção quanto aos objetivos, metas, formas de

atuação, prazos, responsabilidades e avaliação.

� Projetos sociais são uma forma de organizar ações para

transformar determinada realidade social.

(baseado em Schuckar, 2005)

Para reflexão

“Os projetos são pontes entre o desejo e a realidade.(...)

Os projetos sociais tornam-se, assim, espaços

permanentes de negociação entre nossas utopias

pessoais e coletivas – o desejo de mudar as coisas –, e

as possibilidades concretas que temos para realizar

estas mudanças – a realidade”. (Stephanou, Muller e Carvalho)

19/05/2010

20

Projetos Sociais

Riscos da ação social sob a forma de projeto:

� Fragmentação e duplicidade das ações;

� Orientação pela linha do financiador e não pela missão

institucional;

� Descontinuidade de ações;

� Dificuldade de avaliar a efetividade das ações e interpretar

seus desdobramentos.

Tendências e desafios:

� Ênfase na ação local;

� Gestão compartilhada;

� Flexibilização de programas e serviços;

� Gestão em rede;

� Participação social nas decisões, controle e execução de

projetos ou programas.

(baseado em Stephanou, s.d.)

Projetos Sociais – contexto atual

19/05/2010

21

Redes Sociais

Tendências em projetos sociais

Rede - conceito

“Rede é um sistema de nós e elos capaz de organizar

pessoas, organizações e instituições, de forma

igualitária e democrática, em torno de um objetivo

comum, descentralizando a informação, estimulando a

participação cooperativa e garantindo autonomia a cada

um de seus integrantes”.

(Instituto Ecoar para a Cidadania, 2010)

19/05/2010

22

Redes: componentes

� Nós: são os integrantes (pessoas, organizações, territórios),

atores sociais às vezes organizados em grupos e sub-grupos

em torno de propostas comuns.

� Elos: são os fios que dão consistência à rede; as trocas de

informações e a comunicação entre seus integrantes.

A força de uma rede não se mede pelo número de integrantes,

mas pela qualidade da comunicação entre eles.

Redes de Compromisso Social

“Redes em que parcerias são mobilizadas a partir da

percepção compartilhada de situações ou problemas

que rompem ou colocam em risco o equilíbrio da

sociedade ou as perspectivas de seu desenvolvimento e

para cujo equacionamento não é suficiente a ação

isolada de organizações públicas e/ou privadas”.(Inojosa, citada por Schlithler, 2004)

19/05/2010

23

Para reflexão

“A interligação em rede, de pessoas e/ou entidades, se

estabelece a partir da identificação de objetivos comuns

e/ou complementares cuja realização melhor se

assegurará com a formação da rede”.(Whitaker, 1993)

Mudança de olhar = nova abordagem

Tendências em projetos sociais

19/05/2010

24

Tendência em projetos sociais

� Desde a década de 90, o objetivo dos investimentos sociais

passa a ser desenvolver a capacidade das pessoas para o

auto-desenvolvimento.

� As pessoas devem ser as protagonistas do processo de

desenvolvimento.

“Ser protagonista significa ser “o primeiro lutador”, ou proto

agonistes em grego; ser, portanto, o primeiro agente de

transformação”.

(Neumann e Neumann, 2004)

� Toda pessoa, assim como toda comunidade é um copo meio

cheio, meio vazio.

� O olhar determina o movimento. Se o copo é vazio, procura-se

enchê-lo. Se dá para ver água no copo, busca-se completá-lo.

deficiências e necessidades

talentos e recursos

Mudança de Olhar

19/05/2010

25

De clientes para cidadãos

� Clientes são aqueles que dependem de outros para viver e

que, enxergando apenas seus defeitos, esperam que outros

também vejam suas deficiências e os ajudem, atendendo às

suas necessidades.

� Cidadãos, ao contrário, são aqueles que vêem seus

problemas e dificuldades, mas que também percebem suas

qualidades, capacidades e potencial para mudar a realidade.

Eles acreditam no poder coletivo e buscam parceiros com

quem possam construir um futuro melhor.

De “máquinas de refrigerante”...

� De um lado estão as instituições públicas e privadas que

desenvolvem projetos e programas sociais baseados nas

deficiências e necessidades das comunidades e dos

beneficiários das ações.

� Atuando como meros provedores de serviços, as instituições

são como “máquinas de refrigerante”: ao terem seus botões

acionados, ofertam produtos e serviços baseados em modelos

padrão e desenvolvidos para “consertar” pessoas e suas

realidades.

19/05/2010

26

... a Construtores de Celeiros

� De outro lado, estão as instituições que, em vez de simplesmente

proverem serviços, atuam como “construtores de celeiros”.

� Promovem o engajamento dos cidadãos no desenvolvimento de

projetos e programas, fazendo com que estes se tornem co-

responsáveis pela busca de alternativas para sua promoção social

e econômica.

� Quando se deparam com um novo problema, esses cidadãos não

perguntam “O que o governo ou as ONGs farão por nós?”, mas,

sim, concentram-se em definir “O que nós vamos fazer, juntos,

para resolver esta questão?”

(Neumann e Neumann, 2004)

Para reflexão

“Bons clientes são péssimos cidadãos.

Bons cidadãos constróem comunidades fortes.”

(Osborne e Gaebler)

19/05/2010

27

O que é e como construir

Parceria

Parceria - conceito

“A relação entre duas ou mais partes que, tendo

objetivos compatíveis, estabelecem um acordo para

fazer alguma coisa juntos. Parcerias são pessoas

trabalhando juntas em uma relação mutuamente

benéfica, muitas vezes fazendo juntos o que não

conseguiriam realizar sozinhos”.(Frank & Smith, 2000)

19/05/2010

28

Diferentes Graus de Parceria

INFORMAÇÃO

CONSULTA

COOPERAÇÃO

COLABORAÇÃO

1. Informação – é o primeiro estágio de qualquer parceria. Quando os parceiros passam a se conhecer melhor e a compreender como se afetam mutuamente.

2. Consulta – quando os parceiros passam a trocar idéias sobre como fazer determinadas coisas. Requer que os parceiros se conheçam e se respeitem.

3. Cooperação – quando um parceiro precisa da ajuda de outros para operacionalizar uma idéia. Nesta etapa, o planejamento e a tomada de decisão sobre o que será feito ainda é unilateral.

4. Colaboração – é o grau maior e mais complexo de parceria. Quando os parceiros planejam juntos o que fazer e como, tornando-se conjuntamente responsáveis pelo projeto e seus resultados. Neste estágio o poder pela tomada de decisão é compartilhado.

Segredos e desafios

Colaboração

19/05/2010

29

Colaboração

� Considerada a “marca” da década de 90, quando

profissionais e pesquisadores passaram a recomendar

parcerias colaborativas entre múltiplos setores como

estratégia para tranformações sistêmicas em áreas

como: desenvolvimento humano e social, governo e

mobilização comunitária.

Para reflexão

“Colaboração é um processo através do qual atores

que vêem diferentes aspectos de um problema ou

questão podem construtivamente explorar suas

diferenças e buscar soluções que vão além dos

limites de sua visão”(adaptado de Gray, citado por Borden e Perkins)

19/05/2010

30

Tipos de colaboração

Dentro da hierarquia de uma organização, as colaborações podem ser:

� Interinstitucional no nível estratégico – com o propósito maior de coordenação de programas e serviços

� Interinstitucional no nível operacional – com o objetivo de criar uma rede entre os prestadores de serviço

� Intrainstitucional – quando envolve parcerias entre os vários níveis hierárquicos de uma mesma organização

� Técnico-família – quando a parceria é criada com as famílias para prover serviços mais efetivos e individualizados aos beneficiários.

(adaptado de Hodges, Nesman & Hernandez, 1999)

Elementos críticos para o sucesso

� Objetivo maior ou visão de futuro compartilhados

� Comunicação eficaz

� Confiança e comprometimento

� Preservação da identidade e autonomia

� Respeito à diversidade

� Papéis e responsabilidades claras

� Participação voluntária

� Estrutura de governança que favoreça a troca de

informações e as tomadas de decisão

� Avaliação contínua

19/05/2010

31

Articulação ≠ Integração

� Quando falamos em integrar as ações, torna-se comum

o entendimento de que cada qual vai deixar de fazer o

que faz para realizar um novo trabalho.

� Articulação significa cada um trazer seus

conhecimentos, habilidades e práticas e através de

parcerias descobrir novas formas de trabalhar em

conjunto e ser mais efetivo.(Curitiba. Prefeitura Municipal, 2002)

Para reflexão

“O objetivo maior de uma colaboração deve ser

estabelecer um processo contínuo de

resolução de problemas, e não ser um fim em

si mesmo”.(Hodges, Nesman & Hernandez, 1999)

19/05/2010

32


Dia 3 – Planejamento de Projetos Sociais

Elaboração de Projetos Sociais

19/05/2010

33

Ciclo de vida do projeto social

1. Elaboração : é o momento da identificação do problema, definição dos objetivos, programação das atividades e confecção da proposta técnica do projeto.

2. Estruturação : uma vez decidido que o projeto vai ser realizado, é hora de organizar a equipe executora e mobilizar os meios necessários para executá-lo.

3. Realização : é o período quando as atividades previstas são realizadas e acompanhadas, de acordo com o planejado. Por vezes é necessário alterar a programação, em razão de fatos não previstos.

4. Encerramento : ao término do projeto é preciso analisar seus resultados e impactos, comparando-se o que se pretendia originalmente com o realmente alcançado. Também é o momento de cuidar da desmobilização do projeto, caso não haja prosseguimento.

(Campos, Abegão e Delamaro, 2002)

Para reflexão

“Elaborar projetos é uma forma de independência.

É uma abordagem para explorar a criatividade

humana, a mágica das idéias e o potencial das

organizações. É dar vazão para a energia de um

grupo, compartilhar a busca da evolução”. (Rosana Kisil)

19/05/2010

34

Elaboração de projetos sociais

Dois importantes momentos:

� Concepção: o grupo deve dedicar tempo para realizar um bom

diagnóstico sobre o contexto e a situação problemática que

pretende enfrentar. Em seguida, construir seu caminho.

� É aconselhável que todas as pessoas envolvidas no projeto dele participem diretamente na fase de concepção com visão ampla e criatividade na busca de sua viabilidade.


Dicas para o êxito na concepção de um projeto:

� Realizar um diagnóstico consistente.

� Ter objetivos e resultados claramente definidos.

� Construir um clima de colaboração e envolvimento da equipe.

� Sempre que possível contar com a participação de potenciais beneficiários diretos do projeto no planejamento das principais atividades.

� Ouvir todos os integrantes envolvidos de forma a harmonizar divergências.

(baseado em Armani, citado por Almeida,s.d.)

19/05/2010

35


2º momento:

� Redação: é um exercício de síntese do processo anterior. Nele, é

melhor contar com poucas pessoas do grupo. Tudo que foi

produzido no tempo anterior será agrupado em um roteiro que

demonstre, de modo objetivo, o que será realizado.

(adaptado de Silva, 2010)

Theory of Change - TOCTeoria da Transformação

19/05/2010

36

TOC - Origens

� Inicialmente usada como ferramenta de avaliação, a Teoria da

Tranformação vem sendo aprimorada e disseminada como uma

ferramenta simples e prática que ajuda a retratar a complexidade

envolvida em promover efetivas tranformações sociais.

� A TOC é considerada a melhor forma de descrever as condições

que explicam:

� de um lado os passos que levam ao alcance dos objetivos de longo prazo;

� de outro as conexões entre as atividades do programa e os resultados que

devem acontecer ao longo do caminho.

Resultados: conceito

� Outcome = Efeitos ou transformações provocadas pelo

programa ou projeto em seus beneficiários.

� Normalmente referem-se a mudanças de conhecimento,

percepção, habilidades, atitudes, opiniões, aspirações,

motivação, comportamentos, práticas, condição ou status.

Que diferença o programa faz?

19/05/2010

37

Situação: Você está com uma dor de cabeça terrível. O que fazer?

Exemplo do cotidiano

Consegue o remédio

Toma o remédio

Sente-se melhor

Qual é o resultado?

Para reflexão

“Não é sobre quantas minhocas o

pássaro alimentou seus filhotes,

mas quão bem os passarinhos

conseguiram voar”

(United Way of America)

19/05/2010

38

A relação de causalidade

TOC - Conceitos

� A Teoria da Transformação define todos os marcos que são necessários para o alcance de um objetivo de longo prazo.

� Esses marcos - muitas vezes chamados de resultados, efeitos, realizações ou pré-condições – são representados em um mapa chamado de “caminho da transformação”, que ilustra graficamente o processo de transformação e a relação de causalidade entre seus componentes.

19/05/2010

39

O caminho da transformação

Visão de Futuro

Pré-condiçõesnecessárias

Resultados de médio prazo

Resultados de curto prazo

Exemplo: Projeto Supermulher

Mulheres vítimas de violência doméstica com emprego fixo e bom salário

Mulheres que foram vítimas de violência

precisam estar emocionalmente preparadas para

trabalhar.

Pressuposto: premissa que embasa o Projeto, justificando as estratégias adotadas, a partir dos resultados esperados.

(baseado no projeto desenvolvido por ActKnowledge e Aspen Institute Roundtable on Community Change, 2003)

19/05/2010

40



Mulheres sabem como obter ajuda e lidar com suas

questões

Mulheres participam de estágios em empresas e organizações

Mulheres participam de

aconselhamento entre pares

Mulheres participam de

palestras sobre as expectativas do

mercado

Mulheres participam de capacitação profissional

Empregadores são sensibilizados e preparados para

trabalhar com estagiários



Mulheres sabem como obter ajuda e lidar que suas questões

Mulheres participam de estágios em empresas e organizações

Mulheres participam de aconselhamento

entre pares

Mulheres participam de palestras sobre as

expectativas do mercado

Mulheres participam de capacitação profissional

Empregadores são sensibilizados e preparados para

trabalhar com estagiários

Mulheres inscrevem-se no Projeto

Mulheres contam com creche para seus filhos

Mulheres estão prontas e comprometidas em participar do Projeto

19/05/2010

41

Finalidades da TOC

1. Compreender e comunicar uma iniciativa já existente.

2. Planejar uma nova iniciativa.

3. Repensar e reorganizar uma iniciativa.

Que diferença faz a TOC?

� Retrata a complexidade das iniciativas delineando um

plano para seu sucesso.

� Orienta a avaliação dos resultados mais estratégicos,

no momento e na sequência corretos.

� Ajuda a compreender e explicar porque uma iniciativa

teve sucesso ou não, e o que exatamente não

funcionou.

19/05/2010

42

Passos para construção da TOC

1. Forme o grupo e estabeleça os princípios de trabalho (colaboração)

2. Garanta o consenso sobre a questão central a ser trabalhada com o projeto

3. Defina o Objetivo de Longo Prazo (a visão de futuro)

4. Estabeleça as pré-condições para que este Objetivo se concretize (resultados de médio e curto prazo)

5. Paralelamente, registre os pressupostos identificados (as premissas que justificam a relação de causalidade)

6. Procure chegar até o nível operacional (a descrição do que o projeto deverá fazer)

Para reflexão

A demonstração de uma Teoria da Transformação oferece

um retrato dos marcos importantes e nos guia quanto

ao que devemos encontrar ao longo da jornada para

garantir que estamos no caminho certo.

(baseado em Annie E. Casey Foundation)

19/05/2010

43


Dia 4 – Redação e Gestão de Projetos Sociais

Colocando no papel o projeto concebido

Redação de Projetos Sociais

19/05/2010

44

Roteiro para alinhamento: 7W3H

Sigla Tradução Conceito

1W: Who Quem Quem vai realizar o projeto

2W: What O que O que será feito

3W: Why Por que Por que deve ser feito

4W: to Whow Para quem Quem serão os beneficiários

5W: for What Para que Que diferença o projeto vai fazer

6W: When Quando Quando o projeto acontecerá

7W: Where Onde Onde o projeto acontecerá

1H: How Como Como o projeto acontecerá

2H: How much Quanto custa Quanto custará realizá-lo

3H: How many Quantos Quais são as metas do projeto (produtos e beneficiários)

Do roteiro para o projeto

Sigla Tradução Conceito No projeto

1W: Who Quem Quem vai realizar o projeto 1. Apresentação da instituição

2W: What O que O que será feito 3. Proposta

3W: Why Por que Por que deve ser feito 2. Justificativa

4W: to Whow Para quem Quem serão os beneficiários 7. Público-alvo

5W: for What Para que Que diferença o projeto vai fazer 4. Objetivos

6W: When Quando Quando o projeto acontecerá 9. Cronograma

7W: Where Onde Onde o projeto acontecerá 8. Localização

1H: How Como Como o projeto acontecerá 6. Metodologia

2H: How much Quanto custa Quanto custará realizá-lo 10. Orçamento

3H: How many Quantos Quais são as metas do projeto (produtos e beneficiários)

5. Metas

19/05/2010

45

Estrutura do projeto

1. Apresentação – identificação e histórico da instituição proponente (ressaltar se há parceiros na execução)

2. Justificativa – apresentação das razões para a realização do projeto (caractericação do problema)

3. Proposta – o que é o projeto, o que ele se propõe a realizar

4. Objetivos – o que se quer transformar a partir do projeto (normalmente apresentados em Geral e Específicos)

5. Metas - apresentação dos resultados a serem atingidos pelo projeto (quantitativos e qualitativos)

6. Metodologia – as ações revistas para a realização do projeto (devem ser claramente descritas e relacionadas aos objetivos específicos)

7. Público-alvo – identificação do(s) público(s) ao qual o projeto se destina

8. Localização – descrição da comunidade ou local onde aconterá o projeto

9. Cronograma – apresentação das etapas ou principais ações do projeto na linha do tempo

10. Orçamento - iIndicação dos recursos financeiros necessários para execução do projeto, com valores unitários e totais.

A partir da lógica avaliativa

Gestão de Projetos Sociais

19/05/2010

46

Ciclo de gestão tradicional

Planejamento

DesenvolvimentoControle

Avaliação

Ciclo de gestão de projeto social

AnáliseSituacional

�

Elaboração do Projeto,

Negociação�

Marco Zero �

Implementação

Avaliação de Processo

Avaliação deResultado�Utilização �

Comunicação

Replicação

Institucionalização

(adaptado de Marino e Cancellier, 2004)

19/05/2010

47

A Implementação do Projeto

RECURSOS

ATIVIDADES

PRODUTOS

RESULTADOS

IMPACTOS

Produtos ≠ Resultados ≠ Impactos

Todo projeto resulta em:

� Produtos (Outputs) - bens ou serviços criados ou fornecidos pelo projeto através de suas atividades.

� Resultados (Outcomes) – benefícios ou transformações para os participantes gerados durante ou logo após sua participação no projeto. � Ex.: mudanças de consciência, conhecimentos, habilidades,

comportamentos, aspirações e motivação.

� Impactos (Impact) – benefícios de médio e longo prazo para os participantes e beneficiários indiretos do projeto (suas famílias e comunidades).

19/05/2010

48

Modelo Lógico de Gestão de Projetos -MLGP

Program Logic Model

Modelo Lógico de Gestão do Projeto

� É um instrumento visual e sistêmico de apresentação e compartilhamento de informações sobre os recursos alocados em um projeto, as atividades previstas, os resultados e as mudanças que se espera alcançar.

� De forma simples, o MLGP retrata as relações causaise os pressupostos que são base da operacionalização do projeto.

19/05/2010

49

A Visualização

� É um instrumento importante no desenvolvimento de um

trabalho participativo porque facilita o processo de comunicação,

ao mesmo tempo que objetiva o trabalho do grupo.

� As principais vantagens da visualização:◦ Facilita a participação ativa – permite a cada participante ver suas

contribuições e identificar sua parcela no trabalho conjunto;◦ Aumenta a qualidade da comunicação – facilita a estruturação de

idéias; possibilita representar de forma didática situações complexas.◦ Fortalece o efeito da aprendizagem – racionaliza a discussão

possibilitando seu aprofundamento.◦ Aumenta a integração do grupo – torna transparente o processo de

trabalho.

Além disso, MLGPs são úteis para todas as partes envolvidas em uma iniciativa, pois são capazes de:

� comunicar o propósito fundamental do projeto;

� demonstrar porque o projeto é importante;

� apresentar o que se espera resulte do projeto;

� descrever as atividades que levarão ao alcance dos resultados esperados;

� servir de base para determinar se as atividades planejadas serão capazes de levar aos resultados esperados.

� tornar-se uma linguagem comum e um ponto de referência para todos os envolvidos no projeto;

(W.K. Kellogg Foundation, 2001)


19/05/2010

50

MODELO LÓGICO DE GESTÃO DE PROJETOSMODELO LÓGICO DE GESTÃO DE PROJETOSSI

TUA

ÇÃ

O A

NTE

RIO

R

QU

ESTÕ

ES

PR

IOR

ITÁ

RIA

S

RECURSOSALOCADOS

Humanos (equipes e

voluntários)

Materiais (próprios ou

doados)

Financeiros

Tecnológicos

Parcerias

ESTRATÉGIAS/ ATIVIDADES

O que faz

para a

realização de

cada Objetivo

Específico

IMPACTOS

Médio prazo:

Mudanças

em:

•Atitudes

•Práticas

•Tomadas de

decisão

Longo prazo:

Mudanças

em:

Condições

Sociais,

Econômicas e

Ambientais

PRESSUPOSTOS FATORES EXTERNOS

OBJETIVOS

ESPECÍFICOS

Situações

esperadas por

conseqüência

do projeto =

benefícios

esperados ao

público-alvo

RESULTADOS

Impactos de

curto prazo:

Transformação

em:

•Consciência

•Conhecimento

•Habilidades

•Opinião

•Aspirações

•Motivação

OBJETIVO GERALA “missão” do projeto

PÚBLICO-ALVOBeneficiários diretos do projeto

PRODUTOS

Bens/ Serviços

ofertados

Beneficiários

A Relação de Causalidade

O QUE O PROJETO FAZ

PARA QUE FAZ

O QUE RESULTA DELE

OBJETIVO GERAL

OBJETIVOS ESPECÍFICOS

ESTRATÉGIAS

ATIVIDADESPRODUTOS

RESULTADOS

IMPACTO

19/05/2010

51

MLGP vs. TOC

MLGP ≠ TOC?

Modelos Lógicos de Gestão ilustram os componentes

do programa e construí-los ajuda os vários atores a

identificarem claramente os resultados esperados,

recursos que estão sendo alocados e atividades que

serão desenvolvidas.

Teorias da Transformação buscam ligar resultados

esperados às atividades do projeto para explicar como

as transformações desejadas vão acontecer.

19/05/2010

52

MLGP ≠ TOC Como?

Modelos Lógicos de Gestão normalmente começam com a definição de um programa e ilustram seus componentes.

Teorias da Transformação podem começar com um programa, mas são melhores quando iniciadas a partir de um Objetivo de Longo Prazo para então definir que abordagens programáticas são necessárias.

TOC + MLGP?

A combinação das duas ferramentas é um poderoso

instrumento para a gestão com foco em resultados.

1. Começar com a Teoria da Tranformação para saber: onde se quer chegar e o que deve ser feito para chegar lá.

2. Detalhar o projeto no Modelo Lógico de Gestão para garantir alinhamento entre o que o projeto faz e o para que faz.

19/05/2010

53

Para Reflexão

“Se você não sabe para onde está indo, como vai saber

quando chegar lá? “

(Yogi Berra)


Dia 5 – Gestão com Foco em Resultados

19/05/2010

54

Gestão com Foco em Resultados

Elementos críticos para o sucesso

� Foco claroMLGP

� Consistência

� Persistência

19/05/2010

55

�Para a gestão = é um instrumento visual e sistêmico de apresentação e compartilhamento de informações sobre o que é o programa e seus objetivos, e como ele está sendo operacionalizado. Permite a rápida identificação de “desvios de rota” e orienta a busca por novos recursos.

�Para a avaliação = é o primeiro instrumento de avaliação. Apresenta o programa como ele vem sendo implementado, e destaca os componentes a serem monitorados e avaliados para análise de sua performance.


MODELO LÓGICO DE GESTÃO DE PROJETOSMODELO LÓGICO DE GESTÃO DE PROJETOS

SITU

AÇ

ÃO

AN

TER

IOR

QU

ESTÕ

ES

PR

IOR

ITÁ

RIA

S

RECURSOSALOCADOS

Humanos (equipes e

voluntários)

Materiais (próprios ou

doados)

Financeiros

Tecnológicos

Parcerias

ESTRATÉGIAS/ ATIVIDADES

O que faz

para a

realização de

cada Objetivo

Específico

IMPACTOS

Médio prazo:

Mudanças

em:

•Atitudes

•Práticas

•Tomadas de

decisão

Longo prazo:

Mudanças

em:

Condições

Sociais,

Econômicas e

Ambientais

PRESSUPOSTOS FATORES EXTERNOS

OBJETIVOS

ESPECÍFICOS

Situações

esperadas por

conseqüência

do projeto =

benefícios

esperados ao

público-alvo

RESULTADOS

Impactos de

curto prazo:

Transformação

em:

•Consciência

•Conhecimento

•Habilidades

•Opinião

•Aspirações

•Motivação

OBJETIVO GERALA “missão” do projeto

PÚBLICO-ALVOBeneficiários diretos do projeto

PRODUTOS

Bens/ Serviços

ofertados

Beneficiários

19/05/2010

56

Os Componentes do MLGP

� Questões Prioritárias:

As questões ou problemas que o projeto quer resolver ou minimizar.

A definição clara e precisa dos problemas que o projeto quer resolver é o primeiro requisito para

alcançar o impacto desejado .

Para maior alinhamento e consistência, pode-se usar ferramentas

para ajudar na identificação da relação de causalidade entre as

questões levantadas. Ex.: árvore de problemas

� Objetivo Geral –É a contribuição maior que o projeto fará e que deve corresponder à solução ou redução do problema central identificado nas questões prioritárias.

Só deve haver um Objetivo Geral por projeto.

É a missão do projeto!


Exemplo:Problema – Alta incidência de mortalidade infantil na região X.Objetivo Geral – Reduzir a mortalidade infantil na região X.

19/05/2010

57

� Objetivos Específicos: O que o projeto espera alcançar para realizar seu Objetivo Geral.

Devem descrever condições ou transformações a serem obtidas para que o Objetivo Geral se concretize.


O Objetivo Geral do projeto deve estar diretamente ligado à grande

questão identificada e os Objetivos Específicos às questões

identiificadas como causadoras da questão principal.

� Estratégias:As alternativas de ação escolhidas para o alcance dos objetivos propostos.

Refletir sobre as estratégias ajuda a clarificar o propósito das atividades realizadas e a garantir mais qualidade nos processos de trabalho.

� Atividades:Ações que o projeto realiza, dentro de cada estratégia, para alcançar os objetivos específicos


19/05/2010

58

� Produtos:Bens ou serviços criados ou fornecidos pelo projeto através de suas atividades e a quem beneficiam.

Por serem o resultado direto da realização de cada atividade, sua descrição e quantificação comprovam a realização e a dimensionam.


Exemplo:Atividade – Oferecer cursos de inglês para os jovens.Produtos – Cursos oferecidos

Jovens beneficiados

� Resultados:

Benefícios ou transformações para os participantes gerados durante ou logo após sua participação no programa.

Normalmente referem-se a mudanças de consciência, conhecimentos, habilidades, comportamentos, aspirações e motivação.

Muitas vezes os resultados são resultados de mais de uma atividade ou até estratégia.


Os resultados comprovam a diferença que o programa está fazendo na vida dos participantes.

19/05/2010

59

� Impactos:Benefícios ou transformações de médio e longo prazo para os participantes e beneficiários indiretos do projeto.

Os efeitos (esperados ou não-esperados) de um projeto nos seus beneficiários, suas famílias, comunidades e sociedade em geral.


Quanto mais de longo prazo, mais a concretização dos impactos depende não só da efetividade do projeto, como também de outros fatores “externos” à sua gestão e mandato.

� Recursos – Os recursos financeiros, humanos, materiais e tecnológicos com os quais o projeto/ programa conta para realizar suas atividades.

� Pressupostos – As premissas que norteiam a definição de objetivos e atividades e as condições necessárias para que as relações causais levem ao alcance dos resultados e impactos esperados.

� Fatores Externos – Fatores e/ou condições externas ao controle do projeto que podem influenciar no atingimento de

seus objetivos.


19/05/2010

60


Dia 6 – Avaliação como Instrumento de Gestão

Avaliação


19/05/2010

61

Conceito de avaliação

Do dicionário:

“avaliar é determinar ou estabelecer o valor de;

examinar e julgar”(Worthen, 2004)

Como nasceu a avaliação

A estória da Avaliação segundo Gênesis:

No início, Deus criou a Terra e o Céu. Ele olhou para tudo que havia criado e disse: “isso

está muito bom”. No 7º dia ele descansou.

Foi quando chegou seu arcanjo, ou coordenador de avaliação, e perguntou: “Senhor,

como você sabe que o que criou é muito bom? Qual são seus critérios, e que dados usou

para fazer seu julgamento? Que impactos estava esperando ter com esta criação? O

Senhor não está perto de mais de todo o trabalho para fazer um julgamento imparcial?

Deus pensou sobre todas essas questões durante o dia todo e seu descanso foi

seriamente perturbado. No 8º dia, Deus disse:

“VÁ PARA O INFERNO, LÚCIFER!” ...e nasceu a avaliação.

(adaptado de Patton, 1999)

19/05/2010

62

Alguns Mitos sobre Avaliação

� Muitas pessoas vêem a avaliação como uma atividade inútil que gera um monte de dados chatos e leva a conclusões sem utilidade.

� Este era o problema no passado quando as metodologias de avaliação eram escolhidas com base na sua precisão científica, confiabilidade e validade.

� Mais recentemente, especialmente pelo resultado do trabalho de Michael Patton com a Avaliação com Foco na Utilização, a avaliação passou a ter seu foco na utilidade, relevância e praticidade tanto quanto na validade científica.

� Muitas pessoas acreditam que avaliação é sobre provar o sucesso ou fracasso de um programa.�Sucesso é estar aberto para periódico feedback e fazer os

ajustes de acordo. A avaliação oferece este feedback.

� Muitas pessoas acreditam que a avaliação é um processo único e complexo que deve sempre acontecer no mesmo momento, de uma certa maneira e normalmente por especialistas externos. �Elas acreditam que deveriam entender termos como validade e

confiabilidade, e na verdade não precisam. Precisam é saber que informação necessitam para tomar decisões sobre o projeto e suas deficiências.

(adaptado de Carter McNamara, 1999)

Alguns Mitos sobre Avaliação

19/05/2010

63

Para Reflexão

“O que se define por avaliação e o nome dado à

uma avaliação em particular é uma questão de

discussão, clarificação e negociação.”

(Michael Quinn Patton)

� MonitoramentoProcesso contínuo de coleta e análise de dados implementado para avaliar um projeto (programa ou política) e compará-lo com a performance esperada.

� AvaliaçãoAnálise sistemática e objetiva dos resultados alcançados por um projeto, programa ou política, realizada com o objetivo de avaliar sua relevância, coerência, a eficiência da implementação, sua efetividade e impacto, e sua sustentabilidade.

(Instituto do Banco Mundial, s.d.)

Definições

19/05/2010

64

Monitoramento ≠ Avaliação

Monitoramento AvaliaçãoAtividade de gestão interna e contínua

Atividade interna ou externa

Acontece durante a implementação do projeto

Pode acontecer antes, durante ou depois da implementação de um projeto

Compara o que está sendo realizado com o que foi planejado

Com base em dados levantados pelo monitoramento e outras fontes, julga o desempenho de um projeto de acordo com critérios pré-estabelecidos

A avaliação usa extensivamente os dados gerados pelo sistema de

monitoramento, mas além dele usa outras fontes de informação.

Principais Critérios de Avaliação

� Eficácia: cumprimento e alcance das metas e objetivos propostos � Fizemos o que dissemos que íamos fazer?

� Eficiência: uso otimizado, com economia e qualidade, dos bens e recursos empregados na execução das ações.� Estamos usando os recursos da melhor maneira possível?

� Efetividade: o alcance dos resultados e impactos esperados. � Que diferença o projeto faz?

� Equidade – a capacidade de contribuir para a redução das desigualdades e da exclusão social.� Sustentabilidade – a capacidade de desencadear mudanças sociais permanentes, que alteram o perfil da própria demanda por políticas/programas sociais.

19/05/2010

65

Avaliação de Programas

“É a coleta cuidadosa de informações sobre um programa ou um aspecto do programa para que sejam tomadas as decisões necessárias sobre ele.”

(McNamara, 1999)

“É a coleta sistemática de informações sobre as atividades, características e resultados dos programas para propiciar julgamentos sobre ele, melhorar sua efetividade, e/ou subsidiar decisões sobre a criação de novos programas.” (Patton, 1997)

Tipos de Avaliação

� Uma avaliação de programa pode incluir um ou mais

dos 35 tipos de avaliação que existem: ex-ante, ex-

post, formativa, somativa, de processo, de resultado,

de impacto, custo x benefício, etc.

O tipo de avaliação que deve ser realizada para subsidiar o

aprimoramento de um programa depende do que se quer saber

sobre ele.

19/05/2010

66

Para Reflexão

“Não se preocupe com o tipo de avaliação que deve

ser feito, preocupe-se em definir o que você precisa

saber para tomar importantes decisões sobre o

programa, e como a informação pode ser

corretamente coletada e analisada”.

(Carter McNamara)

Avaliação como Instrumento de Gestão

Desmistificando a Avaliação

19/05/2010

67

� O que é avaliado, é feito;

� Se você não mede resultados, não pode separar o sucesso do fracasso;

� Se você não vê o sucesso, não tem como premiá-lo;

� Se você não premia o sucesso, está provavelmente premiando o fracasso;

� Se você não vê o sucesso, não pode aprender com ele;

� Se você não reconhece o fracasso, não pode corrigi-lo;

� Se você demonstrar resultados, ganhará apoio público.

(adaptado de Osborne & Gaebler, 1992 Premissas de um Governo Orientado para Resultados)

Para Reflexão

Avaliação como Instrumento de Gestão

Permite:

� Compreender, analisar e aumentar o impacto das políticas, programas e projetos desenvolvidos pela instituição;

� Aperfeiçoar os métodos empregados para aumentar a eficiência, eficácia e efetividade das ações;

� Facilitar a gestão e o estabelecimento de novas diretrizes de trabalho;

� Produzir informações que possam ser utilizadas junto à sociedade, financiadores e outros parceiros.

19/05/2010

68

Mudança de Paradigma

DE: Mecanismo de Controle PARA: Processo de Aprendiz agem

Tarefa imposta às equipes pelos dirigentes ou financiadores.

Valioso instrumento para ajudar a organização a perseguir sua missão.

Considerada tarefa tediosa e que toma tempo de “trabalho real”, representando um luxo para a organização.

Considerada um trabalho de todos. Todos da organização levantam informações e se perguntam: "O que e como podemos fazer melhor?”

Resultados da avaliação pouco incorporados no planejamento e tomada de decisões da organização.

Resultados da avaliação orientando o desenvolvimento dos projetos e as mudanças de direção.

Temor de que resultados pouco satisfatórios tragam conseqüências negativas, tais como a perda do trabalho dos envolvidos.

Ambiente onde não existe medo de se correr risco; onde as pessoas podem examinar algo que não deu certo sem medo de conseqüências negativas.

A avaliação é complexa e onerosa financeiramente, já que deve ser feita por especialistas.

Os instrumentos e metodologias são simples, não onerosos e podem ser adaptados a diferentes realidades e necessidades.

(baseado em Marino, 2001)

19/05/2010

69

Avaliação no Ciclo do Projeto

Avaliação no Ciclo do Projeto

AnáliseSituacional

�

Elaboração do Projeto,

Negociação�

Marco Zero �

Implementação


Avaliação deResultado�Utilização �

Comunicação

Replicação

Institucionalização

(baseado em Marino e Cancellier, 2004)

19/05/2010

70

Análise Situacional

� Também chamada de Avaliação Diagnóstica ou apenas Diagnóstico.

� Tem por objetivo organizar informações que caracterizem, dimensionem e evidenciem as questões ou problemas que o projeto vai buscar resolver ou minimizar.

� Neste momento, sempre que possível, deve-se reunir outros stakeholders para caracterizar o problema sob vários pontos de vista.

Avaliação de Marco Zero

� A partir da análise situacional e dos resultados esperados, deve-se realizar a avaliação de marco zero que aprofunda aspectos identificados na análise situacional, servindo de base norteadora para as equipes do projeto.

� Deve ocorrer antes do início de qualquer atividade do projeto pois produzirá os parâmetros de julgamento para a avaliação de resultados.

19/05/2010

71


� Visa determinar o grau em que o programa está operando conforme o planejado.

� Analisa o que faz o programa e quem são seus beneficiários.

� Identifica quais são os elementos essenciais para que os objetivos do programa sejam alcançados.

� Em geral, responde a perguntas em duas categorias:� Cobertura: analisa o alcance do projeto e as características dos

beneficiários.

� Processo: analisa a consistência do projeto e a qualidade de sua implementação.

Avaliação de Resultados

A avaliação de resultados analisa os benefícios/transformações

proporcionados aos participantes (que são resultantes dos

esforços do projeto) durante e/ou logo após a sua participação no

mesmo.

�Deve ser realizada a partir da fase intermediária e próximo ao final do

projeto.

�Pode-se também avaliar os resultados do projeto junto aos parceiros,

equipe responsável e outros stakeholders.

Por que medir resultados?

Para saber se o programa realmente faz diferença.

19/05/2010

72

Standards of Evaluation

Parâmetros de Qualidade

Parâmetros de Qualidade

� Princípios orientadores desenvolvidos em 1994 por um Comitê formado por 16 associações profissionais dos Estados Unidos (hoje aceitos por avaliadores em todo o mundo)

� Um processo avaliativo de qualidade deve ter 4 atributos:

� Utilidade – voltado para responder reais necessidades de informação dos seus usuários

� Viabilidade – realizado de maneira realística, prudente, diplomática e moderada

� Propriedade – conduzido dentro de normas legais e éticas, respeitando todos os envolvidos no processo

� Precisão – produzindo informações tecnicamente adequadas sobre aspectos que determinam o mérito e a relevância do programa avaliado.

(Chianca, Marino e Schiesari, 2001)

19/05/2010

73

A Lógica e os Valores do Avaliador

1. Ser claro = ser claro sobre os objetivos e propósitos; sobre o que está sendo avaliado; sobre que dados serão coletados; sobre que julgamentos serão feitos; sobre como os resultados da avaliação serão usados; enfim, ser claro sobre tudo.

2. Ser específico = a pergunta favorita de um avaliador é: “o que exatamente você quer dizer com isso?”.

3. Ter foco e prioridade = você não pode fazer ou cuidar de tudo. Avalie com cuidado o que vale a pena fazer e saber.

4. Ser sistemático = Planeje o que fazer, e faça o que planejou . Registre cuidadosamente o que acontece em cada estágio da tomada de decisão e da coleta de dados.

5. Ser claro sobre os pressupostos = defina com clareza os pressupostos que norteiam o trabalho, e o que pode ou não ser comprovado.

6. Fazer a distinção entre recursos, processos e resul tados = confundir processos com resultados é comum, cuidado!

7. Ter dados para apoiar empiricamente às conclusões = o que significa assumir um compromisso de fazer a lógica e as evidências se sobreporem às crenças e às intensidades das emoções.

8. Separar “declarações de fatos baseadas em dados”, d e “interpretações” e de “julgamentos” = interpretações vão além dos dados e precisam ser entendidas pelo que são –interpretações. Julgamentos envolvem valores, determinando o que é e o que não é desejável.

(adaptado de Patton, 1997)

A Lógica e os Valores do Avaliador

19/05/2010

74

Construindo Avaliações Úteis

Duas abordagens para maior efetividade

A Avaliação com Foco na Utilização (Utilization-focused Evaluation)

� Baseada na premissa de que avaliações deveriam ser

julgadas pela sua utilidade e uso real.

� Assim, o foco da metodologia está no futuro uso das

informações, conforme definido pelos principais clientes da

avaliação.

� O avaliador atua como facilitador ajudando os principais clientes da

avaliação a definirem que tipo de avaliação eles precisam. Isso requer

muita negociação onde o avaliador oferece um menu de possibilidades

dentro da lógica do projeto, e dos princípios e modelos de avaliação.

19/05/2010

75

Construindo uma avaliação útil

� Do início ao fim, o processo de avaliação deve ser

criado e implementado com o foco nas necessidades

dos principais clientes.

� Eles têm a responsabilidade de fazer as coisas de maneira

diferente (tomar decisões, mudar estratégias, agir, mudar

políticas, etc.) por causa do seu comprometimento com o

processo e os resultados da avaliação.

(International Development Research Centre, 2004)

A Lógica da AFU

Os potenciais clientes da avaliação tenderão a usá-la quanto melhor eles compreenderem e se apropriarem do processo de avaliação e seus resultados.

Eles compreenderão e se apropriarão da avaliação quanto mais ativamente forem envolvidos no processo.

Ao envolver ativamente os principais clientes, o avaliador prepara-os para o uso, cria base técnica para a utilização da avaliação e reforça, ao longo de todo o processo, a importância e a utilidade das informações coletadas.

19/05/2010

76

Avaliação = entendimentos compartilhados

� A avaliação depende de e facilita uma comunicação mais

clara entre os atores.

� Entendimentos compartilhados são especialmente importantes

no que se refere a resultados esperados

� (Que resultados especificamente vocês estão comprometidos a alcançar? E

como vocês saberão se vocês os alcançaram?).

� Quando realizada de forma apropriada, a avaliação facilita o

comprometimento compartilhado com os resultados de um

programa entre os vários níveis hierárquicos.

(adaptado de Patton,1997)

A Avaliação Participativa

“As pessoas que participam da criação de algo

tendem a se sentir mais donas do que foi criado,

percebem melhor sua utilidade e preocupam-se

mais em cuidar dele.”

(Michael Patton)

19/05/2010

77

Princípios da Avaliação Participativa

� O processo de avaliação envolve os participantes em um

aprendizado sobre a lógica e as técnicas de avaliação.

o Para isso, os participantes aprendem, por exemplo, sobre: o

estabelecimento de objetivos, a definição de prioridades, a

formulação de perguntas, a interpretação de dados, decisões com

base em evidências, e as conexões entre processos e resultados.

� Os participantes definem o foco da avaliação em processos

e resultados que eles consideram importantes e com os

quais estão comprometidos;

� Todos os aspectos da avaliação, incluindo os dados, fazem

sentido para os participantes.

� O avaliador-facilitador reconhece e valoriza as diferentes

perspectivas e conhecimentos de cada participante, e

trabalha para que eles sejam reconhecidos e valorizados por

todo o grupo.

� As diferenças de status entre o avaliador-facilitador e os

participantes são minimizadas.

Princípios da Avaliação Participativa

19/05/2010

78

Para reflexão

“Aprender a ver o mundo como um avaliador o vê,

normalmente tem um impacto maior e mais

duradouro naqueles que participam da avaliação, do

que as informações que constam no relatório final”.

(Michael Patton)


Dia 7 – Construindo uma avaliação

19/05/2010

79

Passo a passo de uma avaliação formal, interna e formativa de um programa ou projeto

Planejando a avaliação

Avaliação formal

“Avaliação formal é:� um julgamento (porque envolve valores)

� sistemático (porque baseia-se em critérios e procedimentos previamente reconhecidos)

� dos processos ou dos produtos

� de uma política, programa ou projeto,

� tendo como referência critérios explícitos, a fim de contribuir para

� o seu aperfeiçoamento, a melhoria do processo decisório, o aprendizado institucional e/ou o aumento da accountability.

(Rua, 2000)

19/05/2010

80

Avaliação interna e externa

� Interna – conduzida por técnicos das instituições associadas com o programa, projeto ou objeto que está sendo avaliado.

� Externa – conduzida por um ou mais avaliadores que não estão diretamente envolvidos na formulação, implementação e/ou gerenciamento do objeto da avaliação. Também chamada de avaliação independente.

Avaliação formativa

� Formativa - tipo de processo de avaliação usado

durante a implementação de um programa ou projeto,

para fornecer informações que permitam o seu

aprimoramento.

� Usada para prover informações essenciais para que os gestores

possam introduzir mudanças a fim de melhorá-lo ainda durante

seu processo de implementação.

19/05/2010

81

Avaliação somativa

� Somativa – conduzida após o término do programa ou

projeto.

� Serve basicamente para julgar o mérito e a relevância de um

programa ou projeto em relação a determinados critérios,

possibilitando a decisão sobre sua continuidade, extensão,

reformulação ou encerramento.

(baseado em Chianca, Marino e Schiesari, 2001)

Plano de Trabalho

• Formação da equipe de avaliação• Formação da equipe de avaliação

• Elaboração do Modelo Lógico de Gestão• Elaboração do Modelo Lógico de Gestão

• Análise de Avaliabilidade• Análise de Avaliabilidade

• Identificação dos principais clientes da avaliação• Identificação dos principais clientes da avaliação

• Definição das finalidades da avaliação• Definição das finalidades da avaliação

• Seleção das perguntas avaliativas• Seleção das perguntas avaliativas

• Identificação dos indicadores de avaliação• Identificação dos indicadores de avaliação

• Definição dos métodos de coleta e análise de dados• Definição dos métodos de coleta e análise de dados

• Coleta e análise dos dados• Coleta e análise dos dados

• Apresentação dos resultados• Apresentação dos resultados

19/05/2010

82

1. Formação da equipe de avaliação

� Sendo uma avaliação interna, a equipe deverá ser

formada por técnicos da organização que conduz o

programa.

� No caso de projetos multisetoriais ou desenvolvidos em

parceria com organizações privadas, o ideal é que a

equipe seja formada por técnicos de todas as

instituições envolvidas.

A Avaliação de Projetos e o Modelo Lógico

� Uma efetiva avaliação de projeto faz mais do que coletar,

analisar e reportar dados. Ela permite que os stakeholders

tenham acesso e usem as informações para continuamente

aprender sobre e aprimorar os projetos nos quais estão

envolvidos.

� O uso de avaliação e de modelos lógicos dos projetos resulta

em melhor planejamento, oportunidades de aprendizado,

melhor documentação dos resultados e um conhecimento

compartilhado sobre o que está funcionando e porque.

19/05/2010

83

2. Elaboração do MLGP

� A elaboração do Modelo Lógico de Gestão do Projeto é

um dos momentos mais importantes da avaliação e deve

ser realizado com representantes de todas as

organizações responsáveis pela execução do projeto.

� É fundamental que o MLGP retrate o projeto como está

sendo executado na prática, e não como foi elaborado e

consta no papel.

3. Análise de Avaliabilidade

� É um processo que tem por objetivos: clarificar informações sobre o design do programa/ projeto, explorar sua realidade e ajudar a redefinir sua estrutura, antes que seja feita a avaliação de seus resultados.

� Ajuda a definir se o projeto pode ser efetivamente avaliado e se sua avaliação contribuiria para melhorar sua performance.

19/05/2010

84

As Etapas da Análise de AvaliabilidadeEtapa 1: Conhecendo o programa

Identificação e análise da teoria ou lógica do projeto para avaliar se as percepções dos stakeholders sobre como o projeto funciona são razoáveis.

Um método comum para analisar as diferentes percepções sobre o projeto é construir um Modelo Lógico de Gestão do Projeto (MLGP).

O processo de construção do MLGP pode revelar que os princípios conceituais do projeto são fracos ou inconsistentes. Neste caso, os gestores devem repensar o projeto e seu designantes de avaliá-lo.

� Etapa 2: Analisando o grau de implementação do projeto

Para isso, deve ser analisado:

� se as instalações do projeto já estão funcionando;

� se as equipes técnicas já foram treinadas;

� se as atividades estão sendo implementadas mais ou menos como foram planejadas;

� se o público-alvo do projeto é o que de fato vem sendo atendido;

� se o projeto já está em curso há tempo suficiente para produzir as transformações esperadas.

As Etapas da Análise de Avaliabilidade

Se falhas graves são encontradas, elas devem ser corrigidas antes que se

proceda a avaliação.

19/05/2010

85

Identificando os principais clientes

Clientes de Avaliação

Principais Clientes da Avaliação

� Os principais clientes de uma avaliação são as pessoas e grupos que:� são afetados pelos seus resultados,

� estão em posição de tomar decisões sobre a avaliação, e

� pretendem usar as informações sobre o processo e os resultados da avaliação para definir futuras ações.

� Os principais clientes de uma avaliação devem ser definidos no início do processo e o avaliador deve manter contato freqüente com eles para engajá-los e ter a certeza de que a avaliação respeita seus valores e atende às suas necessidades.

19/05/2010

86

Quem são os Clientes da Avaliação?

� São aqueles quem tem “vontade”, “autoridade” e “habilidade”

de usar os aprendizados do processo e resultados da

avaliação de alguma forma.

� É importante distinguir entre os clientes e a audiência de

uma avaliação.

� A audiência é um grupo interessado na avaliação, mas com uma

relação mais passiva com ela do que os principais clientes.

Identificando os clientes da avaliação1. Quem são os principais clientes da avaliação?

� Para quem estamos fazendo este trabalho?

2. Quem são as audiências-alvo desta avaliação � Quem tem interesse nas informações que ela levantará?

3. Que grupos e pessoas serão mais afetados pela avaliação?

4. Que grupos e pessoas estão em posição de tomar decisões sobre o projeto/programa a ser avaliado?

5. Quem terá suas ações e decisões mais influenciadas pelo seu engajamento no processo de avaliação e seus resultados?

19/05/2010

87

Pensando a estratégia

� Após identificar os principais clientes da avaliação é

hora de planejar a estratégia de atuação junto a eles.

� É hora de refletir sobre:

• Como os principais clientes da avaliação poderiam ser envolvidos

no processo?

• Que desafios e barreiras poderemos encontrar para identificar e

engajar esses clientes?

Para reflexão

Tentações que afastam do foco no cliente: os Sete Pecados Capitais (Patton, 1997)

� Os avaliadores fazerem deles próprios os principais clientes da avaliação;

� Identificar audiências vagas e passivas ao invés de pessoas reais como clientes;

� Selecionar organizações como clientes e não pessoas específicas;

� Focar nas decisões ao invés de nos tomadores de decisão;� Assumir que o financiador é automaticamente o principal cliente

da avaliação;� Esperar até ter os resultados da avaliação para então identificar

os clientes e futuros usos dela;� Colocar-se acima das questões pessoais e políticas.

19/05/2010

88

A importância de identificar os futuros usos da avaliação

� Enquanto a pergunta “quais são os futuros usos desta avaliação?” parece simples e direta ela é uma das questões mais críticas no planejamento de uma avaliação.

� A qualidade de muitos aspectos da avaliação depende do grau com que eles respondem a esta pergunta.

� Ao identificar e clarificar o futuro uso da avaliação para clientes dela, a tarefa complexa de planejar uma avaliação torna-se mais simples e com foco, e o processo de avaliação, mais efetivo.

Como definir os possíveis futuros usos de uma avaliação?

� A definição dos futuros usos de uma avaliação envolve uma negociação entre o avaliador (a pessoa que está conduzindo o processo de avaliação e que é também responsável por facilitar o seu uso) e os principais clientes.

� Na maioria dos casos, uma avaliação terá múltiplos usos.

� Ao envolver todos os principais clientes de uma avaliação no processo de definição do tipo de avaliação que é necessária, as várias perspectivas são consideradas e os clientes acabam por obter consenso sobre os principais futuros usos das informações coletadas.

19/05/2010

89

Perguntas para ajudar a identificar futuros usos da avaliação

1. Quais são suas expectativas quanto aos resultados deste processo de avaliação?

2. Como esta avaliação poderia contribuir para o aperfeiçoamento do projeto em questão?

3. Quais decisões os resultados da avaliação poderiam influenciar? Quem é o responsável por tomar essas decisões?

4. Que dados e informações são necessários para esta tomada de decisão?

5. Como nós poderemos saber no futuro se esta avaliação foi útil?


Dia 8 – Construindo uma avaliação

19/05/2010

90

Perguntas avaliativas

Perguntas Avaliativas

“São as perguntas que dão direção, fundamento e foco à

avaliação. Especificam exatamente o que a avaliação vai

responder e guiam o projeto e o planejamento da avaliação”.(Worthen, 2004)

� A definição das perguntas avaliativas deverá ser feita a partir

da análise das perguntas trazidas pelos potenciais clientes e

considerando o que foi definido e acordado como as

principais finalidade da avaliação.

19/05/2010

91

Para Reflexão

“As perguntas avaliativas devem gerar as

informações necessárias para basear o

julgamento do valor de alguma coisa”. (Chianca, Marino e Schiesari, 2001)

Matriz de seleção de perguntas avaliativas (Chianca, 2001)

Critérios PA 1 PA 2 PA 3

É relevante para os principais clientes?

Contribui para diminuir dúvidas existentes, trata de informações que não estão disponíveis no momento?

Possibilita gerar informações importantes, que podem facilitar a tomada de decisão sobre o projeto?

Está centrada em elementos críticos do projeto, que serão de interesse constante das pessoas e não apenas de interesse momentâneo?

Os objetivos e a amplitude da avaliação seria seriamente comprometidos sem esta pergunta?

É possível responder com os recursos financeiros e de pessoal disponíveis?

É possível responder com os métodos e tecnologias disponíveis?

É possível responder dentro do tempo de que se dispõe?

Resultado Final (somatório de respostas positivas)

19/05/2010

92

Indicadores

O que são Indicadores

“Em projetos sociais, indicadores são parâmetros

qualificados e/ou quantificados que servem para

detalhar em que medida os objetivos de um projeto

foram alcançados, dentro de um prazo delimitado de

tempo e numa localidade específica”.(Valarelli, citado em Pogoda, Pires e Moretti, s.d.)

19/05/2010

93

O que são Indicadores

� São medidas quantitativas e/ou qualitativas que indicam o grau de alcance dos objetivos e metas de um projeto. Permitem analisar em que medida um resultado esperado está sendo alcançado.

� Como o próprio nome sugere, são uma espécie de “marca” ou sinalizador, que busca expressar algum aspecto da realidade sob uma forma que possamos observá-lo ou mensurá-lo.

� Eles indicam mas não são a própria realidade. Baseiam-se na identificação de uma variável, ou seja, algum aspecto que varia de estado ou situação, variação esta que consideramos capaz de expressar um fenômeno que nos interessa.

Exemplo

“O programa é a variável independente que se espera

cause alterações na variável dependente”. (Banco Mundial)

Variável: saúde

Indicador: temperatura do corpo

Unidade de medida: graus Celsius

Instrumento: termômetro

Parâmetro: 37,5º = boa saúde

19/05/2010

94

Características de um bom indicador

� Ser válido – que meça o que se supõe deve ser medido;� Ser confiável – que seja verificável;� Ser relevante – aos objetivos do programa;� Ser sensitivo – às mudanças da situação que é observada;� Ser aceitável – pela população em estudo e pelos principais

clientes da avaliação;� Ser específico – adaptado aos objetivos do programa;� Ser oportuno – que possa ser constituído e reportado em

tempo hábil;� Ser tecnicamente viável – que os dados requeridos

possam ser coletados e mensuráveis;� Ser custo-efetivo – que os dados requeridos possam ser

coletados a um custo razoável.

Para reflexão

“Indicadores são referências que ajudam a

responder às perguntas avaliativas”.

(Thomaz Chianca)

19/05/2010

95

Construindo a matriz avaliativa

Pergunta Avaliativa

Componentes do programa a serem

avaliados(no MLGP)

IndicadoresDescritores dos

IndicadoresFontes de

InformaçãoPeriodicidade da

Informação

PERGUNTA AVALIATIVA Qual o grau de alcance das metas e objetivos do programa?

Objetivo Específico: Ampliar e melhorar a oferta de água para os produtores.Estratégia: 1.1. Disponibilizar ponto de água confiável para grupos de 15 a 20 produtores.

COMPONENTES A SEREM AVALIADOS

INDICADORES DE PRODUTO

Descritor Periodicidade do Indicador

F.I.

1.1.1 Perfuração e recuperação de poços tubulares

1. Nº de poços instalados no período

2. Nº de produtores beneficiados/ comunidade/ município/ pólo

3. Produção potencial de geração de água disponível por poço instalado / comunidade / município / pólo

4. Produção efetiva de geração de água disponíbilizada por poço instalado/ comunidade / município / pólo

1. Nº de Sistemas Simplificados de Abastecimento de Água (SSAA) entregues à comunidade a partir de poços, em condições de oferecer água em quantidade e qualidade adequadas para consumo animal.

2. Produtores pertencentes às comunidades do programa beneficiados com os novos poços instalados.

3. Capacidade potencial de produção de água dos poços instalados, medida em m³/hora.

4. Capacidade real de produção de água dos poços instalados, medida por m³/hora.

1. Mensal

2. Mensal

3. Mensal (dos novos poços instalados)

4. Mensal (dos novos poços instalados

Técnicos da CERB

19/05/2010

96

Definindo os Parâmetros de AvaliaçãoEstes parâmetros, também chamados de padrões de referência ou benchmarks, podem ser de vários tipos:

� Padrão absoluto – as metas estabelecidas para o programa são o padrão a ser perseguido;

� Padrão histórico – o desempenho obtido em períodos anteriores são a referência adotada para comparação;

� Padrão normativo – compara o desempenho de um programa com o de outros similares, considerados bem sucedidos;

� Padrão teórico – determinado durante o planejamento do próprio programa, a partir de referências teóricas de situações consideradas ideais;

� Padrão “com/sem” – comparações do tipo com/sem o programa, a partir da criação de grupos de controle com pessoas com características semelhantes aos beneficiários do programa, mas em cuja realidade o programa não interviu.

(adaptado de Rodrigues, 1998)

Métodos de coleta de dados

19/05/2010

97

Métodos de Coleta de Dados

� Métodos quantitativos têm a vantagem de permitir mensuração, comparação e generalização das informações obtidas, no entanto os métodos qualitativos permitem análise mais aprofundada de questões específicas sobre as experiências estudadas.

� Métodos quantitativos possibilitam o levantamento de informações junto a um maior número de respondentes, a um menor custo. Além disso, permitem a realização de análises estatísticas, o que favorece a comparação e generalização dos resultados encontrados.

Métodos de Coleta de Dados

� Os métodos de coleta de dados quantitativos mais comumente utilizados são pesquisa de dados disponíveis em sistemas de acompanhamento e monitoramento do programa, e aplicação de questionários ou formulários junto aos beneficiários e atores intermediários da sua execução.

� No caso de abordagens qualitativas, os métodos de coleta de dados mais usados são entrevistas, grupos focais e observação direta.

19/05/2010

98

Comparativo de Métodos

Método de coleta de dados

Descrição Vantagens Desvantagens

Pesquisa de dados disponíveis

Pesquisa focada em registros administrativos, sistemas de acompanhamento, avaliações anteriores do programa, outros relatórios e documentos, dados de censos, etc.

- Baixo custo e rapidez na obtenção de informações.

- Os dados disponíveis podem não ser adequados, precisos, válidos ou confiáveis para o que se quer avaliar.

Pesquisa de campo Aplicação de questionários padronizados com perguntas abertas ou fechadas. O questionário pode ser auto-administrável ou não, ser aplicado em forma de entrevista pessoal ou por telefone.

- Questionários e entrevistas bem estruturados facilitam a tabulação e análise dos dados coletados.

- O desenvolvimento e a aplicação dos instrumentos requer bastante tempo.

Método de coleta de dados

Descrição Vantagens Desvantagens

Observação de casos Observação direta de um ambiente ou situação, com ou sem o conhecimento dos participantes.

- Adequada para compreender processos e formular hipóteses. - Proporciona descrição detalhada da realidade encontrada.

- Pouco adequada para a generalização dos resultados encontrados.- Parcialidade e subjetividade do observador.

Grupos focais Formação de grupos pequenos (de 6 a 12 pessoas) para debate sobre temas, obtenção de informações e sugestões sobre a execução do programa. É essencial a presença de um bom facilitador.

- São relativamente rápidos de se realizar.- Estimula a geração de novas idéias.- Permite o exame de diferentes perspectivas.- Contato direto com os beneficiários ou atores do programa.

- A tabulação é análise consome muito tempo.- Risco de parcialidade por parte dos participantes e do facilitador.- Necessidade de controlar participantes dominantes.

Comparativo de Métodos

19/05/2010

99

Métodos de coleta de dados

� A definição do tipo de abordagem e método de coleta de dados a ser utilizado depende das perguntas avaliativas que se quer responder e dos recursos disponíveis para a avaliação.

� Na maioria das vezes o mais adequado é a utilização mista de abordagens e métodos, o que proporciona uma perspectiva mais completa da realidade encontrada, e permite que as desvantagens de uma sejam balanceadas pelas vantagens de outra.

A importância do pré-teste

� Cada instrumento criado deverá ser pré-testado para análise de sua consistência e clareza, e avaliação da relevância e viabilidade dos dados por ele coletados.

� Uma simulação da tabulação e análise dos dados coletados no pré-teste também ajuda no aprimoramento do instrumento antes da sua aplicação generalizada.

19/05/2010

100

Trabalhando com amostras

“É importante comparar o perfil das

pessoas que responderam ao questionário,

ou que foram entrevistadas, com o perfil

geral da população que se quer estudar”.(Chianca, Marino e Schiesari, 2001)

Tipos de Amostragem

� Probabilística ou aleatória – aquela em que cada elemento da população tem uma chance igual de ser selecionado para compor a amostra. Deve ser representativa da população como um todo para que os resultados obtidos possam ser generalizados como verdadeiros para toda a população.

� Não-probabilística ou não aleatória – aquela em que a composição da amostra é intencional e seleção dos seus participantes depende ao menos em parte do julgamento do pesquisador. Limitada na capacidade de generalizar a informação para o todo da população estudada.

19/05/2010

101

Alerta

Quando a amostra é não-probabilística ou não aleatória

pode-se apenas relatar os resultados em termos de

porcentagem de entrevistados, sem generalizar para o

universo estudado.

Ex.: 60% dos jovens pesquisados afirmou estar satisfeito com seu

plano de saúde.

Análise de Dados

� Todos os dados devem ser tabulados, ou seja

organizados de maneira a facilitar a sua interpretação,

e analisados tendo em vista as perguntas avaliativas

que se quer responder.

19/05/2010

102

Análise de Dados Quantitativos

Dados quantitativos são normalmente analisados estatisticamente. As formas mais comuns de análise estatística utilizadas são:� Freqüência – número de vezes em que determinada resposta

foi dada (ex.: 20 participantes do curso tinham mais que 60 anos; ou, 25 dos 30 participantes disseram aprovar o conteúdo do curso).

� Porcentagem – expressa a informação como um percentual do todo (ex.: 83% dos participantes aprovou o conteúdo do curso).

Uma prática comum na apresentação de dados em porcentagem é

dizer o número total de casos a partir dos quais a porcentagem foi

calculada.

Análise de Dados Quantitativos

Medidas de tendência central – usadas para caracterizar o que é típico

para o grupo de respondentes. Normalmente calcula-se as três medidas e

se avalia qual a mais apropriada para relatar a situação avaliada.

� Média – uma das formas mais comuns de apresentação de dados, é calculada a partir da soma dos valores divididos pelo total de respostas.

� Quando há valores extremos na relação de respostas, a média fica distorcida.

� Moda – é a resposta ou valor mais freqüentemente obtido. É bastante usada quando há um número grande de respostas obtidas, pois não sofre distorção com valores extremos como acontece com a média.

� Mediana – é o valor do meio, quando listadas todas as respostas em ordem crescente.

� Quando a listagem de respostas obtidas apresenta valores extremos e destoantes da maioria, a mediana é mais precisa do que a média como valor representativo do todo.

19/05/2010

103

� Dados qualitativos são compostos de palavras e não

números, por isso sua análise deve ser diferenciada.

� Em uma avaliação, os textos e observações coletados vêm

de várias fontes como: respostas a perguntas abertas de

questionários, transcrições de grupos focais ou entrevistas,

roteiros de observação de casos, ou, ainda, resumos de

relatórios e documentos pesquisados.

Análise de Dados Qualitativos

Análise de Dados Qualitativos

“Agrupar as respostas em categorias específicas para calcular a

frequência de respostas para cada categoria é uma abordagem

comum para tratar dados pouco complexos, como as informações

geradas a partir de questionários com perguntas preestabelecidas”.

Quando os dados são mais densos e complexos, o grande desafio

é conseguir diminuir o volume de informação, identificar os temas

mais significativos e desenvolver uma estratégia para comunicar

aos diferentes interessados a essência do que os dados revelam”

(Chianca, Marino e Schiesari, 2001)

19/05/2010

104

Toda análise qualitativa é influenciada pela subjetividade da interpretação do pesquisador. Para diminuir sua interferência e aumentar a credibilidade dos resultados encontrados, alguns cuidados devem ser observados:

� Use várias fontes de informação – busque combinar, por exemplo, entrevistas individuais com grupos focais, de maneira a checar as informações obtidas e ter maior confiança nas suas conclusões.

Cuidados na Análise de Dados Qualitativos

Cuidados na Análise de Dados Qualitativos� Registre todos os passos do processo de análise – todas as escolhas

e procedimentos feitos devem ser registrados para que outros possam

entender como as conclusões finais foram obtidas.

� Evite fazer generalizações – o objetivo da análise qualitativa não é

obter informações generalizadas sobre toda a população estudada.

Ao contrário, sua finalidade é fornecer dados sobre o objeto avaliado

a partir da perspectiva dos respondentes.

� Identifique as limitações encontradas – todo estudo avaliativo tem

limitações que devem ser reportadas para facilitar o entendimento das

conclusões finais. Estas limitações podem ser de ordem

metodológica, ou relativas aos dados coletados.

19/05/2010

105

Apresentação dos resultados

Para Reflexão

“Processos e resultados da avaliação são úteis

quando contribuem para decisões informadas,

esclarecem as opções de tomada de decisão,

identificam pontos fortes e fracos, e fornecem

lições aprendidas e recomendações para

melhorar programas, políticas e estratégias”.

(Manuel Rojas Buvinich)

19/05/2010

106

Quando a avaliação não é útil

Apesar do uso dos resultados de uma avaliação ser sua

grande razão de existir e um dos pressupostos básicos

que devem nortear todo o seu processo de elaboração,

estudos demonstram que na maioria das organizações

há um aproveitamento muito pequeno das informações

fornecidas em um relatório de avaliação.

Algumas características das avaliações analisadas refletiram no seu mal aproveitamento como instrumento de gestão:

� A maioria das avaliações foram realizadas apenas para atender a interesses dos financiadores, sendo a disseminação de seus resultados bastante limitada dentro da organização gestora do programa;

� Os relatórios de avaliação eram muito longos, técnicos e de difícil entendimento;

� Algumas avaliações deixaram de analisar aspectos importantes da execução do programa;

� Muitos relatórios ficaram prontos depois que importantes decisões já haviam sido tomadas.

(adaptado de Hourton et al., 2003)

Quando a avaliação não é útil

19/05/2010

107

Boa comunicação de resultados

A comunicação dos resultados de uma avaliação pode ser

feita de forma oral ou escrita, mas deve sempre ser

simples, direta e livre de jargões.

A ênfase deve estar nos importantes resultados obtidos e

nas recomendações, sempre com o foco nos principais

clientes da avaliação, suas expectativas e necessidades

de informação.

Estrutura do Relatório de Avaliação

� Capa – título do relatório, autores, instituições patrocinadoras/ participantes, lugar e data.

� Índice – capítulos e sub-capítulos do relatório.

� Créditos – agradecimento a todas pessoas e instituições que fizeram o estudo possível.

� Resumo Executivo – apresentação do estudo e seus objetivos, metodologia adotada, principais resultados encontrados, conclusões/ recomendações. Deve ter no máximo 4 páginas.

� Introdução – contexto e antecedentes da avaliação: caracterização do problema, justificativa do estudo, finalidade da avaliação, perguntas avaliativas, circunstâncias especiais.

� Metodologia – desenho da avaliação: coleta e análise dos dados, limitações. Texto curto com maior detalhamento nos anexos (cópias dos instrumentos utilizados, cálculo de tamanho de amostra, etc.).

� Resultados – principais resultados encontrados apresentados em gráficos e tabelas com breve análise.

� Conclusões – síntese dos dados encontrados apresentados de maneira a responder às perguntas avaliativas.

� Recomendações – prescrição do que deve ser feito a partir das conclusões do estudo. O nível de detalhe das recomendações depende da finalidade da avaliação e do perfil dos seus clientes.

� Referências Bibliográficas – identificação de todo o aporte bibliográfico que norteou a avaliação.

� Anexos – instrumentos para coleta de dados utilizados, procedimentos metodológicos adotados, dados adicionais obtidos ou com maior desagregação, outros documentos relevantes.

19/05/2010

108


Lycia Tramujas Vasconcellos NeumannOficina ministrada para técnicos da Prefeitura Municipal de Curitiba - 2010

Este material foi desenvolvido tendo como base as seguintes obras e documentos

Referências Bibliográficas

19/05/2010

109


ActKnowledge; Aspen Institute Roundtable on Community Change. (2003). Theory of Change . Guided example: Project Superwomen. Disponível emwww.theoryofchange.org

Alberta Consultative Health Research Network. (2001-2002) .Evaluability Assessment . Disponível em http://www.achrn.org

Almeida, Maria Cristina Salomão. (s.d.). Roteiro para elaboração de projeto.Disponível em www.fibrj.com.br/projetos_sociais.htm

Bardach, Eugene. (2000). A practical guide for policy analysis: the eightfol d path to more effective problem solving . New York: Seven Bridges Press, LLC.

Borden, L.M.; Perkins, D.F. (1999). Assessing your collaboration: A self evaluation tool . Journal of Extension, Vol.37, No.2.

Buvinich, Manuel Rojas. (1999). Ferramentas para monitoramento e avaliação de programas e projetos sociais. Unicef.


Canada. Federal/Provincial/Territorial Committee of Officials for the Federal/Provincial/Territorial Ministers Responsible for Seniors. The Seniors’ policy handbook: a guide for developing and evaluating pol icies and programs for seniors . Junho de 2009.

Chianca, Thomaz; Marino, Eduardo; Schiesari, Laura. (2001).Desenvolvendo a cultura de avaliação em organizações da sociedade civil . São Paulo: Editora Global.

Curitiba. Prefeitura Municipal. (2002). Modelo colaborativo: Experiência e aprendizados do desenvolvimento comunitário em Curitiba . Curitiba: Instituto Municipal de Administração Pública.

Frank, F.; Smith, A. (2000). The partnership handbook . Escrito para Human Resources Development Canada. Disponível em www.hrdc-drhc.gc.ca/common/partnr.shtml

GETS .Grupo de Estudos do Terceiro Setor; United Way of Canada – Centraide Canada. Facilitando oficinas: da teoria à prática . São Paulo, 2002.

19/05/2010

110

Hodges, S.; Nesman, T.; Hernandez, M. (1999). Promising practices: building collaboration in systems of care. Systems of Care: Promising Practices in Children’s Mental Health, 1998 Series, Volume VI. Washington, D.C.: Center for Effective Collaboration and Practice, American Institutes for Research.

Höfling, Eloisa de Mattos. Estado e políticas (públicas) sociais . Cadernos Cedes, ano XXI, nº 55, novembro/2001.

Hourton, Douglas et al. (2003). Evaluating capacity development: experiences from research and development organizations around the w orld. IDRC.

Instituto do Banco Mundial. (s.d.). Introdução ao monitoramento & avaliação:apostila do participante.

Instituto Ecoar para a Cidadania. (2010). Oficina de Futuro . Disponível em www.ecoar.org.br/website/edu_oficina.asp



International Development Research Centre.Identifying the Intended Use(s) of an Evaluation . Abril de 2004. Disponível em www.idrc.ca

_________. Identifying the Intended User(s) of an Evaluation . Março de 2004. Disponível em www.idrc.ca

Marino, Eduardo. (2001). Avaliação: a mudança do paradigma . Artigo parte do livro Desenvolvendo a Cultura da Avaliação em Organizações da Sociedade Civil. São Paulo: Instituto Fonte

Marino, Eduardo; Cancellier, Everton L. P. de Lorenzi. (2004). Ciclo de vida de projetos Sociais: um estudo dos projetos de Vitae – Apoio à Cultura, Educação e Promoção Social . Artigo escrito para o Programa de Liderança para o Desenvolvimento Local Sustentável no Nordeste.

McNamara, Carter. Basic Guide to Program Evaluation . (1999). Disponível em www.mapnp.org

Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004). Desenvolvimento comunitário baseado em talentos e r ecursos locais - ABCD . São Paulo: Editora Global.

19/05/2010

111

Neumann, Lycia Tramujas Vasconcellos; Neumann, Rogerio Arns. (2004). Repensando o investimento social: a importância do protagonism o comunitário . São Paulo: Editora Global.

Osborne,D., & Gaebler, T. (1993). Reinventing Government: How the Entrepreneurial Spirit is Transforming the Public S ector . New York: Plume.

Patton, Michael Quinn. (1997). Utilization-focused evaluation: the new century text. Londres: Sage Publications.

_________. (2000). Utilization-focused evaluation in Africa . Training sessions delivered to the Inaugural Conference of the African Evaluation Association.

Pereira, Elson Manoel. (2007). Políticas públicas: conceitos e condicionantes . Disponível em http://www.alesc.sc.gov.br

Pogoda, Cristina Fedato; Pires, João Teixeir; Moretti, Telma. (s.d.). Avaliação de resultados de programas e projetos sociais . Estudo de caso elaborado para o VI SEMEAD.


Rodrigues, Maria Cecília Prates. (1998). Avaliação e monitoramento . Texto base para a disciplina de Monitoramento e Avaliação ministrada no âmbito do curso de Gerência de Programas Sociais, promovido pela FESP/ISAPE/CPG.

Rua, Maria das Graças. (2000). Avaliação de políticas e programas: notas introdutórias . Mimeo.

São Paulo (Estado). Secretaria do Meio Ambiente. Coordenadoria de Planejamento Ambiental Estratégico e Educação Ambiental. Manual para Elaboração, Administração e Avaliação de Projetos Socioambienta is. São Paulo: SMA / CPLEA, 2005.

Schlithler. Célia Regina Belizia. (2004). Redes de desenvolvimento comunitário: iniciativas para a transformação social . São Paulo: Editora Global.

Schuckar. Myriam. (2005). Captação de recursos para projetos sociais . Disponível em www.usc.br/assecom/encontropsm1.ppt

Silva, Marcos José Pereira da. (2010). Elaboração de projetos sociais . Artigo publicado na Revista Carta na Escola. Disponível em www.acaoeducativa.org.br.


19/05/2010

112

Stephanou, Luis. (s.d). Projetos sociais: importância para a sustentabilida de. Disponível em www.me.org.br.

Stephanou, Luis; Muller, Lúcia Helena; Carvalho, Isabel Cristina de Moura. (2003). Guia para a elaboração de projetos sociais . Porto Alegre: Editora Sinodal e Fundação Luterana de Diaconia.

United Way of America. (1996). Measuring program outcomes: a practical approach .

Whitaker. Francisco (1993). Rede: uma estrutura alternativa de organização . Série Procurando entender – Textos para discussão.

W.K. Kellogg Foundation. (2001). Logic Model Development Guide: Using Logic Models to Bring Together Planning, Evaluation, & Ac tion.

Worthen, Blaine. (2004). Avaliação de programas: concepções e práticas . São Paulo: Editora Gente.

Wright, J.D. ; Rodal, A.B. (1997). Partnerships and Alliances. New Public Management and Public Administration in Canada.


Contato:

LYCIA TRAMUJAS VASCONCELLOS NEUMANN

(41) 9674-7490

[email protected]

Apostila to Monitor Amen To e Avaliacao de Projeto Sociais

Documents

Transcript of Apostila to Monitor Amen To e Avaliacao de Projeto Sociais