Processo Construcao Indicadores Sociais Avaliacao Resultados [MariaCarmoBrantCarvalho_Mcidades]

PROGRAMA HABITAR BRASIL Seminário Técnico

PÓS-OCUPAÇÃO NOS PROJETOS INTEGRADOS DE URBANIZAÇÃO DE ASSENTAMENTOS SUBNORMAIS -

UAS/HBB

O PROCESSO DE CONSTRUÇÃO DE INDICADORES SOCIAIS PARA AVALIAÇÃO DE RESULTADOS

CONCEITOS BÁSICOS

AVALIAÇÃO, INDICADORES, DESCRITORES E PROCEDIMENTOS METODOLÓGICOS

Maria do Carmo Brant de Carvalho

Rosangela Dias Oliveira da Paz

A avaliação é uma disciplina científica jovem.

No campo da política pública, nasce no começo do século 20 centrada basicamente na avaliação das políticas públicas de saúde e educação.

A avaliação na concepção tradicional buscou ancoragem nos métodos econométricos voltados a mensurar o social. Aqui a mensuração se torna praticamente sinônimo de avaliação. A estatística ganhou primazia desprezando mesmo, uma perspectiva multidisciplinar queenvolve os aportes da sociologia, da antropologia e de outras ciências.

Um arsenal de testes e medidas estatísticas foi colocado à disposição do pesquisador / avaliador com vistas a aferir reultados. Foi um tempo de glória da chamada avaliação quantitativa.

Se as concepções tradicionais colocaram ênfase na mensuração de metas e resultados produzidos (avaliação quantitativa), as concepções seguintes colocaram a ênfase na lógica dos atores que movem o projeto e, portanto, na avaliação dos processos que imprimem direção e dinâmica à ação (avaliação qualitativa).

Hoje há busca de síntese: uma tendência em se valorizar concepções mais abrangentes e totalizantes de avaliação no campo social, que busquem apreender o programa desde sua formulação, sua implementação, sua execução, processos, resultados e impactos.

Uma avaliação que busque captar a inter-relação entre sistemas de ação e a lógica dos atores.

Não mais uma avaliação apenas de resultados, mas também de processos.

Não mais uma avaliação que apenas mensura quantitativamente os benefícios ou malefícios de uma política ou programa, mas que qualifica decisões, processos, resultados e impactos.

Podemos dizer que Avaliação é atribuição de valor sobre o grau de eficiência, eficácia e efetividade de políticas, programas e projetos sociais com base em pressupostos teórico políticos, parâmetros e padrões que asseguram objetividade e comparação na atribuição de valor.

Avaliar é julgar a importância de uma ação em relação a um determinado referencial valorativo, explicito e aceito como tal pelos sujeitos que avaliam. Avaliar então, não significa apenas medir, mas julgar a partir de um referencial de valores.

Assim compreendida, identifica processos e resultados, compara dados de desempenho, julga, informa e propõe.

Reforça-se, hoje, a exigência da avaliação de ações públicas enquanto dever ético, já que está em questão, escassos recursos e enormes volumes populacionais, exigindo a maior probidade no gasto e maior distributividadenos ganhos sociais e econômicos.

AVALIAÇÃO

Não há avaliação sem monitoramento. O monitoramento registra e armazena informações substantivas no continuum da ação de uma política / programa; isto é da cadeia de ações e relações processadas. É requisito imprescindível para o exercício da avaliação enquanto um instrumento de gestão.

Porém, o monitoramento só é possível quando as ações são vem desempenhadas e programadas para intervir em problemas bem definidos.

O monitoramento das ações é condição necessária para se assegurar avaliações consistentes de resultados e impactos.

É possível dizer que a avaliação é um processo contínuo que abarca o programa na sua concepção, implementação e resultados.

Quando adota metodologias participativas, sua condução converte-se em possibilidade de aprendizado social / coletivo permitindo aos envolvidos a apropriação reflexiva do processo / programa.

A avaliação é, nesse sentido, processo científico importante na produção de conhecimentos sobre a ação.

AVALIAÇÃO E MONITORAMENTO

Metodologias de avaliação seguem um percurso que articula em aspiral, por aproximações e percepções cumulativas, o contexto em que se dá o programa, insumos e inputs, processos (negociação, implementação, realização) e produtos.

Tem sempre a perspectiva de apreender a lógica da ação planejada e a lógica dos atores no desenvolvimento do programa.

Por isso mesmo, exige a adesão e participação dos sujeitos implicados (gestores, técnicos e beneficiários) no próprio processo e produção avaliativa do programa social em questão. A adesão e participação dos implicados é de fundamental importância, pois sóassim transforma-se em aprendizado coletivo sobre a ação e sobretudo a avaliação converte-se em instrumento de aprimoramento do programa.

ABORDAGENS METODOLOGICAS

As metodologias de avaliação devem considerar:

A apropriação contínua e articulada do contexto, inputs, processos e produtos;

O monitoramento sistemático do desenvolvimento do Programa e de cada um dos seus componentes e produtos, nas suas diversas etapas, correlacionando objetivos, estratégias e resultados;

Uma abordagem quali-quantitativa que permita apreender processos e produtos;

O aprendizado e desenvolvimento contínuo das equipes locais e das instituições envolvidas gestando uma efetiva “comunidade de aprendizagem”; e um processo coletivo de avaliação;


A construção de indicadores de eficiência, eficácia e efetividade que permitam a comparação com parâmetros regionais / nacionais e, igualmente, com padrões de qualidade / cobertura que se busca atingir;

A seleção de informações necessárias, sistema de coleta, armazenamento, análise e validação.


a) Avaliação ex-ante: também chamada marco zero, precede, ou se inicia com a própria ação programada para aferir sua pertinência, consistência, coerência, viabilidade política, técnica e financeira. Neste momento, é preciso perguntar sobre a relevância do programa, sobre seu desenho propriamente e em conseqüência sua exeqüibilidade e potencial de efetividade pretendido.

A avaliação ex-ante se vale de:

parâmetros, padrões, referências normativas que orientam o desenho e proposta do programa;

dados secundários consolidados e disponíveis (IBGE, IPEA, INEP, PNUD) que justifiquem a pertinência do programa/ação em uma dada realidade e para o público-alvo escolhido e, igualmente dados primários sobre a realidade que se pretende intervir;

CICLO AVALIATIVO

as pré-condições de eficácia em sua implementação, ou seja, a “concertação” municipal, microrregional ou estadual processada para assegurar adesão, legitimidade e sustentabilidade ao Programa; os recursos disponíveis e alocados para sua consecução.

Em síntese, a avaliação ex-ante coloca foco no desenho do programa, em seus objetivos, metas e estratégias. Mas igualmente coloca foco no contexto e inputs / insumos que lhe garantam pertinência e sustentabilidade.

CICLO AVALIATIVO

A avaliação ex-ante incide, portanto sobre:

O desenho da política/programa com base em parâmetros e referências normativas que o justificam;

Os dados secundários e primários que balizam a intervenção social;

A concertação entre os sujeitos implicados na intervenção programada; garantia de recursos e de gestão.

Os indicadores nesta fase são em geral referidos a:

Consistência do programa;

Coerência entre objetivos, estratégias e resultados pretendidos;

Viabilidade política e financeira;

Legitimidade da ação proposta.

CICLO AVALIATIVO

b) Avaliação de desempenho do Programa: Na avaliação de desempenho contempla-se não apenas resultados, mas igualmente os processos de sua implementação que explicam a variabilidade de seus resultados e impactos.

Informação e divulgação;

Seleção e capacitação dos agentes executores; seleção do público-alvo;

Apoio logístico; financiamento;

Bases sociais de apoio (eficiência social)1;

Resultados: referem-se aos resultados quantitativos dos programas obtidos nas suas atividades afins. Nesse sentido, dão uma medida de sua eficácia.

CICLO AVALIATIVO

1 Ver Sonia Draibe, TENDÊNCIAS E PERSPECTIVAS NA AVALIAÇÃO DE POlÌTICAS E PROGRAMAS SOCIAIS, Ed. Cortez, 2002.

c) Avaliação de impactos (efetividade), a ser realizada algum tempo após a finalização do programa. A avaliação de impactos ésempre tarefa complexa e onerosa, pois busca medir o grau de efetividade das mudanças desejadas pelo programa expressas em sua finalidade maior. São complexas exatamente porque se trata de aferir efeitos “líquidos”, imputáveis às ações e resultados produzidos no âmbito da ação programática.

O monitoramento, avaliação de desempenho e avaliação de impacto exigem a definição e escolha de indicadores que permitam sinalizar processos, resultados e impactos desejáveis e obtidos pelo programa. Por isso mesmo os indicadores orientam as informações a serem coletadas no continuum da ação programada.

CICLO AVALIATIVO

1) Indicadores são sinalizadores de processos e de resultados relativos a uma dada ação planejada. Funcionam como um “termômetro” criado para orientar e aferir a observação, registro e avaliação de planos, programas, ações pretendidas.

2) Os indicadores são concebidos a partir de parâmetros, padrões, concepções expostas no plano de ação previsto. São definidos com base nos objetivos / resultados e estratégias de condução do plano de ação. Indicadores têm direta relação com a etapa programática e foco avaliativo.

CONSTRUÇÃO DE INDICADORES

Quando se busca uma avaliação ex-ante, no geral os indicadores dizem respeito a fidedignidade dos dados diagnósticos que justificam dado programa / projeto e seu desenho; a coerência / consistência / viabilidade do programa que se propõe; a “concertação” com os agentes locais e parceiros no empreendimento que se propõe.

Os indicadores de implementação dizem respeito ás condições / processos que garantem eficiência e eficácia ao projeto em implementação (veiculação de informações / seleção e capacitação dos agentes técnicos / envolvimento da população local / insumos e inputs alocados).

Os indicadores de desempenho dizem respeito aos resultados e impactos conquistados em relação aos objetivos e metas planejadas, no processo (resultados parciais) e após (resultados e impactos) assim como o grau de satisfação dos beneficiários da ação.


3) Os indicadores devem ser claros e consensuados de forma a permitir a todos os envolvidos (coordenadores, gestores, equipestécnicas, moradores, comunidade) observar e acompanhar o desempenho do plano de ação; que todos possam participar na avaliação da ação em que estão envolvidos. Assim, os indicadores se tornam instrumentos de poder, pois permitem interlocução e interferência substantiva dos vários envolvidos.


4) A escolha de indicadores considera:

A disponibilidade e facilidade na obtenção de informações;

A clareza de significado (auto explicativo);

A pertinência e consistência;

A universalização e constância do uso.


5) Os indicadores orienta, a coleta de informações; isto é orientam a escolha de instrumentos (roteiros de observação, fichas, questionários, testes, provas, etc.), os modos de coleta (observação, registro fotográfico, reunião, depoimentos, entrevistas, etc.) e a escolha dos sujeitos privilegiados na produção e oferta de informações (coordenadores, lideranças, famílias, comunidade, organizações).


O acompanhamento (via indicadores) é feito com base nos dados qualitativos e quantitativos coletados e, num diálogo constante entre todos os parceiros. Só assim, será possível a construção de um quadro articulado de representações que sinalizem as diferentes formas pelas quais se compreende o Plano de ação, se incorpora seus pressupostos e se planeja / replaneja ações para viabilizar resultados pretendidos.

PRINCIPAIS INDICADORES AVALIATIVOS UTILIZADOS NO MONITORAMENTO DE

PROGRAMAS SOCIAIS PÚBLICOS

Clareza e existência explícita de regulação, normatização, coordenação, indução;

Capacidade gerencial e operacional de governos municipais e estaduais;

Oferta e monitoramento da oferta, de serviços das políticas públicas – compatível e sensível – a demanda;

Valoração da cidadania, democracia, participação e sustentabilidade;

Conservação / recuperação e manutenção dos serviços coletivos;

Transparência e controle público.

INDICADORES DE GOVERNANÇA

A governança pública é central, sobretudo quando a governabilidade social desejável torna-se desafio contínuo porque se apresenta descentrada, difusa, híbrida.

Continuidade programática;

Gasto social; condições básicas de financiamento e custeio;

Compromisso com metas anunciadas;

Agilidade nos repasses acertados com as diversas esferas de governo;

Real descentralização e municipalização

Capacitação continuada de governantes públicos municipais sobretudo, no que refere a capacidade gerencial e operacional.

INDICADORES DE DESEMPENHO GERENCIAL DO PROGRAMA

Acesso a condições elementares de vida (serviços de saúde, saneamento, alimentação, ...);

Acesso aos meios de aprendizagem e ao conhecimento básico (pré-escola, ensino fundamental, ensino médio, ensino de terceiro grau...);

Acesso a oportunidades de emprego (revitalização da economia, qualificação da mão-de-obra, programas de geração de emprego e renda, micro-crédito, assistência técnica...);

Acesso a serviços e programas de proteção social;

Oportunidades de desenvolvimento para jovens.

INDICADORES DE INCLUSÂO SOCIAL

Avanços na inclusão social exige o monitoramento da oferta pública: serviços públicos alocados para produzir qualidade de vida. (alocação monitorada de serviços públicos em quantidade, diversidade e qualidade necessárias para assegurar cobertura e eficácia.

Valorização de regras de convivência: comunicação, diálogo, tolerância e respeito às diferenças e à diversidade sócio cultural;

Sentido de pertencimento;

Redes organizadas de expressão e ação coletivas, dinamismo civil;

Comunicação e sociabilidade;

Crescimento do capital social;

Presença da ética e da estética na vida micro local;

Confiança ativa (Guiddens).

INDICADORES DE PERTENCIMENTO SOCIAL

Há já alguma literatura nacional sobre avaliação de programas de habitação de Interesse Social.

Em geral dizemos que são avaliações complexas porque tratam de abarcar objetivos múltiplos e várias dimensões, que articuladas incidem sobre o habitar com inclusão social. Incluem, também, sobretudo na sua implementação descentralizada, um conjunto heterogêneo de gestores, parceiros, executores e demandatários o que configura igualmente complexidade.

AVALIAÇÃO DE POLÍTICAS E PROGRAMAS DE HABITAÇÃO DE INTERESSE SOCIAL

Há então no desenho de avaliações neste campo pelo menos dois desafios:

• O desafio de formular objetivos sintéticos que garantam unidade a empreendimentos fatiados na sua implementação e execução.

• O desafio de perseguir e expressar esta unidade no fazer dos diversos atores implicados no fatiamento da execução programática.

Neste contexto, a matriz avaliativa de políticas / programas de habitação de interesse social, requer recuperar a dimensão fim principal sobre a qual se abre e se desdobra em dimensões dependentes e interdependentes. Nessa arquitetura o trabalho social representa a costura estratégia das várias dimensões que integram o propósito principal; isto é, o fim último do programa habitacional de interesse social.


Com esse raciocínio, deve-se perguntar:

• Qual a dimensão fim principal?

• Quais são as dimensões e variáveis dependentes que a escolha de indicadores deve revelar?

Possíveis dimensões dependentes: relativos à área física (produto-moradia, qualidade dos materiais empregados, adequação de projeto, inserção urbana, preservação ambiental, etc.) e social (trabalho social, organização e participação comunitária).

• modalidades / tipologias de respostas ofertadas pelo Programa (sub programas);


os focos privilegiados na programática da política:

projeto físico arquitetônico

projetos de infra estrutura urbana

Inclusão Social

Educação Ambiental

Gestão Condominal

Acompanhamento e Assistência Técnica das alterações do ambiente construído

Gestão Integrada de projetos e equipe

Inserção Urbana (mobilidade de acessibilidade)


a cesta de insumos e inputs previstos:

composição de recursos: mix, contra-partida, cesta, etc.

critérios de seleção e elegibilidade

informação e divulgação junto ao público-alvo

capacitação das equipes de operação dos programas

... Outros insumos / condições de eficiência e eficácia dos programas

os territórios de intervenção:

municípios de pequeno, médio e grande porte;

desigualdades regionais e de demandas

o público-alvo

distintas expectativas e demandas

grau de adesão, apropriação, satisfação


Um programa habitacional de interesse social ganha eficácia quando implementado por meio de um competente trabalho social. É possível afirmar que o trabalho social compõe-se de um conjunto de processos e estratégias de informação, mobilização, advocacy social, organização e participação da população, animação comunitária. São todos eles processos que dão ancoragem as intervenções habitacionais propriamente ditas. Por isso mesmo ele representa a costura estratégica das várias dimensões e variáveis que integram o propósito principal; isto é, o fim último do programa habitacional de interesse social. Assim, os indicadores para avaliar trabalho social revelam-se não em suas atividades meio (informações prestadas, cursos, articulações realizadas...), mas nos propósitos maiores do programa.

TRABALHO SOCIAL EM PROGRAMAS DE HABITAÇÃO

Para análise do trabalho social destacamos cinco dos seus principais componentes:

Implementação / desenvolvimento de práticas educativas: informação e formação; é inerente ao trabalho social, permeando todo o processo de implantação dos programas e projetos habitacionais.

Desenvolvimento da Participação Social: entende-se a participação social como condição de eficácia na implementação de programas ou projetos sociais em âmbito local.


Desenvolvimento da Convivência: relações sociais e acessibilidade a espaços de convivência, lazer e cultura. A existência de vínculos sócio-comunitários, de relações solidárias e de cooperação assim como o usufruto de atividades culturais, esportivas e lúdicas, influenciam e fortalecem a coesão dos grupos no micro-território que habitam.

Desenvolvimento da Inclusão Social e Territorial: um programa ou projeto habitacional que não promova melhorias nas condições e qualidade de vida da população, para além das condições estritas da moradia, não cumpre seus objetivos e corre alto risco de comprometimento de seus resultados.

Articulação e promoção da acessibilidade aos diversos serviços públicos pela população alvo: é condição indispensável para que o trabalho social seja potencializado e atinja seus objetivos.

Ressalva-se que estes cinco componentes mantêm uma relação dinâmica entre si, com interferências mútuas, não podendo ser analisados de forma separada e estanque.


Processo Construcao Indicadores Sociais Avaliacao Resultados [MariaCarmoBrantCarvalho_Mcidades]

Documents

Transcript of Processo Construcao Indicadores Sociais Avaliacao Resultados [MariaCarmoBrantCarvalho_Mcidades]