Post on 24-Jun-2020
“Construção de Indicadores"
Ana Rojas Acosta
Março 2013
ALINHAMENTO CONCEITUAL
• O QUE É AVALIAÇÃO?
• O QUE É AVALIAÇÃO DE PROGRAMAS SOCIAIS?
• O QUE SÂO INDICADORES?
• O QUE SÃO INDICADORES SOCIAIS?
• O QUE SÃO INDICADORES DE AVALIAÇÃO?
• QUAL SUA IMPORTÂNCIA NOS PROGRAMAS SOCIAIS E NAS POLÍTICAS SOCIAIS?
Levantamento dos serviçose programas relativos
às várias políticas públicas
Conhecimento da realidade territorial
Conhecimento do perfil dapopulação e respectivos territórios onde vai incidir
a ação
Quadro de recursos humanos capacitado e
supervisionado
Sistema de planejamento e gestão capaz de aperfeiçoar e fundamentar ações
Diagnóstico
Conhecimento da realidade
DiagnósticoDiagnóstico
Dados socioeconômicos da população e do território
Dados socioeconômicos da população e do território
Relações sociais, costumes, cultura, religiosidade etc.(alcança a dimensãodo subjetivo, da cultura, dos valores, da ética)
Relações sociais, costumes, cultura, religiosidade etc.(alcança a dimensãodo subjetivo, da cultura, dos valores, da ética)
Perfil das famílias: suas vulnerabilidades e potencialidades e possibilidades
Perfil das famílias: suas vulnerabilidades e potencialidades e possibilidades
Redes e movimentos sociais, ONGs etc., pluralidade de atores e visões
Redes e movimentos sociais, ONGs etc., pluralidade de atores e visões
Conhecimento do perfil dapopulação e respectivos territórios onde vai incidir
a ação
Levantamento dos serviçose programas relativosàs políticas públicas
Serviços e programasexistentes no território e na região onde vivem as famílias
Serviços e programasexistentes no território e na região onde vivem as famílias
Atenção àdiversidade e complexidade das questões e da realidade
Atenção àdiversidade e complexidade das questões e da realidade
POLÍTICAS Atores Sociais (movimentos sociais, conselhos, ONGs e
outros)Redes e Parcerias
Atores Sociais (movimentos sociais, conselhos, ONGs e
outros)Redes e Parcerias
LOAS
ECA
SUAS
SUSAtenção à
fragmentação – não perder a noção de TOTALIDADE DA
REALIDADE
Atenção àfragmentação – não perder a noção de TOTALIDADE DA
REALIDADE
O Planejamento
Processo políticoProcesso
pedagógico
Processo técnico
operacional
Constrói conhecimento da realidade: análise e interpretação de dados
Sintetiza fatos e informações da realidade
Adequa-se às condições reais e concretas
Enfrenta jogo das vontades políticas
Compatibiliza diferentes interesses envolvidos
Mobiliza parcerias, acordos e pactos
Lida com idéias norteadoras e valores que fundamentam às decisões
PRESENTE FUTURO
MOVIMENTO
PLANEJAR
EXPRESSÃO DA QUESTÃO SOCIAL
QUE REQUER INTERVENÇÃO
LEITURA DA REALIDADE
PARA REFLETIR, DECIDIR E
AGIR
Plano/Programa/Projeto...........
REALIDADE EM TRANSFORMAÇÃO
PROPOR INTERVENÇÃO,
OBJETIVOS, METAS, AÇÕES, RECURSOS,
RESULTADOS, AVALIAÇÃO
MONITORAMENTO E AVALIAÇÃO
REPLANEJAMENTO
Avaliação
Avaliação é pensada como estratégia de fiscalização/punição.
Pensamento maniqueísta sobre os critérios de julgamento.
Avaliação é pensada como instrumento de poder político ou técnico.
Crença de que o conhecimento informal da prática é suficiente.
Herança do planejamento tradicional.
Mitos e representações sobre a avaliação:
Onde foi que eu errei?
O avaliador pode achar que meu trabalho é ruim e me prejudicar...
Se querem me avaliar, vou dizer o que eles querem ouvir...
É uma bobagem... só eu sei na prática quais são meus problemas!
Deve se avaliar no final da execução.
O que é avaliação?
Processo sistemático de análise das ações, características e resultados de um programa ou projeto a partir de critérios predefinidos.
Objetiva determinar o mérito ou relevância, qualidade, utilidade ou efetividade, gerando recomendações para correção ou melhoria das ações.
Avaliar é atribuir valor. Identifica processos e resultados, compara dados de desempenho, julga,
informa e propõe.
• Os objetivos estão sendo alcançados?
• O problema que se pretende superar ou minimizar está
sendo enfrentado?
•Quais os efeitos mais perceptíveis das ações
desenvolvidas?
Os recursos estão sendo aplicados nas ações prioritárias?
•A equipe está capacitada?
• Os beneficiários da ação estão utilizando o conhecimento
e os produtos da ação?
• Há participação da coletividade nos processos de
trabalho?
Aprender a perguntarUm bom avaliador é um bom perguntador
Aspectos importantes a considerar na
avaliação
Resultados de mais longo prazo, impacto do planejado sobre a situação, visão de totalidade; Benefícios ou mudanças
gerados;Incorporação permanente dos resultados.
Critérios: cobertura, relevância, abrangência, capacidade de influenciar políticas públicas,
de alterar estruturas.
Avaliação deve considerar
Adequação da ação aos objetivos e metas;Alcançar os resultados previstos e os
objetivos;
Congruência entre intenção e projeto planejado ou realizado.
Critérios: mudanças correspondentes aosobjetivos e metas do projeto.
Aspectos importantes a considerar
na avaliação
Padrão de qualidade e extensão de cobertura de atendimento
Otimização de recursos, prazos, custo.
Critérios: rendimento técnico e administrativo, capacidade de atender àdemanda, adequação do uso do espaço e
equipamentos.
Abordagens Avaliativas
Qualitativa
permite o estudo de questões, casos ou eventos mais ligados à lógica dos atores e das dinâmicas estabelecidas na
ação;
perspectiva subjetiva de mensuração (capta valores, atitudes, condutas, motivações, tensões).
Quantitativa
possibilita a realização de levantamento de informações sobre a lógica dos sistemas de ação, permitindo a realização de análises estatísticas, a comparação e generalização de resultados;
perspectiva objetiva de mensuração.
Pluralista
associa diferentes abordagens e métodos de pesquisa.
Avaliação inicial ou ex-ante (importância do marco zero)
avaliação de viabilidade, ponto zero, comportamento de entrada.
Avaliação de processo
realizado durante a implementação do programa.
Avaliação de resultados
realizada ao final da etapa de execução do projeto.
Avaliação pós-facto de impacto (ex-post)
realizada após a conclusão do projeto.
Fases da Avaliação
O que é Monitoramento?
É o processo sistemático de registro e armazenamento das informações substantivas durante a fase de execução da política, programa, projetos, serviços e equipamentos.....
Identifica-se com o acompanhamento e a avaliação sistemática e contínua, tanto das atividades, insumos, recursos, como dos efeitos e impactos das ações desenvolvidas. Por isso, éconsiderado parte integrante da gestão, construído por dentro do projeto, permitindo ajustes nos objetivos e ações até seu término. (IEE,2004)
O que é Monitoramento?
É preciso condições (técnicas e informacionais) para se estabelecer o fluxo e procedimentos para o registro e processamento das informações definidas como relevantes (com base nos indicadores).
É fundamental construir um sistema de monitoramento que possa capturar as informações necessárias e definidas como prioritárias para acompanhar o Programa e, posteriormente, criar os insumos precisos para a avaliação.
Indicador SocialÉ uma medida quantitativa com significado social substantivo (acadêmica) ou programático (paraformulação de políticas).
É um fator ou um conjunto de fatores que sinaliza ou demonstra a evolução, o avanço, o desenvolvimento rumo aos objetivos e às metas do projeto.
São parâmetros qualificados e/ou quantificados que detalham em que medida os objetivos foram alcançados. Como uma espécie de “marca” ou “sinalizador” que busca expressar aspectos da realidade sob uma forma que se possa observá-lo ou mensurá-lo; identificando uma variável que expressa o fenômeno de interesse.
A escolha dos indicadores sociais dependem de suas propriedades e da finalidade a que se
destinam.
Cada fase do processo de formulação e implementação de politicas e programas requer o
emprego de indicadores
Na avaliação de programas indicadores de diferentes tipos servem para medir eficiência,
eficâcia e efetividade.
PRESSUPOSTOS
Indicadores de Avaliação
• São ideias-síntese que representam o
aspecto, característica ou qualidade a
partir do que se fará a avaliação.
• São uma espécie de “marca” ou
sinalizador, que buscam expressar algum
aspecto da realidade a ser observado ou
medido.
QUANTITATIVOS OU QUALITATIVOS
AVALIAÇÃO QUALITATIVA INDICADOR QUALITATIVO
AVALIAÇÃO QUANTITATIVA INDICADOR QUANTITATIVO X
X
Quantitativos
• Quando procuram focar processos traduzíveis em
termos numéricos, tais como valores absolutos,
médias, porcentagens, proporções etc.
Qualitativos
• Quando relacionados a processos nos quais é
preferível utilizar referências de grandeza,
intensidade ou estado, impressões, relações e
outras manifestações de caráter não tangível.
Indicadores
Quantitativos e Qualitativos
A escolha de um indicador social deve ser pautada por suas
propriedadesDeve ter um grau de cobertura populacional adequado aospropósitos que se presta;
Deve ser sensível a políticas públicas implementadas;
Especifícos a efeitos dos programas….
Atualizável periodicamente;
Desagregável geografica, siociodemográfica e socioeconômica;
Historicidade para poder comparar; e
Inteligibilidade para garantir a transparência.
NÃO EXISTE TEORIA FORMAL QUE PERMITA ORIENTAR COM ESTRITA OBJETIVIDADE A SELEÇÃO DE INDICADORES
VERIFICAÇÃO
Grau de aderência do indicador proposto desejável de indicador social;
Validade como medida de desenvolvimento;
Confiável em perspectiva comparativa interregional;
Comparável com outras medidas existentes.
Sensível a esforços de políticas públicas;
Mudanças em um dos seus componentes;
Periodicidade da produção;
Esforço e custo justificados pelas suas aplicações;
Gasto necessário para sua produção e atualização com investimentos importantes;
Desagregado espacial ou populacionalmente para os mais desvantajados;
Série histórica do indicados comparável no tempo;
Construção intelegível, baseada em teoria social ou econômica abrangente;
Comunicável; Relevante; Traz algo de novo;
Contribui para que a exclusão social seja colocada em pauta.
MODELO DE AVALIAÇÃO
POLITICAS SETORIAISINDICADORES DE AVALIAÇÃO DE
RESULTADOS
INDICADOR-INSUMO INDICADOR-PROCESSO INDICADOR-PRODUTO
SAÚDERecurso: quantidade de médicos por mil habitantes ou gasto monetário per capita em saúde
Uso dos recursos: consultas ao mês por criança até 1 ano. Medicamentos distribuidos por mês por criança
Resultado efetivo: Taxa de morbidade ou mortalidade infantil por causa específica
EDUCAÇÃORecurso: quantidade de professores qualificados por mil crianças ou gasto monetário per capita em educação
Uso dos recursos: alunos por professor. Carga horária efetiva de aulas. Material escolar distribuido por aluno no ano
Resultado efetivo: Taxa de morbidade ou mortalidade infantil por causa específica.
ASSISTÊNCIA SOCIAL
Recurso: quantidade de assistentes sociais por habitantes gasto com os CRAS
Uso dos recursos: número de atendidos por famílias no PBF. Crianças na escola por crianças vacinadas por número de crianças desligadas.
Resultado efetivo: Índice de de vulnerabilidade. Melhoria na habitabilidade.
INDICADORES DE AVALIAÇÃO DE IMPLEMENTAÇÃO DOS PROGRAMAS
EFICIÊNCIA/ EFICÁCIA / EFETIVIDADE
PRINCIPAIS FONTES DE INDICADORES MUNICIPAIS
INSTITUIÇÃO FONTE DE DADOS TEMAS INVESTIGADOSPERIODICIDADE E DESAGREGAÇÃO
Censo demográfico Características demográficos, habitação, escolaridade, mão de obrea rendimentos
Decenal - Município setor censitário
Censo populacional População, migração Entre Censo - Município
Estatisticas do Registro Civil Nascimentos, óbitos, casamentos, etc. Anual - Distritos
Pesquisa básica de informações municipais
Infraestrutrura, recursos, finanças, equipamentos
Ministério de Trabalho RAIS / CAGED Empregos salários, admissões, demissões
Ministério de Educação Censo Escolar Alunos, professores, equipamentos
Ministério de Saúde DATASUS Est. Mortalidade, vacinações, equipamentos, recursos, morbidade
Ministério de Desenvolvimento Social e Combate à
GEOSUAS / DATASUAS Projetos sociais e perfil socioecômico dos municípios
IBGE
Anual - Municípios
Indicadores versus sistemas de indicadores:
o que é mais importante para o formulador de políticas?
Sistemas de indicadores que contemplem as múltiplas dimensões da realidade social
continuam sendo o melhor instrumento analíticode trabalho para os formuladores de políticas e
tomadores de decisão.
Sistemas de indicadores sociais
INSTITUIÇAO OBJETIVO GERAL TEMAS INVESTIGADOS
NAÇÕES UNIDAS Monitoramento do Desenvolvimento Socieconômico
População, saúde, educação, atividade econômica, renda, patrimônio, uso do tempo, segurança pública, monbilidade social, cultura, comunicação, lazer.
HABITAT Formulação e avaliação da Política de Desenvlolvimento Urbano
Uso do solo urbano, habitação, meio-ambiente, desenvolvimento socio-econômico, transporte urbano
SEADE Produzir, disseminar pesquisas estatísticas socioeconômicas e demográficas voltadas para juventude e indice paulista de vulnerabilidade social
Emprego, desemprego, juventude, transporte, saúde, população, segurança, justiça, saneamento...
Os indicadores sociais são insumosnecessários mas não suficientes no
processo de formulação e avaliação de políticas públicas.
Os diagnósticos são retratos parciais e enviesados da realidade (visão de mundodos técnicos);
As soluções vizualizadas e as especificaçõesdos programas estão determinadas a priori;
Defasagem entre planejamento e ação;
RH, potencializam ou criam barreras para suaefetivação.
O que
registrar?
Como
registrar?
Quando
registrar?
Definição do foco
Construção e/ou identificação de indicadores de
acompanhamento
Construção de instrumentais de coleta de dados
Definição dos momentos para levantamento de
dados
Seleção de bancos de dados com informações do
território
Para pensar sistema de Monitoramento devemos responder a três questões
básicas:
Arregui & Santos, 2009
Instrumentos e Métodos
de Coleta de Dados
Pessoas como fonte de informação
Questionário
Entrevistas
Depoimentos
Grupo focal
Observação informal
Testes
Debates
Fichas (frequência, cadastro, inscrição...)
Informações já existentes
• Estudo de documentos, dados disponíveis sobre a população- alvo ou
o problema a ser enfrentado;
• Estatísticas e pesquisas já produzidas;
• Levantamento de dados publicados sobre o tema na internet, nos
jornais etc.
Considerações Finais
• Conhecimento do significado, dos limites e potencialidadedos indicadores sociais para formulação e implementaçãodas políticas públicas principalmente as de âmbitomunicipal.
• Aprofundar a análise e a formulação da política.• A avaliação deve olhar para as necessidades daqueles
para quem o programa (projeto, serviços etc) foi criado e para as mudanças mais imediatas e observáveis com relação à situação inicial e aos objetivos estabelecidos.
Disseminação e uso das informações geradas• Como os diferentes públicos se apropriam dos resultados
da avaliação (funcionários, usuários, financiadores e parceiros);– Como se incorporam os resultados das avaliações nos
Planos Municipais?
Obrigada!BibliografiaCARVALHO, MARIA DO C. B.(2000) Avaliação de Projetos Sociais. In Gestão de Pojetos Sociais, Ed.
Capacitação Solidária, AAPC, São PauloCOHEN, Ernesto & FRANCO Rolando (1993) Avaliação de projetos sociais. Petrópolis, Vozes.
FIGUEIREDO, Marcus & FIGUEIREDO Argelina M.C. (1986) Avaliação Política e Avaliação de Políticas Públicas. IDESP, São Paulo, n. 15.
Instituto de Estudos Especiais. Material didático para o Curso de Elaboração do Plano Municipal de Assistência Social – Alagoas, 2009.
JANNUZZI, Paulo de Martino Repensando A Prática de Uso de Indicadores Sociais na Formulação de Políticas Municipais. In Qualidade de Vida, Tânia Keinert e Ana Paula Karruz (Orgs.) Fapesp, Annablume, 2002
PEREIRA, A.P Potyara, Política de Assistência Social para a Pessoa Idosa,1998.
Legislação
LOAS, 1993.
NOB RH, 2005.
PNAS, 2004
Sites
www.ibge.gov.br/observatoriodaequidade
www. seade.gov.sp.br
www. aplicacoes.mds.gov.br
www.pnud.org.br