Post on 22-Apr-2015
TENDÊNCIAS DA AVALIAÇÃO NO ÂMBITO DAS POLÍTICAS PÚBLICAS –
DESAFIOS E PERSPECTIVAS
Profª. Dra. Helena Lúcia Augusto Chaves
AVALIAÇÃO – ASPECTOS CONCEITUAIS
Diagnóstico da Situação; Métodos de Avaliação; Técnicas de Avaliação; Medição de Impacto; Técnicas e procedimentos para
aferição da efetividade e eficácia de políticas, programas e projetos sociais
AVALIAÇÃO ≠ MONITORAMENTO
Julga: Mérito; Valor dos
componentes de um programa;
Atividades realizadas e a realizar;
Finalidade: Produzir resultados
Acompanhamento da execução;
Atividade gerencial; Intervenção no
curso do processoVisa: Subsidiar decisões; Identificar e corrigir
problemas
AVALIAÇÃO MONITORAMENTO
FORMAS e TENDÊNCIAS DA AVALIAÇÃO
Quanto à temporalidade1. Avaliação ex-ante: realizada antes do
início de implementação de um programa.
Identifica se um programa deve ser executado;
Projeta o que aconteceria com algumas características da população beneficiária caso o programa fosse executado;
Compara custos e benefícios da iniciativa com as alternativas disponíveis à sua implantação.
2. Avaliação ex-post: realizada após a consolidação ou na fase final de um programa.
Mede resultados e impactos.
As avaliações de impacto são geralmente mais caras que as avaliações ex-ante, por exigirem levantamento de dados primários sobre o público-alvo, caso o programa não disponha de um sistema de monitoramento desenvolvido.
QUANTO AO OBJETO
1. Avaliação de processo: Avaliação para identificar os aspectos da
implementação; Considera insumos, processos e produtos; Avalia ganhos ou perdas no atendimento às
metas do programa junto ao seu público-alvo.2. Avaliação de resultados: Avaliação do nível de transformação da
situação a qual o programa se propõe a modificar;
Expressa o grau em que os objetivos do programa foram alcançados.
3. Avaliação de impacto: Avaliação de resultados; Busca conhecer os efeitos produzidos pelo
programa em algum(uns) aspecto(s) da realidade afetada pela sua existência;
Geralmente está relacionada a resultados de médio e longo prazo;
Visa identificar, compreender e explicar as mudanças nas variáveis e fatores relacionados à efetividade do programa.
QUANTO À EXECUÇÃO
1. Avaliação interna: Realizada dentro da organização onde se
localiza o programa; Conduzida por unidade diferente da executora; Na autoavaliação, os trabalhos são realizados
pela equipe responsável pela gestão do programa;
As principais vantagens são: menor custo e melhor aproveitamento no aprendizado institucional e na melhoria do gerenciamento do programa;
Em geral, as organizações são mais receptivas à informação produzida internamente.
2. Avaliação externa: Realizada por instituições externas; Tende a apresentar maior credibilidade junto
ao público externo; Utiliza padrões mais rígidos de análise; O distanciamento da posição do avaliador
em relação ao que está sendo avaliado possibilita maior objetividade na análise;
DECRETO Nº 5.233 DE 6 DE OUTUBRO DE 2004
Estabelece normas para a gestão do Plano Plurianual 2004-2007 e de seus Programas e dá outras providências.
Art. 8o Fica instituído, nos termos do § 1o do art. 9o da Lei no 10.933, de 2004, o Sistema de Avaliação do Plano Plurianual, no âmbito do Poder Executivo, sob a coordenação do Ministério do Planejamento, Orçamento e Gestão, competindo-lhe definir diretrizes e orientações técnicas para seu funcionamento.
§ 1o O Sistema de Avaliação do Plano Plurianual será apoiado por uma Comissão de Monitoramento e Avaliação do Plano Plurianual, a ser instituída no Ministério do Planejamento, Orçamento e Gestão, e por unidade de monitoramento e avaliação de cada Ministério, órgão equivalente ou de cada Secretaria Especial da Presidência da República.
§ 2o Caberá à Comissão de Monitoramento e Avaliação do Plano Plurianual elaborar propostas de normas e procedimentos gerais, relativos ao monitoramento e avaliação dos programas do Poder Executivo, bem como oferecer elementos técnicos que orientem o processo de alocação de recursos orçamentários e financeiros e a revisão dos programas, com vistas ao alcance dos resultados.
§ 3o A Comissão de que trata este artigo será constituída por representantes de órgãos do Poder Executivo e contará com suporte técnico e administrativo da Secretaria de Planejamento e Investimentos Estratégicos do Ministério do Planejamento, Orçamento e Gestão.
§ 4o À unidade de monitoramento e avaliação, de cada órgão, cabe apoiar a elaboração dos planos gerenciais, o monitoramento e a avaliação dos programas, bem como oferecer subsídios técnicos que auxiliem na definição de conceitos e procedimentos específicos.
§ 5o A Secretaria-Geral da Presidência da República e o Ministério do Planejamento, Orçamento e Gestão definirão, em conjunto, diretrizes para a participação da sociedade civil na avaliação dos programas e do Plano Plurianual.
OBJETIVO FUNDAMENTAL DO SMA
Assegurar que o monitoramento e a avaliação sejam utilizados pela administração pública federal como parte integrante da gestão de programas, com vistas a obtenção de melhores resultados pelo governo e de modo a fornecer subsídios para a tomada de decisão e a melhoria da qualidade da alocação dos recursos no Plano e nos Orçamentos anuais.
OBJETIVO FUNDAMENTAL DO SMA
PLANO PLURIANUALFunção: Organizar a atuação governamental em programas; Orientar uma administração pública por resultados;Objetivos da gestão por programas: Alcançar os resultados mediante a utilização de
processos estruturados e instrumentos adequados à integração das ações em torno de programas, motivando a tomada de decisão e a correção de rumos a partir de sua orientação estratégica e de sua programação.
Essa gestão pressupõe a utilização sistemática dos mecanismos de elaboração, monitoramento, avaliação e revisão do Plano durante sua execução, conforme ilustra a Figura 2.
METODOLOGIA DE AVALIAÇÃO ANUAL DO PPA
OBJETIVOS DA AVALIAÇÃO ANUAL DO PPA
Proporcionar maior transparência às ações de governo: fornece informações sobre o desempenho de programas e serve como meio de prestação de contas ao Congresso Nacional e à Sociedade.
Auxiliar a tomada de decisão: proporciona informações úteis à tomada de decisões relativas à ação governamental.
Promover a aprendizagem e a disseminação do conhecimento nas organizações: amplia o conhecimento dos gerentes e de suas equipes sobre o programa.
Aperfeiçoar a concepção e a gestão do plano e dos programas: tem a finalidade de assegurar o aperfeiçoamento contínuo dos programas e do Plano, visando melhorar seus resultados, otimizando o uso dos recursos públicos.
O produto final das três etapas da Avaliação Anual do PPA compõe o Relatório Anual de Avaliação, entregue até o dia 15 de setembro ao Congresso Nacional.
Quais as possibilidades e potencialidades das perspectivas correntes de avaliação para a compreensão do surgimento, desenvolvimento e funções das políticas sociais no enfrentamento das desigualdades sociais e da garantia dos direitos sociais nas sociedades capitalistas?
COMPREENSÃO MULTIDIMENSIONAL
ARTICULAÇÃO PROCESSUAL
RESSIGNIFICAÇÃO CONTEXTUAL
Avaliação das políticas sociais nas relações contraditórias entre Estado e sociedade capitalista.
AVALIAÇÃO DA EDUCAÇÃO SUPERIOR NO BRASIL
Década de 70: Instituição da política de avaliação da pós-graduação
pela CAPES Década de 80: Programa de Avaliação da Reforma Universitária –
PARU(1983) Década de 90: PAIUB (1994): Programa construído pelas IES, com o
objetivo de desenvolver um processo de avaliação institucional. primeira tentativa de implantação de um sistema nacional de avaliação institucional da educação superior no país
Exame Nacional de Cursos – ENC/Provão (1996): Propôs nivelar as IES em termos de qualidade, mas não atendeu aos objetivos.
Sistema Nacional de Avaliação da Educação Superior – SINAES (2004)
SISTEMA NACIONAL DE AVALIAÇÃO DA EDUCAÇÃO SUPERIOR - SINAES
Criado pela Lei n° 10.861, de 14 de abril de 2004;
Formado por três componentes principais: a avaliação das instituições, dos cursos e do desempenho dos estudantes.
avalia todos os aspectos que giram em torno desses três eixos: o ensino, a pesquisa, a extensão, a responsabilidade social, o desempenho dos alunos, a gestão da instituição, o corpo docente, as instalações e vários outros aspectos;
Possui uma série de instrumentos complementares: auto-avaliação, avaliação externa, Enade, Avaliação dos cursos de graduação e instrumentos de informação (censo e cadastro);
Os resultados das avaliações possibilitam traçar um panorama da qualidade dos cursos e instituições de educação superior no País.
Os processos avaliativos são coordenados e supervisionados pela Comissão Nacional de Avaliação da Educação Superior (Conaes);
A operacionalização é de responsabilidade do Inep.
As informações obtidas com o Sinaes são utilizadas pelas IES, para orientação da sua eficácia institucional e efetividade acadêmica e social; pelos órgãos governamentais para orientar políticas públicas e pelos estudantes, pais de alunos, instituições acadêmicas e público em geral, para orientar suas decisões quanto à realidade dos cursos e das instituições;
Baseia-se na avaliação institucional, que compreende a avaliação externa e a avaliação interna, principalmente com seu componente central, a auto-avaliação.
Objetivos do SINAES
identificar mérito e valor das instituições, áreas, cursos e programas, nas dimensões de ensino, pesquisa, extensão, gestão e formação;
melhorar a qualidade da educação superior;
orientar a expansão da oferta; promover a responsabilidade social das IES,
respeitando a identidade institucional e a autonomia.
INSTRUMENTOS - AVALIAÇÃO SINAES
Processos de avaliação: Avaliação institucional integrada por diversos
instrumentos complementares: auto-avaliação, avaliação externa, Enade, condições de ensino e instrumentos de informação (censo e cadastro).
Coletas de informações: a) Censo da Educação Superior (integrado ao Sinaes e
incluindo informações sobre atividades de extensão). b) Cadastro de Cursos e Instituições (integrado ao
Sinaes). c) CPA: Comissão Própria de Avaliação (criadas nas IES
com a atribuição de conduzir os processos de avaliação interna da instituição, da sistematização e de coleta de informações).
RESULTADOS
A divulgação dos resultados abrange: instrumentos de informação (dados do censo,
do cadastro e outros); avaliação de mérito e de valor (pareceres
das comissões de avaliação, informações sobre infra-estrutura, desenvolvimento profissional e condições de trabalho do corpo docente e técnico-administrativo, acervo bibliográfico, condições dos laboratórios didáticos e de pesquisa).
CONCEITOS
No Sinaes a integração dos instrumentos (auto-avaliação, avaliação externa, avaliação das condições de ensino, Enade, censo e cadastro) permite a atribuição de conceitos, ordenados numa escala com cinco níveis, a cada uma das dimensões e ao conjunto das dimensões avaliadas.
Enade - Com relação ao Enade, existirão padrões de qualidade estabelecidos por especialistas, com o objetivo de expressarem com maior fidedignidade o desempenho dos alunos.
DESAFIOS E PERSPECTIVAS
O processo de avaliação deve resultar em nova sistemática de organização e implementação das políticas públicas;
A avaliação de políticas públicas deve ultrapassar a mera disposição e utilização de métodos e técnicas racionais e operativos, preocupados com a relação custo-benefício ou com a eficácia;
A avaliação de políticas sociais deve se situar na compreensão do significado do papel do Estado e das classes sociais na construção dos direitos sociais e da democracia.
REFERÊNCIASBRASIL. Lei nº 10.933, de 11 de agosto de 2004 – Dispõe sobre o
Plano Plurianualpara o período 2004-2007.BRASIL. Decreto nº 5.233 de 6 de outubro de 2004 – Estabelece
normas para a gestão do Plano Plurianual 2004-2007 e de seus programas e dá outras providências.
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Plano de gestão do PPA 2004-2007: http://www.planejamento.gov.br/arquivos_down/spi/modelo_gestao.pdf.
BRASIL. Instituto de Pesquisa Econômica Aplicada. “Roteiro para construção de modelo lógico de programas” – (em elaboração). IPEA 2006.
BRASIL. Monitoramento em números: programas e ações do Plano Plurianual 2004-2007: ano base 2005/ Ministério do Planejamento, Orçamento e Gestão. Secretaria de Planejamento e Investimentos Estratégicos. – Brasília: MP, 2006.
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Manual de Elaboração de Programas do Plano Plurianual 2004-2007. Exercício 2006:
http://www.sigplan.gov.br.
BRASIL. Ministério do Planejamento, Orçamento e Gestão. Manual Técnico de Orçamento MTO-02: instruções para elaboração da proposta orçamentária da União para 2005. Orçamentos fiscal e da seguridade social. Brasília, 2004.
COTA, T. C. Metodologias de Avaliação de Programas e Projetos Sociais: análise de resultados e impacto. Revista do Serviço Público, Ano 49, nº 2, abril-junho 1998.
Decreto 5.233 de 6 de outubro de 2004. GARCIA, R. C. Subsídios para Organizar Avaliações da Ação
Governamental. IPEA, Texto para Discussão nº 776. Brasília, jan/2001.
HARTZ, ZMA (org.) Avaliação em saúde: Dos modelos conceituais à prática na análise da implantação de programas. Rio de Janeiro: FIOCRUZ. pp. 29-47.
MCLAUGHLIN, J. e JORDAN, G. – Using Logic Models - Handbook for Program Evaluation, Wholley, J – 2004.
PINTO, A. M. R. O Fetichismo da Avaliação. Fundação João Pinheiro.Análise e Conjuntura, V.1, Nº 2, maio–agosto 1986.