Revista Brasileira de Monitor Amen To e Avaliacao[1]

01N m eroEDIO DE LANAMENTO

REVISTA BRASILEIRA DEJan-Jun/2011

onitoramento e avalia

A Rede Brasileira de Monitoramento e Avaliao: um relato do processo de sua criao e desenvolvimento Avaliao de programas e profissionalizao da gesto pblica

Mrcia Paterno Joppert Afonso Henriques Borges, Jnia Pinho, Joo Pedro Azevedo, John L. Newman, Juliana Wenceslau e Sonia Nahas de Carvalho

Jeni Vaitsman e Rmulo Paes-Sousa

Monitoramento Analtico como Ferramenta para Aprimoramento da Gesto de Programas Sociais Paulo de Martino Jannuzzi

Poltica Social no Brasil: uma anlise da ampliao do escopo, R evista da R ede B RasileiRa de M onitoRaMento e a valiao | n MeRo 1 | J aneiRo -J unho de 2011 escala e gasto pblico

Jorge Abraho de Castro

1

resenha

EDITORIAL

05

ARTIGOS 1. A Rede Brasileira de Monitoramento e Avaliao: um relato do processo de sua criao e desenvolvimentoEDIO DE LANAMENTO Mrcia Paterno Joppert, Afonso Henriques Borges, Jnia Pinho, Joo Pedro Azevedo, John L. Newman, Juliana Wenceslau e Sonia Nahas de Carvalho

06

2. Avaliao de programas e profissionalizao da gesto pblicaJeni Vaitsman e Rmulo Paes-Sousa

20

3. Monitoramento Analtico como Ferramenta para Aprimoramento da Gesto de Programas Sociais Paulo de Martino Jannuzzi 38 4. Poltica Social no Brasil: uma anlise da ampliao do escopo, escala e gasto pblico Jorge Abraho de Castro 68 RELATO DE CASO Estratgia de Pesquisa sobre os Conhecimentos, Atitudes e Prticas Financeiras das Famlias Inscritas no Cadastro nico para Programas SociaisJnia Quiroga, Renata Bichir, Fernando Simes Chagas e Marina Pereira Novo

98 102

2

PUBLICAES EM DESTAQUE

Publicao da Rede Brasileira de Monitoramento e Avaliao em parceria com a Secretaria de Avaliao e Gesto da Avaliao do MDS e Secretaria de Assuntos Estratgicos da Presidncia Repblica (SAE/PR). Monica Rodrigues e Marcelo RochaCooRDEnAo EDitoRiAl

EditorialA Revista Brasileira de Monitoramento e Avaliao uma nova proposta editorial para a sistematizao e disseminao de experincias e conhecimentos em monitoramento e avaliao (M&A) em polticas pblicas, programas e projetos sociais no Brasil. uma iniciativa de pesquisadores, tcnicos e participantes da Rede Brasileira de Monitoramento e Avaliao (RBMA), com apoio da Secretaria de Avaliao e Gesto da informao do Ministrio do Desenvolvimento Social e Combate Fome (SAGi/MDS) e da Secretaria de Assuntos Estratgicos da Presidncia Repblica (SAE/PR). A criao da Revista foi motivada pela necessidade de oferecer novos espaos para publicao de trabalhos no campo, cada vez mais frequentes em funo do avano da cultura de formulao, monitoramento e avaliao de polticas e programas. Alm disso, a disperso deste crescente volume de estudos dentre os diversos e consagrados peridicos j existentes nas Cincias Sociais brasileiras cada um com seu vis disciplinar e sua comunidade acadmica almejada tem criado dificuldades para que os interessados possam ter uma viso mais integrada, multidisciplinar e holstica da rea de M&A. Esta primeira edio da Revista traz quatro interessantes artigos de especialistas da comunidade brasileira em M&A que, no seu conjunto, compem o modelo editorial a ser perseguido nas suas edies, combinando registros de memria institucional, contribuies conceituais e metodolgicas, anlises empricas e avaliaes institucionais de polticas e programas. inicia-se com o relato da criao, expanso e desafios de consolidao da RBMA, elaborado por Mrcia Joppert e outros de seus principais idealizadores. Em seguida, Jeni vaitsman e Rmulo Paes-Sousa discorrem sobre o processo de institucionalizao da avaliao de programas no Ministrio do Desenvolvimento Social, o modelo de especificao de pesquisas e os desafios de garantir rigor tcnico, cooperao e uso do conhecimento produzido na gesto. Mostrar como sistemas de indicadores de monitoramento organizados em uma perspectiva menos gerencial e mais analtica podem contribuir na gesto de programas sociais a questo tratada por Paulo Jannuzzi. Por fim, Jorge Abraho de Castro apresenta uma contribuio para anlise da poltica social brasileira, evidenciando, a partir de um marco conceitual integrado, a ampliao do escopo, escala e gastos com programas sociais nos ltimos vinte anos. H ainda duas outras sees: uma destinada a divulgar relatos de pesquisas e experincias no campo de M&A e outra para divulgar publicaes, livros e teses de potencial interesse da comunidade. Boa leitura!

Rmulo Paes-Sousa, Paulo Jannuzzi, Mrcia Joppert, Monica Rodrigues, Ricardo Paes de Barros, Sonia nahas de Carvalho e Afonso Henriques Borges FerreiraConSElHo EDitoRiAl*

Ktia ozrioPRoJEto GRFiCo E DiAGRAMAo

thase dos SantosREviSo

Ubirajara MachadoFoto DA CAPA *Para a primeira edio da Revista Brasileira de Monitoramento e Avaliao foi institudo um Conselho Editorial provisrio para a indicao dos artigos aqui apresentados. nas prximas edies da Revista os artigos sero selecionados por um Conselho Editorial a ser definido pelo iii Seminrio da Rede Brasileira de Monitoramento e Avaliao que ocorrer em Braslia, entre os dias 01 e 03 de junho de 2011.

Revista Brasileira de Monitoramento e Avaliao. N. 1 (2011)- . Braslia, DF: Ministrio do Desenvolvimento Social e Combate Fome; Secretaria de Avaliao e Gesto da Informao, 2011- . 106 p. ; 18 cm.

ISSN

1. Poltica social, Avaliao, Monitoramento, Brasil. 2. Programa Social, Avaliao, Monitoramento, Brasil. 3. Polticas pblicas, Brasil. I. Ministrio do Desenvolvimento Social e Combate Fome. Secretaria de Avaliao e Gesto da Informao. CDU 304(81)

Pautada na cooperao interinstitucional e inspirada na vivncia da comunidade plural participante da RBMA, a Revista procura, pois, criar oportunidades para o registro e intercmbio de estudos de distintas naturezas conceitual, metodolgica e aplicada e diferentes abordagens de pesquisa emprica qualitativa, quantitativa, quase-experimental, estudos de caso etc.

2011 MiniStRio Do DESEnvolviMEnto SoCiAl E CoMBAtE FoME. REDE BRASilEiRA DE MonitoRAMEnto E AvAliAo toDoS oS DiREitoS RESERvADoS.

Qualquer parte desta publicao pode ser reproduzida desde que citada a fonte.

4

Acesse a verso eletrnica desta publicao em: www.mds.gov.br http://redebrasileirademea.ning.com

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e

a valiao | n MeRo 1 | J aneiRo -J unho

de

2011

5

A Rede Brasileira de Monitoramento e Avaliao: um relato do processo de sua criao e desenvolvimento1Mrcia Paterno Joppert2 Afonso Henriques3 Jnia Pinho4 Joo Pedro Azevedo5 John L. Newman6 Juliana Wenceslau7 Sonia Nahas de Carvalho81 os autores agradecem os comentrios e sugestes dos demais membros da rede que

ResumoO Presente artigO tem cOmO ObjetivO aPresentar O HistricO de criaO da Rede Brasileira de MOnitOramentO e AvaliaO, assim cOmO alguns dOs seus avanOs recentes e desafiOs futurOs. Dentre Os PrinciPais avanOs, destacam-se: a filiaO de mais de 1. membrOs nOs seus 23 meses de vida e as mais de . visitas aO seu SITE .Alguns dOs imPOrtantes desafiOs futurOs sO a necessidade cOntnua de atrair e reter seus memAbstract brOs, a caPacitaO dOs seus membrOs nO usO da THIS ARTICLE PRESENTS THE HISTORY OF PlatafOrma Web 2. e a CREATION OF THE BRAZILIAN MONITORING AND caPacidade da rede de EVALUATION NETWORK AS WELL AS SOME OF ITS renOvar suas lideranas. RECENT ADVANCES AND FUTURE CHALLENGES.AMONG SEVERAL IMPROVEMENTS, THERE ARE: THE AFFILIATION OF MORE THAN . MEMBERS IN ITS MONTHS OF EXISTENCE AND THE RECORD OF MORE THAN . MONTHLY VISITS TO THE SITE. SOME OF THE IMPORTANT CHALLENGES OF THE FUTURE ARE THE ONGOING NEED TO ATTRACT AND RETAIN MEMBERS, THE NECESSITY TO TRAIN ITS MEMBERS IN THE USE OF WEB . PLATFORM AND THE NETWORK CAPACITY TO RENEW ITS LEADERSHIP.

participaram da v Conferncia internacional da Rede latinoamericana de Monitoramento e Avaliao, em especial, Eder Campos e lycia lima. os autores ainda gostariam de agradecer a iniciativa de Ricardo Santiago e o apoio de Ricardo Paes de Barros, Eduardo Rios-neto e Pedro olinto para o lanamento e realizao do primeiro Seminrio da Rede Brasileira de Monitoramento e Avaliao. 2 3 Diretora-Geral da Agncia Brasileira de Avaliao. Ex-Presidente da Fundao Joo Pinheiro, atual Diretor vice-Presidente do Escritrio de

Prioridades Estratgicas do Governo de Minas Gerais. 4 5 6 7 Gerente do Ambiente de Estudos, Pesquisas e Avaliao do Banco do nordeste do Brasil. 9 Economista, Banco Mundial. Economista lder, Banco Mundial. Doutoranda em Administrao Pblica, Programa de Ps-Graduao em Administrao Dados atualizados em 30.04.2011.

Palavras-cHave:Programas sociais; Avaliao; Monitoramento; Histrico

(PPGA), Universidade de Braslia (UnB).

6

8

Assessora tcnica da Diretoria Adjunta de Anlise e Disseminao de informaes (Fun-

dao Seade).

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011

A Rede Brasileira de Monitoramento e Avaliao: um relato do processo de sua criao e desenvolvimento

7

1. Antecedenteso processo de valorizao da gesto pblica no Brasil teve incio na dcada de 90. o Plano Diretor da Reforma do Aparelho do Estado, publicado em setembro de 1995, coloca a gesto como um instrumento indispensvel para consolidar a estabilizao econmica e assegurar o crescimento sustentado da economia. Refora os conceitos e a necessidade da formao de um Estado mais eficiente. logo em seguida e juntamente com o processo de controle inflacionrio e de estabilidade econmica, que permitiu ao mercado mais bem planejar seus investimentos e seus projetos de futuro, comea a ter expresso no Brasil a gesto para resultados. Este movimento ocasionou forte impacto no Governo Federal brasileiro, influenciando a atuao das reas centrais e setoriais, o controle interno e externo, alm das atividades dos organismos internacionais e da sociedade civil. A adoo destes novos procedimentos de gesto pblica ancora-se nos preceitos constitucionais de 1988 (artigo 165) de instituio das normas de regulamentao do processo oramentrio federal, com a introduo, de forma integrada, de trs instrumentos: Plano Plurianual de investimentos (PPA), lei de Diretrizes oramentrias (lDo) e lei oramentria Anual (loA). As constituies estaduais e as leis orgnicas municipais reproduziram os preceitos da Constituio Federal. Como recurso a novas formas de gesto pblica, o PPA veio representar a aproximao entre planejamento e gesto oramentria em pelo menos trs direes ao: (i) implementar o planejamento governamental no mdio e longo os Ministrios setoriais tambm iniciaram um esforo de monitorar e avaliar suas polticas, especialmente as reas de Educao, Sade e Desenvolvimento Social. Criado em 2003,10 Desenvolvimento Social, infraestrutura Econmica, Meio Ambiente e informao e Conhecimento.

(iii) estabelecer diretrizes, objetivos e metas da administrao pblica que orientassem a alocao dos recursos pblicos. na rea central, o principal ator deste processo tem sido o Ministrio do Planejamento, oramento e Gesto (MPoG). nos ltimos dez anos, o MPoG tem realizado um esforo de incorporar o enfoque de resultados nas polticas pblicas setoriais. tal esforo foi iniciado com o PPA 2000-2003, por meio de trs grandes inovaes: a primeira foi basear os investimentos em estudos de planejamento territorial, o que resultou em um portflio composto por 952 projetos cujo oramento totalizava R$ 317 bilhes. Classificado em macro setores , con10

o Ministrio do Desenvolvimento Social e Combate Fome (MDS) tem se destacado por ser o primeiro a institucionalizar uma secretaria especializada em avaliao e gesto da informao, a qual tem contratado estudos, promovido treinamentos e implementado sistemticas para o monitoramento de polticas de transferncia de renda, assistncia social e segurana alimentar (vAitSMAn et al., 2006). A Secretaria de Avaliao e Gesto da informao (SAGi) responsvel por grande volume de estudos, pesquisas de linha de base, surveys de beneficirios e avaliaes de impacto, produzidos para subsidiar as polticas sociais (WEnCESlAU; HoBBS, 2008). o controle interno do Governo Federal, por sua vez, passou por um processo de fortalecimento institucional a partir de 2002, por meio da criao da Controladoria-Geral da Unio (CGU). A CGU resultado da fuso entre a Secretaria Federal de Controle interno (SFC) e a Comisso de Coordenao de Controle interno (CCCi), alcanando o status de Ministrio. A atuao da CGU tem estimulado a transparncia e qualidade das informaes pblicas, focalizando a preveno, fiscalizao e controle da aplicao de recursos federais. Utiliza quatro instrumentos: fiscalizao de municpios por sorteio, auditorias financeiras anuais, investigaes de casos e Balano Geral da Unio. Ferraz e Finan (2008) demonstram que o eleitor brasileiro, quando

bem informado, rejeita os polticos acusados de corrupo e prefere os candidatos honestos. A divulgao das auditorias da CGU nos municpios onde foram detectados muitos casos de corrupo reduziu em 20% as chances de reeleio dos prefeitos. o Poder legislativo, por meio do tribunal de Contas da Unio (tCU), passou a aferir o desempenho das polticas governamentais para realizar o controle externo, alm do tradicional enfoque em aspectos de conformidade e legalidade. A partir de 1999, o tCU passou a realizar auditorias de natureza operacional, incorporando tcnicas como estudo de caso, surveys e grupos focais, utilizadas em avaliaes de implementao de programas. A incluso da performance audit entre as auditorias realizadas pelo tCU ocorreu a partir da assistncia tcnica promovida pelo UK Department of International Development (DFiD) e troca de experincias com o National Audit Office (nAo), ambos do Reino Unido, e com o Government Accountability Office (GAo) dos Estados Unidos (Flint, 2004). nos ltimos anos, alguns estados e municpios tambm tm demonstrado um crescente interesse pela agenda de monitoramento e avaliao. Dentre estes, cabe destacar Minas Gerais, que, por meio da Secretaria de Planejamento, de seu Programa Gesto por Resultado e da Fundao Joo Pinheiro, vem

siderava a integrao entre as aes, a responsabilizao pelos resultados e o aporte de recursos pelo mercado privado. A segunda foi incluir indicadores de implementao e resultado, o que promoveu o incio efetivo de uma cultura de gesto para resultados e de conceitos de monitoramento e avaliao (M&A). A terceira foi alocar um gerente responsvel por programa, por meio da prtica de responsabilizao para resultados. Com isso, buscavase promover uma cultura empreendedora no Governo Federal, introduzindo ferramentas de gerenciamento de programas e projetos e capacitando os gestores pblicos para utiliz-las. Entre os avanos recentes do MPoG, destacase a publicao do guia metodolgico para indicadores de programas (BRASil, 2010).

8

prazos; (ii) coordenar aes governamentais e

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


9

desenvolvendo e promovendo um conjunto de prticas inovadoras na gesto pblica brasileira, como uma forte nfase no uso de indicadores e metas para dar foco e direo administrao pblica (SEPlAG/MG, 2008; SEPlAG/MG, 2009). Dentre as instituies estaduais existentes no Brasil, destaca-se tambm o trabalho da Fundao Seade , que vem especializando11

programa conta com um sistema de avaliao que utilizou dados primrios e secundrios. Foram avaliados os subprogramas FnEAgroindustrial, do Fundo. o setor privado brasileiro tambm desempenha um papel importante no fortalecimento desta agenda no Brasil. iniciativas como o Movimento Brasil Competitivo (MBC), criado em novembro de 2001, tm como objetivo principal viabilizar projetos que visam ao aumento da competitividade das organizaes e da qualidade de vida da populao, inclusive no modelo de gesto do setor pblico. Esta iniciativa j atendeu vrios Ministrios, estados e municpios no Brasil, sempre com o objetivo de promover a adoo de prticas de gesto baseada em resultados. vrias organizaes e movimentos da sociedade civil tm tambm atuado no monitoramento e avaliao de programas, na contratao de estudos, na organizao de seminrios e na demanda por informao, tais como a Fundao ita Social, o instituto Unibanco e o Canal Futura. Por fim, como exemplo de iniciativas de o FnE-Comrcio-Servios e industrial, o FnE-Rural e avaliaes globais

comit composto pelos principais rgos do Governo Federal interessados no assunto. os objetivos do BRAvA eram: (a) auxiliar no desenvolvimento de metodologias e da poltica de M&A para o Governo Federal e seus Ministrios, (b) disseminar a cultura de M&A e (c) preparar sistemas para Gesto para Resultados (GpR) com o intuito de: (i) esclarecer os papis institucionais na coordenao e implementao da GpR, (ii) estabelecer os principais incentivos para que Ministrios fizessem M&A de seus programas, (iii) desenvolver padres de qualidade para M&A e (iv) promover a utilizao e disseminao das informaes geradas pelo M&A12.

representantes eleitos em fruns e conselhos constitudos especificamente para este fim tm fornecido maior legitimidade s polticas pblicas. Alm disso, importante destacar as novas formas de participao do setor privado na implantao de polticas, como as parcerias pblico-privadas, consrcios pblico-privados que tambm induzem uma importncia crescente avaliao e aos instrumentos disponveis para realiz-la. no Brasil, o conhecimento e a prtica na rea de monitoramento de programas e projetos so vastos, como visto na seo anterior. Entretanto, a maior parte das experincias realizadas est armazenada em centros de pesquisa e ensino ou no acervo pessoal de consultores. Portanto, o acesso depende da garimpagem por parte dos interessados pelo tema e da capacidade de disseminao dos que produziram determinado conhecimento. Assim, o conhecimento existente sobre avaliao de programas e polticas no Brasil ainda disperso e no sistematizado. A partir desta situao, surgiu a ideia, entre os especialistas no tema, de se promover uma iniciativa que viesse a preencher essa lacuna e que fosse capaz de alcanar e sen-

se na ltima dcada em criar ou aprimorar metodologias e ferramentas para formulao, monitoramento e avaliao de polticas e programas pblicos, particularmente na rea social. As atividades desenvolvidas pela instituio nesse campo fornecem insumos para as diferentes fases da gesto pblica, auxiliando o desenho de programas e polticas, facilitando eventuais ajustes e correes de rumos. Em apoio a agncias executoras ou de coordenao das aes de governo, essas atividades compreendem a realizao de estudos de avaliao de programas pblicos especficos, a construo de metodologias de monitoramento, com definio de indicadores, para implementar o acompanhamento de polticas ou agncias pblicas e, com objetivo semelhante, a estruturao de amplos sistemas de informao gerencial.

2. A Rede Brasileira de Monitoramento e Avaliaoo processo de redemocratizao brasileiro fortalece cada vez mais o papel da sociedade, especialmente como agente direto do processo de formulao, acompanhamento e controle da implementao de polticas pblicas. A participao no processo decisrio e o controle que a sociedade atualmente exerce sobre os atos dos governantes e de seus11 http://www.seade.gov.br/ 12 http://www.bnb.gov.br/

outro grupo de instituies que tambm atua no campo de monitoramento e avaliao no Brasil so os bancos de desenvolvimento, com um destaque particular para o Banco do nordeste do Brasil11 (BnB). Entre algumas das iniciativas de destaque encontram-se a avaliao do Programa Crediamigo, realizada em parceria com o Banco Mundial (BM), e a avaliao do Fundo Constitucional de Financiamento do nordeste (FnE). Este ltimo

organismos internacionais, h o Programa Brasil Avaliao (BRAvA), desenvolvido pelo Banco Mundial como um projeto de assistncia tcnica, no vinculado a operaes de emprstimo, com o intuito de auxiliar o Governo Federal no desenvolvimento de sistemas e atividades de M&A. o BRAvA foi lanado em 2005 e finalizado em 2009, tendo como principal parceiro a Cmara tcnica de Monitoramento e Avaliao (CtMA), um

13 Em seus cinco anos de existncia, o BRAvA prestou assistncia, fez estudos e promoveu eventos em conjunto com o Governo Federal, estados e municpios. Dentre eles, destacam-se: (i) workshops sobre sistemas de avaliao do Chile, da Austrlia e do Canad; (ii) elaborao de metodologia para revisar o marco lgico dos programas do Plano Plurianual (PPA); (iii) avaliao institucional do sistema de avaliao do PPA e do MDS; (iv) participao no desenho de avaliaes de programas, como Bolsa Famlia, Brasil Alfabetizado, Crediamigo, Quilombolas, Sade indgena; (v) capacitao de auditores do tCU em avaliao de impacto, por meio da doao iDF, e (vi) auxlio ao estado de Minas Gerais no desenho da primeira Pesquisa por Amostra de Domiclios (PAD-MG), metodologia das avaliaes de impacto e benchmarking de indicadores.

10

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


11

sibilizar as instituies que acumulam experincias na rea, realizando uma melhor gesto do seu conhecimento. As redes de organizaes buscam formar um ambiente de discusses entre entidades afins e o fortalecimento destas pela troca de informaes, promoo de congressos, apoio jurdico, desenvolvimento e disponibilizao de base de dados, relacionada aos interesses das instituies participantes. A organizao, o registro e a socializao de informaes, por parte de seus elementos constituintes, podem criar um sistema mais propenso inovao e interao com o ambiente externo. A disseminao das informaes organizadas e estruturadas para o ambiente externo possibilita maior visibilidade e abertura para agregao de elementos novos, com vistas a reconfiguraes e aprimoramento do sistema atual (loPES, 1996). o gerenciamento de informaes mostrou-se, indiscutivelmente, um fator essencial nas redes, tanto no que se refere busca de novos elos, criando maiores possibilidades de atuar no contexto dinmico da realidade de que faz parte e garantindo sua manuteno e sobrevivncia, quanto na criao de mecanismos de controle interno que promovam o melhor aproveitamento de seus recursos. A seguir, sero explicados o processo de formao, objetivos, arranjo institucional, ferramenta tecnolgica e resultados dos dois primeiros anos da Rede Brasileira de Monitoramento e Avaliao.

3. O Processo de Formao da Rede Brasileira de Monitoramento e Avaliao3.1 ObjetivOs e estratgiasA Rede Brasileira de Monitoramento e Avaliao surgiu como um captulo da Rede de Monitoramento e Avaliao da Amrica latina e Caribe13, tendo como princpios fundadores: (i) a descentralizao, (ii) a abertura e (iii) o baixo custo de fracasso. nestes dois primeiros anos de vida, a iniciativa do captulo brasileiro caracterizou-se por no ter apenas um nico champion institucional. Ao contrrio, diversas instituies, como as fundaes estaduais de estatstica e economia, bancos pblicos e organismos internacionais, apoiam esta iniciativa. Em geral, os representantes dessas instituies na rede, alm de pontos focais, representam indivduos comprometidos com este tema em suas respectivas instituies. Um segundo princpio importante da rede a sua abertura, traduzida pela total liberdade de filiao, seja pessoal, institucional, ou de outras redes, buscando com isso maximizar as possibilidades de colaborao entre os diferentes atores interessados neste tema no Brasil. Por ltimo, um terceiro e importante princpio foi a busca por uma configurao que diminusse ao mximo as perdas em caso de fracasso da iniciativa. ou seja, a existncia desta rede s se justifica se ela for til e capaz de demonstrar o seu valor, o que tem-se dado pelas crescentes filiaes, acessos, interaes e contribuies.

A Rede Brasileira de Monitoramento e Avaliao foi assim lanada em dezembro de 2008 sob a liderana da Fundao Joo Pinheiro (FJP), do Banco interamericano de Desenvolvimento (BiD) e do Banco Mundial (BM). A motivao foi o reconhecimento da existncia de uma massa crtica considervel sobre este tema no Brasil, a ausncia de espaos de troca e sistematizao de experincias e o efeito mobilizador da 4 Conferncia internacional da Rede Regional, sediada em Belo Horizonte, em 2008. A proposta, portanto, foi utilizar a concentrao de diversos atores envolvidos neste tema no Brasil, durante os dias da Conferncia, para mobilizar um evento paralelo e propor a fundao do captulo brasileiro da Rede da Amrica latina e Caribe. Alm da FJP, do BM e do BiD, participaram da reunio de fundao diversos representantes de instituies internacionais e nacionais, como: o escritrio brasileiro do Programa das naes Unidas para o Desenvolvimento (PnUD), a Fundao Seade, o Banco do nordeste do Brasil, a Fundao ita Social, o instituto Unibanco, o Ministrio do Desenvolvimento Social e Combate Fome (MDS), o tribunal de Contas da Unio (tCU), a Secretaria de Planejamento do Estado do Cear, entre outros. Como resultado das discusses, foram definidos os objetivos fundamentais da rede, quais sejam:

Promover o intercmbio de experincias e conhecimento e disseminar informaes relativas a M&A, por meio da organizao de seminrio anual e da utilizao de uma plataforma de rede social, tendo por misso fortalecer a cultura de monitoramento e avaliao no Brasil. Seu pblico-alvo so atores pblicos e privados com atuao no campo de M&A de organizaes, polticas, programas e projetos, incluindo: gestores, pesquisadores, consultores, professores, estudantes, estudiosos e organizaes financiadoras, promotoras e avaliadoras, bem como outras redes afins.

3.2 O arranjO instituciOnalEm junho de 2009, durante o i Seminrio nacional da Rede, em Belo Horizonte, foi realizada uma segunda reunio, que contou com a participao de representantes das seguintes instituies: Banco Mundial; Fundao Joo Pinheiro; Governos de So Paulo (Fundao Seade), Cear (Seplag), Rio Grande do Sul (Secretaria de Planejamento e Gesto, Secretaria da Fazenda e Fundao de Economia e Estatstica), Bahia (Seplag), Esprito Santo; Banco do nordeste do Brasil; tCU; PnUD; Ministrio do Desenvolvimento Agrrio (Secretaria de Desenvolvimento territorial); MDS (Secretaria de Avaliao e Gesto da informao); Ministrio da Educao (Secretaria de Educao Continuada, Alfabetizao e Diversidade); Fundao ita Social; instituto Ecofuturo e instituto Unibanco; Agncia Brasileira de Avaliao;

14

iniciativa promovida pelo Banco Mundial, Banco interamericano de Desenvolvimento e Governo da Espanha.

12

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


13

Herkenhoff Prates - Instituto de Tecnologia e Desenvolvimento de Minas Gerais; instituto Ayrton Senna; Universidade Federal de viosa; Cecaps e A & M Consultoria.

como implementar e utilizar estas ferramentas e menor nos resultados gerados por estes processos. Para o segundo seminrio, o princpio organi-

figura 1: Pgina da Plataforma web 2.0

nesta reunio, foram tomadas algumas decises em relao ao arranjo institucional, sendo as principais: definio de um Comit Gestor, formado por representantes da FJP, BM, BnB, Fundao Seade e Agncia Brasileira de Avaliao; definio dos tipos de membros: membros institucionais e membros pessoas fsicas, alm de outras redes.

zador foi mantido, com o acrscimo de alguns temas que despertam mais interesse entre gestores pblicos, como seleo de indicadores e metas para acordos de gesto.

3.4 PlatafOrma tecnOlgicaA pgina da rede na internet foi concebida a partir dos conceitos de internet 2.0 e suportada por uma soluo tecnolgica denominada ning. Esta plataforma de comunidades digitais permite criar redes sociais e o seu uso resultou na pgina cujo endereo : , criada em junho de 2009, logo aps a segunda reunio. As principais funcionalidades da plataforma selecionada so: Um aspecto fundamental de iniciativas desta natureza o seu planejamento, em particular no que diz respeito estratgia de lanamento, divulgao e comunicao da iniciativa. de fundamental importncia considerar alguns aspectos bsicos, como: (i) antes de lanar sua pgina, procure aliment-la com contedos relevantes para a populao-alvo (ningum gosta de se tornar membro de uma cidade fantasma); (ii) inicie o seu site com um nmero pequeno de funcionalidades (i.e. blog, vdeos e eventos) e acrescente outras medida que o trfego aumentar (i.e. fruns, grupos); (iii) tire proveito de eventos presenciais para divulgar sua rede .14

Foi reiterada ainda a necessidade de se dispor de uma ferramenta tecnolgica materializada numa pgina de internet, de forma a publicar os contedos produzidos pela rede e outras informaes.

Fonte: http://redebrasileirademea.ning.com/

A evoluo do gerenciamento desta plataforma tambm algo interessante. Quando foi lanada, optou-se por uma pgina com uma estrutura relativamente fechada, com poucos administradores e com contedo disponvel apenas para os membros. Gradualmente, a rede ganhou agilidade, abertura e removeu muitas destas restries que, na prtica, mostravam-se burocrticas. Atualmente a rede conta com quatorze. A mudana mais recente foi a total abertura do contedo da rede, tornando a filiao apenas necessria para a postagem de mensagens e eventos assim como para a participao em grupos temticos e fruns de discusso.

3.3 seminriOs naciOnaisUm dos objetivos iniciais da rede era a organizao de um evento anual no qual as partes interessadas poderiam expor seus trabalhos, trocar experincias e identificar melhores prticas no campo do monitoramento e avaliao de polticas pblicas. No primeiro seminrio, optou-se por definir a programao do evento enfocando os diferentes tipos de avaliao no ciclo das polticas pblicas, tais como: diagnsticos para o desenho de polticas pblicas, marco lgico, avaliaes ex-ante, avaliaes de implementao e avaliaes ex-post. outro princpio organizador das sees foi a maior nfase no

possibilidade de publicar notcias por meio de um blog; possibilidade discusso; de criar fruns de

possibilidade de criar grupos temticos; possibilidade de publicar um calendrio de eventos; criao de um perfil individual dos membros; possibilidade de anexar arquivos; interface amigvel (de fcil operao); visualmente atrativo.

15 http://help.ning.com/cgi-bin/ning.cfg/php/enduser/workshop.php?p_sid=lDXlDYWj

14

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


15

4. ResultadosUm aspecto estratgico para a consolidao de redes o monitoramento dos seus resultados por meio da construo e atualizao de um perfil dos seus membros e do trfego de visitas na sua pgina na web. os membros da rede so na sua maioria profissionais e instituies pblicas e privadas envolvidas em atividades de monitoramento e avaliao . Algumas das caractersticas16

principais da rede so: as mulheres predominam com 60% das filiaes; 10% dos membros tm entre 17 e 25 anos de idade; 82%, entre 26 e 55 anos e 8% com mais 55 anos de idade; o membro mais velho possui 77 anos de idade; em termos de ocupao, 48% so servidores pblicos, 14% so da rea educacional, 12% so de onGs, 10% so do mercado privado, 5% so estudantes, 3% so consultores e 3% so oriundos

de ncleos de estudos e pesquisas. os demais participantes (menos de 3% cada) so oriundos de organismos e bancos internacionais, bancos pblicos nacionais e associaes de classe/empresariais; 55% dos membros conheceram a rede por meio de um colega e outros 13% por meio de algum evento onde a rede foi divulgada.

mentas gratuitas encontram-se disposio para facilitar este propsito. Essas ferramentas permitem o acompanhamento em tempo real do desempenho da rede, coletam diversas estatsticas de uso, incluindo o nmero de visitas, pases, cidades e sites de origem. Alm disso, possvel construir dashboards, como o apresentado na figura 3, que, entre outras coisas, permitem a comparao da performance do trfego da rede ao longo do tempo e de stios da mesma natureza, alm do envio automtico de relatrios para seus membros. Esse tipo de monitoramento permite informar o comit executivo da rede sobre o seu desempenho e melhor planejar as aes de mobilizao na iniciativa.

4.1 membrOsA Rede Brasileira de M&A conta atualmente com mais de 1.500 membros15

dos 27

estados do Brasil e de 26 pases. A figura 2 mostra a evoluo do nmero de membros da rede desde seu lanamento. As descontinuidades observadas esto claramente associadas a eventos especficos durante os quais membros da rede, direta ou indiretamente envolvidos na organizao destes, aproveitaram a oportunidade para divulg-la. E o resultado, em termos de filiao, notvel.

4.2 mOnitOramentO dOs acessOs Pginaoutro aspecto importante da rede o monitoramento do seu uso. Atualmente, muitas ferra-

figura 3. DASHBOARD da rede brasileira de monitoramento e aValiao

figura 2: eVoluo das inscries na rede desde seu lanamento

16 Dados referentes a 30 de abril de 2011. 17 Um perfil detalhado dos membros pode ser encontrado na pgina da rede.

16

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


17

4.3 PublicaO de cOntedOsoutra mtrica interessante diz respeito ao nvel de atividade da publicao de contedos na plataforma. At o momento, j foram postados mais de 260 blogs, por volta de 100 eventos e 40 referncias bibliogrficas comentadas pelos membros da rede. Alm disso, o nmero de comentrios entre os participantes tambm tem aumentado, sugerindo um maior engajamento dos membros.

Do ponto de vista da plataforma web implementada, algumas dificuldades merecem destaque: (i) o uso inadequado dos espaos virtuais, tendo em vista que muitos membros tm tido dificuldade para entender as diferenas entre blogs, fruns, grupos temticos e campos de comentrios; com isso, ignoram as diferenas conceituais entre estes e postam seus contedos de maneira indiscriminada; (ii) outro ponto observado a postagem de contedos (blogs e comentrios) sem links para as referncias sobre o tema e (iii) a dificuldade que muitos membros possuem com a apresentao visual dos seus blogs, ignorando muitas das funes de edies disponveis pela ferramenta e, como consequncia, o layout da pgina principal fica muitas vezes confuso. Algumas das lies para outras redes desta natureza so: (i) a necessidade da existncia de uma massa crtica de contedos e entidades que produza e demande conhecimento sobre este tema de fundamental importncia; (ii) o carter de pluralidade institucional, como objetivo explcito de blindar a iniciativa dos naturais ciclos polticos e/ou de um nmero reduzido de champions; (iii) fundamental contar e formar um grupo de animadores que auxiliem na produo de contedos na pgina da rede. Dentre as diversas funes destes animadores, destacam-se: selecionar e angariar membros; conhecer e analisar o perfil dos membros (pessoas e instituies); alimentar o site com contedos de interesse e que atendam as expectativas dos membros; promover a comunicao entre os membros; elaborar relatrios peridicos de atividades; conectar-se a iniciativas correlatas; divulgar a iniciativa e articular-se.

Referncias bibliogrficasBRASIL. Ministrio do Planejamento, Oramento e Gesto. Indicadores de programas: guia metodolgico. Braslia, DF: Secretaria de Planejamento e Investimentos Estratgicos, 2010. 128 p. CADERNOS de indicadores 2009: indicadores da gesto por resultados do governo do Estado de Minas Gerais. Belo Horizonte, MG: SEPLAG, 2009. FERRAZ, Claudio; FINAN, Frederico. Exposing corrupt politicians: the effects of Brazils publicly released audits on electoral outcomes. The Quarterly Journal of Economics. MIT Press, v. 123, n. 2, pag.703-745, 2008. FLINT, M. Country study: Brazil 1997-2003. In: EvALuATION of DFID Country Programmes. DFID, 2004. LOPES, Snia Aguiar. A teia invisvel informao e contra-informao nas redes de ongs e movimentos sociais. Rio de Janeiro: universidade Federal do Rio de Janeiro, 1996. Tese de Doutorado. NOTA Tcnica n. 37 /2008. Belo Horizonte: DCMG/SEPLAG, 2008. vAITSMAN, Jeni; RODRIGuES, Roberto W. S.; PAES-SOuSA, Rmulo. The system for evaluating and monitoring social development programs and policies: the case of the Ministry of Social Development and the Fight Against Hunger in Brazil. Braslia: MDS; uNESCO, 2006. Policy papers17. WENCESLAu, J.; HOBBS, J. Institutional assessment of monitoring and evaluation systems (M&E) in the Ministry of Social Development and Combating Hunger (MDS).World Bank, 2008.

5. Consideraes finais e recomendaesA Rede Brasileira de Monitoramento e Avaliao configura-se numa parceria de diversas organizaes de distintas naturezas. Dentre alguns dos seus indicadores de sucesso, destaca-se a capacidade de atrair e reter membros: apenas 17 pessoas cancelaram suas inscries como membros. no entanto, no que se refere aos seus principais desafios, merece ateno a construo de sua sustentabilidade. Esta sustentabilidade ser funo da capacidade da rede de manter a apresentao de contedos que sejam relevantes para seus membros, a alternncia de lideranas no seu comit executivo e a atrao de novos facilitadores da rede, em particular para os grupos temticos. Outro desafio importante a desconcentrao geogrfica dos membros e contedos apresentados, tornando o espao da rede de utilidade para membros e instituies nos mais distintos estgios de experincia. Uma ltima preocupao a manuteno e ampliao da abertura da rede, evitando a percepo que este possa ser um espao capturado por um pequeno grupo de instituies.

18

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


19

Avaliao de programas e profissionalizao da gesto pblicaJeni Vaitsman1 Rmulo Paes-Sousa2

ResumoO Presente artigO PrOcura destacar alguns elementOs decisivOs Para O sucessO e instituciOnalizaO dO mOdelO de sistema de avaliaO e mOnitOramentO desenvOlvidO nO MinistriO dO DesenvOlvimentO SOcial e COmbate FOme. SO destacadas a articulaO, a cOOPeraO e a ParticiPaO das secretarias e dePartamentOs envOlvidOs na cOnstruAbstract O dO referidO mOdelO e cOmO THIS ARTICLE ATTEMPTS TO HIGHLIGHT SOME KEY ELEa mObilizaO e a cOnfluncia de MENTS FOR THE SUCCESS AND THE INSTITUTIONALIZATION interesses em relaO a ganHOs OF THE EVALUATION AND MONITORING SYSTEM MODEL DEVELOPED BY THE MINISTRY OF SOCIAL DEVELOPMENT cOmuns viabilizaram a sua instiAND FIGHT AGAINST HUNGER. THE TEXT COVERS ASPECTS tuciOnalizaO.OF THE SECRETARIATS AND DEPARTMENTS INVOLVED IN CONSTRUCTING THE SYSTEM AND HOW THE MOBILIZATION AND THE CONFLUENCE OF INTERESTS IN JOINT GAINS MADE POSSIBLE ITS INSTITUTIONALIZATION.

SUCH AS ARTICULATION, COOPERATION AND PARTICIPATION

1

Doutora em Sociologia pelo instituto Universitrio de Pesquisas do Rio de Janeiro

(iuperj). Pesquisadora-titular da Escola nacional de Sade Pblica, da Fundao oswaldo Cruz. Foi Diretora de Avaliao e Monitoramento do Ministrio do Desenvolvimento Social e Combate Fome (2004 2007). 2 Mdico, PhD em Epidemiologia pela London School of Hygiene and Tropical Medicine

(University of London). Pesquisador do observatrio de iniquidades em Sade, da Fundao oswaldo Cruz. Foi Secretrio de Avaliao e Gesto da informao do Ministrio do

Palavras-cHave:Programas sociais; Polticas pblicas; Avaliao; Monitoramento; Gesto pblicaR evistada

20

Desenvolvimento Social e Combate Fome (2004 2007). Desde abril de 2010 o Secretrio Executivo do MDS.

R ede B RasileiRa

de

M onitoRaMento

e


de

2011

Avaliao de programas e profissionalizao da gesto pblica

21

Introduono Brasil, a expanso dos sistemas de avaliao integrados s estruturas governamentais vem produzindo algumas mudanas no mbito da gesto das polticas pblicas. Com alguma tradio nas reas da educao e da sade, mais recentemente, a avaliao tem sido institucionalizada na rea de proteo social no contributiva, conquistando cada vez maior legitimidade como atividade mais integrada ao processo das polticas. Este trabalho um relato do caso do Ministrio do Desenvolvimento Social e Combate Fome (MDS), criado em 2004 e que, desde ento, constri um sistema de avaliao e monitoramento por meio de uma unidade especfica para este fim. Se, por um lado, a introduo desses mecanismos significa maior profissionalizao da gesto, por outro, no se trata de um processo sem os tradicionais conflitos entre as esferas tcnica e a poltica. os autores do trabalho, que participaram da formulao e implementao do sistema, fazem uma reflexo sobre o perodo de 2004 a 2007, quando a rea foi implementada e contratou ou codesenvolveu 72 estudos de avaliao dos seus, ento, 22 programas. A construo de um sistema de avaliao e monitoramento dos programas e polticas do MDS significou a implementao de uma poltica de avaliao e monitoramento, o que dependeu de um conjunto de elementos de natureza institucional e poltica. Em um Ministrio novo, formado pela juno de rgos federais j existentes anteriormente, na primeira seo, fazemos uma breve discusso sobre a dualidade poltico-gerencial que caracteriza o campo da avaliao de polticas e programas; na segunda seo, discutimos os mecanismos de cooperao e confiana, que se colocam como centrais para o enfrentamento de desafios organizacionais; na terceira seo, descrevemos o processo de institucionalizao do sistema de avaliao no Ministrio do Desenvolvimento Social e Combate Fome durante os trs primeiros anos de sua existncia, de 2004 a 2006, e as caractersticas de seu modelo. Finalmente, fazemos algumas consideraes finais sobre o sistema de avaliao construdo e seu papel para a profissionalizao da gesto pblica. Nesta reflexo ex-post, descrevemos o modelo do sistema de avaliao e monitoramento desenvolvido no MDS procurando destacar alguns elementos que consideramos como decisivos para seu sucesso e institucionalizao. Entre esses elementos, mostramos como a cooperao pressuposta no modelo e a participao das secretarias e departamentos envolvidas possibilitaram a mobilizao e a confluncia de interesses em relao a ganhos comuns que viabilizam sua institucionalizao. com culturas profissionais e reas de atuao distintas, os problemas enfrentados podem ser entendidos como problemas de implementao de uma inovao dentro de organizaes.

Avaliao, gesto e polticaA discusso sobre os limites, significados e papis atribudos avaliao de polticas e programas por diferentes vertentes tericas e disciplinares extensa. Move-se desde uma viso gerencialista que considera a avaliao como parte dos mecanismos de accountability desenvolvidos nas sociedades contemporneas e que contribuiria com a efetividade e transparncia das aes governamentais at os que ressaltam muito mais sua dimenso poltica e uso em funo de interesses polticos (MoKAtE, 2003; CAiDEn, G.E. & CAiDEn, n., 2001; GvA-MAY, 1999; GREEnE, 1994; oSZlAK, 2005; FARiA, 2005; GUBA, E. & linColn, Y., 1989). Sem entrar nessa discusso, nossa perspectiva entender o processo de construo do sistema de avaliao do MDS a partir da dualidade de uma rea que ao mesmo tempo tcnica e poltica. ou seja, trata-se de reconhecer as caractersticas especficas da avaliao de polticas e programas pblicos, uma atividade exercida em um terreno atravessado pela poltica, onde os estudos extrapolam o simples mbito da produo de conhecimento. Ainda que realizados dentro dos parmetros cientficos socialmente reconhecidos, enquanto pesquisa aplicada s polticas pblicas, acabam fazendo parte das disputas polticas do setor avaliado ou mesmo da poltica de um modo geral. no se trata, portanto, de um conhecimento terico descontextualizado, mas de um tipo de conhecimento queR evista R ede B RasileiRa M onitoRaMento

pode produzir alta carga poltica sobre programas ou valores em disputa (PAtton, 1987; WEiSS, 1987; GREEnE, 1994). nas sociedades democrticas contemporneas, em que atores governamentais e no governamentais participam e disputam polticas, os resultados dos estudos acabam tendo efeitos polticos, principalmente quando revelam aspectos no esperados ou contrrios aos objetivos que haviam sido previstos para o programa avaliado. Resultados, quando divulgados, podem ser usados tanto para tomadas de decises por parte dos gestores contratantes da avaliao, quanto por outros atores envolvidos na disputa por determinada agenda poltica. Uma vez que atores e interesses existem dentro e fora das estruturas governamentais, a divulgao de resultados de avaliao, ainda que internamente, tambm pode assumir uma conotao poltica. A divulgao externa de resultados sempre repercute sobre gestores, dirigentes e a comunidade de polticas envolvidos nos programas avaliados. A confluncia entre produo de conhecimento e poltica, tpica do campo da avaliao, estreita-se quando o que est em jogo so programas com grande visibilidade poltica e social e, sobretudo, quando a legitimidade e a eficcia desses programas so contestadas por atores com alto poder de vocalizao e formao de agenda. Por outro lado, a prpria2011

22

da

de

e


de


23

existncia da avaliao como mecanismo institucionalizado produz no apenas mudanas de atitudes em relao aos mecanismos de melhoria da ao governamental, mas induz tambm um debate poltico mais bem informado sobre polticas e programas. Se a avaliao como instrumento de gesto pode ser capaz de produzir maior clareza e debate pblico sobre as polticas, somente a poltica poder produzir transformaes nas polticas.

respondem presso da sociedade por maior transparncia e responsabilizao da gesto pblica, como parte do Estado democrtico: distintas correntes de pensamento hoje reconhecem que a sorte da democracia e, de certo modo, do bom governo, est inextricavelmente unida possibilidade de instaurar efetivos mecanismos de responsabilizao da funo pblica (oSZlAK, 2005, p. 248). A institucionalizao de diferentes mecanis-

Por outro lado, do ponto de vista da melhoria da capacidade de gesto do Estado, a execuo de estudos de avaliao s adquire relevncia se esses e seus resultados fizerem parte de sistemas de avaliao, o que remete ao problema da institucionalizao desses sistemas no interior de estruturas governamentais. Decerto, esse processo depende de um conjunto de condies, entre as quais a deciso poltica de implantar um sistema de avaliao, com a consequente alocao de recursos financeiros, fsicos e humanos. Depende tambm da cooperao entre os membros da organizao.

A cooperao vista por vrios autores como um dos principais problemas da implementao. Uma vez que as pessoas em diferentes cargos, posies e autoridade tm que trabalhar juntas, seja no interior de uma organizao com vrios departamentos, ou entre vrias organizaes, quando elas precisam cooperar, isso facilitado quando h interdependncia de recursos, congruncia de objetivos e confiana mtua (ClinE, 2000; lUnDin, 2007). Por outro lado, a confiana, uma das bases para a ao coletiva e a produo de bens pblicos, apontada como central na capacidade das organizaes em administrar sua dinmica de modo eficiente e assegurar sua sobrevivncia e crescimento, em contextos que envolvem a coordenao de vrios tomadores de deciso (ColEMAn, 1999; PUtnAM, 1996; KliKSBERG, 1999; tYlER, 2003; oWEn & viDERAS, 2008). No caso do MDS, confiana e cooperao foram to indispensveis quanto a necessidade, para a atividade de avaliao, de compartilhar bancos de dados gerenciais sobre os programas, como cadastro de beneficirios, dados fsico-financeiros, alm de informao, conhecimento sobre os programas e contatos com municpios. A cooperao intraorganizacional entre diferentes unidades responsveis pela gesto da poltica, no plano executivo, e pela avaliao foi imprescindvel para implementao da avaliao.

Com todos os conflitos polticos que possam envolver os resultados de estudos de avaliao, inegvel seu papel de produzir accountability. Embora esse termo seja muitas vezes traduzido como responsabilizao, oszlak (2005) observa que ele se refere a um processo de prestao de contas; no entanto, o termo accountability conota a prpria obrigao de se prestar contas, assumida voluntariamente pelo sujeito, sem necessidade da interveno de um terceiro para exigi-la. Essa distino crucial, pois a obrigao faz parte dos valores e, portanto, da cultura; no precisando, necessariamente, ser exigida por outros. A meno ao termo accountability evocaria, de imediato, relao com as noes de transparncia, eficincia, eficcia, bom governo, autonomia, controle, servio ao cidado, legitimidade, ou, inclusive, democracia. E tambm pareceria associada a seus opostos: arbitrariedade, opacidade, corrupo, ineficincia, autoritarismo etc. Ainda que a necessidade de mecanismos de controle e accountability seja fortemente ressaltada pelas vertentes gerencialistas, essa no uma problemtica restrita esfera administrativa ou de gesto e que deveria ser cativa de uma nica viso terica. tais mecanismos

mos de accountability, entre os quais a avaliao, tornou-se parte da governana nos Estados democrticos e onde existem diferentes mecanismos de prestao de contas. no Brasil, essa institucionalizao parte do processo mais amplo de construo da democracia e da profissionalizao da administrao pblica, em que um conjunto de controles de diferentes naturezas foi se estabelecendo a partir da Constituio de 1988. A avaliao pode agregar qualidade poltica pblica em um campo estratgico onde se disputam questes de legitimao poltica e social (SUBiRAtS, 2005) e constituir um dos mecanismos que contribuem para diminuir aquilo que Cunill-Grau identifica como um dficit de controle da sociedade sobre o Estado (CUnill-GRAU, 2004, p. 44). Dentro de uma viso que associa a melhoria do controle da administrao pblica ampliao da democracia, a construo da funo pblica profissional constitui uma das condies bsicas para a democratizao do sistema poltico, em que o funcionalismo profissional teria forte incidncia sobre a capacidade do estado em contribuir com certo grau de autonomia formulao de polticas.

Cooperao e confianaEm qualquer organizao, o sucesso de uma inovao, como a criao e institucionalizao de uma estrutura de avaliao, exige legitimidade e adeso dos membros da organizao, o que pressupe, entre outras coisas, que eles acreditem na relevncia daquilo que esto implementando, ou seja, nas prticas de avaliao. Como qualquer inovao, a implementao do sistema de avaliao no MDS exigiu a criao de uma base comum de entendimento para a atuao conjunta entre as secretarias responsveis pela conduo dos programas e a secretaria responsvel pela avaliao. ou seja, foi preciso conseguir resolver dois problemas bsicos de qualquer organizao social: cooperao e confiana.

24

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


25

O modelo criado no MDSo modelo representa a institucionalizao de uma atividade no interior desta unidade do Governo Federal, ainda que seja efetuada por pesquisadores contratados externamente e estritamente orientada para responder perguntas referentes ao planejamento, implementao ou repercusses de programas pblicos. o termo programa utilizado como denominao geral de uma poltica, programa ou ao governamental. A criao do MDS reuniu distintas trajetrias organizacionais, campos de conhecimento e objetos de atuao, com suas prprias vises de mundo, modos de agir e solues para a conduo de suas atividades e resoluo de problemas. no existia, em nenhuma das organizaes anteriores que se fundiram no novo ministrio, cultura de avaliao, ou seja, um conjunto de prticas e crenas incorporando a avaliao como parte da gesto de programas e polticas. Pelo contrrio, havia grande desconhecimento do significado e da prpria funo avaliao. As bases normativas da institucionalizao da avaliao no MDS foram estabelecidas com a criao do prprio Ministrio em janeiro de 2004 e com a definio de sua estrutu3

o novo Ministrio comeou ento a responder pelas polticas nacionais de desenvolvimento social, de segurana alimentar e nutricional, de assistncia social e de renda de cidadania, que ficaram a cargo, respectivamente, das secretarias finalsticas que se originaram dos antigos rgos: Secretaria nacional de Segurana Alimentar (SESAn); Secretaria nacional de Assistncia Social (SnAS); Secretaria nacional de Renda de Cidadania (SEnARC). Foram tambm criadas duas secretarias para o desenvolvimento de atividades que vieram a ser chamadas de meio: a Secretaria de Articulao institucional e Parcerias (SAiP) e a Secretaria de Avaliao e Gesto da informao (SAGi). Essas duas secretarias apresentam, na estrutura do MDS, a mesma posio que as secretarias finalsticas, so unidades que se relacionam horizontalmente na hierarquia organizacional; acima delas encontra-se somente a Secretaria-Executiva, alm, claro, do Ministro.

nesse mbito, cabe diferenciar atividades de controle e de avaliao, que, s vezes, so confundidas entre si. Enquanto o foco das atividades de avaliao e monitoramento a qualidade da gesto, o das atividades de controle a legalidade dos atos da administrao pblica, o cumprimento das normas e dos procedimentos legais. o objetivo mais geral do sistema de avaliao consistiu na produo de informao baseada em evidncias e sistematizada sobre programas, polticas, aes, servios; na produo de insumos para mudanas nos programas que pudessem melhorar seu desempenho no apenas nas metas previstas, mas tambm em seus objetivos. Do ponto de vista gerencial, enquanto funo incorporada rotina da execuo das polticas pblicas, seu objetivo foi o de subsidiar tomadas de decises e aes de um conjunto de atores interessados. Avaliaes de programas podem ser feitas

planejamento, a programao e a tomada de decises futuras. o risco de contaminao pelos interesses polticos de organizaes, grupos ou indivduos est na raiz da recomendao de que as avaliaes sejam executadas por instituies externas. Em nossa experincia, houve uma razo suplementar a essa recomendao: a possibilidade de se agregar aos estudos maior diversidade e maior volume de expertise na observao de vrios aspectos de um programa. A constituio de uma equipe interna organizao capaz de cobrir os vrios campos de saber para a avaliao de programas tende a ser de alto custo, de limitada capacidade de produo de estudos de qualidade e de maior risco de endogenia nas escolhas metodolgicas. Em uma estrutura de avaliao cuja rationale a legitimidade cientfica, esta tambm a base para legitimidade poltica, interna e externamente. A qualidade tcnica dos estudos tornouse um capital poltico, subsidiando o debate pblico sobre os principais programas da rea. As escolhas dos desenhos de estudos de avaliao devem ser vistas tambm como parte desse ambiente, onde os mtodos dos estudos dependem das perguntas que se quer responder, dos recursos e das fontes de da-

Coube SAGi as funes de avaliao e monitoramento das polticas e programas de desenvolvimento social do MDS. Isso significou uma inovao em termos de gesto pblica brasileira, uma vez que at ento no existia, em nenhum Ministrio, uma secretaria com essa finalidade exclusiva4. Do ponto de vista regimental, as competncias da SAGi foram formuladas pelas instncias dirigentes do MDS, no processo de sua criao. Contudo, nesse momento, isso no significou a formulao, e tampouco a implementao; apenas a instituio de suas bases normativas.

por meio de diferentes tipos de estudos, que observam vrias de suas dimenses, tais como: relevncia, eficincia, efetividade, resultados e impactos. Espera-se que as indicaes desses estudos contribuam para melhorar a qualidade dos processos de implementao ou verificar os resultados dos programas, dando tambm subsdios para o

ra organizacional em maio do mesmo ano. o MDS fundiu o Ministrio da Assistncia Social (MAS), o Ministrio Extraordinrio de Segurana Alimentar e Combate Fome (MESA) e a Secretaria-Executiva do Programa Bolsa Famlia, a qual era vinculada diretamente Presidncia da Repblica.

3 4

Medida Provisria n. 163, de 23 de janeiro de 2004, transformada na lei n. 10.868, de 13 de maio de 2004. As atribuies da SAGI, apresentadas no Anexo I, foram definidas pelo Decreto n. 5.074, de 11 de maio de 2004, e corrobo-

radas pelo Decreto n. 5.550, de 22 de setembro de 2005.

26

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


27

dos disponveis e do tempo de resposta desejado. os parmetros adotados pela SAGi, no MDS, seguiram a tipologia clssica da rea quanto s dimenses que podem abordadas pelos estudos de avaliao (DRAiBE, 2001): A) PRoCESSoS estudos sobre os pontos que favorecem ou dificultam os processos de implementao da poltica ou do programa, includos seus desenhos, suas dimenses organizacionais e institucionais. os resultados das avaliaes de processos podem ser mais facilmente utilizados por gestores e gerentes, que tm a possibilidade de tomar providncias em relao a achados e recomendaes pertinentes. B) RESUltADoS englobam: desempenho, que se refere aos produtos definidos pelas metas do programa; impacto, que indica mudana na situao dos beneficirios, provocada diretamente pelo programa. As avaliaes de impacto procuram comparar as respostas dadas por dois ou mais grupos similares da populao quanto s condies de exposto e no exposto a um determinado programa. H ainda o componente efeitos, que se refere aos resultados sociais ou institucionais no esperados de um programa. os estudos de impacto, geralmente considerados o padro-ouro da avaliao, usam mtodos quantitativos de coleta de dados e modelos estatsticos/economtricos para analis-los; baseiam-se em estratgias amostrais complexas e em desenhos quaseexperimentais. Essa configurao possui alta legitimidade na comunidade internacional de

avaliao e produz informaes mensurveis sobre a demanda e a oferta das polticas pblicas. no entanto, os estudos requerem recursos financeiros considerveis e expertise nem sempre disponvel, alm de exigir tempo demorado para obter resultados. os principais usurios dos estudos mais robustos de impacto so tomadores de deciso e formuladores de programas nacionais ou transnacionais, gestores de nveis hierrquicos mais altos e pesquisadores envolvidos com o tema. As avaliaes de processos ou de desempenho, por sua vez, so de realizao mais factvel, porque so mais flexveis metodologicamente. So geralmente aplicadas em estudos de processos ou de desempenho, podendo ser realizadas mais rapidamente. Quanto maiores ou mais complexos forem a abrangncia temtica, a representatividade da populao observada, o grau de aprofundamento das questes, a combinao de mtodos, o nmero de estratos de uma amostra e a quantidade de cruzamentos pretendida na anlise, mais demorada e cara ser uma pesquisa. Em compensao, uma pesquisa mais robusta metodologicamente pode ter maior peso na definio dos rumos de determinados programas, desde que no ultrapasse o tempo mximo esperado para a produo das respostas s perguntas formuladas. o tempo da produo de conhecimento no costuma coincidir com o tempo da poltica e isso um problema inerente dualidade da rea, que sempre se tenta antecipar, mas como qualquer poltica implementada, nem sempre de acordo com o previsto. De qualquer forma, no impediu a institucionalizao do sistema.

O processo de institucionalizaoo MDS desenvolveu um modelo com algumas singularidades: posicionamento horizontal na estrutura organizacional; concentrao de recursos humanos com alta qualificao; contratao externa dos estudos de avaliao; nfase na gesto dos contratos de pesquisa e disseminao dos resultados; desenvolvimento de instncia ministerial de pactuao da agenda de avaliao e financiamento com recursos oriundos, em grande parte, de emprstimos junto s agncias internacionais. Essa iniciativa significou uma inovao na gesto pblica brasileira, uma vez que, at ento, no existia, em nenhum Ministrio, uma secretaria com essa finalidade exclusiva. Comparativamente s demais experincias latino-americanas, a posio dessa unidade na estrutura organizacional do Ministrio tambm singular. Em pases como Chile, Argentina e Mxico, a funo avaliao ora est concentrada num rgo gestor do planejamento de todo o sistema governamental (caso chileno), ora tem suas funes distribudas em vrias unidades de gesto e controle no interior dos Ministrios de desenvolvimento social (casos argentino e mexicano). Essa posio na estrutura organizacional, sua autonomia relativa dentro de um rgo recente, reunindo secretarias com diferentes trajetrias, precisava ser legitimada. Como organizaes so locais de conflito, dificilmente, resistncias A legitimidade da avaliao passa pelo reconhecimento de sua utilidade. Enquanto atores racionais, os gestores de programas tm interesse pela funo instrumental da avaliao e isso que d sentido ao investimento em estudos acadmicos. A cooperao entre diferentes membros do corpo tcnico, pesquisadores externos e gestores dos programas consistiu em grande incentivo para a cooperao. o convencimento dos membros da organizao e, sobretudo, dos gestores de que as informaes produzidas por monitoramento e avaliao possibilitariam no apenas melhorar o desempenho dos programas, mas tambm verificar se os resultados previstos estavam sendo alcanados, assim como possveis reformulaes, consistiu em uma etapa necessria do processo de institucionalizao. a processos inovadores so resolvidas apenas por procedimentos hierrquicos, sem a criao de mecanismos de cooperao e construo de confiana. A participao dos membros das secretarias finalsticas na elaborao da agenda e na implementao da avaliao definio do desenho e das questes de pesquisa, construo de instrumentos de pesquisa, discusso de relatrios e recomendaes, incorporao das recomendaes pertinentes garantiu a adeso e legitimidade ao processo, criando as bases para sua sustentabilidade, a despeito de subsequentes mudanas nos cargos de direo.

28

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


29

Com a centralizao da funo avaliao na SAGi, a unidade tornou-se responsvel por realizar ou contratar todos os estudos de avaliao referentes aos programas sob gesto do Ministrio. Tambm ficou a cargo da capacitao dos gestores do MDS em atividades de avaliao, com o objetivo de fornecer-lhes maior competncia para definir suas demandas; debater as metodologias escolhidas e os resultados encontrados e, principalmente, apropriar-se dos resultados das investigaes para a melhoria dos programas e polticas sob sua gesto. Ainda que do ponto de vista regimental as competncias da SAGi tenham sido formuladas pelas instncias dirigentes do Ministrio poca de sua criao, isso no implicou a formulao, tampouco a implementao, de uma poltica ou um modelo de avaliao; apenas a instituio de suas bases normativas. Crucial para a implementao de qualquer empreendimento a capacidade institucional da agncia responsvel por isso. o primeiro efeito da criao de uma unidade responsvel por avaliao foi a construo de capacidade institucional, envolvendo recursos financeiros, fsicos e humanos. Alm da alocao dos recursos prprios, os oriundos de emprstimos de organismos internacionais foram fatores indutores da implementao e institucionalizao do processo. A exigncia de critrios tcnicos e profissionais para desempenhar um conjunto de atividades de avaliao definio de estudos, desenhos e metodologias; contratao;

acompanhamento e avaliao dos estudos contratados requer recursos humanos qualificados. A inexistncia de um corpo de funcionrios prprio, capacitado para essas atividades, consistiu uma debilidade enfrentada de diferentes formas, inicialmente por meio de contratos precrios. A partir de 2007, as contrataes precrias foram substitudas por mecanismos mais estveis. Para avaliar os programas das trs grandes reas do Ministrio, investiu-se em competncia tcnica e formao multidisciplinar, recrutando-se profissionais oriundos de diferentes reas de atuao e de conhecimento: cincias sociais e humanas, tecnologia da informao, demografia, estatstica, economia, nutrio, assistncia social, agronomia etc. o objetivo foi constituir uma unidade compacta, com a maior competncia tcnica agregada possvel (tabela 1). O financiamento externo e o consequente relacionamento com agncias internacionais contriburam para aumentar a qualidade do debate interno sobre o papel da avaliao na gesto pblica. A relao com atores externos reforou a necessidade de produo de evidncias cientficas, fortalecendo os atributos de independncia e transparncia buscados nos estudos e seus resultados. aqui que a qualidade tcnica e cientfica dos estudos de avaliao pode cumprir no apenas as clssicas funes gerenciais, mas tambm a de legitimidade poltica de sua funo no mbito de uma gesto pblica profissionalizada.

tabela 1 - recursos Humanos da secretaria de aValiao e gesto da informao segundo funo e titulao mxima - JulHo de 200

Fonte: SAGi/MDS ** 4 cursavam o mestrado. * todos cursavam o ensino superior.

no ano de 2006, foi constituda a poltica de avaliao e monitoramento do MDS (BRASil, 2006), que define como aes de avaliao os estudos e pesquisas com os seguintes objetivos: a) anlise da implementao de programas; b) anlise de resultados imediatos dos programas; c) anlise de impactos ou efeitos dos programas; d) anlise da eficincia, da equidade, da eficcia e da efetividade de programas; e) anlise do perfil dos beneficirios dos programas; f) elaborao de diagnsticos de perfil da demanda; g) avaliao da satisfao de beneficirios/usurios; h) avaliao da qualidade dos servios prestados; i) elaborao de estudos de linha de base.

30

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


31

A agenda de avaliao passou a ser regida pelo Plano Anual de Monitoramento e Avaliao elaborado por grupo de trabalho com representao dos atores relevantes envolvidos na gesto dos programas, sob coordenao da SAGi. Aprovado, anualmente, no ms de agosto, o Plano indica os programas e aes do MDS a serem priorizados pelas avaliaes no ano seguinte (vAitSMAn; RoDRiGUES; PAES-SoUSA, 2006). A elaborao do Plano considera as avaliaes realizadas anteriormente pelo MDS ou por outras instituies, de modo a evitar repeties e desperdcio de recursos.

preende as etapas da discusso e preparao dos termos de referncia. o termo de Referncia (tR) utilizado para estabelecer os parmetros tcnicos e jurdico-administrativos necessrios aos editais de seleo e contratao de pessoa fsica ou jurdica para a execuo das pesquisas. os parmetros tcnicos definem escopo, objetivos, metodologia, cronograma e custos do projeto. os parmetros jurdico-administrativos referem-se aos requisitos exigidos pelas normas. Entre estes ltimos, enfatizamos dois aspectos: a propriedade dos microdados por parte do MDS e a adequao tcnica da equipe executora. Uma inovao no ciclo da avaliao do modelo desenvolvido no MDS foi a disponibilizao dos microdados das pesquisas por meio do Consrcio de informaes Sociais (CIS), preservando-se a confidencialidade dos indivduos observados. A publicao dos microdados torna mais eficiente a utilizao dos recursos pblicos investidos em pesquisa e promove a transparncia em relao aos resultados desses investimentos. Permite a confrontao e comparao dos resultados divulgados com resultados oriundos de outras anlises, promovendo uma validao informal das informaes divulgadas sobre os programas. Do ponto de vista poltico, a divulgao pblica um mecanismo que aumenta o controle da sociedade sobre o governo. Aqui tambm, a boa gesto implica maior accountability e transparncia. A seguir, apresentamos, de maneira esquemtica, o fluxo de avaliao dos programas sociais do MDS.

fluxo de aValiao dos Programas do mds

O fluxo de avaliao dos programas do MDSQuem demanda e utiliza os resultados dos estudos de avaliao? no caso do MDS, demandas sobre questes e temas a serem avaliados podiam partir de dirigentes, gestores e gerentes de diferentes nveis. A divulgao de resultados de avaliaes atinge a comunidade de polticas envolvidas com o tema da proteo social, pblicos com interesses variados, tendo, portanto, distintas implicaes. H sempre diversos tipos de audincia para os resultados da avaliao: gestores e tcnicos envolvidos com os programas avaliados, outros gestores pblicos, pesquisadores, jornalistas e demais interessados nas reas acadmica e poltica. De modo geral, o fluxo de avaliao dos programas do MDS pode ser dividido em: 1) definio da demanda, 2) contratao dos estudos e gesto dos contratos e 3) disseminao

32

dos resultados. A definio da demanda com-

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


33

Consideraes finaisA experincia do MDS mostra que, na perspectiva da institucionalizao e legitimidade, difcil separar a funo de gesto da avaliao de suas funes estratgicas. Pois, para os gestores, justamente sua utilidade enquanto instrumento de gesto que fomenta a cooperao e, ao mesmo tempo, legitima a agenda da avaliao, promovendo maior participao dentro da organizao. Processos mais transparentes e cooperativos fomentam a adeso ao processo de accountability e criam condies para a incorporao, pelos membros da organizao, da cultura da avaliao. As contrataes externas, garantindo maior independncia e iseno dos estudos, constituram elementos decisivos para a construo de legitimidade interna e externa. Do ponto de vista interno, o envio permanente dos resultados das investigaes s instncias de pactuao renova a autoridade dos avaliadores perante os avaliados, reduzindo os potenciais conflitos entre estes. A utilizao dos resultados de avaliao pelas diferentes audincias depende do grau de domnio e interesse sobre os programas e polticas, bem como do conhecimento das nesse sentido, a apropriao e o uso dos resultados da investigao pela gesto das polticas e programas, que de fato, coroariam o ciclo de avaliao de um programa ou poltica, constituem um desafio ao mesmo tempo poltico e gerencial. Questes como a no coincidncia entre o tempo da poltica e o da produo de conhecimento costumam ser objeto de conflitos entre os diferentes atores envolvidos no processo de implementao e avaliao. Muitas vezes, recomendaes relevantes de estudos de boa qualidade no conseguem interferir na dinmica das polticas e programas, seja pela indiferena dos gestores ou dificuldade de mobilizar os responsveis por mudanas nessa dinmica. A experincia do MDS muito recente, mas pode ser inserida no processo de profissionalizao da administrao pblica brasileira (ABRCio, 2007; noGUEiRA & CAvAlCAnti, As atividades da unidade de avaliao desempenharam tanto funes estratgicas, de governo, ao promoverem a transparncia das aes do Estado, quanto operacionais, ao produzirem evidncias para os gestores de programas. Ainda que o sistema tenha sido implementado a partir de um modelo top-down, dentro de uma perspectiva gerencialista, a cooperao entre os atores envolvidos garantiu a participao de vrios nveis hierrquicos da organizao. A dinmica do processo de contratao de estudos e produo e divulgao de resultados constituiu-se em elemento importante para Com todas as dificuldades que a implementao de sistemas de avaliao e monitoramento apresenta, seja quanto sua legitimidade organizacional, seja quanto ao uso de seus resultados, a avaliao, enquanto uma atividade integrada s estruturas governamentais, no apenas produz evidncias que podem contribuir para melhorar a eficcia dos programas e polticas pblicas, mas tambm contribuem com o processo de construo de uma gesto pblica mais transparente e profissionalizada. metodologias de avaliao. A divulgao, por meio de publicaes de resultados de avaliao, alm de tornar pblico os produtos das polticas e programas, subsidia o debate tcnico e poltico da rea de desenvolvimento social. 2009). os estudos de avaliao realizados cumpriram seus objetivos de produo de evidncias em polticas pblicas. Ganhos de informao, anlises e subsdios para a expanso e o planejamento dos programas foram conquistas obtidas base de cooperao organizacional e legitimidade interna e externa, pautadas por critrios de transparncia e excelncia. A avaliao conseguiu um lugar institucional, passando no apenas a ser aceita, mas fortemente demandada como necessria pelas demais unidades e membros da organizao. Ainda que a institucionalizao de sistemas de avaliao integrados s estruturas governamentais dependa de inmeros fatores sobre os quais nem sempre seus formuladores ou implementadores tm poder de deciso e influncia, a experincia do MDS, ao instituir um sistema de avaliao, expandiu o debate qualificado sobre os projetos e polticas de governo. A discusso de questes que so objeto das polticas, com base em evidncias, produz opinies e julgamentos mais informados, promovendo mudanas de qualidade na arena das polticas pblicas. a construo de uma gesto mais eficaz e transparente.

34

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


35

Referncias bibliogrficasABRuCIO, Fernando Luiz. Trajetria recente da gesto pblica brasileira: um balano crtico e a renovao da agenda de reformas. Revista Brasileira de Administrao Pblica, Rio de Janeiro: FGv, p. 6786. 2007. Edio Especial Comemorativa. BRASIL. Ministrio do Desenvolvimento Social e Combate Fome. Portaria sobre a poltica de avaliao e monitoramento do MDS. Braslia, DF: MDS, 2006. CAIDEN, G. E; CAIDEN, N. Enfoques y lineamiento, la mediciona y la evaluation des desenpeo en programas del sector publico. Revista do Servio Pblico, v. 52, n. 1, p. 78-103, 2001. CLINE, Kurt D. Defining the implementation problem: organization management versus cooperation. Journal of Public Administration Research and Theory, Oxford, v. 10, n. 3, 2000. COLEMAN, James. Social capital in the creation of human capital. In: DAS GuPTA, Partha; SERAGELDIN, Ismail. Social capital: a multifaceted perspective. Washington, DC: The World Bank, 1999. CuNILL-GRAu, Nuria. La Democratizacin de la administracin pblica: los mitos a vencer. In: POLTICA y gestin pblica. Buenos Aires: Centro Latinoamericano de Administracin para el Desarrollo; Fondo de Cultura Econmica de Argentina, S.A., 2004. DRAIBE, S. M. Introduo. In: BARREIRA, M. C. R. N.; CARvALHO, M. do C. B. de (Orgs.). Tendncias e Perspectivas na Avaliao de Polticas Sociais. So Paulo:IEE/PuC-SP, 2001. FARIA, Carlos Aurlio P. A Poltica da avaliao de polticas. Revista Brasileira de Cincias Sociais, So Paulo, v. 20, n. 59, 2005. GEvA-MAY, I; PAL, L. Good Fences Make Good Neighbors - Policy Evaluation and Policy Analysis Exploring the Differences, Evaluation, v. 5, n.3, p.259277. 1999. GuBA, E. G. & LINCOLN, Y. S. Fourth Generation Evaluation. Newbury Park, CA, Sage Publications, 1989. GREENE, Jennifer C. Qualitative Program Evaluation: practice and promise. In: DENZIN, N; Lincoln. Y. Handbook of Qualitative Research. London: Sage Publications, 1994. p.530-544. LuNDIN, Martin. Explaining cooperation: how resource interdependence, goal congruence, and trust affect joint actions in policy implementation, J Public Adm Res Theory, v.17, n. 4, p. 651-672. 2007. KLIKSBERG, Bernardo. Capital social y cultura, claves esenciales del desarrollo. Revista de la Cepal, Santiago de Chile, n. 69, dez. 1999. MOKATE, K. Convirtiendo el monstruo en aliado: la evaluacin como herramienta de la gerencia social. Washington, D. C.: Banco Interamericano de Desenvolvimento, 2003. NOGuEIRA, Ronaldo; CAvALCANTE, Pedro. Avaliao e monitoramento: duas experincias de institucionalizao na gesto das polticas pblicas no Poder Executivo Federal Brasileiro. In: CONGRESO INTERNACIONAL DEL CLAD SOBRE LA REFORMA DEL ESTADO Y DE LA ADMINISTRACIN PBLICA, 14, 2009, Salvador (Bahia), Brasil. OSZLAK, Oscar. Responsabilizacin o respondibilidad?: el sujeto y el objeto de un Estado responsable. In: RESPONSABILIZACION y Evaluacin de la gestin pblica. Caracas: Centro Latinoamericano de Administracin para El Desarrollo; Editorial Texto, C.A., 2005. p. 239-272. OWEN, Ann L; vIDERAS, Julio. Trust, cooperation, and implementation of sustainability programs: the case of Local Agenda 21, Ecological Economics, Elsevier, v. 68, n. 1-2, p. 259-272, December 2008. PATTON. Evaluationss political inherency: practical implications for design and use. In: PALuMBO,D. J. The Politics of program evaluation. Newbury Park, CA. Sage, 1987. p. 100-145. PuTNAM, Robert D. Comunidade e democracia: a experincia da Itlia moderna. Rio de Janeiro: Fundao Getlio vargas, 1996. SuBIRATS, Joan. Podemos utilizar los instrumentos de evaluacin como palanca de gobierno del sector pblico? In: RESPONSABILIZACIN y Evaluacin de la gestin pblica. Caracas: Centro Latinoamericano de Administracin para el Desarrollo ; Editorial Texto, C.A., 2005. p.47-58. TYLER. Trust within organisations, Personnel Review, v. 32 , n. 5, p.556 568. 2005. vAITSMAN, Jeni; RODRIGuES, Roberto W. S; PAES-SOuSA, Rmulo. O Sistema de avaliao e monitoramento das polticas e programas sociais: a experincia do Ministrio do Desenvolvimento Social e Combate Fome. Braslia: MDS; uNESCO, 2006. Policy Papers, n.17. WEISS, C. Where politics and evaluation research meet. In: Palumbo, D. J. (Ed.) The politics of program evaluation. Newbury Park, CA. Sage Publications, 1987.

36

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011


37

Monitoramento Analtico como Ferramenta para Aprimoramento da Gesto de Programas SociaisiPaulo de Martino Jannuzzi1

ResumoO Presente teXtO tem O PrOPsitO de discutir sObre a estruturaO de sistemas de mOnitOramentO. PrOcura-se mOstrar Que, Para alm dO necessriO cOnjuntO de infOrmaes decisrias PrOduzidas nO mbitO dO MOnitOramentO Gerencial vOltadO aO acOmPanHamentO de metas e PrazOs de aes , imPrescindvel investir temPO e recursOs Para imPlantar Abstract nO cOtidianO de tcnicOs e gesTHIS TEXT HAS THE PURPOSE OF BRINGING SOME CONCEPTUAL tOres de PrOgramas as rOtinas AND METHODOLOGICAL CONTRIBUTION ON MONITORING SYSTEMS de MOnitOramentO AnalticO, STRUCTURING. IT IS PROPOSED IN THIS PAPER THE PROSPECT OF ANALYTICAL MONITORING OF THE ACTIONS AND PROGRAMS, CARentendidO neste teXtO cOmO O RIED OUT BY MEANS OF SYSTEMIC AND COMPARATIVE ANALYSIS OF eXercciO sistemticO de anlise INDICATORS ALONG THE TIME, THE TERRITORY AND ACCORDING TO de indicadOres rePresentativOs OTHER COMPARATIVE AXES (TYPOLOGY OF ORGANIZATIONAL UNITS dOs fluXOs de desembOlsOs finanSUCH AS POORER AND RICHER MUNICIPALITIES, WITH GREATER OR ceirOs, de realizaO de atividaLESSER CAPACITY FOR MANAGEMENT, WITH VARYING DEGREES OF INTEGRATION / ARTICULATION AMONG SOCIAL PROGRAMS ETC.). des-meiO, de entrega de PrOdutOs THE OBJECT IS TO SHOW THAT, BEYOND THE NECESSARY SET OF e de inferncia de resultadOs dOs DECISION-MAKING INFORMATION PRODUCED UNDER THE MONIPrOgramas juntO a seus PblicOsTORING MANAGEMENT FOCUSED ON THE FOLLOW-UP OF GOALS alvO, segundO critriOs clssicOs AND DEADLINES OF THE ACTIONS IT IS ESSENTIAL TO INVEST TIME AND RESOURCES TO DEPLOY IN THE DAILY ACTIVITIES OF PROGRAM de avaliaO de POlticas Pblicas MANAGERS AND TECHNICIANS THE ROUTINES ASSOCIATED TO cOmO eQuidade, eficcia, eficinANALYTICAL MONITORING, HERE, UNDERSTOOD IN THIS TEXT cia e efetividade. AS THE SYSTEMATIC EXERCISE OF ANALYSIS OF REPRESENTATIVEINDICATORS OF THE FINANCIAL OUTLAYS FLOWS, IMPLEMENTATION OF ACTIVITIES, PRODUCT DELIVERY AND INFERENCE OF PROGRAM RESULTS WITH THEIR TARGET AUDIENCES, CONFORMING TO CLASSIC CRITERIA OF EVALUATION OF PUBLIC POLICIES - SUCH AS EQUITY, EFFICACY, EFFICIENCY AND EFFECTIVENESS.

1

Professor da Escola nacional de Cincias Estatsticas do iBGE, colaborador da Escola

nacional de Administrao Pblica e pesquisador do CnPq. Secretrio de Avaliao e Ges-

Palavras-cHave:Programas sociais, Avaliao; Monitoramento; Gesto pblica; Ferramentas informacionaisR evistada

38

to da informao do MDS desde maro de 2011.

R ede B RasileiRa

de

M onitoRaMento

e


de

2011

Monitoramento Analtico como Ferramenta para Aprimoramento da Gesto de Programas Sociais

39

IntroduoA institucionalizao das atividades de monitoramento e avaliao (M&A) da ao governamental vem ganhando fora no Brasil, acompanhando, por um lado, a ampliao do escopo e escala dos programas sociais e, por outro, o aumento da qualificao mdia dos tcnicos e gestores nas trs esferas do setor pblico. A anlise da evoluo e da natureza do gasto social elaborada por Castro et al. (2008) revela um aumento real de 74% do gasto federal na rea entre 1995 e 2005, com ampliao de beneficirios e/ou programas nos diversos setores da Poltica Social. Dados da Relao Anual de informaes Sociais (RAiS) revelam que, de 2002 a 2008, houve um crescimento de 66% nos quadros tcnicos de nvel superior nas trs esferas de governo, com especial destaque no mbito municipal. , pois, alentador que tal dinamismo, de um lado e outro, venha acompanhado de aes de mobilizao da cultura de M&A no setor pblico e responda a uma demanda crescente da sociedade brasileira por maior efetividade do gasto pblico. H, certamente, segmentos do poder pblico em que a institucionalizao do M&A avana mais rapidamente, como, em mbito federal, entre outros, no Ministrio do Desenvolvimento Social e Combate Fome (MDS), Ministrio da Educao (MEC) e Ministrio da Sade (MS). Em outras esferas governamentais, com corpos tcnicos em processo de estruturao e agenda de programas mais recente, os esforos de gesto organizacional concentram-se, como era de se esperar, na elaborao de diagnsticos, no desenho das iniciativas e/ou na impleUma anlise preliminar e parcial do processo de estruturao das atividades de M&A pelo setor pblico brasileiro parece relevar que os esforos concentram-se nas duas pontas da cadeia de agregao de valor informao: na produo e organizao de dados mais especficos para a rea setorial da Poltica (em que se pode presenciar maior empenho) e na conduo de pesquisas avaliativas de resultados e impactos dos programas. ilustrativo da preocupao com o levantamento de dados mais abrangentes e especficos para M&A o redesenho dos instrumentos de acompanhamento da Poltica Educacional pelo instituto nacional de Estudos e Pesquisas Educacionais (inEP) como nos casos do Educacenso, que passou a ter como unidade de investigao o aluno (ainda que a unidade de coleta seja, como antes, a escola), e da Prova Brasil, que ampliou as possibilidades de anlise dos determinantes do desempenho escolar para alm das caractersticas do Sistema Educacional Estadual como pelos instrumentos do Sistema de Avaliao da Educao Bsica (SAEB) , abarcando a gesto da escola e o contexto socioeconmico mais prximo do alunado. o empenho do Ministrio da Sade em organizar e disponibilizar por meio do Datasus o vasto acervo de dados sobre produo de servios e acompanhamento de programas nas trs esferas de governo, alm das estatsticas vitais (nascimentos, bitos por causas), outro caso importante a registrar na estruturao da cadeia de produo de informaes em M&A. iniciativas semelhantes2 Com tal histrico de preocupao em transformao de registros administrativos em estatsticas, seria de se esperar que

sem necessariamente com a especificao de instrumentos de M&A.

podem ser observadas no Ministrio da Previdncia Social como revelado pelo aplicativo infologo da Dataprev , no Ministrio da Cincia e tecnologia e no Ministrio da Justia, em parceria com o Frum Brasileiro de Segurana Pblica. no menos importante e no poderia deixar de ser citado o esforo de longa data desde a dcada de 1980 do Ministrio do trabalho e Emprego de organizar os registros anuais da RAiS e mensais do Cadastro Geral de Empregados e Desempregados (CAGED) e dissemin-los como estatsticas do emprego formal por meio de aplicativos para microcomputador e na internet .2

a partir de sua reformulao nos anos 1990, dos Ministrios das pastas sociais (Ministrio da Sade, Ministrio do Desenvolvimento Social, entre outros), aspecto esse a ser potencializado com o Sistema integrado de Pesquisas Domiciliares, que comea a se estruturar. A Pesquisa de informaes Bsicas Municipais tambm tem sido outro instrumento que o iBGE tem usado para atender demandas de Ministrios mais novos ou que ainda no contam com sistemticas de atualizao de seus cadastros e registros de programas para levantar dados acerca dos equipamentos pblicos existentes, as estruturas de gesto setorial e recursos humanos disponveis nos municpios para determinados programas (como no caso dos Ministrios da Cultura, do Esporte e do prprio Ministrio do Desenvolvimento Social)3. Vale ainda citar o Censo Demogrfico 2010, para o qual, seguindo experincia realizada no censo anterior, foram realizadas reunies com diferentes pblicos representantes de municpios, estados, Ministrios, universidades, instituies estaduais de estatstica, movimentos sociais para apresentar e discutir os quesitos levantados no comparativamente extenso questionrio da amostra.

tambm reveladora dos esforos na produo de dados para cadeia informacional em M&A no pas a iniciativa do instituto Brasileiro de Geografia e Estatstica (IBGE) em apresentar, discutir e incorporar demandas de Ministrios e outras instncias de representao poltica e acadmica em seus levantamentos amostrais e pesquisas institucionais. A Pesquisa nacional por Amostra de Domiclios, criada em 1967, tem um histrico importante de investigao de temas de interesse mais especfico do mundo acadmico e, sobretudo

os dados produzidos no mbito das aes de Intermediao de Mo de Obra e de Qualificao Profissional j estivessem mais disponveis para uso de gestores, pesquisadores e outros atores interessados nessas reas. 3 A possibilidade de implementao de um instrumento semelhante, para levantamentos especficos a esfera estadual,

outro aspecto bastante interessante, na medida em que permitiria investigar os instrumentos normativos, recursos humanos e outros aspetos das Polticas Pblicas em que a instncia estadual tem papel mais proeminente como na Segurana Pblica, Meio Ambiente, transportes etc.

40

mentao das aes previstas nos programas,

R evista

da

R ede B RasileiRa

de

M onitoRaMento

e


de

2011

Monitoramento Analtico como Ferramenta para Aprimoramento da Gesto de Programas Sociais

41

na outra ponta da cadeia de produo de informaes em M&A realizao de pesquisas especficas de avaliao de programas , as iniciativas so menos generalizadas ou, pelo menos, menos divulgadas. Em que pesem as experincias anteriores e j mais antigas de conduo de estudos avaliativos nos Ministrios da Educao, da Sade e do trabalho nesse caso, em especial, as pesquisas de avaliao no mbito do Planfor nos anos 1990 , um salto qualitativo em M&A na esfera federal foi dado com a criao da Secretaria de Avaliao e Gesto da informao (SAGi) no MDS, com mesmo status organizacional das secretarias finalsticas desse Ministrio. O nmero e a diversidade de enfoques de pesquisas de avaliao organizadas pela SAGi e o esforo em publicao de seus instrumentos e resultados constituem-se, de fato, em um marco importante na rea, com reverberao em outras reas do Governo Federal e outros mbitos do setor pblico, seja pela importncia conferida institucionalizao da M&A, seja pela contribuio didtica em mostrar como tais instrumentos devem ser determinados em funo das problemticas especficas e grau de maturidade da implantao dos programas sociais, questes discutidas, entre outros, em Garcia (2001) e Jannuzzi et al. (2009). Se as iniciativas na estruturao de a

Revista Brasileira de Monitor Amen To e Avaliacao[1]

Documents

Transcript of Revista Brasileira de Monitor Amen To e Avaliacao[1]