Post on 11-Nov-2018
Avaliaccedilatildeo de programas de desenvolvimento social
A experiecircncia da Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGIMDS)
Profa Renata Bichir
EACHUSP e CEM
(renatabichirgmailcom)
Escola do Parlamento 21 de marccedilo de 2016
Bibliografia de referecircncia
bull Experiecircncia da SAGI ndash VAITSMAN Jeni Rodrigues Roberto PAES-SOUSA Rocircmulo Avaliaccedilatildeo de programas e
profissionalizaccedilatildeo da gestatildeo puacuteblica Revista Brasileira de Monitoramento e Avaliaccedilatildeo Nuacutemero 1 Jan-Jun de 2011
ndash DULCI Otavio Soares Avaliaccedilatildeo de programas sociais desafios e potencialidades na construccedilatildeo de um sistema de informaccedilotildees Caderno de Estudos ndash Desenvolvimento Social em Debate no 13 2012 pp 221-237
bull Dimensatildeo poliacutetica da avaliaccedilatildeo ndash ARRETCHE Marta T S ldquoUma contribuiccedilatildeo para fazermos avaliaccedilotildees menos ingecircnuasrdquo
In BARREIRA e CARVALHO (org) Tendecircncias e perspectivas na avaliaccedilatildeo de poliacuteticas e programas sociais Satildeo Paulo IEEPUC-SP 2001
ndash FARIA Carlos Aureacutelio Pimenta A poliacutetica da avaliaccedilatildeo de poliacuteticas puacuteblicas Revista Brasileira de Ciecircncias Sociais Vol 20 nordm 59 outubro2005
ndash Conceitos e tipos de avaliaccedilatildeo ndash JANNUZZI Paulo de Martino Avaliaccedilatildeo de programas sociais no Brasil repensando
praacuteticas e metodologias das pesquisas avaliativas Planejamento e Poliacuteticas Puacuteblicas ndash PPP no 36 JanJun IPEA 2011
O que significa avaliar
ldquoAVALIAR consiste fundamentalmente em emitir um juiacutezo de valor sobre uma
intervenccedilatildeo implementando um dispositivo capaz de fornecer informaccedilotildees
cientificamente vaacutelidas e socialmente legiacutetimas sobre essa intervenccedilatildeo ou sobre
qualquer um dos seus componentes com o objetivo de proceder de modo a que os
diferentes atores envolvidos cujos campos de conhecimento satildeo por vezes diferentes
estejam aptos a se posicionar sobre a intervenccedilatildeo para que possam construir individual
ou coletivamente um julgamento que se possa traduzir em accedilotildees (Champagne
Contandriopoulos Brouselle Hartz amp Denis 2011 p44)
Falta de uniformidade conceitual variaccedilotildees histoacutericas e de acordo com tipo de
abordagem diferentes sentidos de avaliaccedilatildeo
Diferentes contextos
bull Pesquisa acadecircmica e pesquisa aplicada diferentes missotildees diferentes constrangimentos diferentes usos dos indicadores
bull Temporalidades diversas no acircmbito do sistema de avaliaccedilatildeo do MDS haacute a inter-relaccedilatildeo complexa entre 3 tempos (Dulci 2010) teacutecnico poliacutetico e administrativo
Ministeacuterio do Desenvolvimento Social e Combate agrave Fome
bull Criado em janeiro de 2004 com a perspectiva de consolidaccedilatildeo
de uma rede integrada de proteccedilatildeo e promoccedilatildeo social
bull Coordenaccedilatildeo das accedilotildees de seguranccedila alimentar e nutricional de
assistecircncia social de transferecircncia de renda com
condicionalidades e de geraccedilatildeo de oportunidades de inclusatildeo
bull Estruturaccedilatildeo de sistemas de poliacuteticas puacuteblicas
o Sistema Uacutenico da Assistecircncia Social (SUAS)
o Sistema Nacional de Seguranccedila Alimentar e Nutricional
(SISAN)
Desafios no plano de monitoramento e avaliaccedilatildeo do MDS bull Problemas sociais da agenda do MDS satildeo
complexos e multicausais aleacutem de terem inserccedilatildeo recente na agenda brasileira de poliacuteticas sociais
bull Diversidade de programas especiacuteficos que entregam pacotes de serviccedilos e benefiacutecios requerendo articulaccedilatildeo entre diferentes setores da poliacutetica social entes federativos e entidades puacuteblicas e privadas
bull Puacuteblicos-alvo bastante distintos e dispersos (populaccedilatildeo de baixa renda quilombolas ribeirinhos populaccedilatildeo em situaccedilatildeo de rua povos indiacutegenas)
MDS
Gabinete da Ministra
SENARC
Secretaria Nacional de Renda de Cidadania
SNAS
Secretaria Nacional de Assistecircncia Social
SESAN
Secretaria Nacional de Seguranccedila Alimentar e Nutricional
SESEP
Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza
SAGI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Secretaria Executiva
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Bibliografia de referecircncia
bull Experiecircncia da SAGI ndash VAITSMAN Jeni Rodrigues Roberto PAES-SOUSA Rocircmulo Avaliaccedilatildeo de programas e
profissionalizaccedilatildeo da gestatildeo puacuteblica Revista Brasileira de Monitoramento e Avaliaccedilatildeo Nuacutemero 1 Jan-Jun de 2011
ndash DULCI Otavio Soares Avaliaccedilatildeo de programas sociais desafios e potencialidades na construccedilatildeo de um sistema de informaccedilotildees Caderno de Estudos ndash Desenvolvimento Social em Debate no 13 2012 pp 221-237
bull Dimensatildeo poliacutetica da avaliaccedilatildeo ndash ARRETCHE Marta T S ldquoUma contribuiccedilatildeo para fazermos avaliaccedilotildees menos ingecircnuasrdquo
In BARREIRA e CARVALHO (org) Tendecircncias e perspectivas na avaliaccedilatildeo de poliacuteticas e programas sociais Satildeo Paulo IEEPUC-SP 2001
ndash FARIA Carlos Aureacutelio Pimenta A poliacutetica da avaliaccedilatildeo de poliacuteticas puacuteblicas Revista Brasileira de Ciecircncias Sociais Vol 20 nordm 59 outubro2005
ndash Conceitos e tipos de avaliaccedilatildeo ndash JANNUZZI Paulo de Martino Avaliaccedilatildeo de programas sociais no Brasil repensando
praacuteticas e metodologias das pesquisas avaliativas Planejamento e Poliacuteticas Puacuteblicas ndash PPP no 36 JanJun IPEA 2011
O que significa avaliar
ldquoAVALIAR consiste fundamentalmente em emitir um juiacutezo de valor sobre uma
intervenccedilatildeo implementando um dispositivo capaz de fornecer informaccedilotildees
cientificamente vaacutelidas e socialmente legiacutetimas sobre essa intervenccedilatildeo ou sobre
qualquer um dos seus componentes com o objetivo de proceder de modo a que os
diferentes atores envolvidos cujos campos de conhecimento satildeo por vezes diferentes
estejam aptos a se posicionar sobre a intervenccedilatildeo para que possam construir individual
ou coletivamente um julgamento que se possa traduzir em accedilotildees (Champagne
Contandriopoulos Brouselle Hartz amp Denis 2011 p44)
Falta de uniformidade conceitual variaccedilotildees histoacutericas e de acordo com tipo de
abordagem diferentes sentidos de avaliaccedilatildeo
Diferentes contextos
bull Pesquisa acadecircmica e pesquisa aplicada diferentes missotildees diferentes constrangimentos diferentes usos dos indicadores
bull Temporalidades diversas no acircmbito do sistema de avaliaccedilatildeo do MDS haacute a inter-relaccedilatildeo complexa entre 3 tempos (Dulci 2010) teacutecnico poliacutetico e administrativo
Ministeacuterio do Desenvolvimento Social e Combate agrave Fome
bull Criado em janeiro de 2004 com a perspectiva de consolidaccedilatildeo
de uma rede integrada de proteccedilatildeo e promoccedilatildeo social
bull Coordenaccedilatildeo das accedilotildees de seguranccedila alimentar e nutricional de
assistecircncia social de transferecircncia de renda com
condicionalidades e de geraccedilatildeo de oportunidades de inclusatildeo
bull Estruturaccedilatildeo de sistemas de poliacuteticas puacuteblicas
o Sistema Uacutenico da Assistecircncia Social (SUAS)
o Sistema Nacional de Seguranccedila Alimentar e Nutricional
(SISAN)
Desafios no plano de monitoramento e avaliaccedilatildeo do MDS bull Problemas sociais da agenda do MDS satildeo
complexos e multicausais aleacutem de terem inserccedilatildeo recente na agenda brasileira de poliacuteticas sociais
bull Diversidade de programas especiacuteficos que entregam pacotes de serviccedilos e benefiacutecios requerendo articulaccedilatildeo entre diferentes setores da poliacutetica social entes federativos e entidades puacuteblicas e privadas
bull Puacuteblicos-alvo bastante distintos e dispersos (populaccedilatildeo de baixa renda quilombolas ribeirinhos populaccedilatildeo em situaccedilatildeo de rua povos indiacutegenas)
MDS
Gabinete da Ministra
SENARC
Secretaria Nacional de Renda de Cidadania
SNAS
Secretaria Nacional de Assistecircncia Social
SESAN
Secretaria Nacional de Seguranccedila Alimentar e Nutricional
SESEP
Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza
SAGI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Secretaria Executiva
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
O que significa avaliar
ldquoAVALIAR consiste fundamentalmente em emitir um juiacutezo de valor sobre uma
intervenccedilatildeo implementando um dispositivo capaz de fornecer informaccedilotildees
cientificamente vaacutelidas e socialmente legiacutetimas sobre essa intervenccedilatildeo ou sobre
qualquer um dos seus componentes com o objetivo de proceder de modo a que os
diferentes atores envolvidos cujos campos de conhecimento satildeo por vezes diferentes
estejam aptos a se posicionar sobre a intervenccedilatildeo para que possam construir individual
ou coletivamente um julgamento que se possa traduzir em accedilotildees (Champagne
Contandriopoulos Brouselle Hartz amp Denis 2011 p44)
Falta de uniformidade conceitual variaccedilotildees histoacutericas e de acordo com tipo de
abordagem diferentes sentidos de avaliaccedilatildeo
Diferentes contextos
bull Pesquisa acadecircmica e pesquisa aplicada diferentes missotildees diferentes constrangimentos diferentes usos dos indicadores
bull Temporalidades diversas no acircmbito do sistema de avaliaccedilatildeo do MDS haacute a inter-relaccedilatildeo complexa entre 3 tempos (Dulci 2010) teacutecnico poliacutetico e administrativo
Ministeacuterio do Desenvolvimento Social e Combate agrave Fome
bull Criado em janeiro de 2004 com a perspectiva de consolidaccedilatildeo
de uma rede integrada de proteccedilatildeo e promoccedilatildeo social
bull Coordenaccedilatildeo das accedilotildees de seguranccedila alimentar e nutricional de
assistecircncia social de transferecircncia de renda com
condicionalidades e de geraccedilatildeo de oportunidades de inclusatildeo
bull Estruturaccedilatildeo de sistemas de poliacuteticas puacuteblicas
o Sistema Uacutenico da Assistecircncia Social (SUAS)
o Sistema Nacional de Seguranccedila Alimentar e Nutricional
(SISAN)
Desafios no plano de monitoramento e avaliaccedilatildeo do MDS bull Problemas sociais da agenda do MDS satildeo
complexos e multicausais aleacutem de terem inserccedilatildeo recente na agenda brasileira de poliacuteticas sociais
bull Diversidade de programas especiacuteficos que entregam pacotes de serviccedilos e benefiacutecios requerendo articulaccedilatildeo entre diferentes setores da poliacutetica social entes federativos e entidades puacuteblicas e privadas
bull Puacuteblicos-alvo bastante distintos e dispersos (populaccedilatildeo de baixa renda quilombolas ribeirinhos populaccedilatildeo em situaccedilatildeo de rua povos indiacutegenas)
MDS
Gabinete da Ministra
SENARC
Secretaria Nacional de Renda de Cidadania
SNAS
Secretaria Nacional de Assistecircncia Social
SESAN
Secretaria Nacional de Seguranccedila Alimentar e Nutricional
SESEP
Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza
SAGI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Secretaria Executiva
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Diferentes contextos
bull Pesquisa acadecircmica e pesquisa aplicada diferentes missotildees diferentes constrangimentos diferentes usos dos indicadores
bull Temporalidades diversas no acircmbito do sistema de avaliaccedilatildeo do MDS haacute a inter-relaccedilatildeo complexa entre 3 tempos (Dulci 2010) teacutecnico poliacutetico e administrativo
Ministeacuterio do Desenvolvimento Social e Combate agrave Fome
bull Criado em janeiro de 2004 com a perspectiva de consolidaccedilatildeo
de uma rede integrada de proteccedilatildeo e promoccedilatildeo social
bull Coordenaccedilatildeo das accedilotildees de seguranccedila alimentar e nutricional de
assistecircncia social de transferecircncia de renda com
condicionalidades e de geraccedilatildeo de oportunidades de inclusatildeo
bull Estruturaccedilatildeo de sistemas de poliacuteticas puacuteblicas
o Sistema Uacutenico da Assistecircncia Social (SUAS)
o Sistema Nacional de Seguranccedila Alimentar e Nutricional
(SISAN)
Desafios no plano de monitoramento e avaliaccedilatildeo do MDS bull Problemas sociais da agenda do MDS satildeo
complexos e multicausais aleacutem de terem inserccedilatildeo recente na agenda brasileira de poliacuteticas sociais
bull Diversidade de programas especiacuteficos que entregam pacotes de serviccedilos e benefiacutecios requerendo articulaccedilatildeo entre diferentes setores da poliacutetica social entes federativos e entidades puacuteblicas e privadas
bull Puacuteblicos-alvo bastante distintos e dispersos (populaccedilatildeo de baixa renda quilombolas ribeirinhos populaccedilatildeo em situaccedilatildeo de rua povos indiacutegenas)
MDS
Gabinete da Ministra
SENARC
Secretaria Nacional de Renda de Cidadania
SNAS
Secretaria Nacional de Assistecircncia Social
SESAN
Secretaria Nacional de Seguranccedila Alimentar e Nutricional
SESEP
Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza
SAGI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Secretaria Executiva
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Ministeacuterio do Desenvolvimento Social e Combate agrave Fome
bull Criado em janeiro de 2004 com a perspectiva de consolidaccedilatildeo
de uma rede integrada de proteccedilatildeo e promoccedilatildeo social
bull Coordenaccedilatildeo das accedilotildees de seguranccedila alimentar e nutricional de
assistecircncia social de transferecircncia de renda com
condicionalidades e de geraccedilatildeo de oportunidades de inclusatildeo
bull Estruturaccedilatildeo de sistemas de poliacuteticas puacuteblicas
o Sistema Uacutenico da Assistecircncia Social (SUAS)
o Sistema Nacional de Seguranccedila Alimentar e Nutricional
(SISAN)
Desafios no plano de monitoramento e avaliaccedilatildeo do MDS bull Problemas sociais da agenda do MDS satildeo
complexos e multicausais aleacutem de terem inserccedilatildeo recente na agenda brasileira de poliacuteticas sociais
bull Diversidade de programas especiacuteficos que entregam pacotes de serviccedilos e benefiacutecios requerendo articulaccedilatildeo entre diferentes setores da poliacutetica social entes federativos e entidades puacuteblicas e privadas
bull Puacuteblicos-alvo bastante distintos e dispersos (populaccedilatildeo de baixa renda quilombolas ribeirinhos populaccedilatildeo em situaccedilatildeo de rua povos indiacutegenas)
MDS
Gabinete da Ministra
SENARC
Secretaria Nacional de Renda de Cidadania
SNAS
Secretaria Nacional de Assistecircncia Social
SESAN
Secretaria Nacional de Seguranccedila Alimentar e Nutricional
SESEP
Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza
SAGI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Secretaria Executiva
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Desafios no plano de monitoramento e avaliaccedilatildeo do MDS bull Problemas sociais da agenda do MDS satildeo
complexos e multicausais aleacutem de terem inserccedilatildeo recente na agenda brasileira de poliacuteticas sociais
bull Diversidade de programas especiacuteficos que entregam pacotes de serviccedilos e benefiacutecios requerendo articulaccedilatildeo entre diferentes setores da poliacutetica social entes federativos e entidades puacuteblicas e privadas
bull Puacuteblicos-alvo bastante distintos e dispersos (populaccedilatildeo de baixa renda quilombolas ribeirinhos populaccedilatildeo em situaccedilatildeo de rua povos indiacutegenas)
MDS
Gabinete da Ministra
SENARC
Secretaria Nacional de Renda de Cidadania
SNAS
Secretaria Nacional de Assistecircncia Social
SESAN
Secretaria Nacional de Seguranccedila Alimentar e Nutricional
SESEP
Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza
SAGI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Secretaria Executiva
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
MDS
Gabinete da Ministra
SENARC
Secretaria Nacional de Renda de Cidadania
SNAS
Secretaria Nacional de Assistecircncia Social
SESAN
Secretaria Nacional de Seguranccedila Alimentar e Nutricional
SESEP
Secretaria Extraordinaacuteria para Superaccedilatildeo da Extrema Pobreza
SAGI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Secretaria Executiva
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Seguranccedila Alimentar e
Nutricional
Seguranccedila Alimentar e
Nutricional
Banco de alimentos Banco de alimentos
Carteira Indiacutegena Carteira Indiacutegena
Cisternas Cisternas
Consad Consad
Cozinha Comunitaacuteria Cozinha Comunitaacuteria
Distribuiccedilatildeo de Alimentos Distribuiccedilatildeo de Alimentos
Educaccedilatildeo Alimentar e
Nutricional
Educaccedilatildeo Alimentar e
Nutricional
PAA PAA
Restaurante Popular Restaurante Popular
Agricultura Urbana Agricultura Urbana
Accedilotildees complementares Accedilotildees complementares
Programa Bolsa Famiacutelia Programa Bolsa Famiacutelia
Cadastro Uacutenico Cadastro Uacutenico
CREAS CREAS
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
CRAS [Programa de Atenccedilatildeo
Integral agraves Famiacutelias]
Projovem Adolescente Projovem Adolescente
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
Benefiacutecio de Prestaccedilatildeo
Continuada - BPC
BPC na Escola BPC na Escola
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Serviccedilo socioassistenciais
ndash crianccedilas de 0 a 6 anos
Transferecircncia de Renda Transferecircncia de Renda Assistecircncia Social Assistecircncia Social
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
Serviccedilo socioassistenciais
ndash Pessoas idosas e
Pessoas com deficiecircncia
P E T I P E T I
Benefiacutecios eventuais Benefiacutecios eventuais
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
Serviccedilo de Proteccedilatildeo
Social aos adolescentes
em cumprimento de
medidas soacutecio educativas
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
SENTINELA [Serviccedilo de
Proteccedilatildeo Social a Crianccedilas e
Adolescentes Viacutetimas de
Violecircncia Abuso e
Exploraccedilatildeo Sexual e suas
famiacutelias]
Carteira do Idoso Carteira do Idoso
Superaccedilatildeo da Extrema
Pobreza
Superaccedilatildeo da Extrema
Pobreza
SAGI SAGI
Brasil Sem Miseacuteria Brasil Sem Miseacuteria
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Monitoramento Avaliaccedilatildeo e
Gestatildeo da Informaccedilatildeo
Condicionalidades Condicionalidades
9
MINISTEacuteRIO DO DESENVOLVIMENTO SOCIAL E COMBATE Agrave FOME
SECRETARIA EXECUTIVA SECRETARIA EXECUTIVA
GABINETE DA MINSTRA GABINETE DA MINSTRA
CONJUR CONJUR AECI AECI
SPO SPO
SAA SAA
ASPAR ASPAR AI AI
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo (SAGI)
bull Secretaria do MDS responsaacutevel pelas accedilotildees de avaliaccedilatildeo monitoramento gestatildeo da informaccedilatildeo e capacitaccedilatildeo das poliacuteticas e programas do MDS
bull Inovaccedilatildeo na gestatildeo puacuteblica secretaria de avaliaccedilatildeo no mesmo niacutevel das secretarias responsaacuteveis pela execuccedilatildeo das poliacuteticas
bull Missatildeo produzir informaccedilotildees sistematizadas para avaliar e monitorar a efetividade das poliacuteticas de desenvolvimento social e combate agrave fome visando melhorar sua gestatildeo
bull Meios utilizados pesquisas de avaliaccedilatildeo paineacuteis de monitoramento ferramentas informacionais publicaccedilatildeo de documentos capacitaccedilatildeo de atores sociais
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Quadro siacutentese do ciclo de avaliaccedilatildeo da SAGIMDS
1 Discussatildeo 2 Termo de Referecircncia 3 Contrataccedilatildeo
SAGIUC
bullDefiniccedilatildeo da avaliaccedilatildeo a ser realizada
bullRelevacircncia do estudo proposto
bullIdentificaccedilatildeo de parceiros interinstitucionais relevantes
SAGIUC
bullDefiniccedilatildeo do desenho da pesquisa
bullElaboraccedilatildeo do TOR pela SAGI
bullRevisatildeo do TOR pela UC
SAGISAA eou Oacutergatildeo de Cooperaccedilatildeo Internacional
bullAprovaccedilatildeo do TOR
bullElaboraccedilatildeo de edital
bullAvaliaccedilatildeo de propostas teacutecnicas e comerciais
bullContrataccedilatildeo da instituiccedilatildeo executora (IE)
4 Interlocuccedilatildeo para operacionalizaccedilatildeo do estudo
5 Acompanhamento 6 Resultados Finais
SAGIUCIE
bullDefiniccedilatildeo de questotildees relevantes para o estudo
bullDisponibilizaccedilatildeo dos dados necessaacuterios para a realizaccedilatildeo da pesquisa
SAGIIE
bullDesenvolvimento dos instrumentos de pesquisa
bullEnvolvimento no treinamento de equipes
bullAcompanhamento in loco do trabalho de campo
bullAnaacutelise discussatildeo e aprovaccedilatildeo de relatoacuterios parciais e do relatoacuterio final
SAGIUCIE
bullRecomendaccedilotildees da avaliaccedilatildeo (IE)
bullDiscussotildees com gestores e parceiros interinstitucionais
bullRetroalimentaccedilatildeo dos programas
7 Divulgaccedilatildeo dos Resultados 8 Publicaccedilotildees 9 Disponibilizaccedilatildeo dos microdados
SAGIUCIE
bullApresentaccedilatildeo dos resultados finais ao MDS
bullColetivas de imprensa (ou seminaacuterios ou outros formatos) abertos ao puacuteblico externo
SAGI
bullCadernos de estudos
bullRelatoacuterios de pesquisa
bullLivros
bullMultimeios
SAGI
bullDisponibilizaccedilatildeo ao CIS dos microdados desidentificados e documentaccedilatildeo pertinente divulgaccedilatildeo no site da SAGI
SAGI = Secretaria de Avaliaccedilatildeo e Gestatildeo da Informaccedilatildeo SAA=Secretaria de Assuntos Administrativos UC = Unidade Cliente IE= Instituiccedilatildeo Executora CIS = Consoacutercio de Informaccedilotildees Sociais
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo e Monitoramento
Avaliaccedilatildeo Monitoramento
Processo estruturado de coleta e anaacutelise de informaccedilotildees sobre uma intervenccedilatildeo que busca respostas para perguntas avaliativas
Acompanhamento contiacutenuo de informaccedilotildees sobre uma intervenccedilatildeo eou seus resultados e impactos
Determina o meacuterito ou o valor da intervenccedilatildeo eou explica a relaccedilatildeo entre ela seus resultados e impactos (busca de relaccedilotildees causais)
Identifica tempestivamente aspectos positivos e negativos relacionados agrave intervenccedilatildeo possibilitando a realizaccedilatildeo de ajustes
Objetivo comum aos processos de avaliaccedilatildeo e monitoramento oferecer informaccedilotildees que subsidiem decisotildees voltadas para o aprimoramento da intervenccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Monitoramento
bull Ecircnfase no acompanhamento do processo de implementaccedilatildeo dos programas
bull Acompanhamento contiacutenuo da demanda por serviccedilos e accedilotildees bem como do desenvolvimento dos programas e poliacuteticas ofertados
bull Funccedilatildeo de gestatildeo de programas que permite a adoccedilatildeo de medidas corretivas
bull Realizado com informaccedilotildees primaacuterias ou pela anaacutelise sistemaacutetica de dados secundaacuterios
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Sistemaacutetica de Monitoramento
bull Mapeamento preliminar e seleccedilatildeo de programas a serem monitorados
bull Construccedilatildeo do modelo loacutegico bull Elaboraccedilatildeo do fluxo detalhado de atividades
dos programas selecionados (detalhar construccedilatildeo revisatildeo validaccedilatildeo)
bull Construccedilatildeo de indicadores e paineacuteis de monitoramento de poliacuteticas e programas
bull Alimentaccedilatildeo dos indicadores identificaccedilatildeo eou desenvolvimento de ferramentas para a coleta dos dados estrateacutegicos dos programas
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo no ciclo de poliacuteticas puacuteblicas
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Diferentes avaliaccedilotildees diferentes
abordagens metodoloacutegicas bull Avaliaccedilatildeo de necessidade anaacutelise documental
estudos comparativos estudos institucionais tiacutepicos da Ciecircncia Poliacutetica avaliaccedilatildeo econocircmica
bull Avaliaccedilatildeo de desenho revisatildeo de documentos teacutecnicas de planejamento de projetos comparaccedilatildeo com outros modelos de intervenccedilatildeo semelhantes
bull Avaliaccedilatildeo de processo teacutecnicas variadas de coleta de dados oriundas da pesquisa social (quali e quanti)
bull Avaliaccedilatildeo de resultados e impactos entrevistas com agentes institucionais com usuaacuterios grupos de discussatildeo pesquisas amostrais estudos comparativos desenhos experimentais e quase-experimentais
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Enfoque Avaliativo da SAGI instrumentos de MampA ajustados agrave complexidade dos programas e accedilotildees
Painel longitudinal com desenho quase-experimental Beneficiaacuterios X Natildeo Beneficiaacuterios
Pesquisas amostrais
Abordagens qualitativas entrevistas grupos focais avaliaccedilatildeo participativa
Levantamentos e ferramentas web
Indicadores e Paineacuteis
Abordagem multi-meacutetodos e Triangulaccedilatildeo de teacutecnicas e sujeitos
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Consideraccedilotildees metodoloacutegicas
bull ldquoComo na pesquisa acadecircmica natildeo existe uma receita uacutenica pronta e acabada para responder a qualquer tipo de demanda avaliativa Frente agrave complexidade do objeto de estudo e sem prejuiacutezo do rigor metodoloacutegico eacute preciso que o estudo de avaliaccedilatildeo seja conduzido com certa maleabilidade e pluralismo metodoloacutegico ()
Januzzi 2011 p 251
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Fatores que influenciam as decisotildees
metodoloacutegicas
bull Na praacutetica decisotildees sobre meacutetodos satildeo afetadas por bull Natureza do programa
bull Estaacutegio de desenvolvimento do programa
bull Objetivos da avaliaccedilatildeo
bull Tempo disponiacutevel
bull Recursos disponiacuteveis
bull Importacircncia de dados secundaacuterios (incluindo relatoacuterios de oacutergatildeos de controle como CGU e TCU) dos sistemas de monitoramento das bases de dados disponiacuteveis ndash nem sempre eacute necessaacuteria coleta de dados primaacuterios
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Abordagens quali quanti e meacutetodos mistos
bull Importacircncia da multidisciplinaridade na abordagem de problemas em particular no campo das poliacuteticas puacuteblicas (Marques e Faria 2013)
bull Debate quali X quanti geralmente eacute inuacutetil e mesmo falso uma vez que cada vez mais a pesquisa centrada em problemas acaba conduzindo agrave necessidade de conjugar distintas abordagens metodoloacutegicas combinando quali e quanti
bull Babbie (1999) O exame de determinado fenocircmeno social frequentemente eacute mais bem-sucedido usando-se vaacuterios meacutetodos diferentes
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Diferentes Abordagens Metodoloacutegicas
bull Abordagem Quantitativa permite generalizar o conhecimento apreendido bem como quantificaacute-lo
bull Abordagem Qualitativa permite profundidade no conhecimento apreendido natildeo permite generalizaccedilatildeo ou (nem tem essa pretensatildeo)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Pesquisas censitaacuterias Populaccedilatildeo em Situaccedilatildeo de Rua
bull Pesquisas amostrais ProJovem Quanti Pesquisa Quantitativa sobre o PAIF Pesquisas de Opiniatildeo
bull Pesquisas quase-experimentais (avaliaccedilatildeo de impacto) AIBF I e II
bull Estudos longitudinais paineacuteis AIBF Pesquisa Painel Pobreza (PPP)
bull Estudos qualitativos grupos focais entrevistas em profundidade avaliaccedilatildeo participativa (Cisternas P1+2 Condicionalidades de Sauacutede ProJovem)
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Diferentes Estrateacutegias nas Pesquisas de Avaliaccedilatildeo
bull Integraccedilatildeo de diferentes estrateacutegias Cisternas P1+2 (quali e quanti) Educaccedilatildeo Financeira (construccedilatildeo do instrumento coleta de dados e anaacutelise como etapas distintas) Revisatildeo Cadastral
bull Contrataccedilatildeo de ldquometa-anaacutelisesrdquo avaliaccedilatildeo das pesquisas avaliativas nas aacutereas de renda de cidadania e assistecircncia social (Dulci 2010) bem como seguranccedila alimentar e nutricional (Kepple 2010)
bull Oficina de discussatildeo da agenda de avaliaccedilatildeo da SAGI na aacuterea de seguranccedila alimentar e nutricional apresentaccedilatildeo de todas as pesquisas realizadas na aacuterea visando subsidiar o planejamento das accedilotildees
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilotildees do Programa Bolsa Famiacutelia
bull Diferentes tipos diferentes meacutetodos qualitativos quantitativos
bull Diferentes perguntas avaliativas em cada pesquisa
bull Importacircncia tanto no debate sobre a gestatildeo do programa quanto no debate puacuteblico
bull Formas de divulgaccedilatildeo e disseminaccedilatildeo das informaccedilotildees ndash incluindo bases de dados
bull Pesquisas de avaliaccedilatildeo da SAGIMDS
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Revisatildeo Cadastral do Beneficiaacuterios do PBF
bull Pergunta Qual eacute o perfil dos beneficiaacuterios que deixam de atualizar seus dados do CadUacutenico
bull Hipoacuteteses vulnerabilidade X caacutelculo racional (antecipaccedilatildeo da exclusatildeo)
bull Etapa qualitativa realizaccedilatildeo de grupos focais em 4 municiacutepios com perfis diferentes entrevistas com os gestores
bull Criteacuterios de seleccedilatildeo dos municiacutepios regiatildeo quantidade de famiacutelias disponiacuteveis nos 3 perfis considerados (desbloqueado revertido e cancelado) porte facilidade de acesso
bull Etapa quantitativa pesquisa amostral (5000 casos) com representatividade regional ndash aplicaccedilatildeo de questionaacuterios aos beneficiaacuterios + dimensatildeo qualitativa roteiro de entrevista aos gestores dos 145 municiacutepios selecionados
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo de Impacto do Bolsa Famiacutelia ndash AIBF
bull Objetivo avaliar o impacto do PBF sobre gastositens de consumo das famiacutelias beneficiaacuterias e medidas antropomeacutetricas de crianccedilas ateacute sete anos de idade aleacutem de outros aspectos-chave do programa como ajuste do valor dos benefiacutecios o BVJ a estrateacutegia de educaccedilatildeo financeira e de inclusatildeo bancaacuteria
bull Delineamento metodoloacutegico pesquisa longitudinal contrastando famiacutelias que recebem PBF com as que natildeo recebem com metodologia quasi-experimental utilizando-se teacutecnicas de pareamento e escore de propensatildeo
bull Referecircncias anteriores o levantamento inicial em 2005 coletou informaccedilotildees de 15426 famiacutelias dentre as quais mais de 11 mil foram reentrevistadas na pesquisa de seguimento em 2009
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo de Impacto do Programa Bolsa Famiacutelia
bull Impactos identificados bull Aumento da frequecircncia escolar em 44 pontos percentuais bull Aumento da progressatildeo escolar em 60 pontos percentuais bull Efeitos sobre a frequecircncia satildeo as maiores no Nordeste aumento a frequecircncia escolar em
117 pontos percentuais bull Retenccedilatildeo escolar sobretudo para as meninas A chance de uma menina de 15 anos
continuar frequentando agrave escola eacute 19 pontos percentuais maior se a famiacutelia dela receber o Bolsa Famiacutelia
bull Aumento da utilizaccedilatildeo de assistecircncia preacute-natal As mulheres graacutevidas que vivem em famiacutelias beneficiaacuterias do Bolsa Famiacutelia tiveram 15 mais visitas preacute-natal que seus pares (mulheres graacutevidas com caracteriacutesticas observaacuteveis semelhantes) de famiacutelias natildeo-beneficiaacuterias do programa
bull O estado nutricional das crianccedilas em idade preacute-escolar residentes em domiciacutelios beneficaacuterios do programa Bolsa Famiacutelia expresso em termos de sua altura e peso em relaccedilatildeo agraves normas internacionais melhorou entre 2005 e 2009 O impacto sobre o peso (aproximadamente 04 dp) pode ser diretamente atribuiacutedo ao Bolsa Familia
bull Aumento da probabilidade de uma crianccedila receber todas as sete vacinas necessaacuterias ateacute os 6 meses de idade em 15 pontos percentuais
bull 2ordf rodada (AIBF II) ndash 20092010 Instituiccedilatildeo executora IFPRIDatameacutetrica
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Educaccedilatildeo Financeira
bull Objetivos Elaborar diagnoacutestico sobre os conhecimentos atitudes e praacuteticas da populaccedilatildeo inscrita no Cadastro Uacutenico em relaccedilatildeo agraves suas financcedilas pessoais ao seu orccedilamento familiar ao seu relacionamento com o sistema financeiro formal e informal dentre outros temas afetos agraves aacutereas de educaccedilatildeo financeira e microfinanccedilas ndash Realizaccedilatildeo de grupos focais com pessoas inscritas no CadUacutenico (5
municiacutepios)
ndash Sistematizaccedilatildeo dos resultados dos grupos focais e elaboraccedilatildeo de instrumentos de coleta de dados empregados na pesquisa nacional
ndash Realizaccedilatildeo do preacute-teste dos instrumentos de coleta de dados e aplicaccedilatildeo dos mesmos em pesquisa nacional (mais de 13 mil famiacutelias pesquisadas)
ndash Anaacutelise dos dados coletados na etapa anterior e com base nessa anaacutelise propor estrateacutegias de educaccedilatildeo financeira para as famiacutelias de baixa renda do paiacutes
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Estudo sobre resultados de fiscalizaccedilotildees da Controladoria Geral da Uniatildeo (CGU) sobre o PBF
bull Objetivo estudo sobre os resultados das fiscalizaccedilotildees realizadas pela CGU no periacuteodo de 2006 a 2011 a respeito da gestatildeo e implementaccedilatildeo do PBF
bull Metodologia anaacutelise estruturada de texto entrevistas com teacutecnicos do DeopSenarc e da CGU
bull Executor consultor PF
bull Resultados diferentes visotildees sobre o programa e sobre os sentidos das fiscalizaccedilotildees discordacircncias sobre divisatildeo de responsabilidades
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Estudo sobre o acompanhamento das famiacutelias em situaccedilatildeo de descumprimento de condicionalidades
bull Objetivo analisar o perfil das famiacutelias que cumpremdescumprem as condicionalidades de sauacutede e educaccedilatildeo associadas ao PBF
bull Metodologia pesquisa qualitativa envolvendo realizaccedilatildeo de grupos focais e entrevistas em profundidade realizada nos municiacutepios de Maracanauacute ndash CE Jaboatatildeo dos Guararapes ndash PE e Extremoz ndash RN
bull Executor consultor PF bull Resultados
httpaplicacoesmdsgovbrsagiPainelPEIPublicacoesEstudo20quali20condicionalidades20PBF_2012pdf
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Exemplos de integraccedilatildeo de meacutetodos
bull Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua bull Avaliaccedilatildeo da ldquocisterna calccediladatildeordquo (52 mil litros)
tecnologia de captaccedilatildeo de aacutegua da chuva no Semiaacuterido destinada a estimular a produccedilatildeo agriacutecola familiar e ampliar as possibilidades de geraccedilatildeo de renda Destinada a famiacutelias que jaacute dispotildeem da Primeira Aacutegua (16 mil litros)
bull Perguntas gerais qual a relevacircncia do programa na vida das famiacutelias que residem no Semiaacuterido Aacutegua disponibilizada eacute suficiente tendo em vista as necessidades das famiacutelias De fato aumentadiversifica a produccedilatildeo Impactos sobre a renda
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa bull Foco avaliaccedilatildeo da implementaccedilatildeo do programa e seus
resultados do ponto de vista das famiacutelias ndash formas de utilizaccedilatildeo dos recursos hiacutedricos disponiacuteveis
bull Combinaccedilatildeo de meacutetodos grupos focais entrevistas em profundidade com agricultores e teacutecnicos locais em 3 municiacutepios visitas de campo
bull Seleccedilatildeo das localidades segundo diferentes trajetoacuterias de participaccedilatildeo no programa concentraccedilatildeo de famiacutelias beneficiadas haacute pelo menos 1 ano diferentes zonas pluviomeacutetricas diferentes UGTs (dimensatildeo institucional)
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
ndash Enfoque participativo estiacutemulo agrave reflexatildeo sobre os alcances e desafios do Programa
ndash Enfoque de gecircnero espaccedilos especiacuteficos para consulta agraves agricultoras
ndash Enfoque sistecircmico olhar integrado sobre a situaccedilatildeo do uso da aacutegua no P1+2 considerando as especificidades socioambientais locais
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Qualitativa - Principais resultados ndash mapeamento de diferentes estrateacutegias locais de implementaccedilatildeo
das cisternas ndash Principais elementos que afetam a implementaccedilatildeo
caracteriacutesticas socioeconocircmicas e ambientais da localidade capacidade das organizaccedilotildees envolvidas na seleccedilatildeo das famiacutelias e perfil institucional das UGTs
ndash Detalhamento de problemas criteacuterios de seleccedilatildeo das famiacutelias conservaccedilatildeo das cisternas formatos dos TPs
ndash Possibilidades de articulaccedilatildeo com outros programas (PAA PNAE)
ndash Grande detalhamento dos sistemas locais de gestatildeo dos recursos hiacutedricos e dos kits produtivos recebidos pelo programa
ndash muito aleacutem do marco loacutegico revisatildeo e discussatildeo criacutetica relevacircncia das recomendaccedilotildees
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Avaliaccedilatildeo do Programa Cisternas ndash Segunda Aacutegua
bull Etapa Quantitativa ndash Etapas da pesquisa construccedilatildeo do questionaacuterio
coleta de dados anaacutelise dos dados ndash Questionaacuterio composto por 13 blocos incluindo
caracteriacutesticas dos moradores do domiciacutelio produccedilatildeo e geraccedilatildeo de renda acesso agrave aacutegua distribuiccedilatildeo de tarefas associativismo acesso a programas e poliacuteticas seguranccedila alimentar migraccedilatildeo
ndash 46 entrevistadores meacutedia de 2 questionaacuteriosdia ndash Perdas amostrais com realizaccedilatildeo de 938 da
amostra prevista
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Estrateacutegias para disseminaccedilatildeo de informaccedilotildees
bull Disponibilizaccedilatildeo de sumaacuterios executivos relatoacuterios e microdados no portal MDS wwwmdsgovbrsagi
bull Disponibilizaccedilatildeo de microdados para o Consoacutercio de Informaccedilotildees Sociais (CIS)
bull Diferentes formatos de divulgaccedilatildeo ndash Cadernos de Estudos temaacuteticos httpaplicacoesmdsgovbrsagiportalgrupophpg=53
bull No 17 Resultados avanccedilos e desafios das condicionalidades de Sauacutede do Programa Bolsa Famiacutelia
bull No 18 Resultados avanccedilos e desafios das condicionalidades de Educaccedilatildeo do Programa Bolsa Famiacutelia
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncia anterior no serviccedilo puacuteblico e junto a oacutergatildeos do sistema ONU
bull Experiecircncia com comunidades tradicionais e populaccedilotildees especiacuteficas
bull Experiecircncia em anaacutelises de dados agrave luz de perspectiva teoacuterica incluindo os
eixos eacutetnicoracial e de gecircnero
bull Conhecimentos e experiecircncia no uso de metodologias qualitativas e
quantitativas de coleta e anaacutelise de dados aleacutem de teacutecnicas de anaacutelise
demograacutefica
bull Elaboraccedilatildeo de projetos de pesquisa
bull Conhecimentos sobre legislaccedilatildeo e experiecircncia na conduccedilatildeo e
acompanhamento de processos licitatoacuterios
bull Conhecimento e conduccedilatildeo de processos administrativos
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Siacutentese das habilidades necessaacuterias na aacuterea de avaliaccedilatildeo da SAGI
bull Experiecircncias com softwares qualitativos quantitativos e de
georreferenciamento
bull Conhecimento e atuaccedilatildeo anterior nas poliacuteticas programas serviccedilos
e accedilotildees afetas ao MDS (seguranccedila alimentar assistecircncia social e
transferecircncia de renda)
bull Conhecimento e experiecircncia em anaacutelise de bases de dados sociais
(IBGE MDS e outras)
bull Experiecircncia na redaccedilatildeo de conteuacutedo teacutecnico inclusive com a
publicaccedilatildeo de livros e artigos
bull Experiecircncia em processos de formaccedilatildeo capacitaccedilatildeo e multiplicaccedilatildeo
bull Experiecircncia na construccedilatildeo de ferramentas informacionais
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo
Principais gargalos
bull Morosidade dos processos de contrataccedilatildeo bull Dificuldades de contrataccedilatildeo via organismos internacionais bull Dificuldades relacionadas agrave priorizaccedilatildeo de demandas
(necessidade de fortalecimento do GTMA) bull Rotatividade e precariedade das relaccedilotildees de trabalho bull Insuficiecircncia de quadros em habilidades especificas bull Dificuldades relacionadas agrave obtenccedilatildeo das bases de dados com
o universo das pesquisas bull Necessidade de nivelamento dos atores envolvidos em
relaccedilatildeo aos conceitos de MampA bull Aprimoramento da utilizaccedilatildeo das informaccedilotildees produzidas ndash
novas formas de divulgaccedilatildeo