10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de...
Transcript of 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de...
![Page 1: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/1.jpg)
10 º Seminário Itaú Internacional de Avaliação
Econômica de Projetos Sociais29 de Outubro de 2013
![Page 2: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/2.jpg)
Iniciativa: Fundação Itaú Social
Coordenação técnica: Cenpec
Objetivo: Ampliar o repertório sociocultural dos jovens na perspectiva da educação integral.
Foco: Formação ampliada, geração de oportunidades e inserção produtiva.
Parcerias institucional: Poder público e institutos
Parceria tecnológica: fundação pública e assessores
Parceria executora: ONGs locais
O Programa Jovens Urbanos
![Page 3: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/3.jpg)
Marcos Conceituais
![Page 4: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/4.jpg)
Marcos Conceituais
• Juventudes
• Educação Integral
• Trabalho
• Cidade
• Articulação de redes
![Page 5: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/5.jpg)
Marcos Metodológicos
![Page 6: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/6.jpg)
Desenvolvimento integral
Gerar oportunidades de
formação aos jovens
Formação humana ancorada na ampliação do repertório social, político e cultural
Programa-rede Estado Comunida
deMercado
Expressão
Exploração Produção
Experimentação
Participação eCidadania
Inserção produtiva
Linguagens de arte, Multimeios, Comunicação e Tecnologia, Intervenção Urbana e Meio Ambiente, Chão de fábrica e empreendedorismo na Economia Criativa
![Page 7: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/7.jpg)
Cartografia Explorações
Experimentações Encontros Públicos
Intervenção Jovem
Metodologias
![Page 8: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/8.jpg)
EXPERIMENTAR
A motivação para
empreender descobertas
“Aprender fazendo”
PRODUZIRA disposição
para produzir e inventar
“Concretizar idéias”
EXPLORAR O espírito exploratório
“Ver como é”
EXPRESSARA vontade de participar da vida pública
“Imprimir a sua marca”
Concepção de Aprendizagem
![Page 9: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/9.jpg)
Histórico
![Page 10: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/10.jpg)
Edições do programa
2004 2005 2006 2007 2008 2009 2010 2011 2012
7ª SP5ª SP5ª SP4ª SP3ª SP2ª SP1ª SP
1ª RJ
Manguinhos e Santa cruz
Secretaria Municipal de Assistência e
Desenvolvimento Social
Heliopólis Jardim Helena, Cidade Ademar Jardim Ângela
2ª MG1ª MG
Pouso Alegre (MG)
1ª ES
Serra (ES)
Secretaria Estadual de Educação Programa
Estado Presente
São Miguel Paulista
Lajeado e GrajaúBrasilândia e Campo Limpo
Secretaria Municipal do Trabalho | Programa Bolsa Trabalho
Secretaria Estadual de Desenvolvimento e Assistência Social SP | Programa Ação Jovem
![Page 11: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/11.jpg)
• Programa Jovens Urbanos• 1ª edição: aleatorizada – 2002/2004• 1ª avaliação - 2006• Volta a campo: 2010• 3ª edição: não aleatorizada – 2007/2008• 1ª avaliação - 2009• Volta a campo: 2013
Avaliações
![Page 12: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/12.jpg)
Processo Avaliativo
![Page 13: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/13.jpg)
480 jovens com bolsa de programas do Poder Público
Período de 10 meses – programação
que inclua finais de semana.
Período de 10 meses – programação
que inclua finais de semana.
6 meses de acompanhamento6 meses de acompanhamento
Seleção dos jovensSeleção dos jovens
Algumas atividades/oficinas oferecidas:Algumas atividades/oficinas oferecidas:
Pintura de fachadas
Captação e produção de imagem e som
Paisagismo com resíduos sólidos
Revitalização de móveis
Pintura de fachadas
Captação e produção de imagem e som
Paisagismo com resíduos sólidos
Revitalização de móveis
Desenho do Programa– 1ª edição
![Page 14: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/14.jpg)
• Grupo de tratamento:– participaram das atividades do programa Jovens
Urbanos e
– receberam bolsa-auxílio com contrapartida de retorno à escola
• Grupo de controle:– receberam bolsa-auxílio com contrapartida de
retorno à escola
Tratamento e Controle
![Page 15: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/15.jpg)
• Aleatorização:– Comparação de médias: JU x Controle
• Vazamento e evasão antes do início do programa:– Intention to Treat, LATE (Local average
treatment effect)• Evasão ao longo do programa:
– Reponderação (Ding e Lehrer 2003 -metodologia)
• Informação do sorteio– Recuperação das Informações– Pesquisa de campo + Fichas Cadastrais
Metodologia - Impacto
![Page 16: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/16.jpg)
VariáveisJovens
Urbanos
Grupo de
ControleDiferença
(1) p-valor
Mulher 0,42 0,34 0,07 0,04
Solteiro 0,85 0,84 0,01 0,40
Branco 0,29 0,33 (0,04) 0,17
Trabalhava em 2004 0,15 0,19 (0,05) 0,08
Emprego formal 2004 0,13 0,26 (0,14) 0,05
Freqüentou escola em 2004 0,71 0,69 0,02 0,25
Concluiu ensino médio 2004 0,23 0,17 0,06 0,04
Anos de estudo 9,43 9,11 0,32 0,05
Idade Média 20,06 20,29 (0,23) 0,09
Renda Familiar R$ 460,15 448,45 11,70 0,34
Anos de estudo da mãe 4,11 4,18 (0,06) 0,41
Número de observações 337 245
Características Iniciais
![Page 17: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/17.jpg)
Trabalho
1
Teste de médias
0,064
0,029
LATE com atrito
0,136
0,018
Renda Pessoal
1
Teste de médias25,261
0,071
LATE com atrito62,953
0,011
Frequência escolar
1
Teste de médias
-0,01
2
0,355
LATE com atrito
-0,02
8
0,577
Envolvimento com a polícia
1
Teste de médias
-0,02
4
0,150
LATE com atrito
-0,05
5
0,172
Resultados
![Page 18: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/18.jpg)
18
Jovens Urbanos - 1ª Edição
1ª Avaliação (2006) 2ª Avaliação (2009)
ImpactoSignificân
cia ImpactoSignificân
cia
Renda e Trabalho
Renda pessoal (R$) 56,6 ** - -
Trabalha (%) 13,6 ** - -
Escolaridade
Anos de estudo - - - -
Frequência escolar (%) - - - -
Cultura e Cidadania
Leitura de jornal, revista, livro (em 30 dias) - - - -
Problemas com a polícia -8,1 ** - -Nº de vezes que foi ao cinema ou teatro (em 30 dias)
- - - -
Nota: *** 1% de significância nnn – não analisado ** 5% de significância * 10% de significância - não significante estatisticamente
Avaliação – Curto e Longo Prazos
![Page 19: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/19.jpg)
3ª edição(2007 – 2008)
480 jovens participantes (16 a 21 anos)
8 ONGs
Grajaú e Lajeado
Critério de renda familiar per capita para
definição dos participantes. Lista espera = controle
Avaliações e pesquisas de
campo
1ª avaliaçãoCURTO PRAZO:
maio/junho – 2009
589 entrevistas
2ª avaliação: LONGO PRAZO: maio/junho –
2012
376 entrevistas• 68% dos jovens
encontrados em 2009
19
3ª edição - Desenho
![Page 20: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/20.jpg)
20
Jovens Urbanos -3ª Edição 1ª Avaliação (2009) 2ª Avaliação (2012)
ImpactoSignificân
cia ImpactoSignificân
ciaRenda e Trabalho
Renda pessoal 114,3 *** - -Trabalha (%) 16,9 ** - -Com emprego no setor formal (%) - - - -
EscolaridadeAnos de estudo - - 0,27 *Frequência escolar (%) - -Concluiu ensino médio (%) - - - -Participa de curso profissionalizante ou de capacitação profissional (%)
6,7 * - -
Ingressou no Ensino Superior (%) 14,2 ***Leitura e Cidadania
Participa de ONG ou organização social (%) 8,0 *** - -Leitura de jornal, revista, livro (no vezes em 30 dias)
7,8 *** - -
Nº de vezes que foi ao cinema ou teatro (em 30 dias)
- - - -
Nota: *** 1% de significância nnn – não analisado ** 5% de significância * 10% de significância - não significante estatisticamente
Avaliação – 3ª edição
![Page 21: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/21.jpg)
• Custos
– investimentos realizados pela Fundação Itaú Social em 2007 e 2008, valores corrigidos pelo IPCA para maio/2009
– valor da bolsa é investimento e também benefício direto aos participantes
(R$1,1 MM)
• Benefícios:
– Cenário I: apenas impacto de curto prazo sobre a renda
– Cenário II: impacto sobre a renda no curto prazo com simulação de custo reduzido do programa (duração de 9 meses)
• Avaliação de curto prazo não mostrou diferença de impacto em renda/emprego entre concluintes ou não do Programa
– Cenário III: impacto sobre a renda no curto prazo e simulação de ganho de renda com ensino superior
21
Retorno Econômico
![Page 22: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/22.jpg)
– Impacto médio sobre a renda de R$ 114, calculado em 2009, com queda linear até zero em 2012
• Cenário I: considera custo total e apresenta retorno negativo.• Cenário II: propõe uma redução nos custos do Programa que torne
o VPL positivo.
22
I - Queda linear do impacto por 4 anos + custo 3a edição
VP benefício
salarial custo VPLTIR
(a.a.)
Total R$ 1.424.604,94 R$
(2.649.858,36) R$
(1.225.253,41) -14%
Por aluno R$ 2.967,93 R$ (5.520,54)
R$ (2.552,61)
II - Queda linear do impacto por 4 anos + custo 3a edição proporcional a 9 meses de programa (52% dos custos totais)
VP benefício
salarial custo VPLTIR
(a.a.)
Total R$ 1.424.604,94 R$
(1.377.926,34) R$ 46.678,60 6%
Por alunoR$ 2.967,93
R$ (2.870,68)
R$ 97,25
Retorno econômico: Cenários I e II
![Page 23: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/23.jpg)
Cenário III: inclui adicionalmente impacto sobre a probabilidade de ingresso no Ensino Superior em relação a
Cenário I
III - Impacto para ensino superior (2012) e na renda (2009) com custo total
VP benefício salarial custo VPL TIR (a.a.)
Total R$ 5,266,094.88 R$ (2.649.858,36) R$ 2.616.236,52 7,9%
Por aluno R$ 10,971.03 R$ (5.520,54) R$ 5.450,49
Retorno Econômico
![Page 24: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/24.jpg)
• O impacto sobre renda e trabalho encontrado após um ano do programa não se manteve após 4 anos (em 2012).
• Há impacto sobre anos de escolaridade e sobre ingresso no ensino superior em 2012.
• Consideramos cenários com e sem a inclusão de uma renda adicional futura em função da conclusão do ensino superior.
• A taxa interna de retorno do projeto deve ser considerada em um intervalo entre a taxa calculada no 3º cenário (7,9%a.a.), e a taxa calculada no 1º cenário (-14%a.a.).
24
Comentários finais
![Page 25: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/25.jpg)
• Seria interessante entender os mecanismos que levam o jovem não apenas a ingressar, mas também a concluir a faculdade, o que pode ser feito através de entrevistas em profundidade com os jovens entrantes no ensino superior.
• É importante avaliar a focalização do Programa. O retorno econômico positivo foi possível em função da possível conclusão do ensino superior por pequena parcela dos Jovens Urbanos (ca de 10%). Para os demais jovens não é esperado um impacto adicional na renda, sendo o único impacto o de curto prazo.
• Os resultados sugerem que o Programa tem efetividade no curto prazo, na entrada no mercado de trabalho. Nos anos subsequentes não há mais diferenciação em renda por causa do Programa. Este resultado sugere que outros potenciais resultados do Programa não estão sendo revertidos em renda. 25
Comentários finais
![Page 26: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/26.jpg)
Aprendizagem e flexibilidade
Processo constante de reflexão e revisão tem impactos na gestão do programa, que deve se mostrar flexível a incorporar soluções aos desafios percebidos e se reestruturar constantemente.
![Page 27: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/27.jpg)
Espaços de reflexão
Comitê Executivo
Comitê Consultivo
Jovem
Encontro Ampliado
Conselho Acompanhamento
Encontros periódicos envolvendo todas as instâncias de governança do programa garantindo credibilidade e transparência na gestão.
![Page 28: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/28.jpg)
Monitoramento e avaliação
O Programa promove processos contínuo de monitoramento e avaliação (interna e externa) que alimentam a gestão e a rede do programa com informações sobre desafios, resultados e impactos, utilizados como subsídios para a reflexão, aperfeiçoamento, tomada de decisões, correções de rumos e revisão de objetivos e estratégias.
![Page 29: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/29.jpg)
Metodologias de avaliação do programa
JovemONG
Parceiros
Programa Jovens
Urbanos
Formação ampliada
Avaliação deImpacto(quanti)
Resultado(quali e quanti)
Diagnóstico e Processo
(quali e quanti)
Avaliação
![Page 30: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/30.jpg)
1. Inscrição de jovens residentes nos clusters de maior vulnerabilidade - IVJ
2. Prova de habilitação
3. Divulgação da lista dos 960 jovens habilitados
4. Sorteio público para constituição dos grupos de jovens
5. Constituição do grupo controle
6. Constituição do grupo Jovens Urbanos
7. inclusão dos jovens no Cadastro Pró-Social da Secretaria Estadual de Assistência e Desenvolvimento Social
1. Inscrição de jovens residentes nos clusters de maior vulnerabilidade - IVJ
2. Prova de habilitação
3. Divulgação da lista dos 960 jovens habilitados
4. Sorteio público para constituição dos grupos de jovens
5. Constituição do grupo controle
6. Constituição do grupo Jovens Urbanos
7. inclusão dos jovens no Cadastro Pró-Social da Secretaria Estadual de Assistência e Desenvolvimento Social
Constituição do marco zero
1. Definição da Avaliação:• Ação conjugada com
parceiros • Aderência do público
alvo• Os projetos dos jovens:
resultados e impactos na empregabilidade e no desenvolvimento local
2. Procedimentos:• Análise documental• Questionários com
jovens e educadores• Grupo focal com jovens
e educadores• Pesquisa de Campo
1. Definição da Avaliação:• Ação conjugada com
parceiros • Aderência do público
alvo• Os projetos dos jovens:
resultados e impactos na empregabilidade e no desenvolvimento local
2. Procedimentos:• Análise documental• Questionários com
jovens e educadores• Grupo focal com jovens
e educadores• Pesquisa de Campo
Avaliação de resultados
1. Constituição do Conselho de Acompanhamento, formado por representantes das parcerias
2. Produção de registros dos processos de formação com educadores e jovens
3. Controle de freqüência dos jovens
1. Constituição do Conselho de Acompanhamento, formado por representantes das parcerias
2. Produção de registros dos processos de formação com educadores e jovens
3. Controle de freqüência dos jovens
Monitoramento
Avaliação do Programa
![Page 31: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/31.jpg)
Renda e empregabilida
de
• Inclusão do eixo: mundo do trabalho• Qualificação do monitoramento para evasão no programa gerada por inserção no mercado de trabalho
Impactos da avaliação na gestão do programa
Hábitos de leitura
• Reforço no eixo letramento• Continuidade das ações de expressão• Criação de semana expressão Jovens Urbanos
Escolaridade formal
• Reforço no monitoramento de jovens que evadem da escola
• Programa ocorrendo dentro da escola em parceria com Secretarias de Educação
Ensino Superior
Escola Técnica
•Parceria com Universidades• Parceria com escola técnica
![Page 32: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/32.jpg)
Conclusões e recomendações
Processos regulares de avaliação orientam as instâncias de participação e governança e aumentam a credibilidade do programa.
O sistema de monitoramento traz informações durante a realização do programa contribui para corrigir ou fortalecer ações.
Resultados da avaliação de impacto reforçam algumas hipóteses detectadas nas avaliações e embasam mudanças na gestão.
![Page 33: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/33.jpg)
Programa Jovens Urbanos: Transferência de Tecnologia Social
Programa Jovens Urbanos construiu, consolidou, registrou e avaliou sua metodologia de trabalho com jovens que vivem em situação de vulnerabilidade nas metrópoles brasileiras. Disseminar e colocar à disposição da sociedade os saberes produzidos constitui compromisso social e político.
![Page 34: 10 º Seminário Itaú Internacional de Avaliação Econômica de Projetos Sociais 29 de Outubro de 2013.](https://reader035.fdocumentos.tips/reader035/viewer/2022062512/552fc13e497959413d8ddc4f/html5/thumbnails/34.jpg)
www.fundacaoitausocial.org.br