AVALIAÇÃO DE PROJETOS E POLÍTICAS SOCIAIS … · •Fundação Itaú Social ... a...

FACULDADE DE ECONOMIA, ADMINISTRAÇÃO E CONTABILIDADE DE RIBEIRÃO PRETO

UNIVERSIDADE DE SÃO PAULO

FACULDADE DE ECONOMIA, ADMINISTRAÇÃO E CONTABILIDADE DE RIBEIRÃO PRETOUNIVERSIDADE DE SÃO PAULO

AVALIAÇÃO DE PROJETOS E POLÍTICAS

SOCIAIS: EXPERIÊNCIAS PRÁTICAS

Luiz Guilherme Scorzafave

(LEPES/FEARP/USP)

WORKSHOP

DE TÉCNICAS DE PESQUISA

2009



SETEMBRO DE 2009



AUMENTO DAS AVALIAÇÕES DE IMPACTO NO BRASIL

• Fundação Itaú Social

– Avaliações próprias

– Edital para seleção de projetos

• “O objetivo do edital é estimular a prática de avaliação de organizações nas quais atuem ex-alunos do curso de Avaliação Econômica de Projetos Sociais....

• Os projetos selecionados recebem assessoria técnica de especialistas para realizar a avaliação econômica.

– Com essas iniciativas, a Fundação Itaú Social busca contribuir na implantação de avaliações de projetos sociais, tendo em vista o aprimoramento da gestão.

WORKSHOP


2009



SETEMBRO DE 2009



AULA DE HOJE

• Apresentar algumas das avaliações

contempladas nos editais, procurando detalhar

a operacionalização de fato de cada uma

delas.

• Detalhar as boas ideias associadas a cada

avaliação, bem como as dificuldades

enfrentadas para a realização das mesmas.

WORKSHOP


2009



SETEMBRO DE 2009



SUMÁRIO GERAL DA AULA

1. Pontuar as etapas do processo de avaliação econômica

2. descrever as avaliações:

• Serviço de Convivência e Fortalecimento de Vínculos (Camp) – desenho e resultados

• Projeto de Qualificação Profissional (Pescar) –desenho e resultados

• Programa de Qualificação Profissional (Liga) –desenho de avaliação proposto

3. Conclusões e Exercício!

WORKSHOP


2009



SETEMBRO DE 2009



ELEMENTOS DO PROCESSO DE

AVALIAÇÃO ECONÔMICA

WORKSHOP


2009



SETEMBRO DE 2009



PROCESSO DE AVALIAÇÃO ECONÔMICA

• O processo de avaliação econômica deve passar pelas seguintes etapas:

1. Formação de equipe de acompanhamento da avaliação gestor

2. Elaboração de documento de referência para contratação da avaliação – briefing inicial gestor

3. Planejamento da avaliação (Proposta)

4. Definição da estratégia de avaliação (Desenho)

5. Coleta e análise de dados

6. Análise de Impacto e Retorno Econômico

7. Apresentação e discussão dos resultados

AVALIADOR

WORKSHOP


2009



SETEMBRO DE 2009



ETAPAS DA AVALIAÇÃO

1. Formação de equipe de acompanhamento da avaliação (responsável é

o gestor do projeto)

• É sugerido que se constitua um grupo para acompanhar o processo de

avaliação e para participar dos principais momentos de validação durante

o processo.

• Gestor do projeto: acompanhamento rotineiro e próximo da avaliação,

interagindo com o avaliador e facilitando o processo de avaliação.

• Equipes do projeto: participam do processo de avaliação e fornecem

informações mais detalhadas sobre o projeto.

WORKSHOP


2009



SETEMBRO DE 2009




1. Formação de equipe de acompanhamento da avaliação (responsável é

o gestor do projeto)

• Gestor da organização: participa do processo de avaliação e apoia

estrategicamente a iniciativa na organização, comunicando para o corpo

diretivo o que está sendo realizado.

• Tem um papel importante na interface com o avaliador facilitando o

processo de entendimento do projeto, de obtenção de dados e informações

necessárias para avaliação.

WORKSHOP


2009



SETEMBRO DE 2009




2. Elaboração de documento de referência para contratação da avaliação

– briefing inicial (responsável é o gestor do projeto e/ou contratante)

• Produtos: Documento de referência para contratação de avaliação que

subsidie o envio de propostas técnicas e comerciais por avaliadores. É

necessário que esse documento seja validado pela equipe de

acompanhamento da avaliação.

WORKSHOP


2009



SETEMBRO DE 2009




3. Planejamento da avaliação (responsável é o avaliador com apoio e

validação do gestor)

• Produto: Plano de avaliação detalhado, com objetivos, etapas, ações,

cronograma, orçamento, pontos de atenção e resultados esperados.

PROPOSTA DE AVALIAÇÃO

WORKSHOP


2009



SETEMBRO DE 2009




4. Definição da estratégia de avaliação (responsável é o avaliador com

apoio do gestor)

- Construção das perguntas de avaliação;

- Escolha dos indicadores;

- Definição da metodologia;

- Definição do grupo de controle;

- Elaboração dos instrumentos de coleta de dados;

- Apresentação do desenho da avaliação para equipe de

acompanhamento da avaliação e parceiros; e

- eventuais ajustes após a apresentação do desenho

• Produto: desenho de avaliação validado pela equipe de acompanhamento

da avaliação DESENHO DA AVALIAÇÃO

É muito importante que validado o desenho, todos estejam felizes com o mesmo...

WORKSHOP


2009



SETEMBRO DE 2009




5. Coleta e análise de dados (responsável: empresa de pesquisa com

supervisão do avaliador; apoio do gestor do projeto)

- Pesquisa de campo;

- Obtenção e consolidação dos dados

• Produtos: Banco de dados consolidado e relatório com análise descritiva

WORKSHOP


2009



SETEMBRO DE 2009




6. Análise de Impacto e Retorno Econômico (responsável é o avaliador com

apoio do gestor do projeto)

• Produtos: Relatório final e sumário executivo.

7. Apresentação e discussão dos resultados (responsável é o avaliador com

apoio do gestor do projeto)

• Produtos: Reunião de apresentação dos resultados

WORKSHOP


2009



SETEMBRO DE 2009



AVALIAÇÃO DO PROGRAMA DE

QUALIFICAÇÃO PROFISSIONAL

LIGA SOLIDÁRIA

WORKSHOP


2009



SETEMBRO DE 2009



SUMÁRIO• Apresentação da Liga e do QP

• Desenho proposto para a avaliação de

impacto sobre empregabilidade e

escolaridade

• Desenho proposto para a avaliação de

impacto sobre habilidades socioemocionais

• O Sorteio!

WORKSHOP


2009



SETEMBRO DE 2009



A INSTITUIÇÃO• A Liga Solidária, fundada em 10 de março de 1923 como Liga das

Senhoras Católicas de São Paulo, é uma organização social sem fins lucrativos que desenvolve programas socioeducativos e de cidadania que beneficiam mais de 3.200 pessoas.

• Foco: educação para a construção da verdadeira cidadania.

• Projetos:

– Abrigos Solidários

– Centros de Educação Infantil (CEIs)

– Programa IDEAL (Educação para o exercício da cidadania para crianças e adolescentes de 6 a 14 anos de idade no contra turno escolar)

Programa Qualificação Profissional (QP)

– Programa Religar (Atendimento psicossocial e promoção da autonomia de famílias com alta vulnerabilidade social)

– Programa Crescer (Educação Nutricional)

WORKSHOP


2009



SETEMBRO DE 2009



O PROGRAMA QUALIFICAÇÃO PROFISSIONAL

• O Programa Qualificação Profissional (QP) existe desde 1992.

• Oferece capacitação técnica por meio de cursos de habilidades específicas para adolescentes e jovens .

• 4 diferentes áreas: assistente administrativo, suporte técnico em informática, gastronomia e cabeleireiro.

• 840 horas (10 meses – de fevereiro a novembro)

• Há também visitas a empresas, palestras, ... e também...

WORKSHOP


2009



SETEMBRO DE 2009



...ATIVIDADES VOLTADAS PARA A FORMAÇÃO HUMANA

(1/5 DO CURSO)

• São aulas teóricas e oficinas que tratam de:

Relacionamento/convivência;

Comportamento (na vida e no trabalho);

Trabalho cooperativo (saber trabalhar com outras pessoas);

Desenvolvimento do senso crítico;

Desenvolvimento do espírito empreendedor;

Fortalecimento dos vínculos familiares e sociais;

Cuidados com a saúde...

WORKSHOP


2009



SETEMBRO DE 2009



ACOMPANHAMENTO PÓS-CURSO

• Após o curso, é feito um acompanhamento durante

seis meses, no qual os profissionais da Instituição

mantém contato com os jovens, fornecendo

indicações de oportunidades de emprego,

especialmente, nas empresas parceiras do

programa.

• O entendimento é que esse período também faz

parte do tratamento.

WORKSHOP


2009



SETEMBRO DE 2009



OBJETIVOS DO QP

• Proporcionar ao público atendido maiores chances de empregabilidade, de forma a incrementar a renda dessas pessoas; em outras palavras, facilitar a inserção de seus beneficiários no mercado de trabalho.

– Merece destaque o interesse da equipe no desenvolvimento do espírito empreendedor do jovem

• O QP também trabalha no sentido de fortalecer os vínculos familiares e sociais dos jovens atendidos (habilidades socioemocionais)

WORKSHOP


2009



SETEMBRO DE 2009



PÚBLICO ALVO

• Pessoas com 15 anos ou mais, em situação de

vulnerabilidade social.

WORKSHOP


2009



SETEMBRO DE 2009



SELEÇÃO• Outubro: divulgação nas escolas da região (EXPOQP), site, facebook, boca

a boca (instituição é bastante conhecida na região)

• Novembro: inscrição nos cursos de interesse (ficha de inscrição com diversas informações socioeconômicas) e processo de seleção com realização de:

Entrevista (com cada um dos jovens) – avaliar interesse do jovem em participar do programa;

Aplicação de prova de matemática e avaliação da capacidade de leitura;

Aplicação de um pequeno questionário para captar a situação de vulnerabilidade social

• Divulgação dos resultados e, então, matrícula (em dezembro).

• Cursos começam em fevereiro do ano seguinte.

WORKSHOP


2009



SETEMBRO DE 2009



NÚMEROS• Inscritos em torno de 850 inscritos

• Selecionados 240 - é o número oficial de vagas -

recebe recurso da Prefeitura Municipal de São Paulo

– mas, em geral, acaba chamando um pouco mais...

• Jovens recebem alimentação; não há bolsa de

estudo e também não há ajuda com transporte, mas

em geral moram no entorno.

WORKSHOP


2009



SETEMBRO DE 2009



EXECUÇÃO DO PROJETO – EDIÇÃO ATUAL

Antes do

Programa

Programa Pós Programa

Novembro

2013

2014 1º semestre

de 2015

2º semestre de 2015

Seleção Execução do

Projeto

Acompanha

mento pela

Liga Solidária

Contato com os jovens

(via reuniões) para ter

informações sobre a

empregabilidade dos

jovens

WORKSHOP


2009



SETEMBRO DE 2009



METODOLOGIA

• QP busca melhorar a inserção no mercado de trabalho e fortalecer os vínculos familiares e sociais dos jovens atendidos nossa proposta é de desenhos separados para cada um desses objetivos – Como os indicadores relativos à empregabilidade estão disponíveis para

tratamento e controle no período anterior à avaliação, o controle pelas informações socioeconômicas presentes nas fichas de inscrição no nosso entendimento é suficiente para uma estimativa causal.

– No entanto, o mesmo não pode ser dito para as variáveis de impacto socioemocionais. Nesse caso não existem informações anteriores ao tratamento. Por essa razão, nossa proposta de avaliação para essa dimensão será diferente.

WORKSHOP


2009



SETEMBRO DE 2009



IMPACTO SOBRE EMPREGABILIDADE E

ESCOLARIDADE

WORKSHOP


2009



SETEMBRO DE 2009



GRUPOS DE TRATAMENTO E CONTROLE

• Tratados: participaram do projeto em 2014;

• Controle: inscritos para participar dos cursos em

2014, mas não selecionados.

• Equipe da Liga separou fichas para o grupo de

controle, pensando em responder a seguinte

pergunta:

• “Se tivéssemos o dobro de vagas, quem iríamos

convidar???”

WORKSHOP


2009



SETEMBRO DE 2009



INDICADORES DE IMPACTO

Impactos

potenciais

sobre:

Indicadores de impacto

Empregabi-

lidade

Y1 = ocupado (1 = sim; 0 = não)

Y2 = posse de carteira de trabalho (1 = sim; 2 = não)

Y3 = salário recebido (em Reais de 2014)

Escolarida-

de

Y1 = Frequenta escola (1 = sim; 0 = não)

Y2 = Concluiu o ensino médio (1 = sim; 0 = não)

Y3 = Frequenta curso profissionalizante (1 = sim; 0 = não)

Y4 = Frequenta ensino superior (1 = sim; 0 = não)

WORKSHOP


2009



SETEMBRO DE 2009



INDICADORES DE IMPACTO APÓS REUNIÃO NO QP

Impactos

potenciais sobre:


Empregabilidade Y1 = ocupado (1 = sim; 0 = não)



Y4 = se ocupação está relacionada ao curso (1 = sim; 0 = não)

Y5 = quantas vezes trocou de emprego nos últimos 6 meses

Y6 = posição na ocupação (conta-própria, empregado,

empregador)

Y7 = essa ocupação é temporária?

Escolaridade Y1 = frequenta escola (1 = sim; 0 = não)

Y2 = concluiu o ensino médio (1 = sim; 0 = não)

Y3 = frequenta curso profissionalizante (1 = sim; 0 = não)

Y4 = frequenta ensino superior (1 = sim; 0 = não)

Y5 = anos de estudo completos

Y6 = número de vezes que repetiu de ano

WORKSHOP


2009



SETEMBRO DE 2009



PESQUISAS DE CAMPO

1) Pesquisa intermediária no final de 2014 para

atualização cadastral e monitoramento das

atividades realizadas em 2014.

• Para o grupo de controle, o contato foi feito por via

telefônica. contratamos uma empresa!

• Para o grupo de tratamento, a atualização cadastral

foi feita pela própria equipe do QP. O mesmo

questionário de monitoramento também foi preenchido

por esse grupo.

WORKSHOP


2009



SETEMBRO DE 2009



PESQUISAS DE CAMPO

2) Contato telefônico para atualização cadastral em

Agosto/2015 Estagiários LEPES

• Já dá uma ideia do atrito.

• Permite correr atrás das pessoas antes da pesquisa

de campo final.

• Atualiza os cadastros para a empresa que fará a

pesquisa de campo.

WORKSHOP


2009



SETEMBRO DE 2009



PESQUISAS DE CAMPO

2) Pesquisa de campo domiciliar em

novembro/dezembro de 2015, para capturar

indicadores de empregabilidade e de

escolaridade de interesse.

• pesquisa = entrevistas domiciliares

• Com empresa contratada.

WORKSHOP


2009



SETEMBRO DE 2009



HIPÓTESE DE IDENTIFICAÇÃO

• Dois indivíduos - um do tratamento e outro do controle, com as mesmas características socioeconômicas antes do tratamento – por hipótese, teriam a mesma trajetória, em termos dos resultados de interesse, caso o indivíduo tratado não tivesse participado do tratamento.

• Sendo assim, as diferenças hoje observadas entre os dois indivíduos, por hipótese, são devidas à participação no tratamento.

WORKSHOP


2009



SETEMBRO DE 2009



VARIÁVEIS SOCIOECONÔMICAS

• Variáveis do indivíduo: idade; gênero; notas nas avaliações de português e matemática realizadas durante o momento da inscrição; informação se já participou de outro programa no EDD (Educandário Dom Duarte – onde acontece o QP); estado civil; no caso de ser solteiro se mora com o pai e mãe; no caso de casado, se tem filhos; e se tem experiência de trabalho anterior.

• Variáveis da família: escolaridade dos pais; renda familiar per capita; se recebe algum beneficio social.

WORKSHOP


2009



SETEMBRO DE 2009



Curso Turno Matric. Não Matric.

Assistente Administrativo Manhã 24 28

Assistente Administrativo Tarde – T1 25 24

Assistente Administrativo Tarde – T2 22

Assistente Administrativo Noturno – T1 22 52

Assistente Administrativo Noturno - T2 19

Total Assistente Administrativo 112 104

Cabelereiro Manha 26 36

Cabelereiro Tarde 23 38

Total Cabelereiro 49 74

Gastronomia Tarde 18 5

Gastronomia Noturno 19 12

Total Gastronomia 37 17

Sup. Técnico em Informática Manhã 23 3

Sup. Técnico em Informática Tarde 22 7

Sup. Técnico em Informática Noturno 22 3

Total Suporte Técnico em Informática 67 13

Total 265 208

Tamanho dos grupos

WORKSHOP


2009



SETEMBRO DE 2009



ESTIMATIVAS DE IMPACTO POSSÍVEIS

a) separadamente para assistente administrativo

b) assistente administrativo + suporte técnico em

informática (media de idade é mais parecida entre

esses dois cursos e os dois cursos são certificados

pelo SENAI)

c) cabelereiro + gastronomia (recebem público

parecido em termos de idade e gênero)

WORKSHOP


2009



SETEMBRO DE 2009



RESUMO DA AVALIAÇÃOAntes do

Programa

Programa Pós Programa

Novembro

2013

2014 1º semestre

de 2015

2º semestre

de 2015 -

outubro

Execução do

Projeto

novembro

Seleção Atualização

Cadastral e

Monitorame

nto

Acompanha

mento pela

Liga

Solidária

Pesquisa

domiciliar para

ter

informações

sobre

empregabilida

de e

escolaridade

WORKSHOP


2009



SETEMBRO DE 2009



PESQUISA DE CAMPO

1) Ocorreu no final de 2015.

2) Acabamos de receber os dados de

empregabilidade...

3) Importante controlar pelas atividades que o

controle fez durante 2014.

WORKSHOP


2009



SETEMBRO DE 2009



IMPACTO SOBRE HABILIDADES

SOCIOEMOCIONAIS

WORKSHOP


2009



SETEMBRO DE 2009



GRUPO DE TRATAMENTO E CONTROLE

• Como não temos nenhuma informação sobre os aspectos socioemocionais anteriores ao tratamento para a turma de 2014, nossa proposta foi coletar tais informações para a turma de 2015.

• Grupo de tratamento: pessoas que entraram no programa em 2015.

• Grupo de controle: pessoas interessadas em fazer os cursos do programa de qualificação profissional em 2015, mas que por restrição de vagas, não puderam ser selecionadas.

WORKSHOP


2009



SETEMBRO DE 2009



INDICADORES DE IMPACTOImpactos potenciais

sobre:


Socioemocional Y1 = Conscienciosidade

Y2 = Extroversão

Y3 = Estabilidade Emocional

Y4 = Abertura ao Novo

Y5 = Amabilidade

Y6 = Locus de controle

WORKSHOP


2009



SETEMBRO DE 2009



DEFINIÇÕES• Conscienciosidade: O indivíduo que possui conscienciosidade demonstra

autodisciplina, organização e tem foco na realização de deveres e em atingir os objetivos definidos. Seu comportamento segue um plano de ação, o que diminui seu nível de espontaneidade.

• A Extroversão consiste em um intenso envolvimento do indivíduo com o mundo exterior, com a intenção de procurar estimulação e companhia alheia. O indivíduo extrovertido caracteriza-se por sua capacidade de comunicação, assertividade, sociabilidade e tendência a chamar atenção para si mesmo dentro de um grupo.

• Indivíduos com Estabilidade Emocional são menos reativos emocionalmente e não possuem sentimentos negativos persistentes (porém não necessariamente experimentam muitos sentimentos positivos). Tendem a ser mais calmos e menos vulneráveis ao estresse, à raiva e à ansiedade.

WORKSHOP


2009



SETEMBRO DE 2009



DEFINIÇÕES• A Abertura ao Novo é um traço de pessoas que aceitam com facilidade

participar de novas experiências, que tendem a ser apreciadoras das artes e tem opiniões que podem ser classificadas como não-convencionais. Aquele que se caracteriza como "aberto ao novo" tende a ser imaginativo, criativo e intelectualmente curioso.

• A Amabilidade reflete a preocupação com a harmonia social, isto é, pessoas que apresentam tal característica dão valor a boa relação com os outros indivíduos e tendem a ser amigáveis, generosas, compassivas e cooperantes.

• O Locus de Controle revela se o indivíduo tende a atribuir o controle de sua vida ao esforço pessoal e à competência própria (nota mais alta) ou a fatores externos, como sorte e ações alheias (nota mais baixa).

WORKSHOP


2009



SETEMBRO DE 2009



PESQUISAS DE CAMPO• No ato da inscrição para os cursos de 2015 (novembro/2014), foi

aplicada linha de base dos aspectos socioemocionais (SENNA 1.0 –

adultos) em todos os inscritos.

• Para a coleta dos indicadores pós-tratamento, coleta foi feita em

novembro/dezembro/2015.

– vantagem de fazermos a pesquisa ainda em novembro:

diminuição do atrito dentro do grupo de tratamento, com redução

dos custos de aplicação, visto que há necessidade de pesquisa

domiciliar apenas para o grupo de controle. deu tudo certo!

– desvantagem é que o tratamento (curso) ainda não terá

terminado. como foi feito na segunda quinzena, ok.

WORKSHOP


2009



SETEMBRO DE 2009



HIPÓTESE DE IDENTIFICAÇÃO

• Como nesse caso teremos informações de antes e de depois do programa, poderemos usar uma estratégia de diferenças em diferenças.

• As hipóteses, nesse caso, são:

i. evolução dos indicadores socioemocionais para os grupos de tratamento e controle era parecida antes da passagem pelo programa de qualificação; e

ii. a única diferença entre os grupos de tratamento e controle pós tratamento, é que um grupo participou do QP e o outro não.

WORKSHOP


2009



SETEMBRO DE 2009



RESUMO DA AVALIAÇÃO

Antes do Programa Programa

Novembro 2014 2015 1º semestre de

2016Execução

do Projeto

Novembro -

2015

Seleção Aplicação da

Linha de Base

para captar os

indicadores

de interesse

Pesquisa pós-

intervenção

para captar os

indicadores

de interesse

Acompanhame

nto pela Liga

Solidária

WORKSHOP


2009



SETEMBRO DE 2009



VALIDAR/CONVERSAR COM A LIGA:1. Indicadores de impacto, a partir do SENNA;

2. Tempo entre a finalização do tratamento e a

aplicação da pesquisa de campo.

3. Possível aleatorização na escolha do

tratamento em 2015.

TOPARAM!!!!!

WORKSHOP


2009



SETEMBRO DE 2009



O SORTEIO!

WORKSHOP


2009



SETEMBRO DE 2009



APLICAÇÃO DO SENNA

• Durante o período de inscrições para os cursos de 2015, foi realizada a aplicação do questionário socioemocional SENNA para todos aqueles que se inscreveram no processo seletivo do programa para o ano de 2015.

• No mesmo procedimento de inscrição, os candidatos preencheram uma ficha cadastral, uma ficha de vulnerabilidade social, além de a equipe da Liga realizar uma entrevista com cada candidato onde foram avaliados itens como interesse, postura e capacidade de escrita, bem como o grau de vulnerabilidade (nada, pouco, muito e extremamente vulnerável). Os candidatos também realizaram uma prova de matemática (no dia seguinte ao da inscrição).

WORKSHOP


2009



SETEMBRO DE 2009



TIPOS DE INSCRITOS• A equipe do Qualificação Profissional (QP) separou, para cada

curso e período, as fichas em quatro categorias:

a) aquelas que não se encaixavam no público-alvo do projeto (por questões referentes a idade e relacionamento com o tráfico de drogas, fundamentalmente);

b) aquelas que deveriam ser incluídas no QP, seja por encaminhamento do SASF (Serviço de Apoio e Segurança Familiar), por serem de alta vulnerabilidade, seja por já terem feito parte de algum outro projeto da Liga Solidária.

c) aqueles que não compareceram para fazer a prova de matemática

d) aquelas que se encaixaram no público-alvo e que participaram de todas as etapas do processo de inscrição; dessa forma, seriam utilizadas para seleção aleatória dos alunos da turma 2015.

WORKSHOP


2009



SETEMBRO DE 2009



Curso Período Vagas Vulnerabilidade

Encami-

nhados

Excluíd

os

Extrema Alta Baixa Nada

Gastrono

mia

Tarde 25 -- -- -- -- -- --

Noite 25 5 27 36 8 3 23

Cabelerei

ro

Manhã 25 6 16 41 8 2 13

Tarde 25 5 19 23 3 5 --

Suporte

Técnico

Inform.

Manhã 25 1 7 11 2 1 --

Tarde 25 4 16 30 9 4 8

Noite 25 -- -- -- -- -- --

Assist.

Administ.

Manhã 25 2 16 19 1 0 14

Tarde 50 2 27 44 10 8 --

Noite 50 -- -- -- -- -- --

WORKSHOP


2009



SETEMBRO DE 2009



SORTEIO

• Optamos por construir os grupos de controle através de pares/trincas, semelhantes em algumas características observáveis e realizar a aleatorização dentro dos pares/trincas

• Grande vantagem = garante que um eventual atrito não ocorra de forma heterogênea entre os grupos de tratamento e controle (se, por ex, não alcançarmos uma pessoa do grupo de controle na pesquisa de campo de 2015, podemos simplesmente excluir o seu par da análise)

• Desvantagem: redução da amostra e aumento da variância dos estimadores.

WORKSHOP


2009



SETEMBRO DE 2009



OPERACIONALIZAÇÃO DO SORTEIO

• Para cada curso e período, separamos os alunos por

grau de vulnerabilidade seleção deve manter a

proporção de inscritos em cada categoria de

vulnerabilidade.

• Organizamos pares ou trincas (dependendo de cada

caso) de inscritos, em ordem decrescente de nota.

Assim, por exemplo, se no grupo de vulnerabilidade

haviam 8 inscritos, fizemos 2 trincas e 1 par (os

indivíduos que ficaram no par foram selecionados

aleatoriamente).

WORKSHOP


2009



SETEMBRO DE 2009



EXEMPLO

• Sorteio 1 = atribuímos um numero aleatório para cada trinca/par. E estipulamos uma regra que o maior número sairia do sorteio (denominado como Extra, podendo ser usado para reposição).

• Sorteio 2, atribuímos um número aleatório para cada um dos 8 inscritos. Dentro de cada par/trinca, estabelecemos a seguinte regra: o maior número iria para o tratamento, o segundo maior para o controle e, no caso das trincas, o terceiro maior número iria para uma eventual reposição, caso o inscrito sorteado para o tratamento não aparecesse para iniciar o curso.

WORKSHOP


2009



SETEMBRO DE 2009



EXEMPLO

Inscrito Nota Vulnerabi

lidade

Sorteio

1

Sorteio

2

Situação

1 8.8 0 0,052 0,37 2 Reposição

2 8.8 0 0,64 1 Tratamento

3 8.5 0 0,55 0 Controle

4 8.4 0 0,317 0,62 0 Controle

5 7.1 0 0,66 1 Tratamento

6 6.5 0 0,906 1,00 1 Extra

7 6.2 0 0,36 2 Extra

8 4.4 0 0,80 0 Extra

2 vagas

𝑁𝑜𝑡𝑎 𝐹𝑖𝑛𝑎𝑙 =𝑁𝑜𝑡𝑎 𝑀𝑎𝑡𝑒𝑚á𝑡𝑖𝑐𝑎 + 𝑁𝑜𝑡𝑎 𝐸𝑛𝑡𝑟𝑒𝑣𝑖𝑠𝑡𝑎

2nota da entrevista = contempla itens como a capacidade de escrita, de resolução de tarefas simples e de atitudes durante a entrevista (distração, postura, etc.).

WORKSHOP


2009



SETEMBRO DE 2009



BOAS IDEIAS

• Atualização cadastral!!!! Fundamental!!! Em função

da dificuldade de achar os jovens já

experimentada em pesquisas anteriores, optamos

por um campo de atualização/monitoramento no

meio da avaliação!!!

• Aleatorização para avaliação de impacto do

programa sobre as habilidades emocionais.

WORKSHOP


2009



SETEMBRO DE 2009



BOAS IDEIAS

• Trabalho junto a direção da Liga sobre a

importância dos socioemocionais e da

aleatorização.

• Presença de profissional habilitado para dar

suporte a avaliação dentro da Liga e que “fala a

nossa língua”.

• Ganhar a confiança da equipe a frente do projeto

no dia a dia.

WORKSHOP


2009



SETEMBRO DE 2009



DIFICULDADES• Atrito entre as pesquisas de campo.

• Pessoal do QP ajuda mais a encontrar os tratamentos do que os controles.

• Inserção de alunos pós início do programa sem aviso

• No-show

• Troca de alunos de turmas (nem todas as turmas estão sendo avaliadas, por questão de tamanho de turma)

• Bases de dados (ex. telefone a mão na ficha de inscrição digitada)

WORKSHOP


2009



SETEMBRO DE 2009



EM SUMA

Alguns pontos importantes para

pensar no momento de fazer a

avaliação

WORKSHOP


2009



SETEMBRO DE 2009



PONTOS IMPORTANTES

1. Qualidade e disponibilidade de dados cadastrais

I. Quais informações devem conter??

II. Como armazenar???

2. Definição dos grupos de tratamento e controle

3. Definição de indicadores de impacto e factibilidade de mensuração

4. Pesquisa de campo: importante pensar BASTANTE para a construção dos questionários de interesse (pré-teste)

5. Explorar o uso de bases secundárias

WORKSHOP


2009



SETEMBRO DE 2009



EXERCÍCIO

WORKSHOP


2009



SETEMBRO DE 2009



PENSEM PARA O PROJETO PESCAR

• Grupo de tratamento

• Grupo de controle

• Indicadores de impacto

• Pequeno questionário para captar as

dimensões de interesse de mercado de

trabalho

• Para me entregar no final da aula!

WORKSHOP


2009



SETEMBRO DE 2009



APRESENTAÇÃO DA INSTITUIÇÃO E DO

PROJETO PESCAR

WORKSHOP


2009



SETEMBRO DE 2009



INTRODUÇÃOO Projeto Pescar existe desde 1976, quando o

empresário Geraldo Linck abriu as portas da sua

empresa para que 15 jovens, em vulnerabilidade

social, aprendessem uma profissão.

Atualmente o Projeto Pescar conta com 146

unidades no Brasil e 29 unidades no exterior e

já capacitou 23.811 jovens.

WORKSHOP


2009



SETEMBRO DE 2009


UNIVERSIDADE DE SÃO PAULO 65

WORKSHOP


2009



SETEMBRO DE 2009



OBJETIVO DO PROJETO“Desenvolvimento pessoal, cidadania e qualificação

profissional, através do desenvolvimento e aquisições

progressivas de conhecimentos, habilidades e atitudes que

buscam prevenir a ocorrência de risco social, fortalecem a

saudável convivência familiar e comunitária, a

permanência na escola, a participação cidadã e a formação

geral para o mundo do trabalho”

WORKSHOP


2009



SETEMBRO DE 2009



IDEIA BÁSICA DO PROJETO

67

• O curso de iniciação profissional é ministrado no

interior das empresas e organizações parceiras;

• Duração = de 10 a 12 meses (carga horária

total entre 800 e 1200 horas), no turno inverso

ao da escola (é exigido frequência escolar e

frequência mínima no projeto de 75%).

diferencial

WORKSHOP


2009



SETEMBRO DE 2009




68

• São realizadas atividades diárias, de segunda a

sexta-feira, em horário fixo pré-estabelecido,

com duração entre 4 e 6 horas diárias.

• Turmas: entre 15 e 25 jovens;

• Projeto realiza um acompanhamento dos

egressos por cerca de 2 anos, após o término do

programa.

WORKSHOP


2009



SETEMBRO DE 2009




69

• O projeto é uma parceria da Fundação Pescar,

que entra com o know how e material dos cursos,

e as empresas ou parceiros locais, que entram

com espaço físico, uniformes dos alunos e

salário do educador social.

WORKSHOP


2009



SETEMBRO DE 2009




70

• educador social: peça-chave no projeto

– organiza as informações dos alunos participantes;

– ministra uma parte das aulas;

– organiza a participação dos profissionais convidados

para falar a respeito de temas específicos do curso de

profissionalização em questão; e

– faz a intermediação entre a empresa e a Fundação

Pescar.

WORKSHOP


2009



SETEMBRO DE 2009




71

• A seleção do educador social é feita pela

equipe do Pescar, entre pedagogos, assistentes

sociais ou psicólogos.

WORKSHOP


2009



SETEMBRO DE 2009



O CURSO

• 60% desenvolvimento pessoal e cidadania (comum)

– descoberta do eu, família, saúde, meio ambiente,

ecologia, comunicações e tecnologias, ambiente de

trabalho e empreendedorismo.

• 40% de formação profissional (difere entre cursos)

WORKSHOP


2009



SETEMBRO DE 2009



SELEÇÃO

73

• Idade entre 16 e 19 anos

• cursando, no mínimo, o 7º ano do EF

• em situação de vulnerabilidade social

• sem experiências sistemáticas no mercado formal de

trabalho

• que não tenha concluído ou esteja cursando algum

tipo de curso técnico ou profissionalizante

WORKSHOP


2009



SETEMBRO DE 2009



SELEÇÃO

74

• O período e o tipo de processo seletivo variam

entre as unidades do Projeto Pescar, sendo que a

divulgação das vagas ocorre via rádio, escolas,

conselhos locais, CRAS etc.

• Existe uma visita ao domicílio para checar o real

interesse e perfil do candidato.

WORKSHOP


2009



SETEMBRO DE 2009



DIFICULDADES PARA A AVALIAÇÃO

75

• Processo é descentralizado – as

informações dos candidatos ficam na

empresa (com o educador social); muitos

educadores já não tinham mais as fichas

WORKSHOP


2009



SETEMBRO DE 2009




76

• Além disso, um outro problema é que, apesar de

o projeto possuir um modelo de ficha de

inscrição, na prática muitas unidades alteraram

esse modelo para a sua seleção.

• Não homogeneidade das fichas de inscrição

dificultou tb a definição da amostra de jovens a

serem acompanhados.

WORKSHOP


2009



SETEMBRO DE 2009




77

• Número pequeno de jovens atendidos por unidade, com

projeto espalhado pelo Brasil;

• Ocorre em empresas que operam em ramos setoriais

diferentes;

• Embora abranja jovens dentro de um intervalo pequeno

de idade, é num período importante da vida (16 e 19

anos)

• Retomaremos esse exemplo mais tarde...

WORKSHOP


2009



SETEMBRO DE 2009



AVALIAÇÃO DO SERVIÇO DE CONVIVÊNCIA E

DE FORTALECIMENTO DE VÍNCULOS DO

CAMP-GUARUJÁ

WORKSHOP


2009



SETEMBRO DE 2009



AVALIAÇÃO DE IMPACTO DO SERVIÇO DE FORTALECIMENTO

DE VÍNCULOS - CAMP GUARUJÁ

79

WORKSHOP


2009



SETEMBRO DE 2009



SUMÁRIO

80

• Descrição do CAMP e do Serviço de

Fortalecimento de Vínculos

• Aspectos metodológicos – avaliação de

impacto

• Resultados

WORKSHOP


2009



SETEMBRO DE 2009



DESCRIÇÃO DO CAMP E DO SERVIÇO DE

FORTALECIMENTO DE VÍNCULOS

12/01/2016 81

WORKSHOP


2009



SETEMBRO DE 2009



CENTRO DE FORMAÇÃO PROFISSIONAL CAMP-GUARUJÁ

12/01/2016 82

• Constituído em 28 de abril de 1968, é uma associação de

direito privado, de fins não econômico-lucrativos, entidade de

assistência social e utilidade pública nas esferas Municipal,

Estadual e Federal, que já beneficiou mais de 15 mil

adolescentes, famílias e comunidade.

• Missão: “Promover, defender e garantir os direitos de

adolescentes, jovens e pessoas com deficiência, ofertando-lhes

proteção social e integração ao mundo do trabalho, na

perspectiva de seu desenvolvimento pleno, autonomia e

dignidade no exercício da cidadania”

WORKSHOP


2009



SETEMBRO DE 2009



PROGRAMAS

12/01/2016 83

• Serviço de Fortalecimento de Vínculos

Objetivo Geral: Propiciar Formação Humana e Profissional para

Adolescentes e Jovens em vulnerabilidade e/ou risco pessoal e

social; defender e garantir seus direitos, além de promover ações

socioassistenciais à família e à comunidade, na perspectiva da

proteção social e o pleno exercício da cidadania.

Programa IntegrAção

Programa Aprendiz Integral

WORKSHOP


2009



SETEMBRO DE 2009



AÇÕES DO INTEGRAÇÃO

12/01/2016 84

• É a porta de entrada dos jovens na instituição

• Cursos de comunicação oral e escrita, postura, raciocínio

lógico; cursos também para atividades de ocupações

específicas como telemarketing, contabilidade, recursos

humanos, entre outros.

• Atividades voltadas para a formação humana dos jovens.

WORKSHOP


2009



SETEMBRO DE 2009



APRENDIZ INTEGRAL

12/01/2016 85

• Quando os jovens concluem o programa IntegrAção,

passam a ser atendidos pelo Programa Aprendiz

Integral (ou seja, são inseridos no mercado de

trabalho como aprendizes).

• Durante esse período, os jovens continuam recebendo

apoio psicossocial e supervisão de suas atividades.

WORKSHOP


2009



SETEMBRO DE 2009



OBJETIVOS

12/01/2016 86

• Contribuir para a integração e permanência do

jovem no mercado de trabalho, favorecendo sua

ascensão social;

• Contribuir para a permanência do jovem no

sistema educacional.

• Promover o fortalecimento de vínculos familiares e

comunitários;

• Possibilitar o reconhecimento do trabalho e da

educação como direitos de cidadania.

WORKSHOP


2009



SETEMBRO DE 2009



CRITÉRIOS PARA A SELEÇÃO - INTEGRAÇÃO

12/01/2016 87

Jovens entre 14 e 16 anos

Matriculados e frequentando escola no período noturno(acompanham o aluno na escola) – tem que estar cursandopelo menos a 8ª série do Ensino Fundamental no momentoda seleção. Explicar o porquê...

Em situação de vulnerabilidade social: renda mensal percapita inferior a ½ salário mínimo (orfãos, pessoas comnecessidades especiais)

WORKSHOP


2009



SETEMBRO DE 2009



PROCESSO SELETIVO

12/01/2016 88

• O processo seletivo para as turmas de 2010 teve início entre 03 e

07 de agosto de 2009, com a retirada das fichas de inscrição na

sede da instituição.

• Foram pré-selecionados 1.482 candidatos, avaliando-se os critérios

de idade e escolaridade.

– Os jovens tinham que apresentar um documento (RG, RG escolar,

certidão de nascimento ou cartão SUS) e 20 latinhas de alumínio

amassadas para ajudar com as obras da nova sede da

Instituição.

• Destes, 1.354 jovens retornaram com a ficha preenchida, fazendo a

inscrição para o processo seletivo.

WORKSHOP


2009



SETEMBRO DE 2009



PROCESSO SELETIVO

12/01/2016 89

• Na primeira fase do processo seletivo, 1.309 inscritos fizeram uma

prova composta por uma dissertação e 29 alternativas de múltipla

escolha, com base nas informações contidas na Proposta Curricular do

Estado de São Paulo para a 7ª série do Ensino Fundamental – Ciclo II

e no Conteúdo Programático Anual da Prefeitura Municipal de

Guarujá para o 8º ano, envolvendo as disciplinas de Português,

Matemática e Conhecimentos Gerais.

WORKSHOP


2009



SETEMBRO DE 2009



PROCESSO SELETIVO

12/01/2016 90

• Na segunda fase, foi feita a análise da situação socioeconômica do

candidato. Foram avaliados prioritariamente os candidatos com renda

per capita de até meio salário mínimo (R$232,50 por pessoa) e maior

número de pontos na prova (mínimo de 40% de acerto). As fichas que

estavam contraditórias ou com renda mal esclarecida foram também

avaliadas através de visitas domiciliares.

• O processo seletivo prioriza candidatos portadores de deficiência

física; órfãos com renda familiar per capita não superior a meio

salário mínimo mensal; e outros indivíduos com renda familiar per

capita não superior a meio salário mínimo mensal.

WORKSHOP


2009



SETEMBRO DE 2009



PROCESSO SELETIVO

91

• Para o Programa IntegrAção (Turma 2010) foram aprovados

460 adolescentes (225 para a turma do 1º semestre e 235

para a turma do 2º semestre).

• Período integral e duração de 4 meses

WORKSHOP


2009



SETEMBRO DE 2009



ASPECTOS METODOLÓGICOS

AVALIAÇÃO DE IMPACTO

92

WORKSHOP


2009



SETEMBRO DE 2009



QUAIS INDICADORES DE IMPACTO VOCÊS

ACHAM QUE PODERÍAMOS USAR AQUI???

WORKSHOP


2009



SETEMBRO DE 2009



OBJETIVO E INDICADORES DE IMPACTO

12/01/2016 94

• O objetivo desta avaliação é verificar o impacto do Serviço

de Fortalecimento de Vínculos sobre: empregabilidade,

qualidade do emprego e educação dos jovens atendidos.Impactos

potenciais sobre:


Empregabilidade Y1 = ocupado (1 = sim; 0 = não)

Qualidade do

emprego



Y3 = jornada de trabalho (em horas semanais)

Escolaridade Y1 = Frequenta escola (1 = sim; 0 = não)


WORKSHOP


2009



SETEMBRO DE 2009



DADOS

95

O grupo de tratamento• Conjunto de indivíduos que entraram no IntegrAção em 2010

• Dados: foram coletados dados de “depois” pela Equipe do

CampGuarujá – 2º semestre de 2013.

• São utilizadas apenas as informações daqueles que terminaram

o programa Aprendiz Integral em 2012, tendo, portanto,

realizado todas as atividades previstas pela instituição no

âmbito do Serviço de Convivência e Fortalecimento de Vínculos.

Complicado!

WORKSHOP


2009



SETEMBRO DE 2009



TRAJETÓRIA DOS GRUPOS

12/01/2016 96

2009 2010 2011 2012 2013 (2º semestre)

Tratados T0 T1

Processo seletivo(14 a 16 anos e (pelo menos cursando a 8ª serie do EF)

IntegrAção Aprendiz Aprendiz Ocupado? (18 a 20 anos)

Estudando?

Controle

- - - Ocupado?

Estudando?

WORKSHOP


2009



SETEMBRO DE 2009



E QUAIS GRUPOS DE CONTROLE VOCÊS

SUGEREM AQUI?

WORKSHOP


2009



SETEMBRO DE 2009



O GRUPO DE CONTROLE

• Usaremos dados da pesquisa Mensal do Emprego – PME – do

IBGE – entrevistas realizadas entre os meses de agosto e

novembro de 2013.

WORKSHOP


2009



SETEMBRO DE 2009



O GRUPO DE CONTROLE

• Primeiramente, vale a observação de que em cada mês, há

8 grupos diferentes de domicílios (grupos rotacionais, nos

termos da PME): domicílios em sua 1ª entrevista, domicílios

em sua 2ª entrevista, e assim, sucessivamente. Iniciaremos

com um grupo de controle com o menor conjunto de

restrições possíveis.

• Assim, selecionaremos uma única observação (uma

entrevista) de todos os jovens que passaram pela PME entre

os meses de agosto a novembro de 2013.

WORKSHOP


2009



SETEMBRO DE 2009



2013 2013 2013 2013

Primeira entrevista dodomicílio no painel da PMEacontece em...

Agosto Setembro Outubro Novembro

Agosto/2013 1 2 3 4

Setembro/2013 1 2 3

Outubro/2013 1 2

Novembro/2013 1

Julho/2013 2 3 4 -

Junho/2013 3 4

Maio/2013 4

Agosto/2012 5 6 7 8

Setembro/2012 5 6 7

Outubro/2012 5 6

Novembro/2012 5

Julho/2012 6 7 8

Junho/2012 7 8

Maio/2012 8

WORKSHOP


2009



SETEMBRO DE 2009



O GRUPO DE CONTROLE

• Para tornar os jovens do grupo de controle mais parecidos com os tratados, foi feito um filtro inicial para a idade e para a escolaridade do jovem: foram selecionados apenas os jovens com idade entre 18 e 20 anos e com escolaridade maior ou igual a 8ª serie ou 9º ano do ensino fundamental.

• Denominamos essa abordagem de cross-section, visto que trabalhamos apenas com as entrevistas de 2013, ou seja, de um único corte no tempo.

WORKSHOP


2009



SETEMBRO DE 2009



O GRUPO DE CONTROLE

• Num segundo momento usamos o painel da PME para ter um maior controle do passado ocupacional dos jovens e da renda familiar anterior.

• Foram feitos dois recortes:

– o primeiro consiste em selecionar do grupo acima (cross-section) apenas os que também participaram da PME de 2012 e que foram observados trabalhando em 2012; longitudinal 1

– o segundo recorte consiste em selecionar do grupo acima (cross-section) apenas os que também participaram da PME 2012 e que apresentavam em 2012 renda familiar per capita menor do que 1 (um) salário mínimo longitudinal 2

WORKSHOP


2009



SETEMBRO DE 2009



2012 2012 2012 2012 2013 2013 2013 2013

Primeira entrevista do domicílio no painel da PME acontece em...

Ago Set Out Nov Ago Set Out Nov

Agosto/2012 1 2 3 4 5 6 7 8Setembro/2012 1 2 3 5 6 7Outubro/2012 1 2 5 6Novembro/2012 1 5

Julho/2012 2 3 4 6 7 8Junho/2012 3 4 7 8Maio/2012 4 8

WORKSHOP


2009



SETEMBRO DE 2009



METODOLOGIA

104

Seleção em observáveis

1. Regressões nas amostras completas (cross-section, longitudinal 1, longitudinal 2)

• X= gênero e raça do jovem; idade e escolaridade da mãe do jovem; e composição familiar (tamanho da família e presença de irmãos mais novos e mais velhos).

2. Matching (apenas na amostra cross-section)

• P(T=1)=f(X)

• 1 vizinho, sem reposição, com reposição, caliper 0,01

• Duas estimativas: comparação não-condicional de médias entre os tratados e controle; e a comparação condicional de médias entre tratamento e controle (condicional nas mesmas variáveis do propensityscore).

WORKSHOP


2009



SETEMBRO DE 2009



METODOLOGIA

12/01/2016 105

• Uma grande preocupação que tivemos foi com a escolha das regiões metropolitanas da PME. Com quais trabalhar?

• Para uma melhor escolha do grupo de controle, exploramos as informações do Censo Demográfico do IBGE de 2010, base que permite a identificação de municípios. Construímos indicadores de mercado de trabalho e distribuição da atividade econômica para o Guarujá e para todas as regiões metropolitanas cobertas pela PME e escolhemos as regiões mais parecidas com o Guarujá.

• Pelas comparações realizadas, foram eleitas como grupo de controle as regiões metropolitanas do Rio de Janeiro , São Paulo e Recife.

WORKSHOP


2009



SETEMBRO DE 2009



METODOLOGIA

12/01/2016 106

• A estratégia de identificação é que condicional em características

observáveis relacionadas à estrutura socioeconômica e familiar

do jovem e condicional nas oportunidades em termos de dinâmica

de mercado de trabalho, os jovens da PME representam um

contrafactual do que teria acontecido com os jovens do Camp-

Guarujá caso esses não tivessem passado por lá.

WORKSHOP


2009



SETEMBRO DE 2009



DESCRIÇÃO DOS DADOS

12/01/2016 107

WORKSHOP


2009



SETEMBRO DE 2009



RESULTADOS – AVALIAÇÃO DE IMPACTO

12/01/2016 108

Indicadores de mercado de trabalho




TRABALHA?

Trabalha? Cross Section Longitudinal

Amostra completa

pareado com reposição Jovens trabalhavam em

2012

Jovens com r_fam_pc< 1sm Dif.simples Dif. Condic.

RECIFE 0,395 0,374 0,344 0,249 0,319 (0,042) (0,071) (0,048) (0,066) (0,061)

RIO 0,365 0,352 0,317 0,288 0,381 (0,040) (0,070) (0,048) (0,045) (0,044)

SP 0,137 0,171 0,180 0,002 0,109 (0,047) (0,073) (0,059) (0,059) (0,065)

TODAS 0,291 0,288 0,272 0,202 0,312 (0,044) (0,066) (0,053) (0,045) (0,047)




TEM REGISTRO NA CARTEIRA DE TRABALHO?

Está registrado (carteira de trabalho)?

Cross Section Longitudinal

Amostra completa


2012


RECIFE 0,212 0,085 0,083 0,189 0,194

(0,076) (0,103) (0,078) (0,097) (0,091)

RIO 0,315 0,380 0,351 0,218 0,289

(0,064) (0,097) (0,063) (0,073) (0,066)

SP 0,085 0,111 0,101 0,041 0,083

(0,052) (0,079) (0,069) (0,066) (0,076)

TODAS 0,156 0,202 0,204 0,089 0,16

(0,056) (0,081) (0,069) (0,063) (0,063)




SALÁRIO

Salário? (em número de salários mínimos)


Amostra completa


2012


RECIFE 0.25 0.27 0.24 0.32 0.32

(0.07) (0.09) (0.07) (0.11) (0.10)

RIO 0.05 0.08 0.13 0.02 0.15

(0.09) (0.15) (0.10) (0.10) (0.10)

SP -0.02 -0.09 -0.09 0.02 0.04

(0.06) (0.07) (0.06) (0.07) (0.08)

TODAS 0.04 0.09 0.10 0.06 0.13

(0.06) (0.08) (0.07) (0.07) (0.07)




JORNADA DE TRABALHO

Jornada semanal? Cross Section Longitudinal

Amostra completa

pareado com reposição Jovens trabalhavam

em 2012


RECIFE -0.73 1.78 -2.57 3.74 4.05

(1.44) (2,04) (1.60) (2.54) (2.26)

RIO -1.13 0,08 1.00 -1.16 0.16

(1.55) (2.18) (1.80) (1.81) (1.89)

SP -4.59 -5,16 -5.66 -3.71 -4.08

(1.18) (1,47) (1.32) (1.34) (1.32)

TODAS -3.52 -3,01 -2.81 -2.50 -1.69

(1.17) (1,56) (1.40) (1.38) (1.39)

WORKSHOP


2009



SETEMBRO DE 2009



RESULTADOS – AVALIAÇÃO DE IMPACTO

Indicadores relacionados à escolaridade




FREQUENTA ESCOLA

Frequenta escola? Cross Section Longitudinal

Amostra completa


2012

Jovens com r_fam_pc<

1sm Dif.simples Dif. Condic.

RECIFE -0,065 -0.008 -0,017 -0,077 -0,053

(0,051) (0.076) (0,066) (0,078) (0,071)

RIO -0,014 -0.016 -0,021 0,012 -0,003

(0,050) (0.074) (0,063) (0,056) (0,057)

SP 0,073 0.057 0,073 0,026 0,043

(0,048) 0.074 (0,064) (0,065) (0,069)

TODAS 0,016 0.000 -0,004 0,014 0,016

(0,045) (0.068) (0,061) (0,051) (0,051)




FREQUENTA ENSINO SUPERIOR, CONDICIONAL EM

TER ENSINO MÉDIO

Frequenta ensino superior (com ensino médio completo?


Amostra completa


2012


RECIFE 0,369 0,385 0,357 0,217 0,292

(0,047) (0,069) (0,046) (0,091) (0,080)

RIO 0,419 0,467 0,406 0,46 0,409

(0,043) (0,065) (0,039) (0,058) (0,052)

SP 0,363 0,479 0,44 0,372 0,375

(0,035) (0,059) (0,036) (0,059) (0,065)

TODAS 0,384 0,452 0,418 0,394 0,387

(0,031) (0,058) (0,038) (0,040) (0,038)

WORKSHOP


2009



SETEMBRO DE 2009



RETORNO ECONÔMICO

12/01/2016 116




BENEFÍCIOS DO PROJETO

Serviço de Fortalecimento

de Vínculos

Maior acesso aoensino superior

Maior escolaridadefutura

Maiores saláriosfuturos

Estimado! Hipóteses!




DO IMPACTO ESTIMADO AO BENEFÍCIO MONETÁRIO

• Se de fato existe um efeito causal positivo do programa, isso significa que do total de jovens tratados com ensino médio completo e que em 2013 frequentam ensino superior - são 76 jovens -uma parte não estaria frequentando caso não tivesse passado pelo projeto.

• Ou seja, 0,418*76 = 32 jovens corresponde aproximadamente ao total de jovens tratados que frequentam o ensino superior devido ao projeto.





12/01/2016119

2013 2014 2015 2016 2017 2018 ... 2059

cursando 1º ano do ensino

superior

cursando 2º ano

cursando 3º ano

cursando 4º ano -

conclusão

Nº de alunos

32 22 12 12 12

Idade 19 anos 20 21 22 23 24 ... 65

Anos de estudo

11 12 13 14 15 15 ... 15

WORKSHOP


2009



SETEMBRO DE 2009




• A ideia é calcular o fluxo de rendimentos dos jovens tratados

que em função do programa terão maior escolaridade;

• E também calcular o fluxo de rendimento que os jovens teriam

caso não tivessem passado pelo programa, ou seja, admitindo

uma escolaridade final de 11 anos.

• A diferença entre os dois fluxos, trazida a valor presente, é o

valor do beneficio do projeto – ou seja, é o acréscimo no fluxo

de rendimentos futuros em função do projeto.

• Iremos admitir que esses jovens permaneçam no mercado de

trabalho até os 65 anos de idade.

WORKSHOP


2009



SETEMBRO DE 2009




• Para construir os fluxos salariais usamos os valores dos

rendimentos mensais recebidos no emprego principal, por idade

e escolaridade, coletados pela PNAD (Pesquisa Nacional de

Amostras por Domicílios) de 2013.




EXEMPLO

• 2010 = valor total dos salários recebidos pelos tratados na ausência do tratamento é de R$ 497,243 * 32 * 12 = R$190.941, 35.

– R$497,243 = média de salário para jovens com

idade entre 16 e 18 anos e escolaridade entre 8 e

10 anos de estudo obtido da PNAD de 2013

12/01/2016122




EXEMPLO

• 2014 (R$ 963,6 * 22 + R$ 1035,4 * 10) *12= 378.647,79 22 jovens continuam frequentando ensino superior (estão no 2º ano do ensino superior) e 10 jovens abandonaram o ensino superior e estão agora apenas no mercado de trabalho (terminam com 12 anos de estudo)

• Hip: jovens tratados estejam também no mercado de trabalho, em função, dos resultados positivos expressivos para a empregabilidade

12/01/2016123

WORKSHOP


2009



SETEMBRO DE 2009


UNIVERSIDADE DE SÃO PAULO124

idade tratamento contrafactual liquido = beneficio anual do projeto

2010 16 integração R$ 190.941,35 -R$ 190.941,35

2011 17 aprendiz emprego com remuneração semelhante ao do aprendiz

0

2012 18 aprendiz emprego com remuneração semelhante ao do aprendiz

0

2013 19 R$ 370.035,53 R$ 331.963,66 R$ 37.790,28

2014 20 R$ 378.647,79 R$ 331.963,66 R$ 46.526,31

2015 21 R$ 387.260,04 R$ 331.963,66 R$ 55.262,34

2016 22 R$ 387.260,04 R$ 331.963,66 R$ 55.262,34

2017 23 R$ 716.908,37 R$ 431.972,35 R$ 276.899,95

2018 24 R$ 716.908,37 R$ 431.972,35 R$ 276.899,95

... ... R$ 716.908,37 R$ 431.972,35 R$ 276.899,95

2024 30 R$ 716.908,37 R$ 431.972,35 R$ 276.899,95

2025 31 R$ 1.047.334,08 R$ 540.471,94 R$ 506.862,14

... ... R$ 1.047.334,08 R$ 540.471,94 R$ 506.862,14

2034 40 R$ 1.047.334,08 R$ 540.471,94 R$ 506.862,14

2035 41 R$ 1.255.922,93 R$ 702.418,56 R$ 553.504,37

... ... R$ 1.255.922,93 R$ 702.418,56 R$ 553.504,37

2059 65 R$ 1.255.922,93 R$ 702.418,56 R$ 553.504,37




CUSTOS DO PROJETO

CUSTO TOTAL DO SERVIÇO DO CAMP GUARUJÁ R$ 2.325.100,00

Especificações Custo Mensal Custo Anual

RH – Salários R$ 125.067,00 R$ 1.500.800,00

Material de Consumo R$ 16.166,66 R$ 194.000,00

Material Didático R$ 2.650,00 R$ 31.800,00

Serviços de Terceiros R$ 1.266,66 R$ 15.200,00

Manutenção R$ 1.891,66 R$ 22.700,00

Utensílios e Serviços R$ 6.258,33 R$ 75.100,00

Veículos R$ 2.283,33 R$ 27.400,00

RH – Encargos R$ 25.166,66 R$ 302.000,00

Seguros R$ 708,33 R$ 8.500,00

Tributárias R$ 6.408,33 R$ 76.900,00

Despesas Gerais R$ 5.891,66 R$ 70.700,00

Total R$ 193.758,62 R$ 2.325.100,00

WORKSHOP


2009



SETEMBRO DE 2009



TAXA INTERNA DE RETORNO

12/01/2016 126




TAXA INTERNA DE RETORNO (TIR)

Taxa interna de retorno (% ao ano)

variações do contrafactual contrafactual original

contrafactual alternativo variações do custo

custo observado 9,49% 6,86%

custo 30% maior que o observado 8,08% 6,01%

Obs: contrafactual alternativo admite que 20% do grupo de controle curse ensino superior

WORKSHOP


2009



SETEMBRO DE 2009



RESUMO DO CAMP-GUARUJÁ

128

• Avaliação de impacto indicou resultados positivos para inserção no

mercado de trabalho e inserção no ensino superior.

• A partir desse ultimo resultado construímos uma avaliação de retorno

econômico, que indicou valores bastante razoáveis para a TIR.

• Hipótese chave: condicional nas variáveis de estrutura familiar, os

jovens da PME representam um bom contrafactual do que teria

acontecido com os jovens que participaram do Serviço de

Fortalecimento de Vínculos caso esses não tivessem passado por lá.

WORKSHOP


2009



SETEMBRO DE 2009



DIFICULDADES

• Tratados são altamente selecionados – e não havia INFORMAÇÃO para os não selecionados (um possível grupo de controle poderia ser os não selecionados – há excesso de demanda).

• Uma parte razoável dos tratados não foi encontrada – eram 245 jovens e foi feito contato com 145. Análises mostraram que amostra manteve representatividade.

• Deve haver um controle bem de perto com a coleta dos dados. Nesse caso a coleta foi feita pela equipe do Camp-Guarujá com pouco acompanhamento. Quando fomos usar os dados, um ano depois, não havia 100% de memória acerca da coleta.

WORKSHOP


2009



SETEMBRO DE 2009



BOAS IDEIAS

• Explorar as diferentes bases de dados de fontes

externas: PME e Censo Demográfico mais

importantes; mas também usamos: PNAD e Censo

da Educação Superior para análise de retorno

econômico.

• Trabalhar com diferentes grupos de controle,

nesse caso procurando uma maior robustez nos

resultados. Para uma medida de impacto, havia

20 estimativas diferentes.

GERAL

WORKSHOP


2009



SETEMBRO DE 2009



VOLTANDO AO PESCAR...

RESULTADOS DO EXERCÍCIO

O QUE ENCONTRAMOS?

131

WORKSHOP


2009



SETEMBRO DE 2009



• Reunião inicial para coleta de dados com a Fundação Pescar: Maio de

2014

• Discussão e Elaboração do Desenho de Avaliação:

Maio a Outubro/2014

• Preparativos para Pesquisa de Campo: Nov/2014 a Maio/2015

• Pesquisa de Campo: Junho e Julho/ 2015

• Tratamento dos Dados e Análise Preliminar: Ago a Out/2015

• Análise Final: Outubro e Novembro/2015

WORKSHOP


2009



SETEMBRO DE 2009



DIFICULDADES COM AS FICHAS DE INSCRIÇÃO

134

• Fichas de inscrição dos controles não ficavam

armazenadas na sede da Fundação Pescar, mas em

poder dos educadores sociais de cada unidade

atendida;

• Atraso no envio das fichas;

• Muitos modelos de fichas diferentes (as fichas de

inscrição das unidades não seguiam um modelo

comum);

• Recebimento de fichas de inscrição incompletas.

• Importância: garantir tratamento e controle o mais

parecidos pré-tratamento.

WORKSHOP


2009



SETEMBRO DE 2009



UNIDADES PESCAR NAS QUAIS NÃO FOI POSSÍVEL REALIZAR A

PESQUISA DE CAMPO

135

Unidade Ano Problemas

Cimpor 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.

Consórcio

Tupaciretã

2012

2013Retirada do campo para redução de custos (poucos controles na cidade)

Elster 2012 Apenas cadastro com nome dos inscritos

Dimeltoz 2013Poucos indivíduos no campo (25), retirada do campo por questão de custo de

aplicação em Caxias do Sul

Expert 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.

Expert 2013Vieram apenas as primeiras páginas das fichas de visita domiciliar dos jovens

selecionados.

Redemaq 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.

Redemaq 2013 Não recebemos nenhuma ficha de inscrição dos jovens selecionados.

RPR 2012 Vieram apenas fichas de visita domiciliar dos jovens selecionados.

Sapore 2012 Unidade não faz mais parte do Projeto Pescar.

Soul 2012 Apenas cadastro com endereço, sem ficha de inscrição

Vicunha 2012Vieram apenas as primeiras páginas da ficha de inscrição e posteriormente as fichas

de visita domiciliar dos jovens selecionados.

Vicunha 2013Vieram apenas as primeiras páginas da ficha de inscrição e posteriormente as fichas

de visita domiciliar dos jovens selecionados.

WORKSHOP


2009



SETEMBRO DE 2009



PESQUISA DE CAMPO - 2015

136

WORKSHOP


2009



SETEMBRO DE 2009



DIFICULDADES COM O CAMPO

137

• Adiamento por atraso com as fichas e por questões

orçamentárias;

• Dificuldade de encontrar as pessoas devido ao espaço

de tempo entre o preenchimento da ficha de inscrição e

o momento do campo;

• Mau tempo (chuva e alagamentos) em Porto Alegre no

período do campo.

WORKSHOP


2009



SETEMBRO DE 2009



TAXA DE RESPOSTA DA PESQUISA DE CAMPO POR

UNIDADE E REGIÃO/MUNICÍPIO

138

Cidade Unidade

Previsto Realizado Realizado/Previsto

Controle Tratado Controle Tratado Controle Tratado

Porto Alegre

Rio Grande

ASAV 87 78 72 52 83% 67%

RPR 12 12 4 9 33% 75%

CDL 5 13 2 7 40% 54%

Unicred 8 17 3 12 38% 71%

Total 112 120 81 80 72% 67%Itajubá Alstom 29 29 28 23 97% 79%Matão Citrosuco 49 49 45 41 92% 84%

Bigaçu Sulcatarinense 14 14 21 6 150% 43%

Total 204 212 175 150 86% 71%

WORKSHOP


2009



SETEMBRO DE 2009



INSCRITOS X NÃO ENTREVISTADOS

139

Variáveis AmostraTratados Controles

N. obs. Médias N. obs. Médias

HomemI 212 0,472 392 0,497

NE 62 0,532 217 0,502

EstudaI 211 0,986 386 0,948

NE 61 0,984 213 0,944

SérieI 191 7,974 365 8,082

NE 60 7,967 205 8,029

TrabalhaI 89 0,045 215 0,037

NE 31 0,032 117 0,034

Reside com a mãeI 212 0,858 393 0,847

NE 62 0,774 218 0,839

Obs: Em todos os casos, não se rejeitou a hipótese de que as médias dos dois

grupos eram estatisticamente iguais com 90% de confiança

WORKSHOP


2009



SETEMBRO DE 2009



INSCRITOS X NÃO ENTREVISTADOS

140

Variáveis AmostraTratados Controles

N. obs. Médias N. obs. Médias

Reside com o paiI 212 0,425 393 0,468

NE 62 0,371 218 0,454

Água encanadaI 212 0,679 393 0,842

NE 62 0,645 218 0,849

EsgotoI 212 0,585 393 0,669

NE 62 0,581 218 0,651

Renda familiarI 168 1092,69 296 1258,00

NE 52 1041,87 161 1278,50

Renda familiar per capitaI 139 236,64 265 399,33

NE 39 198,34 142 407,31

Obs: Em todos os casos, não se rejeitou a hipótese de que as médias dos dois

grupos eram estatisticamente iguais com 90% de confiança

WORKSHOP


2009



SETEMBRO DE 2009



ANÁLISE DE ATRITO E MISSINGS

141

• O atrito não foi seletivo: as características médias dos

não entrevistados eram semelhantes a dos entrevistados,

tanto no tratamento como no controle pesquisa de

campo com boa representatividade

• Boa qualidade das respostas do questionário de

campo: o fato de ter sido feita com tablet ajudou a

reduzir drasticamente a taxa de não resposta às

questões (missings)

WORKSHOP


2009



SETEMBRO DE 2009



ANÁLISE COMPARATIVA DOS TRATADOS E

CONTROLES QUE RESPONDERAM À

PESQUISA DE CAMPO

142

WORKSHOP


2009



SETEMBRO DE 2009



DIFERENÇA DE MÉDIAS - VARIÁVEIS DO CAMPO DE 2015

143

Variáveis Grupo N. obs. Médias Variáveis Grupo N. obs. Médias

IdadeC 175 18,766

Salário por horaC 87 18,06

T 150 19,240 T 80 15,45

Frequenta escola atualmenteC 175 0,440 Carteira assinada no último

trabalho

C 42 0,833

T 150 0,367 T 45 0,867

Fez Enem alguma vezC 175 0,303 Tempo (em meses) no último

trabalho

C 46 8,87

T 150 0,387 T 47 6,00

Participou de algum curso de

QP nos últimos 4 anos

C 175 0,560 Remuneração no último

trabalho

C 46 784,52

T 150 0,373 T 47 831,68

Duração (em meses) do curso

de QP

C 82 11,0 Horas trabalhadas (por

semana) no último trabalho

C 46 20,696

T 53 10,9 T 48 21,396

Trabalha atualmenteC 175 0,509 Salário por hora no último

trabalho

C 46 19,75

T 150 0,533 T 47 20,35

Carteira de trabalho assinadaC 74 0,959

Remuneração da famíliaC 149 2040,67

T 73 0,904 T 131 2028,08

Tempo (em meses) nesse

trabalho

C 89 10,5Número de pessoas na família

C 174 4,46

T 80 11,9 T 150 4,48

Remuneração do trabalhoC 88 903,16

Renda familiar per capitaC 149 547,77

T 80 1040,70 T 131 552,79

Horas trabalhadas (por

semana)

C 88 23,9

T 80 31,0

WORKSHOP


2009



SETEMBRO DE 2009



TESTE DE DISTRIBUIÇÃO DAS VARIÁVEIS CATEGÓRICAS

PESQUISA DE CAMPO DE 2015-TRATADOS X CONTROLES

144

Variáveis p-valor (exato)

Nível de ensino que frequenta atualmente 0,274

Nível de ensino mais elevado que frequentou 0,968

Escolaridade da mãe 1,000

Escolaridade do pai 0,719

Posição da família 1,000

WORKSHOP


2009



SETEMBRO DE 2009



PERFIL DOS ALUNOS EGRESSOS DO

PROJETO PESCAR – 2012 E 2013

145

WORKSHOP


2009



SETEMBRO DE 2009



TRABALHO E ESTUDO

146

UnidadeEstuda e

Trabalha

Estuda e Não

Trabalha

Não Estuda e

Trabalha

Não Estuda e

Não Trabalha

T C T C T C T C

Alstom 30,4 14,3 17,4 17,9 39,1 32,1 13,0 35,7

ASAV 11,5 20,8 28,8 40,3 28,8 19,4 30,8 19,4

CDL 28,6 42,9 100,0 28,6

Citrosuco 24,4 22,2 2,4 20,0 43,9 33,3 29,3 24,4

RPR 33,3 25,0 11,1 25,0 44,4 25,0 11,1 25,0

Sulcatarinense 9,5 66,7 16,7 71,4 16,7 19,0

Unicred 8,3 8,3 33,3 8,3 33,3 75,0 33,3

Total 19,3 18,3 17,3 25,7 34,0 32,6 29,3 23,4

WORKSHOP


2009



SETEMBRO DE 2009



DISTRIBUIÇÃO POR ESCOLARIDADE MÁXIMA

147

Unidade Fund. MédioMédio

IntegradoProf. EJA Sup. Dist.

Sup.

Pres.

T C T C T C T C T C T C T C

Alstom 57 57 13 11 9 11 22 21

ASAV 31 39 60 58 8 1 2 1

CDL 71 5 29 5

Citrosuco 4 61 69 5 2 5 2 2 27 22

RPR 13 25 63 5 25 25

Sulcatar. 29 83 62 10 17

Unicred 17 33 75 67 8

Total 13 22 62 61 7 4 3 1 1 1 2 14 10

WORKSHOP


2009



SETEMBRO DE 2009



SITUAÇÃO DE TRABALHO

148

UnidadeTrabalha Carteira Assinada Empregado

Conta

própriaEstagiário

T C T C T C T C T C

Alstom 70 46 85 100 69 69 19 31 13

ASAV 40 40 90 88 90 69 14 10 17

CDL 71 100 50 100 40 100 60

Citrosuco 68 56 93 100 93 72 20 7 8

RPR 78 50 100 100 100 100

Sulcatarinen

se17 81 100 88 100 12

Unicred 17 33 100 100 100 100

Total 53 51 90 96 84 74 9 17 7 9

WORKSHOP


2009



SETEMBRO DE 2009



CURSOS DE QUALIFICAÇÃO PROFISSIONAL

149

WORKSHOP


2009



SETEMBRO DE 2009



NÚMERO DE PARTICIPAÇÕES EM CURSOS DE QP NOS ÚLTIMOS 4 ANOS

150

Número de cursos de QP Controle Tratamento Total

1 67 44 111

2 13 8 21

3 2 1 3

4 1 0 1

Total 83 53 136

47,42% (83) dos controles e 35,33% (53) dos tratados entrevistados no campo disseram ter feito ou estar fazendo algum curso de qualificação profissional (exceto Pescar) nos últimos 4 anos.

WORKSHOP


2009



SETEMBRO DE 2009



MOMENTO EM QUE TRATADOS E CONTROLES

PARTICIPARAM DE CURSOS DE QP

151

Controles Tratados Total

Fez curso de QP antes 11 12 23

Fez curso de QP no mesmo ano 30 12 42

Fez curso de QP depois 51 35 86

WORKSHOP


2009



SETEMBRO DE 2009



MOMENTO EM QUE TRATADOS E CONTROLES

PARTICIPARAM DE CURSOS DE QP

152

Fez curso de QP antes Fez curso QP no mesmo ano Fez curso QP depois Total

Sim Não Não 20

Sim Sim Não 2

Sim Não Sim 0

Não Sim Não 28

Não Sim Sim 11

Não Não Sim 74

Sim Sim Sim 1

Não Não Não 189

WORKSHOP


2009



SETEMBRO DE 2009



DURAÇÃO DOS CURSOS DE QP SEPARADA POR

MOMENTO E GRUPO

153

Momento Grupos N. Obs.Duração (em meses)

Média Mínima Máxima

Fez curso de QP antesC 11 7,9 3 18

T 12 14,6 3 36

Fez curso de QP no mesmo

ano

C 29 9,2 2 24

T 12 9,1 2 36

Fez curso de QP depoisC 50 12,2 1 48

T 35 11,2 1 36

WORKSHOP


2009



SETEMBRO DE 2009



INSTITUIÇÕES DOS CURSOS DE QP COM

DURAÇÃO SUPERIOR A 12 MESES

154

Fez curso de QP antes

Instituição de Ensino Duração (em meses)

ETEC - Escola Técnica Silvyo de Mattos Carvalho 18

SENAC 18

Não sabe/Não lembra 24

Escola New Point 24

Associação da Liga de Amparo aos Necessitados 24

Star Training Center Formação Profissional 36

WORKSHOP


2009



SETEMBRO DE 2009





155

Fez curso de QP no mesmo ano


SENAC 18

SENAI 18

CEP - Centro de Educação Profissional 18


SENAI 24

AAMAI - Associação de Apoio ao Menor Aprendiz 24


WORKSHOP


2009



SETEMBRO DE 2009





156

Fez curso de QP depois



Escola de Educação Profissional São Jorge 14

CIEE - Centro de Integração Empresa 17

Fundação Pão dos Pobres 18

Instituto Educacional Livre Ofício - Polo UNINTER 18

FUPAC - Fundação Antônio Carlos 18

Instituto Educacional Livre Ofício - Polo UNINTER 18

Centro Estadual de Educação Tecnológica Paula Souza 18


Projovem Adolescente 18

WORKSHOP


2009



SETEMBRO DE 2009





157




Colégio de Itajubá 18

CEP - Centro de Educação Profissional 18

IFSC - Instituto Federal de Santa Catarina 18

Make Soluções 18

Escola Real Life 24

Fundação Pão dos Pobres 24

MicroPro Qualificação Profissional 24

SENAI 24

MICROCAMP Tecnologia 24

WORKSHOP


2009



SETEMBRO DE 2009





158



MicroPro Qualificação Profissional 24

Top Cursos Brasil 24

Escola Técnica Geração 25

SENAC 30

Escola Técnica Pró-Saúde 30



WORKSHOP


2009



SETEMBRO DE 2009



ANÁLISE DE IMPACTO

159

WORKSHOP


2009



SETEMBRO DE 2009



Para estimar o impacto do Pescar sobre as variáveis de

interesse é necessário comparar jovens que não

participaram do Pescar e que são semelhantes quanto

às características observáveis aos jovens que

participaram.

ESTRATÉGIAS DE IDENTIFICAÇÃO

• Mínimos Quadrados Ordinários (MQO)

• Propensity Score Matching (PSM)

WORKSHOP


2009



SETEMBRO DE 2009



VARIÁVEIS EXPLICATIVAS UTILIZADAS

161

Fez curso de qualificação antes do Pescar

Renda familiar per capita na inscrição

Série

Homem que prestou serviço militar

Mulher

Idade

Posição de filho na família

Escolaridade da mãe

Dummy de ano (2012 ou 2013)

Dummy de Unidade Pescar

WORKSHOP


2009



SETEMBRO DE 2009



RESULTADOS: EMPREGABILIDADE E ESCOLARIDADE

162

Impactos potenciais

sobre:Indicadores de impacto

Curso de QualificaçãoProfissional

Y1 = fez curso QP em ano posterior ao Pescar (1 = sim; 0 = não)

Empregabilidade

Y1 = ocupado (1 = sim; 0 = não)



Y4 = tempo no emprego (em meses)

Escolaridade

Y1 = Frequenta escola (1 = sim; 0 = não)

Y2 = Concluiu o ensino fundamental (1 = sim; 0 = não)

Y3 = Concluiu o ensino médio (1 = sim; 0 = não)

Y4 = Prestou o ENEM (1 = sim; 0 = não)





SUBGRUPOS DA AMOSTRA

1) “Limpos”

– Tratamento: só fizeram o Pescar naquele ano (TL)

– Controle: não fizeram nenhum curso de QP no ano em que

se inscreveram para o Pescar (CL)

2) “Sujos”

– Tratamento: fizeram o Pescar + podem ter feito outro QP

naquele ano (TS)

– Controle: podem ter feito outro curso de QP no ano em

que se inscreveram para o Pescar (CS)

163




TÉCNICAS UTILIZADAS

1) Mínimos Quadrados Ordinários

2) Propensity Score Matching

– Kernel

– Vizinho Mais Próximo (NN)

Obs: Resultados devem ser robustos às diferentes técnicas

164

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO DO TRATAMENTO - MQO

165

Variável de interesse TL x CL TS x CL TL x CS TS x CS

Completou EFCoef. 0,06 0,06 0,10 0,08

n. obs. 134 140 139 145

Completou

EM

Coef. 0,02 0,02 0,04 0,04

n. obs. 279 291 309 321

Prestou ENEMCoef. 0,12** 0,12** 0,09* 0,09*

n. obs. 279 291 309 321

EstudandoCoef. -0,04 -0,04 -0,05 -0,05

n. obs. 279 291 309 321

Ensino

superior

Coef. -0,05 -0,05 -0,01 -0,01

n. obs. 76,00 79,00 85,00 88,00

Fez curso de

QP depois

Coef. -0,12** -0,11* -0,11** -0,10*

n. obs. 279 291 309 321

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO DO TRATAMENTO – PSM – KERNEL

166



n. obs. 152 157 169 175

Completou

EM

Coef. 0,0313 0,0311 0,0374 0,0099

n. obs. 275 281 304 313

Prestou ENEMCoef. 0,1463* 0,1223* 0,0831 0,0575

n. obs. 275 281 304 313

EstudandoCoef. -0,085 -0,0278 -0,067 -0,034

n. obs. 133 142 156 164

Ensino

superior

Coef. -0,0539 -0,0539 -0,0539 -0,0308

n. obs. 65 65 65 75

Fez curso de

QP depois

Coef. -0,1901*** -0,1964*** -0,1504** -0,1570**

n. obs. 269 278 300 312

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO DO TRATAMENTO – PSM – NN

167



n. obs. 90 100 94 104

Completou

EM

Coef. 0,10 0,01 0,03 0,07

n. obs. 164 172 190 192

Prestou ENEMCoef. 0,11 0,10 0,08 0,12*

n. obs. 164 172 190 192

EstudandoCoef. -0,11 -0,03 -0,02 0,00

n. obs. 76 80 96 106

Ensino

superior

Coef. 0,00 0,00 0,00 0,00

n. obs. 34 34 34 36

Fez curso de

QP depois

Coef. -0,18** -0,11 -0,09 -0,09

n. obs. 154 170 182 188

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO DO TRATAMENTO – MQO

168


Trabalha

atualmente

Coef. 0,02 0,02 0,06 0,06

n. obs. 279 291 309 321

Carteira

Assinada

Coef. -0,06 -0,06 -0,05 -0,04

n. obs. 125 133 136 144

Remuneração

do trabalho

Coef. 65,48 63,36 86,95* 83,99*

n. obs. 143 151 156 164

Tempo no

trabalho

Coef. -0,35 0,45 0,80 1,43

n. obs. 145 153 158 166

AutônomoCoef. -0,12* -0,12** -0,09* -0,10*

n. obs. 145 153 158 166

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO DO TRATAMENTO – PSM – KERNEL

169


Trabalha

atualmente

Coef. -0,0258 -0,0261 0,0242 0,0487

n. obs. 277 289 307 320

Carteira

Assinada

Coef. -0,0414 -0,041 -0,0318 -0,021

n. obs. 115 123 134 142

Remuneração

do trabalho

Coef. 39,3169 17,6736 156,1556* 139,619

n. obs. 131 140 154 162

Tempo no

trabalho

Coef. -1,0685 -0,6251 1,2652 2,0411

n. obs. 133 142 156 164

AutônomoCoef. -0,1031 -0,0821 -0,0631 -0,075

n. obs. 133 142 156 164

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO DO TRATAMENTO – PSM – NN

170


Trabalha

atualmente

Coef. 0,02 0,01 0,03 0,09

n. obs. 164 180 198 216

Carteira

Assinada

Coef. -0,09 -0,09 0 -0,02

n. obs. 64 64 78 86

Remuneração

do trabalho

Coef. 25,41 57,72 51,19 69,43

n. obs. 74 78 94 106

Tempo no

trabalho

Coef. -0,61 -0,05 1,06 2,26

n. obs. 76 80 96 106

AutônomoCoef. -0,13* -0,13* -0,15* -0,13**

n. obs. 76 80 96 106

WORKSHOP


2009



SETEMBRO DE 2009



RESUMINDO...

171

• Resultados não são robustos às diferentes especificações.

Parece haver:

• Menor probabilidade de trabalhar como autônomo entre

quem fez o Pescar (9 a 15 p.p.)

• Menor probabilidade de fazer curso de QP em ano

posterior ao Pescar (9 a 13 p.p.)

• Maior probabilidade de prestar ENEM (9 a 14 p.p.)

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO DO PESCAR EM

SOCIOEMOCIONAIS

172

WORKSHOP


2009



SETEMBRO DE 2009



RELAÇÃO ENTRE VARIÁVEIS DO SENNA E INDICADORES PESCAR

Projeto Pescar SENNA

Auto-estima Estabilidade Emocional

Trabalhar em equipe Amabilidade

Capacidade de enfrentar incertezas Abertura ao Novo

Vontade de trabalhar

(trabalho como forma de realização)

Conscenciosidade

Locus de Controle

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO EM VARIÁVEIS SOCIOEMOCIONAIS - MQOVariável de interesse TL x CL TS x CL TL x CS TS x CS

Amabilidade 0.04 0.04 0.05 0.04

Amabilidade recod. por

Amabilidade0.05 0.04 0.04 0.04

Conscienciosidade 0.00 0.00 0.01 0.02

Conscienciosidade. recod.

por Conscienc.0.11 0.11 0.11 0.13

Extroversão 0.08 0.08 0.09 0.08

Estabilidade Emocional -0.04 -0.04 -0.03 -0.02

Estab. Emocional recod. por

Estab. Emoc.-0.03 -0.03 -0.02 -0.02

Locus de Controle 0.03 0.03 0.01 0.00

Abertura 0.03 0.03 0.03 0.02

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO EM SOCIOEMOCIONAIS – PSM - KERNELVariável de interesse TL x CL TS x CL TL x CS TS x CS

Amabilidade 0,07 0,07 0,07 0,06


Amabilidade0,02 0,04 0,01 0,06

Conscienciosidade 0,17** 0,14* 0,03 0,03


por Conscienc.0,25** 0,22** 0,10 0,12

Extroversão 0,11 0,09 0,11* 0,11

Estabilidade Emocional 0,12 0,08 0,01 0,03


Estab. Emoc.0,20 0,15 0,05 0,06

Locus de Controle -0,06 -0,04 -0,04 -0,05

Abertura 0,09 0,11 0,02 0,01

WORKSHOP


2009



SETEMBRO DE 2009



EFEITO EM SOCIOEMOCIONAIS – PSM - NNVariável de interesse TL x CL TS x CL TL x CS TS x CS

Amabilidade 0,05 0,12 0,03 0,02


Amabilidade0,08 0,17 0,00 -0,08

Conscienciosidade 0,01 0,04 -0,06 -0,01


por Conscienc.0,11 0,14 0,03 0,07

Extroversão 0,08 0,11 0,11 0,08

Estabilidade Emocional -0,07 0,02 -0,16* -0,04


Estab. Emoc.-0,06 0,07 -0,22* -0,06

Locus de Controle 0,05 0,03 0,03 0,05

Abertura -0,02 0,00 -0,02 0,02

WORKSHOP


2009



SETEMBRO DE 2009



RESUMINDO...

177

• Resultados sobre características socioemocionais não são

robustos às diferentes especificações.

WORKSHOP


2009



SETEMBRO DE 2009



RETORNO ECONÔMICO

178

WORKSHOP


2009



SETEMBRO DE 2009



SIMULAÇÃO

179

• Não houve indícios consistentes de impacto do Pescar.

• Para ilustrar o equilíbrio financeiro do Projeto Pescar é

feita uma simulação.

• Diferentes cenários de retorno econômico do Projeto Pescar.

• Medidas de benefícios e de custos do projeto.

• Estimar qual seria a Taxa de Interna de Retorno (TIR) do

projeto para valores diferentes e hipotéticos de magnitude

e duração do benefício do projeto.

WORKSHOP


2009



SETEMBRO DE 2009



BENEFÍCIOS

180

• Salário dos indivíduos variável chave para medir o

benefício do projeto.

• Alunos do PESCAR têm, em média, salários 50,00/mês

maiores comparados à situação em que eles não tivessem

passado pelo PESCAR.

• Alternativamente, 80,00, 100,00, 125,00, 150,00 e

175,00.

• Duração do benefício: 3, 5 e 10 anos na vida dos

indivíduos.

WORKSHOP


2009



SETEMBRO DE 2009



CUSTOS

181

Cidade Unidade AnoCusto total

anual ()

Total de

jovens

Custo por

jovem

Porto

Alegre

ASAV2012 362.365,90 38 9.535,94

2013 384.661,00 39 9.863,10

CDL 2012 109.481,67 13 8.421,67

Unicred 2012 79.844,44 17 4.696,73

Rio

GrandeRefinaria 2012 166.181,81 15 11.078,79

Itajubá Alstom2012 65.000,00 14 4.642,86

2013 60.041,26 14 4.288,66

Matão Citrosuco2012 118.225,00 24 4.926,04

2013 130.246,72 25 5.209,87

Biguaçu Sulcat. 2013 82.636,00 28 2.951,29

Total 1.558.683,80 227 6.866,45

WORKSHOP


2009



SETEMBRO DE 2009



FLUXO DE CAIXA SIMULADO

182

T 50/mês 80/mês 100/mês 125/mês 150/mês 175/mês

0 - 1.558.683,8 - 1.558.683,8 - 1.558.683,8 - 1.558.683,8 - 1.558.683,8 - 1.558.683,8

1 136.200,00 217.920,00 272.400,00 340.500,00 408.600,00 476.700,00

2 136.200,00 217.920,00 272.400,00 340.500,00 408.600,00 476.700,00

... 136.200,00 217.920,00 272.400,00 340.500,00 408.600,00 476.700,00

10 136.200,00 217.920,00 272.400,00 340.500,00 408.600,00 476.700,00

Exemplo: R$50 * 12 * 227 = R$136.200,00

WORKSHOP


2009



SETEMBRO DE 2009



SIMULAÇÕES DE TIR DO PROJETO PESCAR

183

Benefício

do projeto

Duração do benefício do projeto

3 anos 5 anos 10 anos

R$50 / mês -45,6% -22,5% -2,4%

R$80 / mês -33,4% -10,9% 6,6%

R$100 / mês -26,5% -4,3% 11,7%

R$125 / mês -18,5% 3,0% 17,5%

R$150 / mês -11,1% 9,8% 22,9%

R$175 / mês -4,2% 16,1% 28,0%

WORKSHOP


2009



SETEMBRO DE 2009



LIÇÕES E APRENDIZADOS

184

WORKSHOP


2009



SETEMBRO DE 2009



• A ausência de impactos consistentes em outras dimensões

dever ser motivo para a reflexão das ações do Projeto

Pescar.

• Reflexão da equipe da Fundação Pescar sobre os

resultados deve contribuir para que outros pontos não

mencionados aqui sejam discutidos e aprimorados.

WORKSHOP


2009



SETEMBRO DE 2009



• Centralização das informações de inscrição e de visita

domiciliar, com acompanhamento da Unidade Central e

armazenamento dessas informações em meio eletrônico

permitindo futuras avaliações do Projeto Pescar;

• Aplicação de instrumento socioemocional no processo

seletivo do Pescar que permita avaliar objetivamente as

características desses candidatos e avaliar o impacto do

projeto nessas dimensões, uma vez que essa é uma

característica central do projeto;

WORKSHOP


2009



SETEMBRO DE 2009



• Realizar análise de impacto diferenciada por unidade do

Projeto Pescar, em que podem ser considerados fatores

que tiveram que ser ignorados nesse relatório:

perfil das turmas,

tempo de existência do Projeto Pescar na empresa,

tempo de experiência do professor, etc.

• Importante para capturar possíveis efeitos heterogêneos

do Pescar em cada unidade

AVALIAÇÃO DE PROJETOS E POLÍTICAS SOCIAIS … · •Fundação Itaú Social ... a...

Documents

Transcript of AVALIAÇÃO DE PROJETOS E POLÍTICAS SOCIAIS … · •Fundação Itaú Social ... a...