Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são...
Transcript of Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são...
![Page 1: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/1.jpg)
AVALIAÇÃO DE IMPACTO
Métodos Não-Experimentais
Beatrice Zimmermann
DIME – World Bank
Porto Alegre
2017
![Page 2: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/2.jpg)
LIÇÃO APRENDIDA: CORRELAÇÃO NÃO
IMPLICA CAUSALIDADE!
![Page 3: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/3.jpg)
AVALIAÇÃO DE IMPACTO: RECAPITULANDO
• Objetivo de uma Avaliação de Impacto: identificar o efeito causal de um programa/intervenção
• Para isso: Precisamos de um contrafactual, um bom grupo de controle
• Dois métodos: Experimental e Não-Experimental
![Page 4: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/4.jpg)
AVALIAÇÃO DE IMPACTO: O DESAFIO
• Obter um bom contrafactual para identificar o efeito causal de uma intervenção
• Contrafactual?
O que aconteceu
Significa que queremos comparar
O que teria ocorrido se o
programa não
existisse
com
![Page 5: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/5.jpg)
CONTRAFACTUAL: INTUIÇÃO
• Grupo de Tratamento (T) e Grupo de Controle (C) em experimentos
• Características observáveis e não-observáveis idênticas, na média.
• A diferença entre as variáveis de resultado dos grupos de T e C é exclusivamente devida à intervenção (ou tratamento)
![Page 6: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/6.jpg)
EXPERIMENTAL VERSUS NÃO-EXPERIMENTAL
• Método experimental: Compara grupos que, na média, são idênticos
• Métodos não-experimentais: Compara grupos que, na média, são similares
![Page 7: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/7.jpg)
FERRAMENTAS PARA OBTER O CONTRAFACTUAL
Não é uma boa estratégia
• Antes– Depois
• Participantes – Não-Participantes
Boas estratégias desde que
algumas hipóteses sejam
observadas
• Diferença-em-Diferenças
• Regressão descontínua
Efeito causal • Experimentos – Randomized Control Trials
![Page 8: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/8.jpg)
FERRAMENTAS PARA OBTER O CONTRAFACTUAL
Não é uma boa estratégia
• Antes– Depois
• Participantes – Não-Participantes
Boas estratégias desde que
algumas hipóteses sejam
observadas
• Diferença-em-Diferenças
• Regressão descontínua
Efeito causal • Experimentos – Randomized Control Trials
Métodos Não-
Experimentais
![Page 9: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/9.jpg)
ESTUDO DE CASO
• Estudo: Retorno do capital em pequenas empresas
• Problema: Pequenas empresas lidam com alguma restrição para acessar crédito
• Intervenção: injeção de capital
• Variável de resultado: taxa de lucro
![Page 10: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/10.jpg)
IDEIA 1: ANTES E DEPOIS
• Plano: comparar a taxa de lucro das empresas tratadas antes e depois do subsídio
Método Tratados
(depois) Comparação
(antes) Diferença
Antes-Depois 2.1% 1.5% 0.6 pp.
2007 2008 Problema: Efeito do tempo. Outras
coisas podem ter acontecido nesse período.
- A economia pode ter crescido, outras programas de crédito subsidiado podem ter sido
criados, etc.
![Page 11: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/11.jpg)
IDEIA 2: PARTICIPANTES E NÃO PARTICIPANTES
• Plano: comparar a taxa de lucro das empresas que receberam (300 empresas aplicaram) com a das que não receberam o crédito
• Obs.: todas as empresas que aplicassem receberiam o crédito
Método Tratamento Comparação Diferença
Participantes VS. Não-participantes 2.1% 0.7% 1.4 pp.
Problema: Viés de Seleção. Por que
apenas 300 aplicaram? - São as melhor organizadas, têm
tempo no mercado etc. (observáveis)
- Empreendedores mais motivados,
informados etc. (não-observável)
![Page 12: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/12.jpg)
RESUMO DAS IDEIAS 1 E 2
• Esses 2 métodos não são válidos para Avaliação de Impacto
Antes – Depois
Comparação: Mesmas
empresas antes e depois da intervenção.
Problema: Outras coisas
podem ter ocorrido durante o período.
Participantes – Não-Participantes
Comparação: Participantes da
Intervenção e não-participantes
Problema: Viés de seleção. Não
sabemos porque algumas participaram e outras não.
Ambos os métodos conduzem a estimativas
viesadas do efeito do
programa!
![Page 13: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/13.jpg)
LIÇÃO DE HOJE
VS.
![Page 14: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/14.jpg)
IDEIA 3: DIFERENÇA-EM-DIFERENÇAS (DD)
• Plano: combinar a dimensão temporal do antes-depois com a decisão de participação (participantes vs. não-participantes)
• (Sob algumas hipóteses) este método resolve:
• Efeito do tempo: coisas que ocorreram ao longo do período
devem ter afetado de forma semelhante os grupos de T e de C.
• Viés de seleção: não sabemos porque alguns participaram e outros não, mas se essa decisão depende de características que não variam no tempo, esse método resolve o problema.
![Page 15: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/15.jpg)
ANTES-DEPOIS + (N)PARTICIPANTES: DIFERENÇA-EM-DIFERENÇAS
0
0,5
1
1,5
2
2,5
2007 2008
participants
non-participants
P08-P07=0.6
NP08-NP07=0.2
% Impacto = (P2008-P2007) -(NP2008-NP2007)
= 0.6 – 0.2 = + 0.4
![Page 16: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/16.jpg)
MAS E AS HIPÓTESES?
• Hipótese de tendência comum (ou paralela)
0
0,5
1
1,5
2
2,5
2007 2008
participants
non-participants
Impacto = +0.4 pp
![Page 17: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/17.jpg)
MAS A HIPÓTESE DE TENDÊNCIA COMUM É PLAUSÍVEL?
0
0,5
1
1,5
2
2,5
2006 2007 2008
participants
non-participants
%
• Use dados históricos se possível…
![Page 18: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/18.jpg)
Diff-in-diff combina Participantes-Não-participantes com Antes-Depois.
RESUMO IDEIA 3: DD
O método contorna os
problemas encontrados nos métodos anteriores
sob
Possível de verificar se
houver dados históricos
É possível refinar a análise se
este método for combinado com o método de
pareamento (matching) na linha de base
… a hipótese de
tendência comum entre os grupos de T e C na
ausência do programa
Contorna o problema de
viés de seleção se a decisão de participação
depender de não-observáveis fixas no tempo
![Page 19: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/19.jpg)
IDEIA 4: REGRESSÃO DESCONTÍNUA (RDD)
• Plano: subsídios oferecidos a empresas com base em um escore de crédito
• Todas as empresas que aplicam para o programa têm um indicador (escore) gerado com base em algumas características da firma como idade, lucratividade, faturamento, número de empregados etc. O escore varia de 0 a 100, onde 0 significa muita restrição ao crédito e 100 baixa restrição ao crédito
• O programa foca nas empresas com maior restrição: score < = 50
• Idéia: comparar taxa de lucro de empresas com escore pouco abaixo de 50 (elegíveis ao programa de crédito subsidiado) com empresas com escore pouco acima de 50 (não-elegíveis ao programa)
![Page 20: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/20.jpg)
RDD – ANTES DA INTERVENÇÃO
![Page 21: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/21.jpg)
RDD – APÓS A INTERVENÇÃO
Método Tratamento Comparação Diferença
Regressão Descontínua 2.35% 2.1% 0.25 pp
![Page 22: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/22.jpg)
RDD – APÓS A INTERVENÇÃO
![Page 23: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/23.jpg)
• Método poderoso se houver:
• Uma variável ou indicador contínuo que define eligibilidade
• Uma linha de corte (cut-off) claramente definido e não manipulável
• Importante: O impacto é válido apenas para aqueles indivíduos que estão próximos à linha de corte
• Esse é um grupo interessante para o seu programa?
RESUMO IDEIA 4: RDD
![Page 24: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/24.jpg)
24
Método Tratamento Comparação Diferença
Participantes - Não-participantes 2.1 0.7 1.4 pp
Antes - Depois 2.1 1.5 0.6 pp
Diff-in-diff 0.6 0.2 0.4 pp
Regressão Descontínua 2.35 2.1 0.25 pp
RESUMO DOS EFEITOS OBTIDOS COM OS DIFERENTES MÉTODOS
![Page 25: Avaliação de Impacto · 2018-09-05 · RESUMO DAS IDEIAS 1 E 2 •Esses 2 métodos não são válidos para Avaliação de Impacto Antes – Depois Comparação: Mesmas empresas](https://reader034.fdocumentos.tips/reader034/viewer/2022042311/5ed9a75efa40811a4925686f/html5/thumbnails/25.jpg)
CONSIDERAÇÕES FINAIS
• Métodos fracos => resultados equivocados!
• Resultados confiáveis são obtidos apenas com métodos rigorosos
• Encontrar/definir um método rigoroso para cada caso é
fundamental => Encontrar o CONTRAFACTUAL!
• Muitas vezes, para identificar o efeito é preciso combinar
métodos. Exemplos: DD com pareamento DD com Variável Instrumental