Como Randomizar?

Seminário de Avaliação de ImpactoLuanda, Angola

Novembro 19 – 20, 2015

Visão Geral

1. Oportunidades para Randomizar

2. Defina o grupo alvo

3. Selecione aspectos do programa para avaliar

4. Nível de randomização

5. Você deve avaliar?

Video: Oportunidades para Randomizar

Configuração básica de uma avaliaçãorandomizada

Randomization methodsIndividuals/Clusters Multiple/Cross-cutting treatments

Alocação

Aleatória

Grupo de

tratamento

Grupo de

Controle

Verificar Balanço

Survey pós-

programa

Medir o Impacto

ValidadeInterna

População

Alvo

Fora da

avaliação

Amostra de

Avaliação

AmostraAleatória

ValidadeExterna

Survey inicial de

Base

Amostraaleatória da área de interesse

Amostra aleatória e alocação aleatória

Aleatóriamenteselecione a áreade interesse

DesigneAleatóriamentepara tratamentoe controlo

Amostra aleatória e alocação aleatória

Aleatóriamenteselecione ambos grupos, tratamento e controlo

Amostra aleatória e alocação aleatória

2006

Renda por pessoa,

mensal, Xelim (Sh)

1000

500

0Trate Compare

1457 1442

Oportunidades para Randomizar quandoRecursos são Limitados

Sorteie quando há excesso de candidatos

Que são elegíveis e que podem ser servidos peloprograma

Sorteie quando há excesso de candidatos:Grupo de Apoio à Juventude em Uganda

Sorteio Direcionado

Exclui alguns do sorteio

Randomiza para os outros

Sorteio Direcionado

Randomize o restante da população elegível

Aleatóriamente altere quando receber o programa

TempoDuranteAntes

período de avaliação

Depois

Aleatóriamente altere quando receber o programa: Pré-escola na Cambodia

Aleatóriamente altere a potência

Resumo: oportunidade para randomizar

Considere

1. Critérios de focalização do programa: Quem é elegível para o programa? O programa tem participação restrita, é amplamente aberto, algumacombinação distinta?

2. Recursos: O programa possui recursos suficientespara atingir todod os beneficiários elegíveis?

3. Tempo: Como os potenciais beneficiários são inscritosno programa – todos de uma só vez ou em fasesgraduais?

Visão Geral

1. Oportunidades para Randomizar

2. Defina o grupo alvo

3. Selecione aspectos do programa para avaliar

4. Nível de randomização

5. Você deve avaliar?

Quem este programa esperabeneficiar?

População Inteira População Alvo

Não Elegível

Visão Geral

1. Oportunidades para Randomizar

2. Defina o grupo alvo

3. Selecione aspectos do programa para avaliar

4. Nível de randomização

5. Você deve avaliar?

Testando várias funcionalidades do programaBasic Setup Randomization methodsIndividuals/Clusters

População

Alvo

Fora da

avaliação

Amostra de

Avaliação

População Total

Alocação

Aleatória

Grupo de

Tratamento 3

Grupo de

Controle

Grupo de

Tratamento 2

Grupo de

Tratamento 1

Funcionalidades do programa transversalRandomization methodsIndividuals/Clusters Multiple/Cross-cutting treatments

População

Alvo

Fora da

avaliação

Amostra de

AvaliaçãoAlocação

Aleatória

T 1 C 1

T 2 T1*T2 T2

C 2 T1 C

Visão Geral

1. Oportunidades para Randomizar

2. Defina o grupo alvo

3. Selecione aspectos do programa para avaliar

4. Nível de randomização

5. Você deve avaliar?

Qual é o nível da randomização?

unidade INDIVIDUAL: unidade de CONGLOMERADO:

exemplo: aluno, mãe, pai, família

Exemplo: sala, clínica de saúde, vila

Qual é o nível da randomização?

Individual ou Conglomerado?

Qual é o nível da randomização?

Individual

Qual é o nível da randomização?Conglomerado (grupo)

Qual é o nível da randomização?Por exemplo, escola

Qual é o nível da randomização?Fatores que importam

1. Unidades de Implementação

2. Efeitos de contaminacao

3. Unidade de amostragem e poderestatístico

4. Ética e Justiça

Qual é o nível da randomização?

Aluno

Escola

Comunidade

Classe

A unidade de randomizaçãodeve estar no mesmo patamarda unidade de intervenção do programa:

Exemplo:

SE o programa foca em classes ->

Randomização deve ser no patamar da classe, escola, comunidade

Qual é o nível da Randomização?

A. Unidade de Implementação

B. Efeitos de transbordamento: indivíduo no controle também benefícia do tratamento

C. Amostragem e Custo

D. Ética e Justiça

Aulasindividuais

Transbordamento: alunos do programaconversam com seus colegas

Com efeitos de transbordamento para impactosuperestimado/subestimado

Controle

Impacto Real Contaminacao

ImpactoMedido

Tratamento

Impacto

Maior unidade de randomização reduz o riscodo efeito de contaminacao

Exemplo: randomize ao nível escolar para diminuirinterações entre os alunos do tratamento e controle

Escola

Aluno

Pergunta: Há algum risco de efeito de contaminacao nos programas abaixo?

• Exemplo 1: Programa de capacitação profissional

• Candidatos a emprego no grupo de controle são menospropensos a conseguirem empregos como resultado do programa, se os empregos disponíveis são dados para aqueles que receberam treinamento.

• Impacto medido do programa = empregos no tratamento –empregos na comparação

• Como resultado, impacto medido do programa é maior que o impacto real do programa

Pergunta: Há algum risco de efeito de contaminacao nos programas abaixo?

• Exemplo 2: Programa educacional de HIV-AIDS

• Pessoas que participaram do programa educacional irãodizer aos seus amigos

• Impacto medido do programa = HIV-AIDS conscientizaçãono tratamento – HIV-AIDS conscientização na comparação

• Como resultado, impacto medido está abaixo do que oimpacto real

Qual é o Nível da Randomização?

1. Unidades de Implementação

2. Efeitos de contaminacao

3. Unidade de amostragem e poderestatístico

4. Ética e Justiça

Maior unidade de randomização exigemaior amostra

Algum poder estatístico:

Randomização na escola: • 800 no tratamento e

800 no controle ….em• 40 tratamento e 40

escolas de controle, 20 alunos por escola

Randomização de alunos: • 393 no tratamento e

393 no controle

Assuma uma correlação de intraconglomerado de 0.05

Precisa aumentar número de conglomerados, e não o número de indivíduos por conglomerado

Por exemplo, os dois estudos abaixo tem o mesmopoder:• 80 conglomerados, 20 indivíduos por

conglomerado• 40 conglomerados, 1067 indivíduos por

conglomeradoIsto são 1,600 indivíduos comparados a 42.680!

Assuma uma correlação de intraconglomerado de 0.05

Qual é o Nível da Randomização?

1. Unidades de Implementação

2. Efeitos de transbordamento

3. Unidade de amostragem e poderestatístico

4. Ética e Justiça

As vezes, na percepção individual, surje umapercepção de injustiça no grupo de controle

caso haja ocorrido uma escolha aleatória dos colegas, membros da comunidade, etc.

Menos se todos no mesmo grupo ou vila estão no controle

Qual é o Nível da Randomização?

1. Unidades de Implementação

2. Efeitos de transbordamento

3. Unidade de amostragem e poderestatístico

4. Ética e JustiçaRandomize aomenor nívelpossível

Por que nos preocupamos com o

tamanho da amostra?• Pergunta geral:

Quão grande a amostra precisa ser para

detectar com credibilidade um efeito de

tamanho determinado?

O que “Credibilidade” significa aqui?Significa que podemos estar razoavelmente certos de que a

diferença entre o grupo que recebeu o programa e o grupo que

não recebeu é devida ao programa

• Randomização remove o viés, mas não

remove a variancia: ele funciona por causa

da lei dos grandes números… quão grande

grande tem que ser?

Coisas para ter em mente quando considerarum projeto

• Qual é o nível ao qual o programa é administrado? (individual, vila, grupo, distrito, etc.)

• Se é conglomerado, quantos conglomerados a organizaçãoimplementadora pode atingir através do orçamentoexistente?

• Se é conclomerado, quantos conglomerados podem seridentificados adicionalmente aos conglomerados do programa?

• Qual é o nível de adesão ao programa que vem sendoobservado em programas pilotos e em outrasconfigurações?

• É esperado grandes efeitos de transbordamento?

Coisas para ter em mente quando considerarum projeto

• É esperado que o programa tenha um diferente efeitosobre as pessoas/grupos com diferentes características?

• O programa pode ser implementado ao longo do tempo?

• Existem muitos programas (tratamentos) a seremavaliados?

• Existem programas complementares a serem avaliados?

Alguns Exemplos

Em que nível devemos randomizar um programa de vermifugação escolar?

A. Escola

B. Professor

C. Sala de Aula

D. Clínica

E. Comunidade

F. Aluno

Em que nível devemos randomizar para um programa de transferência de renda

condicionada?

A. Individual

B. Família

C. Vila/Comunidade

Em qual grupo devemos randomizar para um programa de formação de professores?

A. Escola

B. Professor

C. Sala de Aula

D. Aluno

Em que nível devemos randomizar para umapequena empresa receber uma contribuição?

A. Individual

B. Família

C. Clínica

D. Escola

E. Vila/Comunidade

Visão Geral

1. Oportunidades para Randomizar

2. Defina o grupo alvo

3. Selecione aspectos do programa para avaliar

4. Nível de randomização

5. Você deve avaliar?

Isto precisa de uma Avaliação de Impacto?

Maximize o aprendizado

Considere1. Você já sabe a resposta?2. Esta política é relevante?

a) Este é um programa que o governo pode propagarse bem sucedido?

b) Isto é estrategicamente relevante para a redução da pobreza?

3. Isto adiciona conhecimento?4. Este programa esta preparado para uma avaliação de

impacto?5. Há opções de elaboração de programa que precisam ser

comparadas?6. Existe uma restrição de recursos que proporciona uma

oportunidade para a randomização?

Agora, esta é a sua oportunidade de integrar uma avaliação de impacto no

seu próprio programa

Thank you!