SESSÃO 4

DESENHOS DE AVALIAÇÃO BASEADAS EM MÉTODOS

MISTOS

MICHAEL BAMBERGER E

THOMAZ CHIANCA

Avaliações baseadas em Métodos Mistos: Oportunidades e Desafios

IV Seminário Nacional da Rede Brasileira de Monitoramento e Avaliação

Rio de Janeiro, Agosto 13 2012

Resumo2

1. Quatro dimensões para classificar desenhos MM

2. Dimensão 1: Qual abordagem é dominante?

3. Dimensão 2: Desenhos paralelos e sequenciais

4. Dimensão 3: Desenhos únicos e multi-níveis

5. Em quais estágios da avaliação os métodos mistos são usados?

1. Quatro dimensões para classificar desenhos baseados em métodos mistos

3

1. Os métodos QUANT e QUAL são de valor igual ou é uma abordagem Dominante?

2. Os métodos QUANT e QUAL usados: Sequencialmente Ao mesmo tempo

3. O projeto é: Único Multi-nível

4. Em quais estágios da avaliação os métodos mistos são usados?

Dimensão 1: Qual abordagem é dominante?

4

Abordagem quantitativa é dominante Abordagem qualitativa é dominante Ambas têm peso igual na avaliação

5

A B CD

E F G

Estudos orientados QUAL incorporando gradualmente mais foco QUANT

Estudos orientados QUANT incorporando gradualmente o foco QUAL

QU

AN

T

QU

AL

A = Desenho completamente QUANTB = Desenho dominantemente QUANT com alguns elementos QUALC = Desenhos com orientação QUANT com igual peso para ambas as abordagensD = Estudo desenhado com MME = Desenhos com orientação QUAL com igual peso para ambas as abordagensF = Desenho dominantemente QUAL com alguns elementos QUANT G = Desenho completamente QUAL

O continuum desenho de pesquisa QUANT - QUAL

6

A B CD

E F G

QU

AN

T

QU

AL

Um desenho de avaliação

dominantemente quantitativo

Exemplo:Um estudo de diagnóstico rápido qualitativo é realizado para ajudar a desenhar uma pesquisa domiciliar quantitativa. Os dados são analisados utilizando técnicas de análise quantitativa [por exemplo, análise de regressão]

7

A B CD

E F G

QU

AN

T

QU

AL

Um desenho de avaliação

dominantemente qualitativo

ExemploUma pesquisa amostral rápida quantitativa é conduzida. Isto é usado para desenvolver uma tipologia de sistemas de produção de arroz. Estudos de caso qualitativos são selecionados para representar cada tipo. Os dados são analisados e apresentados utilizando métodos qualitativos como descrições narrativas, fotografias e mapas sociais.

8

Veja a Apostila 4-1 para exemplos de projetos de

avaliação em cada ponto no continuum

QUANT- QUAL

Dimensão 2: O desenho é sequencial ou paralelo?

9

Desenhos Sequenciais : As abordagens QUANT e QUAL são usadas em

seqüencia.

Desenhos Paralelos: As abordagens QUANT e QUAL são empregadas ao

mesmo tempo.

Desenhos baseados em métodos mistos dominantemente QUAL sequenciais:

Avaliando o emprego de novas variedades de sementes por diferentes tipos de famílias rurais.

10

Pesquisa domiciliar rápida QUANT nas comunidades do projeto para estimativa, características HH, etnia, produção agrícola e adoção de semente

Coleta de dados QUAL utilizando grupos focais de informantes chave, observação e preparação de estudos de caso em domicílios e práticas agrícolas.

Análise de dados QUAL utilizando análise entre-casos e comparação constante. Triangulação entre diferentes fontes de dados.

quant QUAL QUAL

Desenho baseados em métodos mistos dominantemente QUANT sequencial.

Estudando transferências interfamiliares como uma estratégia de sobrevivência. Cartagena, Colômbia

11

Pesquisa de amostra familiar quantificando o

volume e tipos de transferência entre famílias

dentro e fora da comunidade

Análise econométrica para

quantificar as transferências e

identificar fatores que determinam a

direção e magnitude das transferências

qual QUANT QUANT

Um desenho MM paralelo: Triangulação das estimativas QUANT e QUAL dos rendimentos familiares em áreas de projeto

e de comparação

12

Comunidades do Projeto

Comunidades de

comparação

• Pesquisa familiar QUANT

• QUANT/QUAL Observação das posses familiares e qualidade das construções

• QUAL: Grupos focais

Triangulação das estimativas das 3 fontes – para obter a estimativa mais confiável do rendimento familiar

Um desenho equilibrado proporcionando peso igual para os métodos QUANT e QUAL

13

Dimensão 3: Projetos de avaliação MM Multi-níveis

Desenho baseado em métodos misto multi-níveis: os efeitos de um programa de alimentação escolar na matrícula e frequência

escolar [Apostila 4-2]

14

Distrito escolar

Amostra de escolas

Amostra de aulas e professores

Amostra de famílias

Amostra de estudantes

Análise QUANT de registros escolares

Análise QUANT de frequência e notas de avaliações

Entrevistas QUAL com administradores e coordenador

Entrevistas com professores sobre como os programas alimentares afetam a frequência

Observação QUANT do nº de alunos frequentando as aulas

Questionário QUANT preenchido pelos alunos

Entrevistas em profundidade com famílias e observação de crianças se deslocando para a escola

Métodos qualitativos

Métodos quantitativo

s

Entrevistas com grupos focais de

alunos

Pesquisa de famílias

Desenho baseado em método misto multi-nível: avaliando o impacto do programa de alimentação escolar na matrícula

de alunos [Apostila 4-3]Unidade de análise Métodos quantitativos Métodos qualitativos Tópicos

Distrito escolar Análise de registros de matrícula e frequência para escolas no distrito

  Utilizando diferenças em matrícula e frequência para selecionar amostra de escolas

Escola Pesquisa com diretores da escola

Entevistas em profundidade com amostra de diretores

Pareceres sobre como os programas de alimentação afetam a matrícula/frequência e como os programas de alimentação são administrados

Classes e professores de classes

* Pesquisa de professores* Observação de frequência

* Entrevistas em profundidade com professores* Observação do processo de alimentação

* Pareceres de como a alimentação afeta a matrícula/frequência* Como a alimentação afeta diferentes grupos socioeconômicos* quem realmente é alimentado (crianças que não frequentam a escola também se alimentam?)* algumas crianças deixam a escola logo que são alimentadas?

Alunos *Pesquisa de alunos Grupos focais e entrevistas em profundidade

* Pareceres sobre o efeito de programas de alimentação na matrícula e frequência* As atitudes dos pais sobre os programas de alimentação e como eles decidem quem vai para a escola

Famílias Pesquisa Entrevistas em profundidade e observação do participante

* Opiniões sobre programas de alimentação* Como as famílias decidem quem deve se matricular na escola e quem deve comparecer cada dia

15

Dimensão 4: Em quais estágios da avaliação os métodos mistos são usados?

16

QUANT QUAL Misto

1. Construção e desenvolvimento das hipóteses da teoria da mudança

2. Desenho da avaliação

3. Seleção da amostra

4. Coleta de dados

5. Análise de dados

6. Disseminação e promoção da utilização das recomendações e achados da avaliação

Métodos mistos podem ser usados em qualquer estágio da avaliação.Um desenho com MM completamente integrado combina os métodos

QUANT e QUAL em todos os estágios da avaliação