Aula III – Pesquisa empírica com intervenção: questões de validade e generalidade. Metodologia...

Aula III – Pesquisa empírica com intervenção: questões de validade e generalidade.

Metodologia da Pesquisa em Ensino de Ciências I

• População alvo da pesquisaGrupo de pessoas para as quais queremos que

nossos resultados de pesquisa sejam válidos e aplicáveis;

• AmostraParte da população que escolhemos para ser o

grupo que estudaremos: a amostra é uma parte da população constituída por parte dos sujeitos da população;

• Caso Um elemento de um conjunto de elementos.Importante: caso amostra.

Algumas definições

[email protected] 2Curso de Metodologia da Pesquisa – Aula 3

Prof. Paulo RosaCurso de Mestrado em Ensino de Ciências

- UFMS

• Delinear uma pesquisa é estabelecer a forma pela qual a pesquisa será executada.

O que é o delineamento de uma pesquisa?


Prof. Paulo RosaCurso de Mestrado em Ensino de Ciências

- UFMS

Delineamento

População

Seleção da amostra ou caso

Forma de coleta de

dados

Forma de análise dos

dados

Cronograma

Tipos de delineamentos


Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências

- UFMS

ExperimentaisNão

Experimentais

QualitativosQuantitativos

Sem controle

de variáveis

Com controle

de variáveis

Análise quantitativ

a dos dados

Análise qualitativa dos dados

Pesquisa Empírica vs Pesquisa Não Empírica



- UFMS

Pesquisa bibliográfica

Observação participante

Pesquisa não empírica: estudamos o evento a partir de fontes indiretas (relatos, por exemplo).

Pesquisa empírica: vamos a campo, no local onde o evento acontece;

Exe

mplo

de

delin

eam

en

to e

mpírico

Exe

mplo

de

delin

eam

en

to n

ão

em

pírico

Pesquisa Quantitativa vs Pesquisa Qualitativa



- UFMS

Pesquisas com grupo de controle Pesquisa

participante

Pesquisa qualitativa: técnicas de análise privilegiam a interpretação.

Pesquisa quantitativa: variáveis quantificáveis analisadas usando ferramentas estatísticas

Exe

mplo

de

pesq

uisa

qualita

tiva

Exe

mplo

de

pesq

uisa

quantita

tiva

Pesquisa Experimental vs Pesquisa Não Experimental



- UFMS

Pesquisas com grupo de controle

Estudo de Caso

Pesquisa não experimental: abdicamos de controlar variáveis

Pesquisa experimental: controle estrito de variáveis

Exe

mplo

de

delin

eam

ent

o n

ão

experim

enta

l

Exe

mplo

de

delin

eam

ent

o

experim

ent

al

Um diagrama: o espaço da pesquisa



- UFMS

Pesquisa experimental

Pesquisa não experimental

Pesquisa quantitativa

Pesquisa qualitativa

P1P2

P4

P3

Pesquisa não empírica

Pesquisa empírica



- UFMS

É empírica pois é realizada no local em que o evento ocorre

É experimental pois o pesquisador tenta controlar variáveis

É com intervenção pois o pesquisador altera as condições nas quais os indivíduos vivem.

Pesquisa Empírica

Experimental

É quantitativa quando faz uso de ferramentas da Estatística

Inferencial

É qualitativa quando utiliza

técnicas interpretativas

Pesquisa empírica experimental

• Um pesquisador deseja testar uma nova metodologia de ensino de certo conteúdo: vai usar uma simulação em computador. Então, toma uma turma que vai estudar o conteúdo usando a nova metodologia e outra que terá aulas tradicionais (aula expositiva, por exemplo).

• No final, aplica um teste a ambas as turmas e compara os escores obtidos pelos alunos com base em algum teste estatístico (teste t de Student, por exemplo).

Um exemplo



- UFMS

• O pesquisador tenta controlar as variáveis de modo que apenas uma seja modificada (o método de ensino);

• O pesquisador intervém na realidade ao introduzir uma nova metodologia;

• O pesquisador trabalha com duas amostras da população;

• O pesquisador utiliza ferramentas da estatística para analisar a influência do método escolhido.

Características dessa pesquisa



- UFMS

• Validade está ligada à seguinte pergunta: até que ponto a pesquisa é válida, ou seja, os resultados da pesquisa podem ser generalizados para toda a população?

• Fidedignidade está relacionada com a seguinte questão: se repetida sob as mesmas condições a pesquisa ainda daria os mesmos resultados?

Questões de validade e fidedignidade



- UFMS



- UFMS

Fatores que afetam a fidedignidade

Validade Interna

HistóriaTestagem

Maturação

Seleção

Mortalidade

Instrumentação

Interação entre

múltiplos fatores

Regressão

Validade da pesquisa



- UFMS

A validade da pesquisa tem a ver com duas questões:O resultado da pesquisa é generalizável?A pesquisa e seus instrumentos avaliam o que pretendem

avaliar?

Validade de um experimento

• Fatores de validade são aqueles que influenciam um experimento, limitando as asserções de conhecimento que podem ser feitas ou o grau de generalização obtido.

Fatores de validade interna

Fatores de validade externa

Curso de Metodologia da Pesquisa – Aula 3


- UFMS

[email protected] 15

Validade externa- tipologia

• Validade de População

• Validade Ecológica



- UFMS


Validade de população

• Falamos de Validade de População quando lidamos com fatores ligados à generalização dos resultados a populações de sujeitos, das quais a amostra foi retirada. (Que tipo de sujeito pode ser esperado comportar-se do mesmo modo como o fez a amostra experimental?)



- UFMS


População experimentalmente acessível vs. população alvo

A generalização da população de sujeitos que é disponível ao experimentador (a população acessível) para uma população de sujeitos sobre a qual ele está interessado (a população alvo) exige um conhecimento detalhado das características de ambas. Os resultados de um experimento podem aplicar-se somente para aqueles tipos especiais de pessoas das quais os sujeitos pertencentes ao grupo experimental foram selecionados e não a uma população qualquer.



- UFMS


Interação de variáveis pessoais e efeitos do tratamento

Se a superioridade de um tratamento experimental sobre outro puder ser revertida quando sujeitos em diferentes níveis de alguma variável descritiva forem expostos ao tratamento, então existe uma interação dos efeitos do tratamento com variáveis de caráter pessoal.



- UFMS


Validade Ecológica

Este tipo de validade lida com variáveis ligadas ao ambiente do experimento. Sobre quais condições, isto é, parâmetros, tratamentos, experimentadores, variáveis dependentes, etc., podem os mesmos resultados ser esperados?



- UFMS


Descrição explícita da variável independente

A generalização e repetição do experimento e seus resultados pressupõe um conhecimento completo de todos os aspectos do tratamento e condições experimentais.



- UFMS


Interferência de múltiplos tratamentos

Quando dois ou mais tratamentos são administrados consecutivamente às mesmas pessoas dentro do mesmo ou de diferentes estudos, é difícil, se não mesmo impossível algumas vezes, identificar as causas dos resultados experimentais ou generalizar os resultados a condições nas quais somente um dos tratamentos está presente.



- UFMS


Interação sujeito – experimento (Efeito Hawthorne)

O comportamento do sujeito pode ser influenciado parcialmente por sua percepção do experimento e de como ele poderia responder aos estímulos experimentais. Sua consciência de participação em um experimento pode precipitar comportamentos os quais não ocorreriam em condições não percebidas como experimentais.



- UFMS


Fatores novidade e mudança

Os resultados experimentais podem ser parcialmente devidos ao entusiasmo ou quebra da rotina gerados pela novidade do tratamento. O efeito de algum programa novo em condições onde variações são comuns pode ser muito diferente do efeito em condições onde muito poucas variações são experimentadas.



- UFMS


Influência do experimentadorO comportamento dos sujeitos pode ser influenciado não

intencionalmente por certas características ou comportamentos do experimentador. As expectativas do experimentador podem também influenciar a aplicação do tratamento e as observações do comportamento dos sujeitos.



- UFMS


Sensibilização devido ao pré-teste

• Quando um pré-teste foi administrado, os resultados experimentais podem parcialmente ser resultado da sensibilização ao conteúdo do tratamento. Os resultados do experimento podem não ser aplicáveis a um segundo grupo de sujeitos que não foram pré-testados.



- UFMS


Sensibilização devido ao pós-testeEfeitos do tratamento podem ser latentes ou

incompletos e aparecer somente quando um teste pós-experimental for aplicado. O pós-teste pode clarear alguns pontos.



- UFMS


Interação entre História e Tratamento

Os resultados podem ser unicamente devidos a eventos estranhos ao tratamento que ocorreram paralelamente à aplicação do mesmo.



- UFMS


Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de Mestrado em Ensino de Ciências - UFMS

Medidas da variável dependente

A generalização dos resultados depende da clara identificação das variáveis dependentes e da seleção dos instrumentos para medir estas variáveis.


Interação entre o tempo de medida e o tratamento

Medidas da variável dependente em dois instantes de tempo diferentes podem produzir resultados diferentes. Certo efeito do tratamento observado imediatamente após sua aplicação pode não ser observado algum tempo depois, e vice-versa.



- UFMS


Interação entre a seleção e o tratamento

Se estivéssemos conduzindo um experimento dentro de uma escola específica, usando distribuição aleatória dos sujeitos entre os grupos experimental e de controle, poderíamos não nos preocupar muito com o efeito principal: a própria escola. Se, por outro lado, existissem características da escola que influenciassem o tratamento experimental de modo que esse fosse mais ou menos efetivo do que o seria quando aplicado em outra população alvo pertencente a outra escola, isto poderia ser um problema sério para a generalização dos resultados obtidos.



- UFMS


Interação entre a instrumentação e o tratamento

São aqueles efeitos associados à influência da instrumentação de medida sobre os resultados do tratamento. Por exemplo, a análise de uma entrevista clínica sabendo-se se o sujeito era do grupo experimental ou de controle.



- UFMS


Interações estatísticasInterações estatísticas não são aquelas entre indivíduos ou grupos, mas são aquelas entre variáveis independentes. Questões sobre a generalidade dos resultados podem ser vistas como questões sobre os efeitos de interação. Por exemplo, a presença de interação entre o tratamento (isto é, a variável independente primária) e o que o experimentador espera como resultado do tratamento é evidência de falta de possibilidade de generalização do estudo. Validade externa exige a ausência de interações entre a principal variável independente do estudo e as condições de pesquisa na variável dependente.Curso de Metodologia da Pesquisa – Aula

3 Prof. Paulo Rosa

Curso de Mestrado em Ensino de Ciências - UFMS


Formas de validar externamente um experimento

Pela validação dos instrumentos usados para obter os dados.



- UFMS


Validade de conteúdo

Um instrumento tem validade de conteúdo na medida em que se constitui em uma amostra representativa do conteúdo (conhecimentos e comportamentos) do que está sendo medido. É também chamada validade curricular, amostral ou lógica. Não é determinada estatisticamente, mas resulta do julgamento de diferentes examinadores que analisam a representatividade dos itens em relação às áreas de conteúdo e à relevância dos objetivos a medir.



- UFMS


Validade concorrente

Um instrumento apresenta esse tipo de validade quando os resultados de sua aplicação se correlacionam com os de outro instrumento já validado e que mede a mesma coisa. É o mesmo que validade congruente.



- UFMS


Validade preditiva

Se o instrumento tem esse tipo de validade isso significa que o pesquisador usou resultados obtidos com esse instrumento para fazer predições sobre o comportamento futuro dos respondentes e essas predições foram confirmadas. Ou seja, há uma alta correlação entre os escores do teste cuja validade se está argumentando e os escores no desempenho futuro, segundo algum critério, obtido independentemente. É também conhecida como validade empírica ou relativa ao critério.



- UFMS



Uma análise sobre o rigor da pesquisa em Educação pode ser encontrada em André, M. Pesquisa em Educação: buscando rigor e qualidade. Cadernos de Pesquisa 113, 2001. p:51-64.

Um texto que faz uma comparação entre pesquisa qualitativa e pesquisa quantitativa é o texto de Portela, G. L. Abordagens teórico-metodológicas: Pesquisa quantitativa ou qualitativa ? Eis a questão.

Outro texto que aborda a comparação entre pesquisa qualitativa e pesquisa quantitativa é o texto: Dias, C. Pesquisa Qualitativa: características gerais e referências.

Sugestões de leitura (os textos podem ser encontrados na área Textos de Apoio)




Fim da aula 3


Fatos que acontecem durante o experimento podem influenciar os resultados obtidos.

História


As pessoas envolvidas procurarão informações sobre astronomia, a mídia irá tratar do assunto, as pessoas conversarão sobre o evento.Qual, então, o efeito real do novo método sobre a aprendizagem de astronomia? Volta

r

Exemplo:Durante uma pesquisa sobre um novo método para ensinar astronomia ocorre um evento astronômico importante


O teste usado pode afetar o desempenho dos sujeitos pesquisados posteriormente.

Testagem


As meninas podem ter sua curiosidade despertada e procurarem informação sobre o assunto.Qual, então, o efeito real do novo método sobre a aprendizagem de métodos anticoncepcionais?

Voltar

Exemplo:Durante uma pesquisa sobre um novo método para ensinar métodos anticoncepcionais a adolescentes um teste é aplicado para saber o que meninas de 14 anos sabem sobre sexo.


O grupo sujeito da pesquisa é selecionado por ser extremo em algum teste (grupo superior ou inferior).

Regressão


A média do grupo em um teste convergirá para a média da população, independente do efeito da nova metodologia.Qual, então, o efeito real do novo método sobre a aprendizagem de conceitos em Química?

Voltar

Exemplo:Alunos são selecionados para participarem de uma nova metodologia de recuperação de alunos com problemas de aprendizagem em Química.


Os testes usados não são adequados ou equivalentes.

Instrumentação


Os dois testes podem medem variáveis diferentes. Qual ,então, o efeito real do novo método sobre a percepção ambiental? Se os testes mostrarem que após o curso com a nova metodologia, será que eles estão medindo as mesmas coisas? Volta

r

Exemplo:Dois testes são aplicados, um antes outro depois de um curso baseado em uma nova metodologia para despertar a percepção ambiental de um grupo de alunos. O primeiro é um teste escrito e o segundo de múltipla escolha.

Ocorre abandono de participantes da pesquisa, causando viés nos resultados.

Mortalidade

[email protected] 44Curso de Metodologia da Pesquisa – Aula 3 Prof. Paulo Rosa Curso de

Mestrado em Ensino de Ciências - UFMS

Ao aplicarmos um outro teste no final estaremos apenas com alunos que foram mal no teste inicial. A tendência é obtermos um resultado com viés pela ausência dos alunos que foram melhor classificados no primeiro teste.

Voltar

Exemplo:Em uma pesquisa, os alunos melhor classificados em algum teste abandonam a pesquisa.

O grupo da pesquisa é selecionado com alguma característica que influencia a pesquisa.

Seleção



O resultado é influenciado pelo fato de que os alunos já são pessoas predispostas a comer peixe.

Voltar

Exemplo:Em uma pesquisa sobre um novo método para ensinar os alunos a comerem mais peixe o grupo escolhido é formado por filhos de pescadores de Corumbá.

O grupo da pesquisa “envelhece” ao longo da pesquisa.

Maturação



O resultado é influenciado pelo fato de que as meninas menstruam ao longo do estudo. Este fato pode influenciar a maneira como elas lidam com a própria sexualidade.

Voltar

Exemplo:Em uma pesquisa é estudado um novo método para ensinar as meninas cuidados anticoncepcionais.

Todos fatores anteriores podem atuar conjuntamente para mascarar os resultados da pesquisa.

Interação entre múltiplos fatores



Fatores de seleção e maturação podem interagir e mascarar o resultado da pesquisa.

Voltar

Exemplo:Em uma pesquisa é estudado um novo método para ensinar as meninas cuidados anticoncepcionais são selecionadas alunas de uma escola que já engravidaram. A pesquisa é desenvolvida durante dois anos.

Aula III – Pesquisa empírica com intervenção: questões de validade e generalidade. Metodologia...

Documents

Transcript of Aula III – Pesquisa empírica com intervenção: questões de validade e generalidade. Metodologia...