Capítulo 11

Designs Experimentais Multi-Estágio em Pesquisa Comunicação Política

Glenn J. Hansen

Departamento de Comunicação

University of Oklahoma

Michael Pfau

Departamento de Comunicação

University of Oklahoma

Experimentalistas em comunicação política dependem fortemente dos resultados de um único evento, em oposição aos efeitos de longo prazo. Isso é lamentável, dada a instabilidade das atitudes políticas. Mais de 50 anos atrás Converse (1964) argumentou que as atitudes políticas da maioria das pessoas são superficiais e, portanto, instáveis. Como resultado, as respostas variam quando as mesmas perguntas são feitas em dois ou mais pontos no tempo. Converse (1964) cunhou o termo "não-atitudes" para caracterizar as crenças políticas da maioria dos adultos norte-americanos. Asher sustenta que "a presença de não-atitudes é um dos problemas mais desconcertantes em pesquisa de opinião pública "(1998, 26 p.). O problema da instabilidade nas respostas das pessoas às consultas sobre suas preferências entre os candidatos ou suas atitudes sobre questões tem irritado os estudiosos da opinião pública ao longo de décadas e explica a volatilidade aparente encontrada na opinião pública nos resultados das pesquisas (Asher, 1998; Bishop, 1990; Erickson, Luttbeg, & Tedin, 1980).

O problema pode vir do fato de que a maioria das pessoas não têm crenças estáveis sobre questões políticas, o que é a posição da Converse. Ele pode decorrer de erro de medição, que é um defeito intrínseco para muitas medições em ciências sociais, como Achen (1975) argumenta. Ou, o problema pode ser um produto de ambas as considerações. Zaller (1994) fornece uma explicação baseada em "ambivalência." Mesmo que as pessoas possuam "crenças significativas" sobre questões políticas, eles respondem aos questionários baseados no "topo das considerações de cabeça" e, portanto, os nossos instrumentos somente capturam parte de suas crenças (1994, pp 278, 280).

Independentemente da causa, o problema da instabilidade da resposta a perguntas sobre atitudes políticas é um enigma para os estudiosos de comunicação política, que assumem que as respostas dos respondentes são, na verdade, reflexos significativos do que os entrevistados pensam e sentem. Este problema é ampliado pela confiança na coleta de dados de um único evento, qual seja a pesquisa.

Obviamente, as questões colocadas em um projeto de estudo, coleta de dados e análise de estratégias empregadas em uma investigação e, às vezes, as perguntas que um pesquisador procura responder a mandado de multi-estágio de coleta de dados. No entanto, acima e além disso, afirmamos que as recolhas de dados de múltiplos estágios são superiores aos instantâneos isolados de crenças políticas, sentimentos e atitudes, devido à instabilidade das respostas aos cidadãos.

Neste capítulo procura-se incentivar mais multi-estágio projetos experimentais em pesquisa em comunicação política (Instamos também projetos de pesquisa mais longitudinais; consulte o Capítulo 2, este volume). Na próxima seção, vamos articular várias abordagens para experimentos multi-estágio e ilustrá-los com exemplos tirados da bolsa de estudos de comunicação política. Em seguida, vamos examinar duas questões importantes na pesquisa experimental: realismo validade (mundano, experimental e psicológica) e externo. Fechamos com um resumo dos nossos principais argumentos e observações

Abordagens de multi-fase em pesquisa experimental

Nossa primeira tarefa é articular várias abordagens diferentes para multi-estágio em projetos experimentais. No início, nós queremos diferenciar abordagens da frase projeto experimental. Como é o caso com muitos termos, "design", "projeto de pesquisa", ou "projeto experimental" são definidos de forma diferente por diferentes autores (Pedhazur & Pedhazur Schmelkin, 1991); portanto, não podemos confiar em uma única definição prévia desses conceitos. Geralmente, o desenho experimental refere-se a uma configuração experimental particular. Por exemplo, um delineamento experimental utilizado poderia utilizar um design Salomão de quatro grupo ou um pós-teste somente com a concepção de grupo controle; ver Campbell e Stanley (1963) por sua descrição detalhada de 16 modelos diferentes experimentais / quase-experimentais. O uso da abordagem experimental difere de design. Nós preferimos usar abordagens por duas razões. Em primeiro lugar, abordagens experimentais devem ser consideradas antes da determinação design. Em segundo lugar, independentemente do que decisão é tomada no nível abordagem, o pesquisador ainda tem toda a variedade de modelos experimentais para escolher. Por exemplo, digamos que um pesquisador determine que a nível abordagem ele quer utilizar uma coleção de dados multi-estágio com um componente aleatório (definido abaixo); uma decisão ainda deve ser tomada sobre qual projeto experimental específico (por exemplo, pré-teste pós-teste, pós-teste somente) para usar.

Obtivemos quatro abordagens experimentais a partir das literaturas da metodologia experimental, da comunicação política e ciência política. As quatro abordagens incluem: (1) coleta de dados em diversos estágios com a randomização, (2) a implementação sequencial, (3) a abordagem de desfecho em cascata, e (4) uma abordagem de sistema espirais de reforço. Deve notar-se que estas considerações não são mutuamente exclusivas. Um único estudo poderia incorporar tanto a coleta de dados de múltiplos estágios com randomização e implementação sequencial. A articulação destas abordagens devem fornecer pesquisadores com opções úteis para considerar durante a fase de planejamento de suas pesquisas.

A primeira abordagem é bastante simples e parece ser a mais utilizado na pesquisa em comunicação política. Referimo-nos a esta abordagem como multi-estágio com um componente aleatório. É claro que, sem atribuir participantes aleatoriamente para diferentes condições experimentais, este não seria considerado um estudo experimental (em função dos dados, que pode ser considerado como um quase-experimento, ver Campbell & Stanley, 1963). Ao atribuir aleatoriamente os participantes a diferentes condições experimentais, esta abordagem satisfaz os critérios clássicos para um estudo

experimental (Campbell & Stanley, 1963). O objetivo desta abordagem é determinado para permitir que o investigador avalie o impacto da manipulação depois de algum período; em outras palavras, para manipular a causa e avaliar o efeito em algum momento no futuro. Em contraste, a experiência única não tem interesse nessa dimensão longitudinal. Dependendo da investigação, o intervalo entre a manipulação e a avaliação pode ser medido em milissegundos (por exemplo, Lodge & Taber, 2005; Morris, Squires, Taber, & Lodge, 2003), os dias (por exemplo, An& Pfau, 2004; Iyengar e Kinder, 1987; anteriores e Lupia, 2008), ou mesmo semanas (por exemplo, Gerber, Verde, e Larimer, 2008). Por exemplo, a pesquisa de explorar o efeito de iniciação de um estímulo político subliminar pode examinar o efeito dentro de um milissegundo de manipulação e, em seguida, novamente após alguns minutos terem decorrido (em oposição a somente medição imediata após o estímulo ser aplicado). Da mesma forma, a pesquisa examinando os efeitos de visualização de um debate político pode examinar os efeitos de vários dias após o debate ter sido visto (mais uma vez, ao invés de apenas medir o efeito do debate dentro de minutos após vê-lo). Em muitos casos, em comparação com a abordagem de um único evento (por exemplo, a exposição a um debate político seguido imediatamente por medida do efeito), a abordagem multi-estágio com randomização deve ser teoricamente atraente para os experimentalistas de comunicação política.

Um exemplo de pesquisa que emprega uma abordagem multi-estágio com um componente aleatório são Iyengar e Kinder (1987) obra clássica. Como parte de sua abordagem experimental, Iyengar e Kinder recrutaram participantes para ver notícias de televisão manipuladas por vários dias sucessivos. Os pesquisadores editaram os noticiários para inserir determinado conteúdo de notícias (ou seja, histórias sobre investigar defesa, poluição e economia) e remover conteúdo indesejado. Respostas dos participantes foram coletadas no início e no final do estudo. O objetivo da Iyengar e Kinder foi investigar experimentalmente a hipótese de definição de agenda de uma perspectiva cognitiva (ver Capítulo 20, deste volume) e para examinar os efeitos de priming em um contexto de comunicação política.

O trabalho é, duas décadas após a sua publicação, um modelo de pesquisa em comunicação política. Seus estudos empregaram uma abordagem multi-estágio com um componente aleatório. A força significativa desta pesquisa, e um objetivo óbvio construído no projeto, é reforçada a validade externa. Isto é, em grande medida, a situação experimental que Iyengar e Kinder criaram e reflete como as notícias são consumidas em uma base diária.

Uma segunda abordagem experimental multi-estágio é o que chamamos de implementação como sequencial. Há uma diferença importante entre esta e a abordagem apenas esboçada. Especificamente, a razão para empregar implementação sequencial é a aplicação plena da manipulação. Em uma implementação sequencial, a manipulação não pode ser efetivamente realizada em uma única configuração; por conseguinte, a manipulação é introduzida ao longo de um período prolongado. Esta difere da multi-fase com uma abordagem com componente aleatório em que o primeiro componente inclui estágios múltiplos apenas para examinar o impacto da manipulação após um período de tempo. Por contraste, o método de implementação sequencial tem um

componente multi-estágio, porque é o melhor ou apenas meio válido para a manipulação de certas condições.

Pesquisa inoculação de Pfau ilustra a abordagem de implementação sequencial. Seu estudo de inoculação na política sugere a eficácia da estratégia de inoculação para promover resistência à influência dos patrocinados pelo candidato ou patrocinado pela publicidade do partido político (Pfau & Burgoon, 1988; Pfau, Holbert, Szabo, & Kaminski, 2002; Pfau, Kenski, Nitz, e Sorenson, 1990), a influência da imprensa e das reportagens de televisão reportagens (Pfau et al, 2006; Pfau et al, 2008), ou o impacto insidioso da espiral do silêncio (Lin & Pfau, 2007). Inoculação requer investigação na concepção experimental acoplada com aplicação sequencial ao longo de um período de dias, se não semanas ou meses. A investigação de An e Pfau de (2004) sobre uso de inoculação em debates políticos televisivos ilustra essa abordagem.

O estudo de An e Pfau(2004) foi realizado em três fases, ao longo de um período de um mês. A primeira fase do estudo foi necessária recolher as preferências candidatos iniciais. As medidas iniciais permitiram aos pesquisadores para atribuir aleatoriamente os participantes a condições de tratamento e, mais importante, para estratificar a amostra com base nas preferências (o que garante que a atribuição era aleatória com relação a atitudes iniciais). A segunda fase contou com a manipulação experimental, especificamente, a inoculação contra a influência de ataques ao candidato apoiado pelo espectador em relação a uma condição de controle sem inoculação. Esta fase também permitiu avaliar a ameaça, um componente teórico fundamental no processo de inoculação. A terceira fase do estudo foi realizada várias semanas depois que os participantes tinham sido inoculados. Durante esta fase, todos os participantes viram um debate televisionado com os candidatos que foram objeto da mensagem inoculada. Depois de ver o debate, todos os participantes preencheram um questionário destinado a avaliar suas atitudes para com os candidatos nos debates.

Logisticamente, seria possível realizar o mesmo estudo em um único ambiente; no entanto, esta abordagem tem níveis significativamente mais baixos de validade interna. Primeiro, estratificando a amostra deste estudo atingiram níveis mais elevados de validade interna (ou seja, podemos estar mais confiantes de que a manipulação foi responsável pelo resultado, que o resultado não foi devido aos grupos sendo desigual antes da manipulação). A estratificação pode ser possível em uma única configuração experimental, mas parece que a logística de tentar alcançar este objetivo seria levantar suspeitas com os participantes, ameaçando validade interna. Em segundo lugar, e mais importante ainda, este estudo demonstrou que a inoculação ainda era eficaz várias semanas após ter sido induzida. Esta eficácia a longo prazo fala sobre a validade do estudo e que não teria sido possível com um único experimento.

Uma terceira abordagem é o que estamos nos referindo a como a abordagem de resultado em cascata. O objetivo aqui é determinar como um estímulo influencia algum resultado futuro. Por exemplo, a elaboração de uma notícia pode ser manipulada (por exemplo, episódica ou temática) e, em seguida, o efeito de enquadramento pode ser avaliado em relação ao consumo e interpretação de conteúdo de notícias através de diferentes canais de mídia. O objetivo dessa abordagem é replicar o comportamento naturalista. Neste exemplo, é razoável concluir que o conteúdo de jornal não é

consumido num vacum e seria consumido juntamente com outras formas de comunicação. Em teoria, esta progressão em cascata poderia continuar em qualquer número de efeitos, que, em seguida, tornar-se-ia uma causa. No entanto, na aplicação, o número de progressões é limitado por considerações de ordem prática (por exemplo, fadiga, participante logístico). Parei aqui

Um exemplo publicado acende abordagem experimental particular. Holbert, Caplan, e Mortensen (2007) utilizam uma abordagem em cascata em sua investigação do documentário de Michael Moore Fahrenheit 9/11 e a forma como a exposição a ele posteriormente influenciou a visualização de um debate presidencial que contou com George W. Bush (o assunto do filme) e John F. Kerry. Na primeira fase do estudo, um conjunto de medidas iniciais foram reunidos para estratificar a amostra.

A segunda fase do estudo envolveu a manipulação (isto é, película ou sem película) e um segundo conjunto de dados. A fase final teve participantes visualizando um debate presidencial completo ao vivo e uma outra coleta de dados. De interesse para esses pesquisadores foi como as reações emocionais dos participantes para o filme (alegria e raiva) influenciou a confiança nos candidatos após a exibição do debate. Embora os resultados específicos para este estudo não sejam de interesse para a discussão atual, a abordagem em cascata resultado parece ter utilidade evidente quando comparado com um evento de design simples.

A quarta e última abordagem experimental envolve um sistema de espirais de reforço. Slater (2007) detalha a lógica teórica associada a esta abordagem, que envolve a influência do uso de mídia em alguma variável de resultado e, em seguida, a influência do resultado no uso adicional de mídia. Como Slater (2007) postula, "algum tipo de uso de mídia influencia crenças e comportamentos correspondentes, que a crença ou comportamento, por sua vez aumenta a esse tipo de uso de mídia. . . em seguida, o processo deve ser reforçado mutuamente ao longo do tempo "(pp. 284-285). Há semelhança entre a abordagem resultado reforça sistema de espirais e em cascata. No entanto, não existe uma distinção chave.

Esta distinção diz respeito à natureza do reforço do sistema de espiral. No sistema de espiral, o uso da mídia influencia o resultado e esse resultado influencia o uso da mídia. O sistema de espiral pode levar tanto a uma maior utilização de mídia (sistema de espiral ascendente) ou menor uso de mídia (sistema espiral descendente).

O estudo de Eveland, Shah e Kwak (2003) sobre o uso de mídia e a questão do conhecimento na campanha presidencial de 2000 ilustra a abordagem do sistema em espiral. Neste estudo, os pesquisadores descobriram que atenção às notícias no tempo 1 previu uma questão de conhecimento no tempo 2. Eles ainda relataram que o inverso também era o caso. Ou seja, a questão do conhecimento no tempo 1 previu atenção às notícias no tempo 2.

Resumindo, o uso de mídia afetou os níveis da questão do conhecimento e questões de conhecimento anteriores influenciaram o posterior uso de mídia. Até o momento, a abordagem do sistema de espirais reforçando não tem se destacado em experiências de comunicação política. No entanto, como Slater (2007) mantém, este projeto é promissor, especialmente para os acadêmicos de comunicação política.

Experiência em realismo: várias fases

Independentemente da abordagem experimental, as preocupações de design podem surgir sobre o realismo da pesquisa em comunicação política. Em comparação com um experimento único, o realismo tem um significado adicional em um estudo multi-estágio. Isso decorre da natureza multi-estágios da pesquisa e da necessidade de tornar o prolongado encontro o mais realista possível para todos os participantes. Metodologias experimentais (por exemplo, Aronson & Carlsmith, 1968; Aronson et al, 1994, 1998) a distinção entre três tipos de realismo-experimental, mundano, e psicológico. Segundo Aronson e Carlsmith (1968) o realismo experimental é alcançado se o estudo está a envolver os participantes, isto é, se eles levam o estudo a sério e se o estudo tem um impacto sobre eles. Um segundo tipo de realismo é mundano. Estudos experimentais evidenciam realismo mundano na medida em que "os eventos que ocorrem em um ambiente de laboratório são susceptíveis de ocorrer no 'mundo real'" (p. 22). Uma terceira forma é o realismo psicológico (Aronson et al., 1994, 1998). Preocupações sobre o realismo psicológico "quão bem um experimento capta os processos psicológicos, como as que ocorrem na vida cotidiana" (Aronson et al., 1994, p. 58). Aronson e Carlsmith (1968) argumentam que essas formas de realismo não são conceitos mutuamente exclusivos. Um estudo poderia manifestar todos os três, ou apresentam um elevado grau de um tipo e uma quantidade menor dos outros dois. A meta para os experimentalistas de comunicação política deve ser o de maximizar as três formas de realismo.

Existem vários paralelos entre realismo e validade experimental; dado esses paralelos, é importante fazer a distinção entre esses conceitos. Em primeiro lugar, Campbell (1957) sustenta que a validade de um estudo experimental pode ser avaliada através de dois critérios: .1 validade interna e externa aborda a questão de saber se a manipulação experimental produziu o resultado em questão. Dito de outra forma, um estudo é válido internamente na medida em que é determinado que a manipulação da causa ou estímulo conduziu às mudanças no critério-ou resultado medida. Por outro lado, a validade externa diz respeito a representatividade ou generalização (Campbell, 1957). A questão aqui é saber se os resultados de um estudo experimental em particular podem ser generalizados para outras populações ou configurações.

Quais são os paralelos entre os três tipos de realismo (experimentais, mundanos, e psicológicos) e os critérios de validade? Em primeiro lugar, a validade interna é condição sine qua non para um delineamento experimental utilizado ser em tudo significativo (Aronson & Carlsmith, 1968; Campbell & Stanley, 1963; Pedhazur & Pedhazur Schmelkin, 1991). Se um estudo não é válido internamente, então não faz sentido considerar ainda o grau em que ele é realista. Em outras palavras, se não temos a confiança de que a manipulação da variável independente levou a mudanças na variável dependente por que, então, seria o realismo da matéria de estudo? Um claro paralelo entre o realismo e a validade é que a validade interna de um estudo pode ser abordada por ajudar questões relacionadas com o realismo (Aronson & Carlsmith, 1968). Por exemplo, Campbell e Stanley (1963) articulou diversos fatores que podem comprometer a validade interna de um estudo. Um desses fatores, particularmente relevantes para uma experiência multi-estágio, é "a mortalidade experimental" (isto é, atrito, ou a perda diferencial dos participantes dos grupos experimental / controle). Neste caso, o

investigador não pode ter a certeza de que a alteração da variável dependente é produzida por meio da manipulação de uma variável independente ou porque os participantes a partir de, por exemplo, a condição experimental sair do estudo e aqueles que desistiram diferem de maneira significativa daqueles que permaneceram. É bastante plausível suspeitar de que o realismo de um estudo poderia impactar a mortalidade experimental. Especificamente, os altos níveis de realismo experimental provavelmente afetam os níveis de atrito. Se o estudo é envolver o participante, se o estudo convence os participantes a assumir a tarefa e definir a sério, e se o estudo tem significado para o participante, pode-se prever que haveria menos atrito do que se nenhuma dessas qualidades estivessem presentes.

Para entender a distinção entre os tipos de realismo em pesquisa experimental longitudinal, examinamos o trabalho experimental de Iyengar e Kinder (1987) como um exemplo de um estudo experimental de vários estágios bem implementado. Em primeiro lugar, as notas de estudo no alto realismo experimental. Esse tipo de realismo diz respeito ao envolvimento e engajamento dos participantes no experimento. Manter níveis de envolvimento ao longo do tempo pode ser um desafio. Iyengar e Kinder alcançam realismo experimental, expondo os participantes a noticiários reais que foram originalmente ao ar na noite antes dos participantes virem. Comparar o grau de realismo aqui com um estudo que escolheu semanas de notícias que valiam à pena antes de iniciar um estudo (isto é, a novidade pode ser de uma semana ou mais de tempo). Isto seria semelhante ao uso de propagandas políticas como material de estímulo em campanhas fictícias (campanhas em que tanto os candidatos ou o contexto eleitoral é artificial aos participantes do estudo, que tem sido o caso em muitos estudos sobre a influência da propaganda política). Este estudo também atinge realismo experimental, tendo os participantes visto noticiários que foram "discretamente alterados", para que eles não se destaquem como sendo experimentalmente manipulado. Claramente, se os noticiários pareciam artificiais, eles podem ter provado ser uma distração para os participantes, diminuindo assim o realismo experimental.

Em seguida, voltando-se para o realismo mundano, o estudo Iyengar e Kinder tem níveis mais baixos de esta forma de realismo. Como um lembrete, realismo mundano diz respeito à medida em que os eventos do estudo poderia ocorrer no mundo real. Certamente, alguns dos participantes desta investigação provavelmente assistiu pelo menos uma notícia nacional em uma determinada semana. A questão aqui é até que ponto a experiência de visualização de notícias experimentais compara-se com a visualização de notícia reais fora do estudo. É improvável que todos os participantes assistam o noticiário durante cinco dias consecutivos, ou sentar-se por todos os noticiários quando assistem notícias. 2 Em vez disso, os participantes que assistem noticiários noturnos, provavelmente, o fazem enquanto fazem outras coisas (por exemplo, ajudar as crianças com a lição de casa ou realizando tarefas domésticas). Finalmente, é improvável que os participantes iriam assistir o noticiário da noite com um grupo de estranhos em um ambiente relativamente desconhecido. Todos esses fatores levam a perguntas sobre os níveis de realismo mundano neste estudo.

O terceiro tipo de realismo, psicológico, também podem ser examinados vis-à-vis na pesquisa de Iyengar e Kinder. Realismo psicológico diz respeito a forma como o estudo captura processos psicológicos semelhantes aos que ocorrem na vida cotidiana. Os

efeitos psicológicos que Iyengar e Kinder estavam preocupados são aqueles os relacionados com a criação e o priming agenda. Dado o que sabemos, ou não sabemos, sobre os mecanismos psicológicos envolvidos com essas duas teorias, é difícil ter certeza sobre a avaliação do realismo psicológico deste trabalho. Uma reação é que qualquer definição de agenda e efeitos do priming deve psicologicamente funcionar da mesma forma nos limites deste estudo, como eles fazem na vida real. No entanto, uma outra reação, relacionada com as preocupações com o realismo mundano, é que psicologicamente esses participantes estavam em um lugar muito diferente do que seria normalmente. A linha inferior aqui é que os argumentos poderiam ser feitos a favor ou contra os níveis ideais de realismo psicológico.

Nós encorajamos experimentalistas fazendo um trabalho multi-estágio para levar o realismo ao seu empreendimento experimental sério. Especificamente, os pesquisadores precisam avaliar os três tipos de realismo que temos abordados: o experimental, mundano, e psicológico. Na concepção de um estudo, os pesquisadores devem tentar maximizar os três tipos de realismo. No entanto, eles precisam reconhecer que pode haver trade-offs. Determinado estudo pode ser capaz de alcançar altos níveis de realismo experimental e psicológico, mas menos do que os níveis ideais de realismo mundano. Nosso conselho é que, se os níveis de realismo estão aquém do ideal, os pesquisadores precisam replicar resultados (ver Campbell & Jackson, 1979; Rosenthal, 1991, para a importância da pesquisa de replicação nas ciências sociais).

A meta para a pesquisa de replicação deve ser o de abordar os baixos níveis de realismo dos estudos originais. Mas ao fazer isso, não pode ser diminuído o realismo para um dos outros critérios. No entanto, se todos os estudos são considerados em conjunto, uma melhor compreensão do processo em questão deve ser alcançada.

Experiências externas: validade e multi-estágios

Como mencionado acima, a validade externa diz respeito ao grau ao qual um estudo experimental particular pode ser generalizado a outras populações ou configurações. O argumento que queremos fazer é que, para alguns estudos experimentais (de longas ou curta duração), a ênfase indevida pode ser colocada sobre as questões relacionadas com a validade externa. Baxter e Babbie (2004) oferecem uma ressalva sobre a pesquisa experimental, ou seja, que “os processos de comunicação que ocorrem em um ambiente de laboratório podem não necessariamente ocorrer em mais configurações Sociais naturais" (p. 228). Além disso, Brader (2006) observa que,

"Estabelecer causalidade é a força característica de experimentos. Na falta de inspirar confiança na generalidade dos resultados é a sua fraqueza notória "(p. 181). Nós não reivindicamos que a generalização dos resultados seja importante. Há momentos em que os experimentalistas multi-estágio precisam dar ênfase a validade externa do seu trabalho; No entanto, isto nem sempre é o caso. As razões para isso são discutidas a seguir.

Ao considerar a generalização dos resultados experimentais, é vantajoso para primeiro examinar as ameaças específicas à validade externa. Campbell e Stanley (1963) articulam quatro fatores que comprometem a validade externa. O primeiro é um efeito reativo de um teste. Em outras palavras, um pré-teste pode aumentar ou reduzir a

sensibilidade de um respondente a um estímulo. Sensibilidade anormal pode dar respostas a uma representatividade variável experimental do que a reação de um grupo não testado seria. Outra ameaça diz respeito como uma amostra não representativa poderia levar a resultados tendenciosos. Esta ameaça é provavelmente citada mais frequentemente com a pesquisa que envolve estudantes universitários. Às vezes, as manipulações são intrincadas e são melhor testada com alunos de graduação. A questão aqui não é se os estudantes universitários generalizam para a população mais ampla de potenciais eleitores (obviamente, eles não fazem), mas se o processo ou os efeitos revelados pela manipulação generaliza a teoria que está sendo testada. Se a pesquisa é focada na teoria de testes, e se o estudo em outros aspectos reúne condições de realismo, descrito anteriormente, em seguida, problemas de validade externa são uma preocupação menor. Em terceiro lugar, se os participantes reagem de uma certa maneira para o arranjo experimental, o efeito induzido não pode exercer para as pessoas expostas ao estímulo de um estudo não experimental. Finalmente, Campbell e Stanley argumentam que a validade externa de um estudo experimental pode sofrer por causa da interferência causada por vários tratamentos.

Isto é, o efeito de um tratamento inicial não pode ser apagado, quando um segundo tratamento é aplicado; portanto, qualquer interpretação dos resultados deve levar os vários tratamentos em consideração. Nós não temos problema com essas ameaças que Campbell e Stanley esboçam. Na verdade, nessas circunstâncias, em que a validade externa (isto é, generalização) é o objetivo da pesquisa, essas ameaças garantem sérias considerações.3. Nosso argumento é que, dependendo dos objetivos da pesquisa, há casos em que a validade externa do estudo é menos relevante.

Mook (1983) e Aronson et al. (1998) abordam esta questão, observando os objetivos para a pesquisa experimental, além de validade externa. No que se segue vamos discutir esses objetivos, no contexto específico de multi-estágio de pesquisa experimental.

Em primeiro lugar, o pesquisador deve estar se perguntando se algo pode acontecer, em vez de algo acontecer normalmente (Mook, 1983). Se um estímulo provoca um determinado resultado a uma pergunta muito diferente, do que se um estímulo produz um resultado generalizável. Se o objetivo da pesquisa é o primeiro, então a validade externa do estudo é uma preocupação menor. O objetivo aqui é testar uma teoria ou hipótese de relacionamento. Sem dúvida, a pesquisa programática deverá abordar questões de tempo relacionada à validade externa; no entanto, pelo menos no início, este não tem que ser o caso. Por exemplo, pouco se sabe sobre como a apresentação de notícias através da Internet afeta a tradicional teoria comunicação política (por exemplo, definição de agenda). Agora, é comum em sites de mídia de notícias ser capaz de fornecer feedback para uma determinada notícia. Em muitos casos, este conteúdo gerado pelo usuário é acessível a qualquer um que queira vê-lo. A questão é: pode esse feedback do público mudar a dinâmica da teoria da definição da agenda? Nosso objetivo aqui seria para testar a teoria. Um experimento multi-estágio pode ser concebido com esta teoria de testes em mente. A medida manipulada poderia ser o tom do conteúdo gerado pelo usuário ou feedback (por exemplo, apoio à uma determinada notícia particular, oposição, e misto). Se o objetivo do estudo é responder à pergunta - podem estes comentários influenciar a relação tradicional de definição de agenda? - então críticas relacionadas com a validade externa estão equivocadas. Os pesquisadores, é

claro, precisam ser claros sobre seus objetivos (por exemplo, teste de teoria) e não devem superestimar a validade externa dos seus resultados.

Um estudo experimental de longo prazo também pode querer produzir condições que não têm analógico na vida real, onde generalizar para o mundo real não teria sentido (Aronson et al, 1998; Mook, 1983). Um exemplo aqui é o de Milgram (1974) de obediência notória para experimentos de autoridade. Parece pouco provável que o ambiente de laboratório (por exemplo, sala estéril, um gerador de choque falso, os cientistas de bata branca), em grande parte do trabalho de Milgram se generalizar para qualquer cenário do mundo real. Por exemplo, poderia a configuração de laboratório de Milgram ser generalizada para os crimes cometidos nos campos de concentração por soldados alemães ou para as humilhações da prisão de Abu Ghraib? Não parece provável. Participantes de Milgram foram convidados para entregar "choques" para estranhos que foram mal em um teste de memória - isto generaliza o que os soldados alemães enfrentaram? Generalizar o que aconteceu na prisão iraquiana com os soldados norte-americanos? Mais uma vez, não parece provável.

Todavia, as conclusões, então, não têm nenhum valor? Isto também parece improvável. Outro exemplo de pesquisa que não tem analogia na vida real seriam os "experimentos aglutinados" que Iyengar e Kinder (1987) fizeram como parte de seu exame de definição de agenda. Nos experimentos de aglutinação, os pesquisadores tiveram participantes que visualizavam seis reportagens de televisão, uma após outra, todos relacionados com a defesa, energia, ou a inflação. Este não espelha a experiência de visualização de notícia. Tanto os exemplos de Milgram como os de Yvengar e Kinder foram realizados em um ambiente que não replicar "o mundo real"; no entanto, ambos os estudos produziram influentes resultados. O trabalho de Milgram, apesar da artificialidade, ajudou-nos a compreender como, quando as pessoas saem de sua rotina normal, elas estão dispostas a violar as regras e convenções normais, a ponto de prejudicar um completo estranho, porque uma figura de autoridade diz para eles fazerem isto.

Os estudos de Iyengar e Kinder nos deram uma melhor compreensão da definição de agenda por meio de uma maior "calibração precisa" das condições de tratamento - notícias mostradas aos espectadores - do que já tinha sido o caso (Iyengar e Kinder, 1987, p. 21).

O trabalho experimental é frequentemente alvo de críticas pelo que Mook (1983) chama da abordagem da lista de verificação, que consiste em examinar um determinado estudo experimental e verificando fora as diferenças entre o "mundo real" e o "mundo experimental." No final, a experiência é considerada inválida se há mais diferenças do que semelhanças. Alguns estudos experimentais multi-estágio são particularmente suscetíveis a essa crítica, dado o contato prolongado que os participantes têm com a situação experimental. Como já sugerido, estas críticas são, às vezes, exageradas. Claramente, se os pesquisadores afirmam que os seus resultados são válidos externamente, são garantidos esses tipos de críticas. No entanto, como já indicado, este não pode ser o objetivo da pesquisa. No entanto, não parece haver muita confusão entre os pesquisadores (e revisores) nesta área.

Em parte, nós pensamos que esta confusão sobre os objetivos da pesquisa decorre de equívoco das diferenças pesquisas orientadas para o processo versus pesquisa orientada para o problema (Aronson et al., 1998).

Investigação orientada para o problema é semelhante à pesquisa aplicada ou o que Zanna e Fazio (1982) se referem como "é dúvida" (por exemplo, há um efeito ou se há um fenômeno). Aronson et al. (1998) indicam que os pesquisadores orientados para os problemas estão principalmente interessados em estudar um fenômeno que eles querem entender e possivelmente mudar. Este tipo de pesquisa mais provável tem validade externa como objetivo, mais ainda, após estudos iniciais serem conduzidos.4 Uma vez que tenha sido determinado que não existe um efeito, a generalização é o efeito mais importante do que os resultados replicantes que já tenham sido determinados.

Investigação orientada para o processo, pelo contrário, tem como objetivo os mecanismos subjacentes responsáveis por um fenômeno (Aronson et al., 1998). Zanna e Fazio (1982) indicam que essas metas muitas vezes referem-se a "quando" as perguntas (ou seja, as questões relacionadas com moderação) ou "como" questões (ou seja, questões relacionadas à mediação). Investigação orientada para o processo seria semelhante à pesquisa básica.

Com a pesquisa básica, os pesquisadores estão procurando as "melhores respostas para as perguntas de por que as pessoas se comportam da maneira que elas fazem, puramente por razões de curiosidade intelectual" (Aronson et al., 1998, 106 p.) Ou de aplicação futura. Geralmente, aqueles que fazem pesquisa básica não tem um interesse direto na solução de problemas sociais (Aronson et al., 1998). Em nossa opinião, a pesquisa experimental que está focada em um processo pode justificar a renúncia a objetivos de validade externa. Neste momento a comunicação política tem de mover-se mais para um foco no processo de investigação orientada para o problema. Zanna e Fazio (1982) caracterizam esta mudança como um movimento a partir das pesquisas de primeira e segunda gerações para uma terceira geração de descobertas orientadas para o processo. Holbert e Stephenson (2003) fazem um argumento semelhante por mais investigações orientadas para o processo de efeitos de mídia.

Em resumo, não estamos sugerindo que os resultados internamente inválidos devem ser a meta para experimentalistas da comunicação política. Ao contrário, nós mantemos que os estudiosos de comunicação política devem ser claros sobre seus objetivos. Se o objetivo da pesquisa é a generalização, em seguida, por todos os meios, o pesquisador precisa tomar medidas, em um esforço para alcançar esta meta. No entanto, se a pesquisa está focada em um processo, com o objetivo de compreender como ou se alguma coisa acontecer, então a construção de teoria deve ser o objetivo, e não generalização. Dada a necessidade de realizar pesquisas política de comunicação que está focada no processo, de bom grado renunciar, pelo menos inicialmente, da validade externa para a compreensão dos processos que ocorrem no domínio da comunicação política.

CONCLUSÃO

Queremos reiterar a nossa convicção de que a recolha de dados multi-estágio é superior aos instantâneos isolados de crenças das pessoas políticas, sentimentos e atitudes por

causa da instabilidade de suas respostas. É importante ir além de muitos dos estudos experimentais únicos que os estudiosos de comunicação política têm contado no passado. A meta aqui tem sido a de incentivar mais multi-estágio de projetos experimentais em pesquisa em comunicação política. Esperamos que as informações fornecidas neste capítulo irão ajudar os pesquisadores a alcançar esse objetivo. Experimentalistas devem primeiro considerar a abordagem experimental adequada para o seu estudo antes de contemplar um projeto específico. Vemos também a necessidade de considerar as questões relacionadas com o realismo dos estudos multi-estágio que discutiram três dimensões de realismo que são de particular preocupação. Finalmente, em relação a validade externa, é importante para os pesquisadores de comunicação política considerarem cuidadosamente os objetivos de suas pesquisas, para terem certeza de que esses objetivos se alinham com as possíveis críticas.