Relatório - Influência dos fatores ordem e redação em instrumento de coleta de dados em...

11
Universidade de São Paulo Escola de Comunicações e Artes Pós-Graduação em Pesquisa de Mercado Aplicada em Comunicação Pesquisa web sobre a Copa do Mundo de 2014 Relatório desenvolvido para a disciplina Fundamentos da Pesquisa de Mercado, ministrada pelo Prof. Dr. Leonardo Batista, como requisito para aprovação final. Relatório desenvolvido por: Cassio Damacena, Felipe Caldeira, Jacy Pegoretti e Priscilla Branco. São Paulo Junho de 2014

Transcript of Relatório - Influência dos fatores ordem e redação em instrumento de coleta de dados em...

Universidade de São Paulo

Escola de Comunicações e Artes

Pós-Graduação em Pesquisa de Mercado Aplicada em Comunicação

Pesquisa web sobre a Copa do Mundo de 2014

Relatório desenvolvido para a disciplina

Fundamentos da Pesquisa de Mercado, ministrada

pelo Prof. Dr. Leonardo Batista, como requisito

para aprovação final. Relatório desenvolvido por:

Cassio Damacena, Felipe Caldeira, Jacy Pegoretti e

Priscilla Branco.

São Paulo

Junho de 2014

Background

Como parte do conteúdo de avaliação da disciplina “Fundamentos de Pesquisa de

Mercado”, o grupo propôs o desenvolvimento de uma pesquisa online sobre a Copa do Mundo

de 2014. A disciplina foi clara e precisa em seu objetivo de transmitir conhecimento acerca de

todas as etapas contidas no desenvolvimento de uma pesquisa, passando pela importância de

saber identificar o problema de pesquisa, de construir corretamente o questionário e de

analisar corretamente os dados que chegam do campo. Visando colocar em prática todo esse

aprendizado adquirido em sala de aula, o grupo desenvolveu uma pesquisa experimental via

web, com o objetivo de confirmar ou refutar a hipótese de que pequenas alterações feitas no

instrumento de pesquisa (questionário) podem ser o suficiente para acarretar mudanças nas

taxas de resposta.

Conforme dito anteriormente, o problema em questão é compreender se formatos diferentes

de questionário causam impactos nas respostas dos respondentes, sendo assim temos duas

hipóteses formuladas:

H1 – É possível que dois questionários idênticos quanto ao assunto abordado, podem

trazer resultados diferentes alterando apenas a redação das perguntas.

H2 – É possível que dois questionários idênticos quanto ao assunto abordado, podem

trazer resultados diferentes se houver uma alternância da ordem das perguntas.

Mais adiante, no capítulo Análise de Resultados, revelaremos se as hipóteses foram ou não

confirmadas.

Objetivos

O objetivo geral deste estudo é avaliar os possíveis efeitos gerados ao se aplicar ferramentais

de mesmo assunto, porém com formatações de ordem e de redação diferentes.

Sendo assim, os objetivos específicos deste estudo se resumem a:

Avaliar as possíveis diferenças quanto às respostas que serão obtidas nos três

questionários desenvolvidos;

Avaliar se há outras variáveis - como método de coleta, tamanho da amostra, por

exemplo - possam também ter contribuído para uma possível diferença nas respostas

dos questionários.

Avaliar se de fato a ordem de como são apresentadas as questões é um fator que

influencia as respostas;

Avaliar se de fato a mudança na redação do questionário é capaz de influenciar as

respostas;

Público alvo

Usuários de Internet, de ambos os sexos, que possuem 18 anos ou mais e que frequentam a

rede social Facebook.

Metodologia

Estudo Descritivo Quantitativo por meio da Técnica de Autopreenchimento Online

A metodologia utilizada para este estudo será de caráter descritiva quantitativa,

utilizando-se da técnica de autopreenchimento online (via web). Para a coleta de dados foram

desenvolvidos pela equipe três questionários que tratam sobre o mesmo tema (Copa do

Mundo de 2014), mas que sofreram alterações em relação à ordem das alternativas de

resposta e em relação à redação das perguntas. Primeiramente foi desenvolvido o

Questionário Original e, a partir deste, os questionários Ordem Alterada (cuja ordem das

perguntas e das alternativas de resposta foi alterada) e Redação Alterada (que teve a redação

de suas perguntas modificadas em relação ao questionário Original). É importante ressaltar

que todas as mudanças realizadas foram feitas em relação ao Questionário Original, para que

fosse possível assegurar um mínimo de comparação entre todos.

Todos os três questionários possuem exatamente o mesmo número de perguntas, 10,

e o mesmo tempo médio de aplicação: 5 minutos.

Para aplicação do questionário online, foi utilizado um hiperlink que foi disponibilizado

na rede social Facebook junto à comunidade de amigos de cada integrante do grupo. Contudo,

pela própria limitação de tempo e por se tratar de três modelos de questionários distintos,

cada integrante disponibilizou para seus contatos somente um modelo de questionário.

Amostra

A amostra será composta por 120 entrevistas, obedecendo a seguinte distribuição:

40 questionários originais;

40 questionários redação alterada;

40 questionários ordem alterada;

Desafios e Aprendizagens

O desafio inicial foi em relação ao tempo total de desenvolvimento da pesquisa como

um todo. A formulação do questionário original e de suas outras duas versões custou à equipe

cerca de três dias. Após esse período – subsequente à apresentação dos objetivos em sala de

aula – houve a etapa de programação dos questionários em suas versões online. A equipe

decidiu utilizar o SurveyMonkey, por ser uma plataforma de fácil manuseio, porém ela não foi

a mais satisfatória para o propósito do grupo. A versão free desta plataforma permite apenas a

inclusão de 10 questões e não permite a aplicação de qualquer tipo de filtro na lógica de

programação do questionário. Fomos obrigados, por causa disso, a escolher apenas duas

variáveis demográficas, que no caso foram sexo e idade. Em relação ao tempo de coleta o

grupo não enfrentou grandes dificuldades. Acreditamos que a escolha do tema tenha ajudado

a estimular o interesse dos respondentes.

Análise dos Resultados

Neste capítulo serão descritos, primeiramente, os resultados gerais para o

questionário original. Posteriormente, serão apresentadas as diferenças nas respostas dos

questionários Ordem Alterada e Redação Alterada, acarretadas pela mudança de ordem e

redação das perguntas.

Procurou-se avaliar, de forma geral, algumas questões diretamente relacionadas ao

evento da Copa do Mundo de 2014, quais sejam: i) o grau de interesse dos respondentes em

relação à Copa do Mundo de 2014, ii) o grau de informação dos respondentes em relação ao

evento e qual o veículo de informação mais utilizado, iii) a opinião dos respondentes em

relação às manifestações contra a Copa de Mundo de 2014 e o grau de informação dos

respondentes acerca dessas manifestações, iv) avaliar se os respondentes acreditam ou não na

possibilidade do Brasil ser campeão desta Copa do Mundo, v) avaliar se os respondentes

acreditam que o Brasil será um país melhor após a Copa do Mundo e, por fim, vi) analisar o

grau de concordância/discordância dos respondentes frente a uma bateria de afirmações

sobre o período em questão.

Questionário Original

Do total de respondentes deste questionário 45% eram do sexo feminino e 55% eram

do sexo masculino. Temos aqui, portanto, uma amostra relativamente equilibrada.

Dentre aqueles que responderam a pergunta sobre o grau de interesse em relação à

Copa de Mundo de 2014, 56% disseram estar interessados/muito interessados e apenas 22%

disseram estar desinteressados/muito desinteressados. Outros 22% declararam ser neutros

(nem interessados, nem desinteressados). Quarenta e três por cento dos respondentes de

sexo masculino declararam estar interessados no evento e 17% deste mesmo público afirmou

estar muito interessado na Copa do Mundo de 2014. Em se tratando das mulheres, 34%

afirmaram estar interessadas e 17% muito interessadas no evento mundial.

No que diz respeito às manifestações contra a Copa do Mundo de 2014, 71% dos

respondentes afirmaram estar informados sobre estes acontecimentos. Uma pequena

porcentagem, 5%, se diz estar muito informada sobre as manifestações. Apenas 11%

afirmaram estar desinformados/muito desinformados sobre as manifestações. Ainda sobre

este assunto, 59% dos respondentes afirmaram que concordam em partes com as

manifestações e 22% dizem discordar em partes.

Sessenta e seis por cento dos respondentes declararam que têm buscado informações

acerca da Copa do Mundo de 2014. O veículo mais citado como fonte de informação é a

Internet (69%) e, sem seguida, a televisão (51%). Vinte e um por cento dos respondentes

disseram não buscar informações sobre a Copa do Mundo.

A grande maioria, ou 67%, são otimistas e declararam acreditar que a Seleção

Brasileira será campeã desta Copa do Mundo. Já no que diz respeito ao Brasil como país, 88,5%

declararam não acreditar em melhoras após a Copa do Mundo de 2014.

Foram apresentadas aos respondentes 14 frases cujos conteúdos são relacionados ao

momento atual, ou seja, Copa do Mundo e manifestações. Para este questionário, o grupo

optou por trabalhar com uma escala de concordância de 5 níveis, com a possibilidade de uma

escolha neutra (nem concorda, nem discorda).

A análise desta questão nos leva a pensar que, embora haja um grande interesse em

torno do evento, conforme visto acima, ele não exerce um papel central na vida dos

respondentes. Conforme mostra o gráfico abaixo, temos os seguintes pontos principais da

análise:

51% dos respondentes discordam totalmente da afirmação “Eu passo mais

tempo me informando sobre a Copa do que outros assuntos”.

85% dos respondentes discordam totalmente da afirmação “Na minha vida, o

futebol vem sempre em primeiro lugar”.

57% discordam totalmente da afirmação “Nas minhas horas de folga, o que eu

mais gosto é assistir futebol”.

E, finalmente, 62% dizem discordar totalmente da seguinte afirmação

“Acredito que meu país será melhor no futuro devido à Copa do Mundo”.

51%

69%

16%

8%

18%

25%

21%

0% 10% 20% 30% 40% 50% 60% 70% 80%

TV

Internet

Jornal

Revista

Rádio

Através de familiares e amigos

Não tenho buscado me informar…

Como você tem buscado se informar sobre a Copa do Mundo de 2014?

18% concordam totalmente com a afirmação “Acho inadequado fazer greve

durante a Copa”

E, por último, 75% concordam totalmente que “Manifestar-se é um direito”.

51%

10%

85%

7% 5%

15%

36%

21%

11% 8%

11%

23%

8%

33%

3%

35%

11%

25%

2%

25%

0%

43%

20%

36%

3%

11%

0% 7%

52%

2%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

Eu passo maistempo me

informandosobre a Copa doque sobre outros

assuntos

A minha maiorpreocupação

sobre a Copa é asegurança

Na minha vida, ofutebol vemsempre em

primeiro lugar.

Faço o quequero, não me

preocupo com oque os outros

vão dizer.

É errado usar devandalismo para

lutar por seusdireitos.

Trato de manter-me em dia sobre

os assuntosligados a Copa.

Escala de Concordância - Questionário Original

Discorda Totalmente Discorda Nem concorda, nem discorda Concorda Concorda Totalmente

Questionário Redação Alterada

No desenvolvimento deste questionário foram escolhidas algumas questões para

terem suas redações modificadas. A hipótese era a de que seria possível verificar diferenças

nos percentuais de resposta em relação ao questionário original. A amostra que representa o

questionário redação alterada foi menos homogênea, representada por 66% de mulheres e

34% de homens. Em uma pesquisa normal, seria possível controlar a cota de uma forma

melhor, mas devido ao curto tempo de campo, não foi possível um domínio mais rigoroso.

Conforme descrito nos próprios instrumentos, as tais perguntas foram feitas da

seguinte forma:

No Questionário Original, a pergunta: “Quanto você diria que está interessado na Copa

do Mundo de 2014” é feita de forma direta e enfatiza o evento atual. Já no questionário

Redação Alterada, a pergunta é feita da seguinte forma: “O quanto você é interessado em

Copas do Mundo?”, ou seja, de uma maneira generalista, que trata não só deste, mas dos

eventos em anos passados.

O percentual de respondentes que se disseram interessados permaneceu igual, 39%

em ambos os questionários, porém o número de pessoas muito interessadas na Copa do

Mundo de 2014 é menor: 17% contra 23,5%. O número de muito desinteressados nesta copa

também é superior, 11% contra 6%.

18%

57%

28%

62%

3% 10%

84%

0%

28%

16% 15%

25%

11%

26%

15%

0%

20% 18%

30%

10%

26%

51%

2% 2%

16%

7%

21%

3%

43%

10%

0%

23% 18%

2% 7%

0%

16%

3% 0%

75%

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

Achoinadequadofazer grevedurante a

Copa.

Nas minhashoras de

folga, o quemais gosto é

assistirfutebol.

Em algunsmomentos é

aceitáveldesobedecer

à lei.

Acredito quemeu País será

melhor nofuturo devido

a Copa doMundo

Gosto desentir-me

parte de umgrupo.

O País ficarápior com a

realização daCopa doMundo.

Eu pagariaqualquer

preço por umingresso dos

jogos da Copa.

Manifestar-seé um direito.

Escala de concordância - Questionário Original (continuação)

Discorda Totalmente Discorda

Nem concorda, nem discorda Concorda

Concorda Totalmente

Seguindo o mesmo raciocínio para testar a hipótese, as perguntas sobre as

manifestações também foram feitas de forma diferente em cada questionário (vide gráfico

abaixo). O percentual de respondentes que concordam em partes é alto nos dois casos (59%

no original e 65% no redação alterada), mas, o percentual de pessoas que declararam

concordar totalmente com as manifestações contra a copa do mundo ultrapassa em 8 pontos

percentuais aqueles que dizem concordar totalmente com as manifestações atuais.

Já quando existe a ênfase no evento atual, o percentual de respondentes que afirmam

buscar informações supera em 14 pontos percentuais as respostas referentes às perguntas

feitas de forma generalista.

11

11

22

39

17

6

20

12

39

23.5

0 10 20 30 40 50

Muito desinteressado

Desinteressado

Nem interessado, nemdesinteressado

Interessado

Muito interessado

Interesse na Copa de acordo com Questionário

O quanto você é interessado em Copas do Mundo? (R )

O quanto você diria que está interessado na Copa do mundo de 2014?(O)

14

59

22

5

6

65

22

8

0 10 20 30 40 50 60 70

Concordo totalmente

Concordo em partes

Discordo em partes

Discordo totalmente

Opinião sobre as manifestações por questionário

Qual a sua opinião em relação às manifestações atuais? (R )

Qual a sua opinião em relação às manifestações contra a Copa do Mundo de 2014? (O)

O contexto social e político parece ser o mais adequado para explicar os resultados

acima. Como a coleta foi realizada no início do evento mundial (iniciou-se um pouco antes do

evento) é possível que as pessoas estivessem ainda mais tocadas pelas manifestações e

notícias entorno de temas políticos do que propriamente pelo evento esportivo em si.

Em relação à escala likert do questionário Redação Alterada, o grupo decidiu por

inverter a ordem das 14 afirmações apresentadas. Porem, não se verificou diferença

significativa de percentuais nas respostas, a não ser pela afirmação “Acredito que meu país

será melhor no futuro devido à Copa do Mundo”, que no questionário redação alterada obteve

28,5% de pessoas que discordam totalmente desta afirmação.

Questionário Ordem Alterada

Para este questionário também tivemos uma amostra menos homogênea, composta

por 64% de mulheres e 36% de homens.

No questionário Ordem Alterada a pergunta “Indique se você acredita que o Brasil será

campeão da Copa do Mundo de 2014” foi colocada logo após a bateria de concordância,

apresentada, desta vez, de maneira dicotômica.

O resultado aponta para um pessimismo um pouco maior dos respondentes do

questionário Ordem Alterada, já que 54,5% deles afirmou acreditar que o Brasil sairá vitorioso

da Copa do Mundo de 2014, uma diferença de 12,5 pontos percentuais em relação ao

questionário original.

66

34

52 48

0

10

20

30

40

50

60

70

SIM NÃO

Busca de informações por tipo de questionário

Você diria que tem buscado se informar sobre a Copa do Mundo de 2014?(O)

Você busca informações sobre a Copa do Mundo? (R )

No que diz respeito à pergunta sobre crença de que o Brasil será um país melhor após o evento mundial, não foi verificada uma diferença percentual considerável (em termos de análise, consideramos significativa uma diferença de 5 pontos percentuais ou mais), conforme indica o gráfico abaixo.

Conforme dito acima a bateria neste questionário foi apresentada de forma dicotômica (sim x não). Os resultados, como um todo, se mostraram compatíveis, embora tenhamos verificado, na bateria dicotômica, um número consideravelmente maior de não resposta. Em alguns poucos casos, como na afirmação “A minha maior preocupação sobre a Copa é a segurança”, as respostas do questionário original estiveram concentradas na opção neutra (nem concordo, nem discordo) e, essa mesma afirmação no questionário ordem alterada, resultou em um percentual mais ou menos dividido entre sim e não (41% de sim vs 57% de não).

Reiteramos, com isso, que a opção por aplicar uma bateria dicotômica pode deixar o respondente menos confortável na hora de escolher uma alternativa.

67

54.5

0

10

20

30

40

50

60

70

80

Indique se você acredita ou nãoque o Brasil será campeão da Copa

do Mundo de 2014 (O)

Indique se você acredita ou nãoque o Brasil será campeão da Copa

do Mundo de 2014 (OA)

Crença de que o Brasil será campeão - por questionário

SIM

7 11

05

101520253035404550

O Sr. acredita que o Brasil setornará um país melhor após aCopa do Mundo de 2014? (OA)

O Sr. acredita que o Brasil setornará um país melhor após aCopa do Mundo de 2014? (O)

Crença de que o Brasil será um país melhor após a Copa do Mundo - por questionário

SIM

Afirmação % escala likert (discorda totalmente) % dicotômica (Não)

“Eu passo mais tempo me informando sobre a Copa do que outros assuntos” 51 93

“Na minha vida, o futebol vem sempre em primeiro lugar” 85 93

“Nas minhas horas de folga, o que eu mais gosto é assistir futebol” 57 89

“Acredito que meu país será melhor no futuro devido à Copa do Mundo” 62 86

Afirmação % escala likert (concorda totalmente) % dicotômica (Sim)

“Acho inadequado fazer greve durante a Copa” 18 16

“Manifestar-se é um direito”. 75 95