AVALIAÇÃO DE ARTIGOS DE PESQUISA EM SISTEMAS DE INFORMAÇÃO: PROPOSTA DE UM GUIA1

Introdução

Existem muitas ocasiões em que um pesquisador deve julgar a qualidade de uma pesquisa produzida em seu domínio de conhecimento. Seja na avaliação de um artigo submetido a uma revista, de um texto proposto a um congresso científico, de uma dissertação de mestrado ou de uma tese de doutorado, cada pesquisador é levado a formular uma avaliação sobre a qualidade do trabalho de seus colegas. Os critérios de avaliação usados em tais ocasiões deveriam também auxiliar o pesquisador na concepção e no desenvolvimento de seus próprios estudos.

Segundo Straub (1989), é necessário que os pesquisadores da área de Sistemas de Informação (SI) estejam mais atentos para o rigor científico de suas pesquisas, para que esta área se con-solide como um domínio científico. Porém, acontece que em SI é difícil julgar o valor de uma pesquisa ou de um artigo científico, e isto por três razões essenciais: a falta de critérios preci-sos de avaliação, a falta de detalhes relativos aos procedimentos de pesquisa e a impossibili-dade de utilizar os mesmos critérios em função do método escolhido. Na realidade, numerosos artigos tratam da pesquisa feita em SI e analisam a qualidade dos estudos realizados na área (Kraemer e Dutton, 1991; Zmud e Boynton, 1991; Mason, 1989, Benbasat e al., 1987; Benbasat, 1989; Lee, 1989; Orlikowski e Baroudi, 1991; Pinsonneault e Kraemer, 1993). No entanto, a maioria desses artigos utilizam somente um reduzido número de critérios de avaliação. Assim, com a falta de uma fonte confiável e única que indique quais critérios de avaliação escolher, pareceu-nos essencial a realização de uma síntese das diversas fontes de referência disponíveis, de modo a abranger todas as dimensões da qualidade de uma pesquisa e assim evitar que alguns critérios sejam esquecidos ou negligenciados. Por outro lado, todo pesquisador, que fez o exercício de avaliar formalmente o conteúdo de um artigo científico de pesquisa em SI, sabe que boa parte dos artigos publicados não anunciam, de modo explícito, os métodos de pesquisa utilizados. Além disso, muitas vezes os autores omitem detalhes essenciais para a avaliação da pesquisa, tornando difícil a apreciação do estudo. A falta de informações sobre o enunciado da questão de pesquisa, os detalhes referentes aos métodos de validação, as informações relativas à amostra, etc. complica a tarefa do avaliador e o leva inclusive a duvidar da qualidade do estudo.

O objetivo deste artigo é, pois, sintetizar os critérios mais relevantes para a avaliação e o de-senvolvimento de artigos de pesquisa em SI, que utilizam os métodos survey, experimental e qualitativo (este último constituindo-se em um conjunto de métodos e técnicas mais adaptadas à natureza dos dados) como processo de investigação científica. Segundo Orlikowski e Baroudi (1991), estes são os três métodos de pesquisa predominantes em SI. Desenvolveram-se, também, três tabelas que devem facilitar a avaliação das pesquisas em SI. Estas grades foram construídas a partir de um conjunto de critérios relevantes para cada um dos três méto-dos e agrupados em oito grandes categorias, a saber: a pertinência da estratégia escolhida, a questão de pesquisa, o desenho de pesquisa, os instrumentos de medida e a coleta de dados, a validade do construto, a análise dos dados, a apresentação dos resultados e o estilo do artigo. O uso das grades de análise é ilustrado com artigos de SI publicados recentemente no Brasil e que adotaram a pesquisa survey, experimental e qualitativa como método de pesquisa.

1 Para a realização deste estudo, o apoio do CNPq foi fundamental. A colaboração da professora Suzanne Rivard do HEC Montréal e a participação dos alunos da disciplina Métodos de Pesquisa em S I do PPGA-UFRGS, em especial de Luiz Henrique Boff e de Mariza K. Stumpf foram valiosos para a estruturação deste artigo.

2

Na seção 2 do texto a seguir descreve-se, de maneira mais genérica, os critérios de avaliação escolhidos, agrupados nas oito categorias já mencionadas. Nas seções 3, 4 e 5 são apresenta-dos os critérios de avaliação específicos para cada uma dos métodos de investigação: o método survey, experimental e qualitativo. Em cada caso apresenta-se uma breve definição do método de pesquisa e explica-se como os critérios de avaliação podem ser aplicados.

2. Os principais elementos de avaliação Os critérios adotados para a avaliação de artigos de pesquisa foram extraídos de livros sobre métodos de pesquisa (Mattar, 1992; Evrard e al, 1993) e de artigos específicos que tratam da avaliação de pesquisas em SI, já referenciados anteriormente.

2.1 - Estratégia de pesquisa

Antes de proceder à avaliação, é importante que o leitor se questione sobre a adequação da escolha metodológica colocada pelo(s) autor(res). De fato, é essencial avaliar, logo no começo da leitura de um artigo, a pertinência do método de pesquisa adotado, verificando se existe uma adequação entre o método, o problema de pesquisa, os objetivos anunciados e a natureza do estudo (que pode ser exploratória, descritiva ou explanatória). Uma discussão mais aprofundada sobre a natureza do estudo é retomada na seção 3.1.

2.2 - Questão de pesquisa

A categoria “questão de pesquisa” corresponde a várias dimensões do estudo. Quando da sua análise é preciso interrogar-se sobre os objetivos do artigo e sua pertinência. A contribuição ao domínio do conhecimento deve ser avaliada a partir do compromisso entre o rigor metodo-lógico, o grau de controle adotado pelo pesquisador e o grau de realismo empírico do estudo, importante para o avanço do conhecimento (Mason, 1989).

A questão de pesquisa deve estar claramente enunciada no texto. É necessário, também, identificar a ou as teorias de base utilizadas pelo pesquisador para fundamentar o seu estudo. Em interessante artigo, Sutton e Staw (1995) dissertam sobre o que não é teoria em uma publicação de pesquisa, em especial a listagem de referências bibliográficas sem um encadeamento preciso, a apresentação de dados sem uma conexão com a teoria, a lista de variáveis sem um modelo claro, diagramas e uma lista de hipóteses ou pressupostos. Os autores recomendam especial cuidado na estruturação da teoria de base, para que ela ressalte a conexão entre os fenômenos em estudo, através da apresentação dos pressupostos de base ou das hipóteses que estão na origem das suas indagações.

2.3 - Desenho de pesquisa

O desenho de pesquisa pode ser definido como a seqüência lógica que liga os dados empíricos à questão de pesquisa inicial e aos resultados e conclusões. Quando da sua apreciação, o avaliador deve em primeiro lugar identificar o modelo de pesquisa e apreciar a sua legitimidade. Caso for pertinente, ele deve ressaltar o uso de uma abordagem multimétodo, na qual procura-se obter resultados semelhantes através da utilização de métodos diferentes. É também importante a identificação do tipo de estudo, a saber, de que se trata de um estudo do tipo longitudinal ou em corte transversal. Para um estudo em corte transversal, o pesquisador coleta os dados, em um momento preciso, podendo generalizar, para toda a população, as descobertas feitas na amostra somente para o instante de tempo em que o estudo foi feito. O estudo longitudinal é pertinente quando o alvo de pesquisa é um processo dinâmico, implicando numa mudança ocorrida no tempo ou quando o pesquisador tenta compreender as origens e as conseqüências de um fenômeno (Pinsonneault e Kraemer, 1993).

3

A escolha da unidade de análise é um quesito importante quando da avaliação do desenho de pesquisa. Ela pode representar um indivíduo, grupo, departamento ou uma organização. Pode também representar uma aplicação de SI, um conjunto de aplicações ou um projeto de desen-volvimento. A unidade de análise está ligada à questão ou às hipóteses de pesquisa e é preciso distinguir a unidade de análise dos sujeitos entrevistados, que devem ser representativos e conhecer bem o fenômeno estudado.

2.4 - Instrumentos de medida e coleta de dados

Descrevem-se aqui conceitos relacionados aos procedimentos para o desenvolvimento dos instrumentos de medida, aos procedimentos de amostragem e aos métodos de coleta de dados.

2.4.1 - Procedimentos de desenvolvimento dos instrumentos de medida

Os instrumentos de medida são utilizados para "ler a realidade" sobre o objeto em estudo. Em Ciências Sociais esta busca é crítica, pois em geral mede-se a percepção dos indivíduos sobre um fenômeno, e não o fenômeno em si. Por isto é necessário saber se estes são consistentes e se refletem a realidade. A análise do instrumento de coleta de dados que permitiu o desenvol-vimento da pesquisa (questionário ou entrevista não-estruturada) também é importante e as razões da escolha devem ser explicitadas no artigo. Cabe ressaltar que o pesquisador, ao construir um instrumento de medida original, ainda não validado, ou ao utilizar instrumentos provenientes de outras áreas do conhecimento, deve efetuar pré-testes e um conjunto de validações dos construtos (conceitos) empregados. Estes construtos são abstrações dos fenômenos que se pretende observar e servem de elo de ligação entre a teoria de base, praticamente impossível de medir diretamente, e as definições operacionais, mensuráveis através de enunciados, indicadores ou variáveis. A sua validação está detalhada na seção 2.5.

2.4.2 - Procedimentos de amostragem

O avaliador deve apreciar a qualidade dos procedimentos de amostragem assim como a amostra em si, que é um subconjunto de indivíduos da população-alvo. Visto que as hipóteses de pesquisa tratam da população, é importante saber em que medida as observações efetuadas sobre uma amostra podem ser generalizadas para o todo. O pesquisador é obrigado a escolher uma amostra representativa da população-alvo a qual, também, deve retratar, de modo adequado, a unidade de análise. A representatividade de amostra é obtida através da seleção adequada dos entrevistados e é feita de modo probabilista (aleatório, sistemático, estratificado) ou não-probabilista (voluntário, por escolha intencional ou por quota). O tamanho da amostra deve ser claramente definido e modificações ocorridas entre a amostra prevista e a real devem ser reportadas.

2.4.3 - Procedimentos de coleta de dados

Os procedimentos de coleta de dados devem ser avaliados em relação a sua qualidade e pertinência, a partir do modo de coleta, dos relançamentos dos não-respondentes e da taxa de resposta. Os procedimentos de coleta variam bastante em função do método de pesquisa escolhido e o detalhamento destas particularidades está apresentado nas seções 3, 4 e 5.

2.5 - Validade de construto

A validação dos construtos que dão origem ao instrumento de pesquisa é caracterizada por Selltiz e al. (1965) como a “extensão em que as diferenças de resultados obtidos refletem diferenças reais entre indivíduos, grupos ou situações quanto às características que se procura medir” (p.174-5). Segundo Peter (1981), o termo validade de construto "refere-se à corres-pondência vertical entre um construto, que se encontra num nível conceitual inobservável, e uma medida que se pretende equivalente e que encontra-se num nível operacional. Num sentido ideal o termo significa que a medida avalia a magnitude e a direção de todas as características e somente das características do construto que ela pretende estimar". Uma das

4

condições para determinar a validade de um construto é a existência de bases teóricas. Outro elemento é uma definição clara do construto, que é composto pela definição conceitual e pela operacional. A definição conceitual especifica, em termos mais precisos, a natureza do construto. A definição operacional é constituída pela lista dos enunciados (em inglês items) que permitem medir o construto. Além da definição dos construtos, o pesquisador deve identi-ficar as variáveis dependentes e independentes utilizadas.

Uma vez julgados estes elementos, cabe aprofundar o exame da validade propriamente dita que, num sentido mais amplo, é composta pelas validade pragmática (a relevância, já mencio-nada anteriormente), confiabilidade e validade científica. Os elementos que compõem a validade e a confiabilidade estão apresentados a seguir:

M = V + Ea + Es

Validade

Confiabilidade

onde : M = medida V = valor verdadeiro Ea = erro aleatório Es = erro sistemático

A confiabilidade é entendida como uma medida (abstração) do valor verdadeiro acrescido de erros aleatórios, que são problemas externos à pesquisa, como ruídos ou falhas. A validade, por sua vez, é a medida do valor verdadeiro, acrescida do erro aleatório e do erro sistemático. Este último tipo de erro é um problema interno da pesquisa, representado por viéses ou desvios. A confiabilidade é grande quando o erro aleatório está minimizado. A validade é grande quando a medida está próxima do valor verdadeiro, pois os erros aleatório e sistemático estão minimizados.

2.5.1 - Confiabilidade

Confiabilidade significa estabilidade e precisão e está relacionada ao grau de consistência interna da medida, quando os indicadores estão dentro de uma mesma escala, e consistência externa, quando as medidas são consideradas genéricas. Uma medida confiável é aquela que é previsível - há pouca variabilidade - e consistente - o resultado reflete o que se quer medir. O princípio geral da medição da confiabilidade é correlacionar os resultados de uma medida com a sua própria reprodução. O teste mais utilizado para aferir a coerência interna de um conjunto de itens, determinando assim a confiabilidade de uma medida, é o alfa (α) de Cronbach. Quanto mais alto for seu valor (varia de 0 a 1) maior a consistência interna da medida. Porém, é difícil determinar qual o grau mínimo de consistência, pois este depende do estágio e do objetivo de cada pesquisa.

2.5.2 - Validade

De maneira geral, a validade da medida significa "medir o que se quer medir" e diz respeito ao grau de certeza de que as medidas realmente representam os conceitos com erros aleatórios e sistemáticos reduzidos. Existe validade interna quando a pesquisa possui instrumentos de controle e validade externa quando os resultados de uma pesquisa podem ser generalizados. Com o propósito de tornar mais operacional a determinação da validade, procedeu-se a sua subdivisão em cinco grandes tipos diferentes, quais sejam, as validades de conteúdo, aparente (face), de traço, de construto e nomológica, cabendo ressaltar que na literatura especializada existem outras classificações.

A validade de conteúdo permite verificar se todas as características escolhidas para o construto são levadas em conta pela medida e se estas refletem um domínio específico (Peter, 1981). Realiza-se a validação do conteúdo em duas etapas: a geração dos enunciados e o refinamento do instrumento. A geração dos enunciados inicia com uma revisão da literatura e, muitas vezes, o pesquisador deve ainda desenvolver outros enunciados, utilizando técnicas como focus group para gerá-los e classificação de cartões para agrupá-los em construtos. Para a validade aparente, o instrumento de coleta de dados deve ter forma e vocabulário adequados

5

ao propósito da medição. Normalmente efetua-se um pré-teste junto a sujeitos representativos para verificar a clareza e a compreensão dos termos utilizados e refinar o instrumento.

A validade de traço (trait) permite delimitar as características do construto que interessam ao pesquisador e à pesquisa (Peter, 1981). Ela testa a coerência interna de cada medida (confiabilidade), sua consistência sob diferentes enunciados (validade convergente) e sua diferença em relação a outras medidas de construtos diferentes (validade discriminante). A validade convergente é baseada na correlação entre medidas de um mesmo construto, coletadas através de diferentes métodos. Outro modo de aferí-la é verificar se a correlação que existe entre duas medidas do mesmo construto, feitas com ajuda de métodos diferentes, é elevada e significativa. A validade discriminante é baseada numa baixa correlação, pois determina que uma medida deve ser suficientemente diferente de outra que visa medir outro traço. Normalmente a análise fatorial é o teste estatístico mais utilizado.

A validade de construto permite verificar a ligação entre a teoria ou construto (nível concei-tual) e as medidas (nível operacional). Ela avalia a mensuração de todas as características do construto, através da determinação da validade de conteúdo e da validade nomológica, e também avalia a medição de somente aquelas características do construto que são pertinentes para a pesquisa, através das validades convergente e discriminante. As validades de traço e de construto podem ser determinadas através de técnicas multitraço-multimétodo (MTMM) (Churchill, 1979). A validade nomológica testa se as medidas produziram resultados consistentes com o modelo teórico e as hipóteses definida a priori (% de variância explicada), isto é, se o construto medido se comporta de forma esperada.

2.6 - Análise de dados

Em termos de análise de dados julga-se a pertinência e a qualidade de aplicação do método utilizado. No caso de dados qualitativos ou quantitativos, a escolha de um método de análise apropriado varia muito e é por essa razão que a análise dos dados é comentada com detalhes nas seções dedicadas à pesquisa survey, à pesquisa experimental e aos métodos qualitativos.

2.7 - Apresentação dos resultados

Os resultados de uma pesquisa devem ser apresentados de tal forma que o leitor esteja em condição de fazer a ligação com a teoria que serviu no desenvolvimento do modelo de pes-quisa e das hipóteses. O pesquisador deve indicar em que medida os resultados obtidos confir-mam ou negam a teoria inicial e deve explicar as conseqüências dos resultados (explicitando a validade nomológica). Igualmente, deve-se anunciar os limites do estudo, os ligados à própria realização da pesquisa, os decorrentes do construto utilizado e os ligados aos resultados obti-dos. Nesta altura aparece a noção de validade externa, que define em que medida os resultados obtidos podem ser aplicados a outras situações ou outras populações além daquelas referentes ao estudo apresentado. Enfim, o pesquisador deverá fazer recomendações para auxiliar aqueles que desejem, em pesquisas futuras, continuar o trabalho iniciado.

2.8 - Estilo literário e avaliação pessoal

A melhor pesquisa apresentada de modo confusa e desordenada não conseguirá impressionar os leitores. O avaliador deve então assegurar-se que o texto do artigo está claro, bem organizado e redigido em linguagem correta, precisa e simples. As regras de apresentação habituais de citações, referências, tabelas, etc. devem igualmente ser respeitadas.

Ao final, é importante que o avaliador faça a sua apreciação pessoal do artigo e realize uma avaliação subjetiva da utilidade que o artigo pode ter para fins pessoais.

Os critérios de avaliação básicos acima descritos bem como os critérios específicos para cada um dos métodos de pesquisa estão sintetizados em três tabelas (no final do artigo), destinadas a servir de guia de avaliação.

6

3. Avaliação de pesquisas survey (por enquete) Pinsonneault e Kraemer (1993) apresentam três características básicas da pesquisa survey: o fornecimento de descrições quantitativas de aspectos da população estudada (relações entre variáveis, projeções); a coleta de dados, realizada, via de regra, a partir de questionários estruturados e o uso de informações coletadas junto a uma amostra da população-alvo. Os autores também ressaltam esta modalidade é particularmente apropriada quando a questão de pesquisa diz respeito ao quê, ao porquê se dá e ao como se dá um fenômeno dado, o controle das variáveis dependentes e independentes é inviável e o fenômeno pesquisado ocorre no momento presente ou num passado recente e é estudado em seu ambiente natural.

Para estruturar a grade de análise para pesquisas survey (tabela 1), partiu-se dos oito conjuntos de critérios apresentados na seção anterior, complementando e adequando-os às particularidades desta metodologia, conforme exposto a seguir. O exemplo adotado para ilustrar o uso da tabela 1 na avaliação de um artigo de pesquisa survey é o trabalho de Castel-lani e al. (1996), que versa sobre a Internet e aspectos culturais em pesquisa acadêmica.

3.1 - Natureza e objetivo do estudo

A natureza da pesquisa survey pode ser exploratória, descritiva ou explicativa. No caso de uma pesquisa exploratória, trata-se de aprofundar conceitos preliminares, muitas vezes inéditos. Seu objetivo básico é desenvolver hipóteses e proposições que irão redundar em pesquisas complementares. Uma pesquisa survey descritiva tem como objetivo informar o pesquisador sobre situações, fatos, opiniões ou comportamentos que têm lugar na população analisada, buscando mapear a distribuição de um fenômeno na população estudada. Finalmente, a pesquisa survey explicativa é aquela que testa uma teoria e suas relações causais.

3.2 - Fontes de dados e meios de coleta

Os dados, na pesquisa survey, podem originar-se tanto de respostas a um questionário para dados primários coletados especificamente (valores objetivos, estimativas, percepções) como de fontes secundárias já pré-existentes.

Os principais meios de coleta utilizados são os questionário enviado pelo correio, a entrevista semi-estruturada, o questionário utilizado em entrevista com a presença do entrevistador ou o questionário enviado por mídia eletrônica. No caso da adoção de procedimentos para relançar respondentes retardatários, faz-se necessário reportar o seu uso bem como os testes das res-postas dos grupos relançados em relação aos não relançados. Em alguns casos é possível lan-çar mão de procedimentos mistos de coletas de dados, como por exemplo a coleta de dados primários e secundários ou o complemento de surveys por correio com entrevistas aprofunda-das, permitindo obter uma visão enriquecida e um maior grau de convergência (por triangula-ção) na pesquisa. Também é importante deixar explícito qual foi a taxa de respostas obtida, o percentual de não-respondentes bem como o percentual de respostas não-válidas, rejeitadas pelo pesquisador.

3.3 - Análise dos dados

O primeiro item a considerar é a adequação dos métodos estatísticos adotados: paramétricos e não-paramétricos, em função do número de observações realizadas. Além disto, deve-se abordar a validade da conclusão estatística. Conclusões incorretas, ocasionadas por instru-mentos não validados ou a covariação causada por erros do Tipo I ou Tipo II, invalidam-na. Outro fator importante é a robustez estatística, medida pela probabilidade de que as hipóteses

7

nulas tenham sido corretamente rejeitadas. A robustez estatística é uma função α que corresponde ao grau de risco escolhido, ao tamanho da amostra estimada e ao percentual de variância explicada (Baroudi e Orlikowski, 1989).

4. Avaliação de pesquisas experimentais A pesquisa experimental é realizada num meio especialmente criado e permite isolar as variáveis independentes e dependentes, que são estudadas num meio-ambiente controlado. Ela implica numa manipulação dos sujeitos experimentais pelo pesquisador. Dois elementos são críticos na pesquisa experimental, o ambiente experimental (research setting), que inclui o desenho da pesquisa, os sujeitos experimentais, a tarefa experimental e outros materiais experimentais utilizados e a estratégia de pesquisa, que compreende a organização das sessões experimentais e o controle experimental. A pesquisa experimental é do tipo experimentação em laboratório, quando o meio-ambiente criado é artificial, e experimentação no campo, quando são criadas as condições de manipulação dos sujeitos nas próprias organizações (meio natural). Considerando-se o grau de controle exercido pelo pesquisador sobre os sujeitos experimentais, sobre as variáveis independentes e outros fatores intervenientes, fala-se de um desenho experimental quando o grau de controle é elevado, ou de um desenho quase-experimental, quando o controle é menos acentuado (Campbell e Stanley, 1963).

O método experimental é apropriado para descrever fenômenos e explicar teorias. Segundo Benbasat (1989), a pesquisa em laboratório é ideal para a realização de estudos auto-corretivos e cumulativos, pois são replicáveis. Sua principal força é a validade interna obtida através do controle experimental. O grau de generalização é seu ponto fraco. Para melhorá-lo, este autor sugere que as seguintes questões críticas sejam observadas: a utilização de instrumentos de medida testados e validados; a adoção de desenhos de pesquisa e tarefas experimentais compatíveis; e a obtenção da robustez estatística, através da utilização de um grande número de sujeitos experimentais na amostra e da realização de estudos cumulativos.

A avaliação da pesquisa experimental leva em conta os elementos apresentados na seção 2 e os critérios específicos da pesquisa survey relativos à validação dos instrumentos de medida. A seguir detalham-se as particularidades da avaliação do método experimental e a grade de avaliação resultante está apresentada ao final do artigo (tabela 2). O exemplo adotado para avaliar um artigo de pesquisa é o estudo de Freitas e al. (1995), que trata da verificação do impacto de um SAD na redução das dificuldades do decisor.

4.1 - Desenho da pesquisa

O desenho da pesquisa, um dos elementos-chave da metodologia, é composto pelo desenho, pela tarefa, pelos sujeitos e pelo controle experimental. Fazem parte do desenho experimental o modelo do desenho; o ambiente experimental criado (research setting), contendo a escolha dos sujeitos experimentais, a escolha ou o desenvolvimento da tarefa experimental; a des-crição do local da experiência; os estudos-piloto realizados e o número e representatividade dos sujeitos experimentais. As tarefas da experimentação em laboratório não abrangem todas as características das que são desenvolvidas num ambiente organizacional real. Elas são menos complexas e a informação necessária à sua compreensão e execução é menos difusa. A menção do tipo de tarefa e de suas características são importantes para a generalização e a repetição da pesquisa. O pré-teste é necessário para aquelas tarefas que o pesquisador desenvolve especificamente para o seu experimento. Os sujeitos experimentais são avaliados a partir de sua representatividade (realismo, objetivo do estudo) e da dimensão da amostra.

O controle experimental é avaliado com base na descrição das variáveis independentes; no controle dos fatores de contaminação (distribuição aleatória dos sujeitos nos grupos

8

experimentais e de controle; treinamento homogêneo dos sujeitos na tarefa experimental ou nos instrumentos de apoio à decisão adotados); no controle da contaminação durante o experimento (isolamento dos grupos que foram submetidos aos tratamentos experimentais); na utilização de grupos de controle; na adoção de tratamentos múltiplos e diferenciados; na utilização de dados de base de outros experimentos (baseline data); no uso de medições pré e pós-experimento e, finalmente, na duração do tratamento efetuado nos grupos experimentais.

4.2 - Instrumentos de medida e de coleta de dados

A coleta de dados é obstrutiva, quando interfere na execução da tarefa (enunciado em voz alta das etapas e dos elementos utilizados na sua resolução), e não-obstrutiva, quando não interfere (gravação em áudio ou vídeo do processo de decisão observado). A coleta não obstrutiva interfere menos no processo observado porém, muitas vezes, coleta dados menos ricos. A modalidade de coleta compreende o suporte empregado: o papel, o meio magnético e ótico, o meio audio-visual (fitas cassete de áudio e vídeo). Entrevistas com os participantes, feitas ao final para avaliar o processo experimental, enriquecem os resultados da pesquisa.

4.3 - Análise dos dados

Inicialmente, é necessário examinar a codificação e a transcrição dos dados (os protocolos de análise), a partir da descrição do processo; da explicitação dos protocolos de codificação dos dados e do teste de confiabilidade da codificação dos dados (confronto dos erros dos diferentes codificadores). A análise propriamente dita divide-se em análise de correlação ou de causalidade entre as variáveis e análise do processo experimental observado.

5. Avaliação de pesquisas qualitativas As metodologias qualitativas são constituídas por um conjunto de técnicas interpretativas (e também positivistas, quando se trata de estudos de caso) que têm por meta retraçar, decodi-ficar ou traduzir fenômenos sociais naturais, com vistas à obtenção de elementos relevantes para descrever ou explicar estes fenômenos (Van Maanen, 1983). A adoção de métodos qualitativos se justifica sempre que a pesquisa envolver o estudo de SI no seu contexto real; a descrição e compreensão do estado da arte naquelas situações onde a prática se antecipa à teoria; o estudo de fenômenos complexos, nos quais os fatores contextuais devem ser exaustivamente analisados e a resposta a questões do tipo como e porquê acerca da natureza e da complexidade dos processos observados (Benbasat e al., 1987).

De acordo com o nível de envolvimento do pesquisador, do grau de controle exercido e da temporalidade da pesquisa, os principais métodos de pesquisa qualitativa são o estudo de caso, a observação participante e a pesquisa-ação. O estudo de caso examina um determinado fenômeno em seu meio natural, a partir de múltiplas fontes de evidência (indivíduos, grupos, organizações), empregando métodos diversificados de coleta e análise de dados (entrevistas, surveys, dados secundários como atas, relatórios, memorandos, etc.). O estudo de caso permite focalizar tanto fenômenos em curso como os que aconteceram no passado. A obser-vação participante aplica-se aos fenômenos sociais que estão em andamento. O pesquisador é um observador que não intervém, adotando uma perspectiva passiva. O observador pode acu-mular os papéis de pesquisador e membro da organização, pode ser um pesquisador designado e reconhecido como tal na organização, pode ser um pesquisador com uma participação inter-mitente ou, ainda, pode ser um observador não-participante. Neste último caso, o pesquisador deve evitar toda e qualquer interação com os sujeitos observados. Na pesquisa-ação, o pesqui-sador está envolvido simultaneamente na manipulação de certas variáveis e na avaliação dos fenômenos observados. A descrição dos procedimentos adotados para passar da ação (papel de agente) para a observação (papel de observador e analista) é importante.

9

Na descrição, a seguir, das particularidades dos critérios de avaliação dos métodos qualitativos, levou-se em conta o já descrito anteriormente em relação à pesquisa survey e ao método experimental. A grade de avaliação resultante encontra-se na tabela 3, ao final do texto, e o exemplo adotado é o artigo de Cunha (1995), um estudo de caso sobre a administração de recursos de Informática Pública. O preenchimento desta grade exige uma maior dose de interpretação por parte do avaliador, principalmente quando se trata da pertinência e da qualidade do estudo.

5.1 - Posição epistemológica

Os critérios de avaliação variam radicalmente, dependendo se a posição epistemológica do pesquisador é positivista ou interpretativa. Na visão positivista, parte-se do pressuposto que os fenômenos sociais podem ser estudados objetivamente. Na posição epistemológica interpretativa as pesquisas adotam a premissa de que as pessoas criam e associam seus próprios significados subjetivos e intersubjetivos quando interagem com o mundo que os cerca (Orlikowski e Baroudi, 1991). Nesta situação, o pesquisador procura explicar os fenômenos em estudo segundo o ponto de vista dos sujeitos observados, não impondo pontos de vista externos e formulados a priori. Quando da análise de um artigo científico, deve-se sinalizar, na grade de análise, a posição epistemológica por um P (positivista) ou um I (interpretativa).

5.2 - Desenho da pesquisa

Em algumas ocasiões, o pesquisador poderá adotar mais de uma metodologia (estudo de caso, observação participante, etc.), para reunir um maior número de informações pertinentes e assim melhor analisar o objeto do estudo, numa abordagem multi-métodos. Um certo controle do campo de observação (natural setting) pode ser obtido cruzando informações de mais de um terreno de observação e acompanhando mudanças naturais sofridas por algumas variáveis. A presença deste tipo de controle no desenho de pesquisa aumenta, consideravelmente, o grau de validade interna do estudo.

5.3 - Instrumentos de medida e coleta de dados

As fontes de informação devem ser escolhidas, levando em conta sua representatividade e número, e a sua escolha deve ser enunciada no artigo. Os meios de coleta utilizados podem ser questionários, entrevistas, análise de documentos e observação direta.

5.4 - Análise dos dados

O que mais importa na pesquisa qualitativa é que o pesquisador, a partir dos dados colhidos, obtenha um conjunto de informações que lhe permita dar um sentido àquilo que está sendo estudado, convencendo o leitor da pertinência e veracidade de sua análise, através da organização de cadeias de evidência. A validade interna do estudo depende fortemente da clareza destas cadeias.

A análise de dados em pesquisas qualitativas normalmente compreende três etapas: a codifi-cação dos dados, a sua apresentação de forma mais estruturada e a análise propriamente dita (Silverman, 1995). A codificação e a análise são complexas porque baseiam-se, em geral, em palavras e não em números. Por sua natureza, palavras são mais densas que números, porque possuem vários sentidos, dando mais margem de interpretação e são coletadas em grandes quantidades. Para extrair o máximo dos dados qualitativos, Van Maanen (1983) recomenda uma codificação das anotações e das observações, na qual os códigos significam categorias representativas da questão de pesquisa e dos temas e conceitos importantes.

Quando da apresentação dos dados, o pesquisador deve optar entre um texto narrativo, mais difícil de consultar porque as informações-chave estão dispersas, e outras formas de

10

apresentação, tais como matrizes, diagramas contextuais e diagramas ou modelos causais. Yin (1989) coloca que uma apresentação é boa quando todos os elementos significativos são apresentados, perspectivas diferentes são levadas em consideração, os elementos críticos de análise são expostos e o estudo é de leitura fácil e agradável.

A análise dos dados propriamente dita consiste na etapa mais difícil e exigente da pesquisa qualitativa, porque as estratégias e técnicas de análise apresentam uma diversidade muito grande. Yin (1989) propõe, principalmente para as pesquisas do tipo estudo de caso, duas estratégias gerais de análise, o uso de bases teóricas e o desenvolvimento de uma descrição do caso, e três modos de análise, a procura de padrões que se adequam ao modelo de pesquisa (pattern-matching), a construção de uma explicação (explanation building) e a análise dos dados quantitativos obtidos (normalmente a título de complementação).

O uso de bases teóricas permite fundamentar a análise na questão de pesquisa e nas dimensões importantes contidas. O desenvolvimento de uma análise descritiva é realizada quando o objeto de estudo é pouco ou mal conhecido. A adequação da análise a um modelo de pesquisa permite comparar os dados obtidos a um modelo de pesquisa estabelecido e, quando for o caso, explicar porque e como o caso em estudo, a pesquisa-ação ou a observação participante são uma boa ilustração do modelo adotado. A construção de uma explicação é mais utilizada em pesquisas de natureza exploratória, visando derivar novas questões de pesquisa ou hipóteses a partir dos dados analisados. Finalmente, a análise dos dados quantitativos é efetuada do mesmo modo que os das pesquisas do tipo survey ou experimental.

Conclusão O conjunto de critérios de avaliação detalhados neste artigo visa contribuir para uma avaliação mais rigorosa da pesquisa realizada em SI. As três grades de análise desenvolvidas para as pesquisas survey, experimental e qualitativa têm como objetivo orientar e tornar mais fácil e produtiva a avaliação de pesquisas na área de SI, e o seu uso foi ilustrado com três artigos publicados recentemente nos Anais do ENANPAD.

As três grades foram estruturadas, inicialmente, por ocasião de um seminário de doutoramento realizado em 1994 no HEC de Montréal, que tratou das metodologias de pesquisa em SI. No decorrer deste seminário cada uma das grades foi testada em no mínimo oito artigos. Posteriormente, em seminários sobre métodos de pesquisa em SI realizados em 1995 e 1996 no PPGA-UFRGS, foram incorporadas modificações adicionais, fruto da análise e discussão de no mínimo cinco novos artigos para cada uma das grades.

Para finalizar, é importante ressaltar que estas grades não têm como objetivo constituírem-se em uma fórmula pronta, a ser aplicada automaticamente quando da avaliação de uma pesqui-sa. Pretendem, isto sim, servir como uma ferramenta de apoio no mapeamento das forças e fraquezas de um trabalho de pesquisa desenvolvido na área de SI. Neste sentido, a presença dos itens da grade no artigo em análise importa menos do que a sua relevância e qualidade.

11

Referências bibliográficas BAROUDI, J.J. & ORLIKOWSKI, W.J. (1989) The problem of statistical power in MIS research. MIS Quarterly,

v.13, n.1, p.87-106. BENBASAT, I. (1989) Laboratory experiments in information systems studies with a focus on individuals: a

critical appraisal, in BENBASAT, I. (ed.): The information systems research challenge: survey research methods. Harvard Business School Research Colloquium, v.2, Harvard Business School, Boston, p.33-47.

BENBASAT, I., GOLDSTEIN, D.K. & MEAD, M. (1987) The case research strategy in studies of information systems. MIS Quarterly, v.11, n.3, September, p.369-386.

CAMPBELL, D.T. & STANLEY, J.C. (1963) Experimental and quasi-experimental designs for research. Boston: Houghton Mifflin Company.

CASTELLANI, M.R. & AL. (1996) Redes de Comunicação Eletrônica (Internet), Aspectos culturais em pesquisa acadêmica: Um estudo entre os professores e alunos da FEA-USP. Anais do XX ENANPAD, vol. Administração da Informação, setembro, p.187-202.

CHURCHIL JR., G.A. (1979) A paradigm for developing better measures of marketing constructs. Journal of Marketing Research, February, p.64-73.

CUNHA, M.A. (1995) Administração dos Recursos de Informática Pública: Estudo de caso do modelo paranaense. Revista Brasileira de Administração Contemporânea, v.1, n.4, p.193-210.

EVRARD, Y., PRAS, B. & ROUX, E. (1993) Market: Études e Recherches en Marketing. Paris: Nathan. FREITAS, H.M., KLADIS, C.M. & BECKER, J.L. (1995) Verificação do impacto de um SAD na redução das

dificuldades do decisor. Revista Brasileira de Administração Contemporânea, v.1, n.4, p.105-133. KRAEMER, K.L. & DUTTON, W.H. (1991) Survey research in the study of management information systems, in

KRAEMER, K.I. (ed.): The information systems research challenge: survey research methods, Harvard Business School Research Colloquium, v.3, Harvard Business School, Boston, p.3-57.

LEE, A.S. (1989) A scientific methodology for MIS case studies. MIS Quarterly, v.13, n.1, March, p.33-50. MASON, R. (1989) MIS experiments: a pragmatic evaluation, in BENBASAT, I. (ed.): The information systems

research challenge: survey research methods. Harvard Business School Research Colloquium, v.2, Harvard Business School, Boston, p.21-29.

MATTAR, F. (1992) Pesquisa em Marketing: metodologia, planejamento, execução e análise. São Paulo: Atlas. ORLIKOWSKI, W.J. & BAROUDI, J.J. (1991) Studying information technology in organizations: research

approaches and assumptions. Information Systems Research, v.2, n.1, p.21-28. PETER, P.J. (1981) Construct validity: a review of basic issues and marketing practices. Journal of Marketing

Research, May, p.133-145. PINSONNEAULT, A. & KRAEMER, K.L. (1993) Survey research methodology in management information

systems: an assessment. Journal of Management Information Systems, v.10, n.2, Autumn, p.75-105. SELLTIZ, C., JAHODA, M., DEUTSCH, M. & COOK, S.W. (1965) Métodos de Pesquisa nas Relações Sociais. São

Paulo: Editora Herder, 4a. Reimpressão, 1974. SILVERMAN, D. (1995) Interpreting qualitative data: Methods for analyzing talk, text and interaction. Newbury

Park (CA): Sage Publications. STRAUB, D.W. (1989) Validating instruments in MIS research. MIS Quarterly, June, p.147-169. SUTTON, R. & STAW, B. (1995) What Theory is not. Administrative Science Quarterly, vol. 40, P.371-384. VAN MAANEN, J. (ed.) (1983): Qualitative methodology. Newbury Park (CA): Sage Publications. YIN, R. (1989) Case study research: design and methods. Applied Social Research Methods Series, v.5, rev. ed.

Newbury Park (CA): Sage Publications. ZMUD, R.W. & BOYNTON, A.C. (1991) Survey measures and instruments in MIS: inventory and appraisal, in

KRAEMER, K.L (ed.): The information systems research challenge: survey research methods. Harvard Business School Research Colloquium, v.3, Harvard Business School, Boston, p.149-180.

12

Tabela 1 - Grade de Análise para o Método de Pesquisa Survey

AUTOR (ES) : Castellani, M.R. e al. TÍTULO : Redes de Comunicação Eletrônica (Internet): As- pectos culturais em pesquisa acadêmica PERIÓDICO : Anais XX ENANPAD, vol. Admin. da Informação ANO PUBLICAÇÃO :1996 ESTRATÉGIA X NATUREZA

Pertinência da estratégia X Natureza da pesquisa (exploratória, descritiva, explanatória)

estratégia pertinente para um estudo exploratório

QUESTÃO DE PESQUISA

Contribuição para o domínio (pertinência e realismo x rigor e controle)

bom realismo; rigor metodológico regular: não há indicações sobre o instrumento pesq.

A quem interessa? (pesquisador, profissionais) pesquisadores, acadêmicos Justificativa coerente com os objetivos Teorias de base (identificação, relevância)) não apresentadas Objetivo (formulação, relevância) bem formulados, relevantes Questão de pesquisa (formulação, relevância) não descritas Hipóteses / pressupostos de base (formulação, relevância) não anunciadas DESENHO Modelo de pesquisa (identificação, clareza) não apresentado DE PESQUISA Tipo de estudo (longitudinal, corte transversal) survey: corte transversal Mix de métodos (tipos) sim: survey e estudo de caso Desenho de pesquisa (formulação, adequação) não formulado claramente Unidade de análise (definição, pertinência) organização (FEA-USP), é pertinente Operacionalização das variáveis (como, é apropriado?) não descrita Desenho e análise dos dados (adequação) - INSTRUMENTOS Tipo de instrumento (questionário, roteiro de entrevista,...) questionário e entrevista semi-estruturada DE MEDIDA E Estratégia de aplicação (entrevista, preenchimento direto.) preenchimento direto e entrevista COLETADOS DADOS Tipo de dados (numéricos, alfabéticos, texto, primários,...) numéricos (prim.) e textuais (prim e sec.) Escolha do instrumento (critérios, validação,...) não indicado Validade do conteúdo:

- geração dos enunciados (pré-teste, pós-teste) - aperfeiçoamento do instrumento

não mencionado e, aparentemente, não realizado

Clareza dos termos - Respondentes (descrição, representatividade) sim, alta representatividade Tamanho da amostra universo, tamanho não explicitado Tipo de amostra (aleatória, intencional) universo Modo de coleta (papel, gravação áudio-vídeo,...) e-mail, em papel Relançamento dos ainda não-respondentes não indicado Taxa de resposta indicada parcialmente Teste do viés (respondentes, não-respondentes) não realizado VALIDADE DOS Definições (conceitual e operacional) não apresentadas CONSTRUTOS Variáveis independentes (descrição, operacionalização) apresentadas de maneira disseminada Variáveis dependentes (descrição, operacionalização) indicada, análise pouco desenvolvida Confiabilidade (medidas simples, múltiplas) teste não efetuado Validade convergente (tipo de teste, qualidade) teste não efetuado Validade discriminante (tipo de teste, qualidade) teste não efetuado ANÁLISE Pertinência dos testes estatísticos testes simples, adequados para a situação DOS DADOS Validade das conclusões estatísticas não se aplica Robustez (power analysis) não se aplica Validade preditiva não se aplica APRESENTAÇÃO Interpretação dos dados (clareza, profundidade,...) clara mas com profundidade regular DOS RESULTADOS Validade nomológica não se aplica Limites do estudo não explicitados Recomendações não efetuadas ESTILO Organização do texto bem encadeado Clareza do texto sim AVALIAÇÃO PESSOAL

Síntese qualidade regular, pouco rigor do método por falta de validação do instrumento de pesquisa

Utilidade para o avaliador interessante para novas pesquisas

13

Tabela 2 - Grade de Análise para o Método de Pesquisa Experimental

AUTOR(ES): Freitas, H.M.; Kladis, C.M. e Becker, J.L. TÍTULO: Verificação do impacto de um SAD na redução das dificul- dades do decisor PERIÓDICO : Revista Brasileira de Administração Contemporânea, v.1, n.4 ANO PUBLICAÇÃO : 1995 ESTRATÉGIA X NATUREZA

Pertinência da estratégia X Natureza da pesquisa (exploratória, descritiva, explanatória)

depreende-se que é exploratória, a estratégia é pertinente

QUESTÃO DE PESQUISA Contribuição para o domínio (pertinência e realismo x rigor e controle)

pertinência regular, pouco rigor experimental

A quem interessa? (pesquisador, profissionais) pesquisadores Justificativa coerente com os objetivos Teorias de base (identificação e relevância) identificadas e apresentadas Objetivo (formulação, relevância) formulação não clara Questão de pesquisa (formulação, clareza, relevância) não apresentada Hipóteses / pressupostos de base (formulação, relevância) não especificados DESENHO DE PESQUISA Tipo de pesquisa (experimental, quasi-experimental) experimental em laboratório Desenho experimental (formulação, adequação): não detalhado no seu todo - modelo não especificado - ambiente de pesquisa (laboratório, campo) laboratório - descrição do local da experiência não descrito - estudo piloto não especificado Unidade de análise (definição, pertinência) falta clareza na sua definição Operacionalização das variáveis (como, é apropriado ?) bem descrita Tarefa experimental (descrição, adequação): descrita e adequada - específica/reutilizada específica - tipo tomada de decisão - atributos média complexidade - pré-teste não efetuado Sujeitos experimentais (identificação): estudantes grad. e pós-graduação - representatividade pequena - tamanho da amostra (pré-pós experimentação) 20 + 20 - teste do viés não se aplica Materiais experimentais (descrição, qualidade) apresentados Estratégia de pesquisa (notação de Campbell) grupo controle e pós-teste Controle experimental (adequação, rigor): regular, sem pré-teste - Variáveis independentes (descrição, operacionalização) sim - Variáveis dependentes (descrição, operacionalização) não especificadas - Variáveis intervenientes não consideradas - Fatores poluentes e de contaminação não mencionados - Grupos experimentais e de controle (quantidade, randomização) 2, 4 e 5, impede comparação

inter-grupos - Tratamentos múltiplos tratamento único - Medidas pré e pós teste somente pós-teste - Observação do processo não relatado - Uso de dados de base (baseline data) não - Duração do estudo/Intervalo entre tratamentos não relatado Adequação entre desenho e análise dos dados está bem INSTRUMENTOS DE Tipo de instrumento (questionário, roteiro de entrevista,...) questionário, escala de likert MEDIDA E Estratégia de aplicação (entrevista, preenchimento direto, ...) preenchimento pós-experimento COLETA DOS DADOS Tipo de dados (numéricos, alfabéticos, texto, primários, secundários) numéricos Escolha do instrumento (critérios, validação,...) não apresentado Validade do conteúdo: não apresentado - geração dos enunciados (pré-teste, pós-teste) - - aperfeiçoamento do instrumento - Clareza dos termos boa Modo de coleta (gravação áudio-vídeo,.log no computador..) áudio, resultado não apresentado Entrevista pós-experimentação resultados não apresentados

14

VALIDADE DOS Definições (conceitual e operacional) sim CONSTRUTOS Confiabilidade (medidas simples, múltiplas) alfa de Cronbach Validade convergente (tipo de teste, qualidade) não Validade discriminante (tipo de teste, qualidade) não ANÁLISE DOS DADOS Codificação e transcrição dos dados: não apresentado - descrição do processo - - protocolo de codificação (descrição) - - teste de confiabilidade - Tipo de análise: comparação de médias - correlação - causalidade não - processo observado não Pertinência dos testes estatísticos testes simples Validade das conclusões estatísticas não Robustez (power analysis) não Validade preditiva não se aplica APRESENTAÇÃO DOS Interpretação dos dados (clareza, profundidade,...) clara RESULTADOS Validade nomológica não se aplica Limites do estudo bem explicitados Recomendações bem desenvolvidas Validade externa (generalização) pequena, primeiro experimento - cumulativa e auto-corretiva não se aplica - replicação não ESTILO Organização do texto estrutura clara Clareza do texto problemas na unidade de análise:

grupo x indivíduos AVALIAÇÃO PESSOAL

Síntese experimento interessante, quali-dade regular, faltou um maior rigor na validação dos instrum-entos de pesquisa e uma descri-ção do processo decisório, anun-ciada mas não apresentada

Utilidade para o avaliador a pesquisa pode ser replicada por alunos de mestrado

Tabela 3 - Grade de Análise para os Métodos de Pesquisa Qualitativos

AUTOR (ES) : Cunha, M.A. TÍTULO : Administração dos recursos de Informática Pública: Estudo de caso do modelo paranaense PERIÓDICO : Rev. Brasileira de Administração Contemporânea, v.1, n.4 ANO PUBLICAÇÃO :1995 POSIÇÃO EPISTEMOLÓGICA

(P) - Positivista (I) - Interpretativa Positivista (não claramente anunciado)

ESTRATÉGIA X NATUREZA

Pertinência da estratégia X Natureza da pesquisa (exploratória, descritiva, explanatória)

natureza exploratória, estratégia adequada

QUESTÃO DE PESQUISA (PI) Contribuição ao domínio (pertinência, realismo x rigor, controle) grande realismo, não há controle (PI) A quem interessa? (pesquisador, profissionais) profissionais e pesquisadores (PI) Justificativa adequada Bases teóricas: - teorias de base (identificação, pertinência) (PI) não desenvolvidas - teorias rivais (P) não apresentadas (PI) Objetivo (formulação, relevância) pouco específico (PI) Questão de pesquisa (formulação, relevância) não apresentada (P) Formulação de premissas (relevância) não apresentada

15

DESENHO DE PESQUISA (P) Modelo de pesquisa (identificação, clareza) não explicitado (PI) Tipo de metodologia (caso, observação-participante, pesquisa-ação) estudo de caso (P) Mix de métodos (tipos) não (PI) Desenho de pesquisa (formulação, adequação) não explicitado (PI) Unidade de análise (definição, pertinência) modelo de gestão, pertinente (P) Operacionalização das variáveis (como, é apropriado?) somente apresentada Ambiente: - representatividade alta - número de ambientes estudados não apresentado - escolha dos ambientes não mencionado - características das ocorrências não apresentadas (P) Controle do ambiente (natural setting) não se aplica (PI) Desenho e análise dos dados (adequação) está bem, dentro das limitações INSTRUMENTOS DE (PI) Tipo de instrumento (questionário, roteiro de entrevista,...) não descrito MEDIDA E COLETA DE (PI) Estratégia de aplicação (entrevista, preenchimento direto, ...) não descrito DADOS (PI) Tipo de dados (numéricos, alfabéticos, texto, primários...) texto (P) Instrumentos estruturados: não apresentados - escolha do instrumento (critérios, validação,...) - - clareza dos termos - - validade do conteúdo (geração dos enunciados (pré-teste, pós-teste)) - (PI) Respondentes (escolha fontes, descrição, representatividade, número) não apresentados (PI) Modo de coleta (papel, gravação áudio-vídeo,...) não apresentado VALIDADE DOS (P) Definições (conceitual e operacional) apresentados somente na análise CONSTRUTOS (P) Confiabilidade (medidas simples, múltiplas) - (P) Validade convergente (tipo de teste, qualidade) - (P) Validade discriminante (tipo de teste, qualidade) - ANÁLISE DOS DADOS (PI) Codificação e transcrição dos dados: não descrita - descrição do processo - - descrição do protocolo de codificação - - teste de confiabilidade - (PI) Análise do processo observado não se aplica, cross-sectional (PI) Validade interna não dá para avaliar (P) Validade preditiva não se aplica APRESENTAÇÃO (PI) Interpretação dos dados (clareza, profundidade,...) há um modelo de análise DOS RESULTADOS (P) Validade nomológica não se aplica (PI) Limites do estudo bem desenvolvidos (PI) Recomendações apresentadas (PI) Descrição posição do pesquisador e processo de pesquisa implícita ESTILO (PI) Organização do texto boa (PI) Clareza do texto boa (PI) Utilização de quadros e figuras sim, auxilia compreensão AVALIAÇÃO PESSOAL (PI) Síntese qualidade somente regular:

análise dos resultados não fundamenta teoricamente e metodologia de pesquisa incompleta (como coletou, de onde vieram os dados, etc.)

(PI) Utilidade para o avaliador exemplo de estudo de caso positivista