11/09/2015

1

REVISÕES SISTEMÁTICAS DE LITERATURA

Joyce de Andrade RuizReymard Sávio Sampaio de Melo

Ariovaldo Denis Granja

ESTRUTURA DA APRESENTAÇÃO

1. Paradigma baseado em evidências

2. Mapeamento Sistemático de Literatura (MSL)

3. Revisão Sistemática de Literatura (RSL)

PARADIGMA BASEADO EM EVIDÊNCIAS

Paradigma baseado em evidências: Origem

Professor Archibald Leman Cochrane é um dos pioneiros e

fundadores da medicina baseada em evidências.

"Eu sabia que o que eu tinha para oferecer contra a tuberculose não tinha efeito e nem evidência real de resultados e estava com medo de estar encurtando a vida de alguns dos meus amigos com intervenções desnecessárias."

11/09/2015

2

Paradigma baseado em evidências

• Crise no campo da medicina provocada por três fatores:

1. Custos assistenciais;

2. Métodos obsoletos;

3. Grande volume e heterogeneidade

de produção científica.

com base em evidências...

• Abordagem para estudos empíricos

• Identificar as melhores evidências de pesquisa em um dado domínio do conhecimento

• Para orientar a prática e para formular políticas

• Instrumento: revisões sistemáticas

(KITCHENHAM, 2007)

Paradigma baseado em evidências - medicina

Mecanismos para identificar e agregar as melhores

evidências: RSL

MEDICINA BASEADA

EM EVIDÊNCIAS

Experiência clínica

Melhores evidências científicas existentes

Valores do paciente

Paradigma baseado em evidências

“Evidence-based Medicine” “Evidence-based Design”

“Evidence-based Software Engineering”“Evidence-based Management”

11/09/2015

3

Revisões Sistemáticas – Por que?

• Aumentar conhecimento (com base no que outros já fizeram)

• Contribuição original (não reinventar a roda!)

• Quem são os principais autores no assunto?

• Quais as lacunas de conhecimento?

• Ajuda a formular questões relevantes de pesquisa

http://beckerguides.wustl.edu/SystematicReviews

(LIMA, 2014)

Tradicional, MSL e RSL

Busca aleatória

(risco de viés?)

Revisão Narrativa

Tradicional

Pergunta AMPLA

POUCAS evidências

Mapeamento sistemático

de literatura (MSL)

Pergunta RESTRITA

MUITAS evidências

Revisão sistemática de

literature (RSL)

Estratégia de pesquisa

bem definida

Estratégia de pesquisa

bem definida

MAPEAMENTO SISTEMÁTICO DE LITERATURA (MSL)

O QUE É UM MSL?OU REVISÃO DE ESCOPO (SCOPING REVIEW)

11/09/2015

4

MSL(pergunta ampla, poucas evidências)

• Uma forma de estudo secundário para:

– Identificar e classificar um conjunto de estudos primários relevantes sobre um assunto

–Descobrir lacunas de conhecimento (evidence gaps) – onde mais estudos primários são necessários

– Se muitas evidências disponíveis => RSL

RAZÕES PARA UM MSL?

Hoje em dia: muita publicação e fácil acesso (digital)

Qualidade e Abrangência

Formular/Refinar questão de Pesquisa

Encontrar correlações e contrapontos no tema

Sistematização/Replicação

Assertividade (foco)

Menor custo em comparação a novos estudos primários

Evitar viés (muitas vezes sem intenção)Evitar desconhecimento sobre a literatura em dado tópico

ONDE SE CHEGA COM UM MSL?

11/09/2015

5

* Textos selecionados e aderentes ao tema de pesquisa

* Publicações de Qualidade (crivo dos periódicos)

* Fazer uma análise bibliométrica da amostra de textos

obtidos

* Identificar:

- Lacunas de conhecimentos

- Pesquisadores

- Pesquisas correlatas

- Contrapontos

COMO FAZER UM MSL?

“COLLABORATION TO EXTEND TARGET COSTING TO NON-MULTI-PARTY CONTRACTED PROJECTS: EVIDENCE FROM

LITERATURE”

REYMARD SAVIO SAMPAIO DE MELO ET AL.

EXEMPLO MSL

Questão de pesquisa(MSL => questão ampla, poucas evidências)

“Which research topics have been covered for promoting collaboration among key project stakeholders (owner, designers, general contractor and trade partners) when their incentives are not aligned through contractual arrangements?”

11/09/2015

6

Método

Definição dos termos de busca

Seleção e Compreensão das

bases de dados

Formulação da string de busca

Critérios de seleção dos

artigos

“Amostragem em Bola de Neve”

Extraçãosistematizada de

dados

Codificação de dados

Análise de dados

Síntese de dados

* Questão de pesquisa

* Tema a ser investigado para refinar

questão

* Idioma palavras da busca

* Possíveis variações das palavras-chave

Definição dos termos de busca

Quais são

as suas

palavras-

chaves??

Definição dos termos de busca

“Which research topics have been covered for promoting

collaboration among key project stakeholders (owner,

architect, engineers, contractor and subcontractors) when

their incentives are not aligned through multi-party

contracts?”

*construction

Seleção e compreensão das bases de dados

Compendex Scopus

Web of Science

Google Acadêmico

IGLC Proceedings

Revista Ambiente Construído

11/09/2015

7

Formulação da string de busca

collaborati* OR partner* AND incentive AND construction

11/09/2015

8

Resultado da busca (2002 – 2012)

133 artigos

Construction

Incentives Collaboration

Critérios de seleção de artigos

133

40

Teórico ou empírico

Colaboração ou temas

correlacionados

non-English languages

BIM or relational

contracts

Ricardo Codinhoto, Patricia Tzortzopoulos, Mike Kagioglou, Ghassan Aouad

HaCIRIC, University of Salford, UK

Exemplo de critérios de avaliação de qualidade

Critérios de avaliação de qualidade

11/09/2015

9

Critérios de avaliação de qualidadeAmostragem em Bola de Neve

+7

* Organizar dados em planilha eletrônica que

possibilite a análise e classificação dos dados

* Alinhar:

- Títulos (importante p/ remover duplicidades)

- Autores

- Ano de publicação

- Veículo de publicação

- Colunas com classificações complementares (a

critério e necessidade de cada pesquisador)

Codificação de Dados Extração sistematizada de dados

Autores

Título

Periódico

Ano de publicação

Objetivo da pesquisa

11/09/2015

10

Análise e Síntese de Dados

14

9

4

6

3 3

Project

Partnering

Incentive

Systems

Public-

private

partnership

Cooperative

procurement

Social

network

analysis

Trust

Project

alliancing

9

Evidence clusters

Scarce Evidence

• A realização do MSL possibilitou ao pesquisador:

Identificar e classificar um conjunto de publicações

no assunto

Identificar temáticas estudadas e lacunas

As lacunas identificadas ajustaram o foco e a futura

contribuição da pesquisa

Temáticas mais estudadas podem motivar uma RSL

Conclusão

11/09/2015

11

REVISÃO SISTEMÁTICA DE LITERATURA (RSL)

O QUE É UMA RSL?

RSL(questão restrita, amplas evidências)

• Uma forma de estudo secundário para:

–Encontrar estudos primários relevantes sobre um assunto, de forma objetiva e sem viés

–Extrair e agregar dados destes estudos

–RSL

– Se poucas evidências disponíveis => MSLCOMO FAZER UMA RSL?

11/09/2015

12

DESVIOS DE CUSTOS E PRAZOS EM

EMPREENDIMENTOS DA CONSTRUÇÃO CIVIL:

CATEGORIZAÇÃO E FATORES DE INFLUÊNCIA

ELISA ATÁLIA DANIEL MUIANGA ET AL.

EXEMPLO RSL

Questão de pesquisa(RSL => questão restrita, amplas evidências)

“Quais são os fatores responsáveis por desviosde custos e prazos em empreendimentos da construção civil”

Motivação para o Artigo

Realizar uma Revisão Sistemática de Literatura (RSL) (estudo secundário) como pré-requisito para a

Pesquisa Principal (estudo primário) que é:

APLICAÇÃO DO QUESTIONÁRIO EM AGENTES DE MOÇAMBIQUE P/ DETERMINAR OS FATORES MAIS

RELEVANTES NA OCORRÊNCIA DE DESVIOS DE CUSTOS E PRAZOS

Objetivo do Artigo

RSL sobre desvios de prazos e custos p/determinar uma estrutura de categorização e

fatores responsáveis por esses desvios

CATEGORIZAÇÃO:• Auxiliar a diagnosticar os fatores mais relevantes• Servir de base para a adoção de estratégias de

tomada de decisão• Visar à maior conformidade dos custos e prazos

inicialmente planejados

11/09/2015

13

RSL

Primeiro Estágio – Planejamento da revisão

Identificação das necessidades da pesquisa

Preparação da proposta para a revisão

Desenvolvimento do protocolo da revisão

Segundo Estágio – Condução da revisão

Identificação da pesquisa

Seleção dos estudos

Avaliação da qualidade dos estudos

Extração de dados

Síntese de dados

Terceiro Estágio – Disseminação e relatório

Relatório e recomendações

Uso das evidências na prática

Fonte: Kitchenham et al. (2009)

Estágios e etapas para condução da RSL

MSL

RSL

RSLQuestão a ser respondida:

“quais são os fatores responsáveis por desvios de custos e prazos em empreendimentos da construção civil?”

1º Palavras-chave (inglês e português)2º String de busca: “atraso”, “desvios de prazo”, “time overrun”, “desvios de custos” e “cost overrun” + “construction”3º Bases de dados (Web Of Knowledge, Science Direct, Scopus e Scielo)4º Filtros:- Análise dos temas- Duplicidades- Leitura dos resumos (e objetivos, resultados, principais

conclusões)- “Amostragem bola de neve” (Snowball Sampling)

Condução da RSLAnálise da distribuição global do

percentual de quantidade de pesquisas

publicadas sobre desvios de custos e

prazos

46 diferentes

periódicos

RSL[em quantidade de textos]+7.218 (sem filtros)

-6.015 (não relacionados à construção civil, prazos, custos e gerenciamento)

- 524 (duplicados)

- 603 (em desacordo com a pergunta proposta)

+ 16 (Snowball sampling)

= 92 textos aderentes à pergunta proposta

Dentre os 92 textos, 06 apresentavam propostas de categorizações com os principais fatores causadores de desvios de prazos e custos:1. (LONG et al., 2004) = 7 determinantes2. (ASSAF; AL-KHALIL; AL-HAZMI, 1995) = 7 determinantes3. (LE-HOAI et al., 2008) = 6 determinantes4. (NUTAKOR, 2007) = 5 determinantes5. (GONZÁLEZ et al., 2013) = 6 determinantes6. (SUGIHARTO; HAMPSON, 2003) = 6 determinantes

11/09/2015

14

1. RELAÇÕES GOVERNAMENTAIS – 7 agrupamentos de 14

fatores citados

1. Alteração de regras governamentais. (P) - 4

2. Aprovação dos requisitos impostos pelo governo para o

empreendimento. (P/C) - 1

3. Burocracia no processo de licitação. (C) - 1

4. Insegurança política. (P/C) - 2

5. Pressão do governo local, situação política, obtenção de

permissões governamentais legais para a construção. (P/C) - 4

6. Alterações de câmbio da moeda. (C) - 1

7. Força maior. (C) - 1

RESULTADOS PROPOSTAS 9 CATEGORIAS E

IDENTIFICADOS

95 FATORES DE INFLUÊNCIA

95 fatores

de influência

foram

identificados

e

distribuídos

nas

categorias,

dos

inicialmente

697 fatores

encontrados

1. Relações governamentais

2. Contratos

3. Organização

4. Gerenciamento

5. Financiamento

6. Projeto e documentação

7. Alterações de escopo

8. Aspectos ambientais e econômicos

9. Atividades e equipamentos

14

28

35

257

78

71

43

69

102

7

13

5

26

6

7

4

14

13

69795

Resultados – Dados Bibliométricos

ARTIGOS POR ANO DE PUBLICAÇÃO

Análise das pesquisas aderentes de

acordo com a respectiva base de dados

RESULTADOS PROPOSTAS 9 CATEGORIAS E

IDENTIFICADOS

95 FATORES DE INFLUÊNCIA

95 fatores

de influência

foram

identificados

e

distribuídos

nas

categorias,

dos

inicialmente

697 fatores

encontrados

1. Relações governamentais

2. Contratos

3. Organização

4. Gerenciamento

5. Financiamento

6. Projeto e documentação

7. Alterações de escopo

8. Aspectos ambientais e econômicos

9. Atividades e equipamentos

14

28

35

257

78

71

43

69

102

7

13

5

26

6

7

4

14

13

69795

RESULTADOS Quantidade (%) de fatores responsáveis

por desvios de custos e prazos em cada

uma das categorias

Prazo e Custo (P/C)60%Prazo (P)

18%

Custo (C )16%

Não classificados (N/C)

6%

RESUMO FATORES

11/09/2015

15

SÍNTESE NA RSL

Processo de combinar sistematicamente diferentes fontes de dados (evidências) para responder à questão de pesquisa (EBSE – evidence-based software engineering)

Síntese Narrativa Meta-análise

• Identificar o que já foi escrito em um assunto ou tópico

• Permitir novos desdobramentos a partir dos estudos primários publicados, que não estão aparentes nestes estudos isoladamente

• Associar dados (evidências) a partir de estudos individuais com o uso de métodos estatísticos

• Muito usada em Medicina; pouco usada em Gerenciamento

(TRANFIELD; DENYER; SMART, 2003)

Scienceplus GroupInstitute for Health ResearchLancaster University, UK

• Principal contribuição da pesquisa:– Síntese de 92 estudos primários no tema desvios de custos e prazos em

empreendimentos da construção civil– Proposta de 09 categorias– Distribuição dos 95 fatores que influenciam os desvios em

empreendimentos da construção civil dentre as 09 categorias– Alinhamento da terminologia dentro do tema– Fatores relacionados à categoria “Gerenciamento” foram os mais

recorrentes (no geral)

• Contexto brasileiro: Evidências contrastantes

– A categoria “Contratos” apresentada com menor relevância

• Limitações: * Relacionadas à condução da RSL, * julgamento da

qualidade dos estudos e * os critérios de inclusão e exclusão das fontes (dificuldade para a tomada de decisões)

Síntese da RSL

Eliz Ayadin

Algumas referências, para começar

Capítulo 6 sobre RSL

ReferênciasENGSTRÖM, E.; RUNESON, P.. Software product line testing: a systematic mapping study. Department

of Computer Science, Lund University, SE-221 00 Lund, Sweden. Information and Software Technology

53 (2011) 2–13.

KITCHENHAM, B. A. Guidelines for performing Systematic Literature Reviews in Software Engineering.

Version 2.3, EBSE Technical Report, Keele University and University of Durham, UK, 2007.

KONDA, B.M. AND MANDAVA K. K. A systematic mapping study on software reuse. MS thesis:

Blekinge Institute of Technology, Sweden, 2010, 85p.

MELO, R.S.S.D. , GRANJA, A.D. & BALLARD, G. Collaboration to extend target costing to non-multi-

party contracted projects: evidence from literature. In:, Formoso, C.T. & Tzortzopoulos, P., 21th Annual

Conference of the International Group for Lean Construction. Proceedings. Fortaleza, Brazil, 31-2 Aug

2013. pp 237-246

MUIANGA, E. A. D.; GRANJA, A. D.; RUIZ, J. de A. Desvios de custos e prazos em empreendimentos

da construção civil: categorização e fatores de influência. Ambiente Construído, Porto Alegre, v. 15, n.

1, p. 79-97, jan./mar. 2015.

PETERSEN, K; FELDT; R.; MUJTABA, S.; MATTSSON, M.. Systematic mapping studies in software

engineering. School of Engineering, Blekinge Institute of Technology. University of Bari, Italy, 26 - 27

June, 2008.

PETTICREW, M. Systematic reviews from astronomy to zoology: myths and misconceptions. British

Medical Journal, 322 (13) 98-101, 2001.

TRANFIELD, D.; DENYER, D.; SMART, P. Towards a Methodology for Developing Evidence-Informed

Management Knowledge by Means of Systematic Review. British Journal of Management, v. 14, n. 3, p.

207–222, 2003.

11/09/2015

16

Obrigado!