Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências...
Transcript of Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências...
![Page 1: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/1.jpg)
Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática
Aula 2:
Planejamento da RS
Profa. Dra. Elisa Yumi Nakagawa 1. Semestre de 2013
![Page 2: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/2.jpg)
o Processo Sistemático (Biolchini et al., 2005)
o Conjunto de passos bem definidos e planejados de acordo com um protocolo previamente estabelecido
Processo de Revisão Sistemática
![Page 3: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/3.jpg)
Planejamento
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
![Page 4: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/4.jpg)
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Planejamento
Planejamento Planejamento
![Page 5: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/5.jpg)
► Identificação da necessidade de uma revisão
► Avaliar o efeito da tecnologia;
► Avaliar a frequência/razão de sucesso ou falha
do projeto;
► Identificação de fatores de custo e risco
associados com uma tecnologia;
► Identificação do impacto de tecnologias nos
modelos de confiabilidade, desempenho e custo;
► Análise de custo-benefício de tecnologias de
software ...
Tópicos relacionados à ES
Planejamento
Planejamento
Planejamento
![Page 6: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/6.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Planejamento
Planejamento
![Page 7: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/7.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
Planejamento
Foco de Interesse: o que se espera que seja
esclarecido/respondido Exemplo
► Questão 1: Quais técnicas e critérios de teste de software têm sido
investigados para o teste de software OA?
► Questão 2: Dentre as técnicas e critérios de teste investigados no contexto
de teste de software OA, quais são específicas para esse tipo de software?
Crédito Exemplos: Ferrari & Maldonado, 2007
Planejamento
![Page 8: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/8.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
Planejamento
O que se espera que seja esclarecido
Exemplo
► Questão 1: Quais técnicas e critérios de teste de software têm sido
investigados para o teste de software OA?
► Questão 2: Dentre as técnicas e critérios de teste investigados no contexto
de teste de software OA, quais são específicas para esse tipo de software?
Crédito Exemplos: Ferrari & Maldonado, 2007
Planejamento
![Page 9: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/9.jpg)
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Uma questão de pesquisa bem formulada é composta por 4 partes:
opulation (População)
ntervention (Intervenção)
omparison (Comparação)
utcome (Resultados)
Planejamento
![Page 10: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/10.jpg)
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...) ► população: grupo populacional que será observado
Planejamento
![Page 11: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/11.jpg)
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...) ► população: Projetos de desenvolvimento de software que envolvam utilização de recursos e
tecnologias OA
Planejamento
![Page 12: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/12.jpg)
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...)
► população: grupo populacional que será observado
► intervenção: o que será observado no contexto da revisão sistemática
Planejamento
![Page 13: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/13.jpg)
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...)
► população: grupo populacional que será observado
► intervenção: técnicas e critérios de teste de software OA
Planejamento
![Page 14: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/14.jpg)
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...) ► população: grupo populacional que será observado
► intervenção: o que será observado no contexto da revisão sistemática
► comparação: o que será comparado no contexto da revisão sistemática (se aplicável)
Planejamento
![Page 15: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/15.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...) ► população: grupo populacional que será observado
► intervenção: o que será observado no contexto da revisão sistemática
► comparação: não aplicável
Planejamento
![Page 16: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/16.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...) ► população: grupo populacional que será observado
► intervenção: o que será observado no contexto da revisão sistemática
► comparação: o que será comparado no contexto da revisão sistemática (se aplicável)
► resultados: resultados esperados ao final da revisão sistemática
Planejamento
![Page 17: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/17.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
Planejamento
Escopo e especificidades
Especificidades (Entre outros itens...) ► população: grupo populacional que será observado
► intervenção: o que será observado no contexto da revisão sistemática
► comparação: o que será comparado no contexto da revisão sistemática (se aplicável)
► resultados: Técnicas e critérios de teste de software aplicados em software OA
Planejamento
![Page 18: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/18.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Planejamento
Planejamento
![Page 19: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/19.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
Planejamento
Características para avaliar o local onde
os estudos primários serão buscados Sugestão de Critérios ► Cobertura: Avaliar o número de proceedings de conferências, journals, livros
indexados e o tipo de áreas abrangidas
► Atualização de conteúdo: as publicações indexadas na base de dados devem
ser atualizadas regularmente
Fonte: Dieste et al., 2009
Planejamento
![Page 20: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/20.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
Planejamento
Características para avaliar o local onde
os estudos primários serão buscados Sugestão de Critérios ► Disponibilidade: O texto completo deve estar disponível
► Versatilidade para exportação dos resultados: Grande volume de resultados
retornados pelas bases, é importante que os mesmos sejam exportados de forma
automatizada
Fonte: Dieste et al., 2009
Planejamento
![Page 21: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/21.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
Planejamento
Características para avaliar o local onde
os estudos primários serão buscados Sugestão de Critérios ► Qualidade dos resultados: Precisão dos resultados retornados pelas bases
► Usabilidade: A máquina de busca deve ser fácil de entender e operar, incluindo
uma interface amigável, ajuda ao usuário e interação com outras aplicações (por
exemplo, EndNote, ProCite, ..)
Outros Critérios
Planejamento
![Page 22: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/22.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
Planejamento
Buscas iniciais em bancos de dados eletrônicos não é suficiente
Outras fontes devem ser buscadas, mesmo manuais: ►listas de referência de estudos
primários ► periódicos ► relatórios técnicos ► trabalhos em andamento ► proceedings
de conferências ► registros de pesquisas (contactar especialistas e pesquisadores que
trabalham na área para obter resultados não publicados) ► Internet.
Características para avaliar o local onde
os estudos primários serão buscados
Atenção
Fonte: Kitchenham, 2007
Planejamento
![Page 23: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/23.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
Planejamento
Língua que os estudos primários serão escritos
► inglês e português. Inglês por essa ser a língua internacionalmente aceita para a
redação de trabalhos científicos. Português porque sua exclusão automaticamente
excluiria trabalhos relevantes de autoria de pesquisadores brasileiros. Esses trabalhos
envolvem tanto a definição de critérios de teste de software OA quanto a
implementação de ferramentas de apoio automatizado
Exemplo
Planejamento
![Page 24: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/24.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
Planejamento
Língua que os estudos primários serão escritos
► inglês e português. Inglês por essa ser a língua internacionalmente aceita para a
redação de trabalhos científicos. Português porque sua exclusão automaticamente
excluiria trabalhos relevantes de autoria de pesquisadores brasileiros. Esses trabalhos
envolvem tanto a definição de critérios de teste de software OA quanto a
implementação de ferramentas de apoio automatizado
Exemplo
Planejamento
![Page 25: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/25.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
Planejamento
Língua que os estudos primários serão escritos
► inglês e português Inglês por essa ser a língua internacionalmente aceita para a
redação de trabalhos científicos. Português porque sua exclusão automaticamente
excluiria trabalhos relevantes de autoria de pesquisadores brasileiros. Esses trabalhos
envolvem tanto a definição de critérios de teste de software OA quanto a
implementação de ferramentas de apoio automatizado
Exemplo
Planejamento
![Page 26: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/26.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
Planejamento
Lista Inicial das Fontes Exemplo
► Algumas Opções: ► IEEE Xplore, ACM, SPRINGER, SCIRUS, SCOPUS, ENGINEERING VILLAGE ...
![Page 27: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/27.jpg)
Planejamento
► ACM Transactions on Software Engineering Methodology (TOSEM) http://portal.acm.org/toc.cfm?id=J790&type=periodical&coll=ACM&dl=ACM&CFID=55279180&CFTOKEN=60099677
► Empirical Software Engineering (EMSE) http://www.springerlink.com/content/1382-3256
► IEEE Computer http://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=2
► IEEE International Symposium on Empirical Software Engineering (ISESE) http://ieeexplore.ieee.org/xpl/RecentCon.jsp?punumber=8347&conhome=8770
► IEEE International Symposium on Software Metrics (METRICS) http://ieeexplore.ieee.org/xpl/RecentCon.jsp?punumber=462&conhome=9384
► IEEE Software http://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=52
► IEEE Transactions on Softawre Engineering (TSE) http://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=32
► International Conference on Software Engineering (ICSE) http://ieeexplore.ieee.org/xpl/RecentCon.jsp?punumber=789&conhome=9201
Algumas Publicações de Renome em Engenharia de Software
Fonte: Dieste et al., 2007
![Page 28: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/28.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
Planejamento
Para cada fonte da lista Exemplo
► Método de pesquisa (manual, máquina de busca na web)
► Strings de busca
![Page 29: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/29.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
Planejamento
Para cada fonte
“aspect-oriented” e “software testing”, com os seguintes termos e frases relacionadas:
– Aspect-oriented: aspect-oriented software, aspect-oriented application, aspect-
oriented app, aspect-oriented program, AOP...
Exemplo ► Método de pesquisa (manual, máquina de busca na web)
► Strings de busca
![Page 30: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/30.jpg)
Planejamento
Como elaborar a string de busca?
(termo-chave OR sinônimo OR sinônimo OR ... ) AND
(termo-chave OR sinônimo OR sinônimo OR ... ) AND
(termo-chave OR sinônimo OR sinônimo OR ... ) AND
Passo 1 Busca de termos-chave nos diferentes campos das questões de pesquisa (População, Intervenção, Comparação, Resultados)
Passo 2 Identificação de sinônimos dos termos-chave
Passo 3 Uso do operador OR para integrar os termos-chave e seus sinônimos
Passo 4 Uso do operador AND para integrar os diferentes termos-chave
Termos-Chave
![Page 31: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/31.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
Planejamento
Criação Lista Final de Fontes
► Cada elemento da lista inicial deve ser avaliado de acordo com os critérios de
definição das fontes
► SE a fonte candidata preencher os requisitos deve ser incluída na lista
final de fontes
![Page 32: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/32.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
Planejamento
Criação Lista Final de Fontes
► Cada elemento da lista inicial deve ser avaliado de acordo com os critérios de
definição das fontes
► SE a fonte candidata preencher os requisitos deve ser incluída na lista
final de fontes
![Page 33: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/33.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
Planejamento
Avaliação Lista por Especialistas
Exemplo ► Um ou mais especialistas avaliam os itens da lista
► Pode-se adicionar ou remover itens MAS
► Documentar essas decisões
![Page 34: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/34.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
Planejamento
Avaliação Lista por Especialistas
Exemplo ► Um ou mais especialistas avaliam os itens da lista
► Pode-se adicionar ou remover itens MAS
► Documentar essas decisões
![Page 35: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/35.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Planejamento
![Page 36: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/36.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Aceitação ou não de um estudo primário
Evitar... ► Exclusões baseadas na língua em que foi escrito;
► Inclusões baseadas por conhecimento dos autores, instituições, periódicos ...
Os critérios de Inclusão e Exclusão devem ser baseados na questão de pesquisa
Kitchenham, 2007
![Page 37: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/37.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Aceitação ou não de um estudo primário
Inclusão Os seguintes critérios de inclusão de trabalhos foram definidos
para atender a cada uma das questões de pesquisa:
► Questão 1: Aplicação de técnica/critério de teste em software OA.
► Questão 2: Proposição de novas técnicas e critérios específicos para teste de
software OA.
![Page 38: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/38.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Aceitação ou não de um estudo primário
Inclusão Os seguintes critérios de inclusão de trabalhos foram definidos
para atender a cada uma das questões de pesquisa:
► Questão 1: Aplicação de técnica/critério de teste em software OA.
► Questão 2: Proposição de novas técnicas e critérios específicos para teste de
software OA.
![Page 39: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/39.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Aceitação ou não de um estudo primário
Exclusão
Os seguintes critérios de exclusão de trabalhos foram definidos
para atender a cada uma das questões de pesquisa:
► Questão 1: Aplicação de técnica/critério de teste em software desenvolvidos
sob outros paradigmas (por exemplo, procedimental ou orientado a objetos).
![Page 40: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/40.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Aceitação ou não de um estudo primário
Exclusão
Os seguintes critérios de exclusão de trabalhos foram definidos
para atender a cada uma das questões de pesquisa:
► Questão 1: Aplicação de técnica/critério de teste em software desenvolvidos
sob outros paradigmas (por exemplo, procedimental ou orientado a objetos).
![Page 41: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/41.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼ ► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Definição do tipo dos estudos primários
Qualitativo
Quantitativo
Estudos experimentais
Estudos de caso ...
Exemplo
![Page 42: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/42.jpg)
Planejamento
Critérios de Qualidade
Fonte: Kitchenham, 2007
seleção dos estudos primários
- utilizados para refinarem os critérios de inclusão/exclusão
análise e síntese dos dados
- utilizados para investigar se as diferenças de qualidade justificam os
diferentes resultados
Auxiliam
É importante que não somente os critérios sejam definidos mas também seu modo de uso
![Page 43: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/43.jpg)
Planejamento
IDEAL: Evitar “VIÉS”
estudos primários rigor critérios de qualidade
OU
estudos primários rigor critérios de qualidade
Critérios de Qualidade
Não assumir que QUALIDADE não reportada é ausência de QUALIDADE!!!
Fonte: Dybå et al., 2007
![Page 44: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/44.jpg)
Planejamento
Critérios de Qualidade
Fonte: Kitchenham, 2007
Checklist
Exemplo Geral
► Há uma declaração clara dos objetivos da pesquisa?
► Existe uma descrição do contexto em que a pesquisa foi realizada?
► A documentação do processo de pesquisa foi adequada?
► Os resultados foram avaliados de forma imparcial?
► Os resultados estão reportados de forma clara?
► Existe uma ligação entre os dados, a interpretação e as conclusões?
► Os resultados agregaram valor à área de pesquisa?
...
Outros Checklists
![Page 45: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/45.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
▼
Processo de Seleção Preliminar
Serão construídas strings de busca formadas pela combinação dos sinônimos das
palavras-chave identificados. Essas strings serão submetidas às máquinas de busca
relacionadas. Em seguida, será realizada a leitura dos resumos dos trabalhos
recuperados por ambos os revisores. Constatando-se a relevância de um trabalho,
já destacada no resumo, e havendo um consenso entre os revisores, ele será pré-
selecionado para ser lido na íntegra. Ocorrendo falta de consenso, esse trabalho
será colocado em espera, e sua inclusão ou exclusão será definida em reuniões
entre os revisores.
![Page 46: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/46.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Estratégia Sugerida por Dybå et al., 2007
Estágio 1 Identificar estudos relevantes, busca em bases de dados eletrônicas e proceedings de conferências
Estágio 2 Excluir os estudos com base no título
Estágio 3 Excluir os estudos com base no resumo
Estágio 4 Obter os estudos primários e avaliá-los criticamente
Importância do Resumo
![Page 47: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/47.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
▼
Processo de Seleção Final
A leitura completa dos trabalhos selecionados na etapa de seleção preliminar será
realizada por pelo menos um dos revisores, que se encarregará de fazer um
resumo, destacando os pontos importantes.
![Page 48: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/48.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
▼
Extração dos Resultados
Após a leitura completa dos trabalhos selecionados, será elaborado um relatório
de forma a sintetizar as análises críticas elaboradas pelos revisores. O relatório
poderá conter tanto sínteses discursivas quanto tabuladas. Para apoiar a
comparação entre os trabalhos, a síntese poderá incluir uma lista de verificação, e
checklist de itens que devem ser observados.
![Page 49: Aula 2: Planejamento da RS - USP€¦ · Universidade de São Paulo Instituto de Ciências Matemática e de Computação SSC 5905 - Revisão Sistemática Aula 2: Planejamento da RS](https://reader034.fdocumentos.tips/reader034/viewer/2022050414/5f8a9a5111874053cf0b8bb1/html5/thumbnails/49.jpg)
Planejamento
► Identificação da necessidade de uma revisão
► Criação do protocolo da revisão
▼
► Formulação da questão
► Foco da questão
► Qualidade e amplitude da questão
► Seleção das Fontes
► Critério de definição das fontes
► Língua dos estudos
► Identificação das fontes
► Seleção das fontes após avaliação
► Checagem das referências
► Seleção dos Estudos
► Critérios de Inclusão e Exclusão
► Definição do tipo dos estudos
► Procedimentos para selecionar os estudos
Planejamento
Antes de iniciar a execução da revisão sistemática é necessário avaliar o protocolo:
► Conversa com especialistas
► Execução com um número reduzido de fontes