Post on 04-Nov-2021
1
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Metodologia de Pesquisa:
Conceitos Básicos
1
Prof. Dr. Fernando José Barbin Laurindo
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Metodologia de Pesquisa e Operações
Baseado no material de Prof. Dr.Wilson Hilsdorf
Prof.a Dr.a Cláudia Aparecida Mattos Prof.a Dr.a Ana Paula Vilas Boas Viveiros Lopes
Professore(a)s da Engenharia de Produção da FEI (todo(a)s egresso(a)s do Programa de Pós-Graduação em Engenharia de
Produção da POLI-USP)
2
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
“Pesquisa científica é um processo de produção do conhecimento que tem como metas principais gerar novo
conhecimento e/ou corroborar ou refutar algum conhecimento pré-existente”
Definição de pesquisa científica
Pesquisa:
• É um conjunto de ações, propostas para encontrar a solução de um problema, que têm por base procedimentos racionais e sistemáticos
• A pesquisa é realizada quando se tem um problema e não se tem informações para solucioná-lo, porém tem trabalhos científicos que podem colaborar para o desenvolvimento do seu trabalho
(Tripathi, P.C. A Textbook of research Methodology in Social Science. Sultan Chand & Sons, 2001. Page 319)
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Problema
Hipóteses ou proposições
Experimento
Refutável e não-refutável
Questões
Metodologia Análise
Observações
O método científico
3
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
ELABORAÇÃO DE UM PROJETO DE PESQUISA
• No sentido etimológico
o Méthodos – caminho para chegar a um fim
o Logos – estudo sistemático
Fase 1 Construção da proposta da pesquisa (questão de pesquisa, objetivo, relevância e justificativa)
Fase 2 Revisão da Literatura
Fase 3 Metodologia de pesquisa - Quantitativa - Qualitativa
Fase 4 Resultados, análise e discussão
Conclusão
Fases de um Projeto de Pesquisa
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
• Identificar a área de interesse
• Explorar a área
o Pesquisa bibliográfica inicial
o Varredura horizontal
o Mapeamento da literatura
• Delimitar o tema
• Definir sua questão de pesquisa
• Definir objetivo geral e específicos
Examine e compare fatos e explicações já
existentes (diálogo com autores), procurando
identificar tendências teóricas e lacunas a serem
preenchidas
Projeto de Pesquisa – Fase 1
4
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
• Um ponto essencial é efetuar um mapeamento da literatura sobre o
tema e a área em que se pretende desenvolver a pesquisa
• Identificar o que foi publicado, levando em consideração a relevância
da publicação, autores e fontes de pesquisa, citações, etc.
• Analisar as tendências de pesquisa na área
Há Várias Fontes de Pesquisa:
• Periódicos (artigos científicos)
• Livros
• Teses
• Dissertações
• ...
Explorar a área – Mapear a literatura
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
PERIÓDICOS INTERNACIONAIS DE ENGENHARIA DE PRODUÇÃO
• International Journal of Operations & Production Management
• International Journal of Production Economics
• Production and Operations Management
• Research Policy
• Journal of Operations Management
• Management Science
• Sloan Management Review
• Journal of Technology Management & Innovation
• Journal of Business Logistics
• Journal of Supply Chain Management
• Supply Chain Management: An international Journal
• International Journal of Physical Distribution & Logistics Management
• Journal of Operations Management
• M&SOM – Manufacturing & Service Operations Management
(entre outros)
Explorar a área – Mapear a literatura
5
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
PERIÓDICOS NACIONAIS DE ENGENHARIA DE PRODUÇÃO
• Production (ABEPRO)
• Gestão & Produção (UFSCAR)
• Produto & Produção (UFRGS)
• Revista Brasileira de Inovação (FINEP)
• Produção On-line e BJOPM (ABEPRO), entre outras
PERIÓDICOS NACIONAIS DE ADMINISTRAÇÃO - COMPLEMENTARES
• RAE - FGV
• Comportamento Organizacional e Gestão
• O&S – Organização e Sociedade
• RAC – Revista de Administração Contemporânea
• ERA Eletrônica
• ERA – Revista de Administração de Empresas
• RAUSP – Revista de Administração
• REAd – Revista Eletrônica de Administração, entre outras
Explorar a área – Mapear a literatura
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
ANAIS DE CONGRESSO - COMPLEMENTARES
• ENEGEP – Encontro Nacional de Engenharia de Produção
• SIMPEP – Simpósio de Engenharia de Produção
• CONTECSI - International Conference on Information Systems and Technology Management
• Simpósio de Gestão da Inovação
• SIMPOI – Simpósio de Administração da Produção, Logística e Operações Internacionais
• EurOMA - European Operations Management Association
• POMS – Production and Operations Management Society
• Informs – The Institute for Operations Research and the management Sciences
Explorar a área – Mapear a literatura
6
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Baseado nos percentis da Scopus*:
Classificação Periódicos: Qualis – CAPES 2019
Percentil Superior
Percentil Inferior
Classificação Qualis
100,0 87,5 A1
87,5 75,0 A2
75,0 62,5 A3
62,5 50,0 A4
50,0 37,5 B1
37,5 25,0 B2
25,0 12,5 B3
12,5 0,0 B4
Produção qualificada segundo a Capes
*scopus.com, pesquisar na aba “sources”
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Baseado em material do
Prof. Dr. Paulo A. Cauchick Miguel
Ex Professor do Depto. de Eng. de Produção, Escola Politécnica, USP
Atualmente Professor do Depto. Engenharia de Produção da UFSC
Metodologia de Pesquisa em
Engenharia de Produção:
1
2
7
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Necessidade de melhor instrumentação para
analisar os dados empíricos coletados que gerem
contribuição para a área de conhecimento
Uso “indiscriminado” de estudo de caso em uma
adoção incorreta do termo, adotando o termo como
figura de linguagem e não como indicação ou
explicitação da abordagem de pesquisa empregada
Baseado em: Berto e Nakano, 1998; 2000; Miguel, 2004
Limitações Existentes
13
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
A explicitação de métodos e técnicas de pesquisa não
é “pro-forma” (replicação)
É necessário a adoção de abordagens metodológicas
de pesquisa robustas o suficiente para gerar
conclusões e contribuições
O grande desafio hoje é de natureza metodológica
Baseado em: Berto e Nakano, 1998; 2000; Miguel, 2004
Limitações Existentes
14
Como suprir as limitações?
8
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Oportunidades de melhoria (OM)
Construção do referencial teórico
Posicionamento do “problema” de pesquisa
Coleta e análise dos dados
Perspectivas gerais
• Conhecimento acumulado: geração e
compartilhamento
Oportunidades de Melhoria
15
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
OM 1: Referencial Teórico
Construção do referencial teórico
• Quais os critérios de seleção das fontes?
• Qual a qualidade das fontes utilizadas?
• Qual a contemporaneidade das fontes utilizadas?
• Qual é o mapa teórico? (varredura horizontal) Qual a
profundidade? (varredura vertical)
• Quais as lacunas de pesquisa identificadas no mapa
teórico?
16
9
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
OM 2: “Problema” de Pesquisa
Posicionamento do “problema” de pesquisa
• Qual a região do mapa teórico deve ser
“atacada”?
• Como o problema deve ser delineado? (qual
o projeto da pesquisa? - fases, meios de
controle, validade, etc.)
• Quais são as questões da pesquisa,
proposições, constructos, hipóteses?
(advindas do mapa teórico)
• Qual(is) é(são) o(s) método(s) que melhor se
“molda(m)” a possível solução do problema
de pesquisa? (para cada fase do projeto)
17
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
OM 3: Coleta e Análise
dos Dados
Coleta de dados
• Tem lastro na literatura/mapa teórico?
• É constituída por múltiplas fontes de evidências?
• Quais os meios de controle estabelecidos?
Análise de dados
• A natureza das variáveis permite fazer uma análise
utilizando métodos quantitativos e qualitativos? Quais
as possibilidades?
• Como estabelecer uma cadeia lógica de evidências?
18
10
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Método de Pesquisa: objetivos e tipos
Fonte: adaptado de Frontini (2008) e Miguel (2007)
Survey •Explicar ou prever um fenômeno
•Testar a teoria e/ou avançar o
conhecimento
Estudo de Caso •Estudar Fenômeno em um contexto
•Construir, estender, testar a teoria
Pesquisa-Ação
•Estudar fenômeno em tempo real
•Desenvolver entendimento holístico
•Gerar teoria emergente
Modelagem •Relação causal e quantitativa entre
variáveis
•Entender um fenômeno
A metodologia de pesquisa é dependente da questão de pesquisa
Objetivos
•Exploratória: familiarização
•Descritiva: comportamento
•Explanatória: causa-efeito
•Qtde: único ou múltiplo
•Tempo: retrospectivo, longitudinal
•Tipo: exploratório, descritivo, explanatório
•Não aplicável
•Modelagem matemática ou simulação
•Normativo ou Descritivo
Tipos
Quem, O que
Onde, Quanto
Como, Por que
Onde, Quanto
19
Como, Por que
Quem, O que,
Onde, Quanto
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP 20
Baseado no material de Prof.a Dr.a Kumiko Oshio Kissimoto
Prof.a Dr.a Ana Paula Vilas Boas Viveiros Lopes Professoras da Engenharia de Produção da FEI
(ambas egressas do Programa de Pós-Graduação em Engenharia de Produção da POLI-USP)
Desenvolvendo um texto
acadêmico:
Aspectos básicos
11
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
21 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Princípios da Pesquisa Científica
Para que serve a pesquisa científica?
• Dedica-se a um objeto de estudo reconhecível e definido de tal maneira que o seja igualmente pelos outros
• Diz do objeto algo que ainda não foi dito ou revê sob uma ótica diferente o que já se disse
• É útil aos demais
• Fornece elementos para a verificação e a contestação das hipóteses apresentadas, por meio de um método, visando a uma continuidade pública
21
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
22 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Etapas do Processo de pesquisa
Ideia
Início (definição de um tema
geral)
Definição da metodologia
Coleta de dados
Análise dos
Resultados
Conclusões
Revisão da Literatura
Definição dos
Objetivos
Formulação do Problema de Pesquisa
Desenvolvimento
Fim
22
12
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
23 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
O que se faz em cada Etapa?
Etapas Atividades Resultados
Tema • Definição do tema de pesquisa
Problema • Definição do problema de
pesquisa;
• Definição dos objetivos
• Introdução
Revisão de Literatura • Pesquisa bibliográfica
• Identificação dos constructos
• Desenvolvimento da Teoria
• Revisão de
Literatura
Metodologia • Definição do método de pesquisa
• Questionário (roteiro de pesquisa) • Metodologia
Desenvolvimento • Pesquisa de campo
• Análise dos resultados • Descrição dos
casos
• Análise dos
resultados
Fim • Conclusões • Conclusão
23
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
24 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Temas - Exemplos
• O uso da Inteligência Competitiva na elaboração das estratégias de marketing
• As novas tecnologias de Inteligência Competitiva
• Comunicação e Inteligência Competitiva
• Gestão do Conhecimento e competitividade
• Alinhamento de TI e Estratégia Organizacional
24
Problema de Pesquisa - Exemplos
• Como as novas ferramentas de TI tem melhorado a competitividade das organizações?
• Qual o impacto da Inteligência Competitiva na elaboração das estratégias organizacionais?
• Como os avanços da Tecnologia de Informação tem melhorado a Gestão do conhecimento?
13
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
25 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Premissas de uma pesquisa
25
Problema O QUE? Perguntas
Justificativa POR QUE? Argumentos / Visão retrospectiva
Objetivo PARA QUE? Finalidade / Visão prospectiva
Metodologia COMO? Modo de realizar
Referência DE ONDE? Pesquisas anteriores: fontes variadas
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
26 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Desenvolvendo um Artigo Científico
Questão de pesquisa
Introdução
Metodologia de pesquisa
Revisão Teórica
Resultados e conclusões
26
14
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
27 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
• Ter uma ideia de para quem quer enviar o artigo
• Ter um conjunto de revistas candidatas – determinar de acordo com o teor do artigo
• Ter separado um conjunto de artigos que irá ajudar a contar a história
• Quanto mais conciso melhor. Ao final, se o artigo está com 3000 palavras, tente reescrever com 2500 palavras – normalmente fica melhor, torna-se mais conciso
Antes de iniciar o artigo, é bom
27
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
28 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Elementos de um texto acadêmico
Todos os elementos a seguir usualmente são obrigatórios
• Título
• Autor
• Resumo
• Abstract (resumo em inglês)
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso/análise/discussão
• Conclusão e considerações finais
• Referências
28
15
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
29 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Título
• Título: deve ser conciso, objetivo e curto
Deve transmitir o conteúdo e teor do artigo
Deve enfatizar as principais contribuições
o Um bom título traz palavras-chaves, resultados
Exemplos
A importância da Gestão por Competências (??)
x
A Gestão por Competências como base para o desenvolvimento de carreiras (ok!!)
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
29
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
30 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Resumo / Abstract
• Resumo / Abstract: deve ser desenvolvido em português e inglês e conter os seguintes pontos, descritos em no máximo 200 palavras:
Breve contextualização
O problema de pesquisa
Propósito/Objetivo – por que está pesquisando este tema
O método que será utilizado para investigar o problema de pesquisa
Breve descrição dos resultados
Conclusões
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
30
16
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
31 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Resumo / Abstract – Exemplo 1
Este artigo discute até que ponto a gestão de competências e a gestão de desempenho constituem tecnologias gerenciais distintas ou partes interdependentes de um mesmo construto. Os autores apresentam uma revisão da literatura sobre os conceitos que permeiam esses modelos de gestão, suas características e aplicações no campo organizacional e analisam as principais semelhanças e diferenças entre eles, sendo possível concluir que, mais que tecnologias independentes, a gestão de competências e a gestão de desempenho parecem complementar-se em um contexto mais amplo de gestão organizacional. Ao final, é proposta uma nova abordagem conceitual que procura considerar a relação de interdependência entre esses modelos de gestão.
Propósito, Objetivo do
artigo
Metodologia utilizada
Principais resultados
Proposta para trabalhos futuros
RAE 2001, v.41, i.1 GESTÃO DE COMPETÊNCIAS E GESTÃO DE DESEMPENHO: tecnologias distintas ou instrumentos de um mesmo construto? Hugo Pena Brandão, Tomás de Aquino Guimarães
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
31
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
32 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Resumo / Abstract – Exemplo 2
Apresentação do
problema de pesquisa
Objetivo, Metodologia e Processo de
pesquisa
Principais resultados
Organizações têm reconhecido que as inovações dependem de elementos que nem sempre podem ser encontrados em suas fontes internas e buscam, além de suas fronteiras, ideias e tecnologias que lhes sejam úteis em seu processo inovativo. Adota-se então um modelo de inovação aberta (open innovation), com a redução da integração e controle das atividades de pesquisa e desenvolvimento e a participação de atores externos que se articulam a fim de inovar. Dentre as fontes externas encontram-se as universidades que são tradicionalmente voltadas a avançar na fronteira do conhecimento por meio das pesquisas acadêmicas, mas que nem sempre são aplicadas no setor produtivo. A fim de investigar a importância de se estabelecer relações de cooperação entre universidades e empresas para prática da inovação aberta, realizou-se uma pesquisa exploratória por meio de um estudo de caso desenvolvido em uma empresa de software de pequeno porte. Foram estabelecidas categorias relacionadas ao estabelecimento de parcerias e categorias relacionadas com a inovação aberta para posterior análise de conteúdo dessas categorias. A partir dos resultados encontrados, verificou-se que, ao trabalharem juntas, empresa e universidade, puderam executar seus modelos de negócios e contribuírem mutuamente para que houvesse geração e transferência de valor ao longo da cadeia para atender às necessidades específicas dos clientes da empresa estudada. A complementaridade dos objetivos e capacidades como característica do co-desenvolvimento do modelo de inovação aberta pôde ser observada no caso estudado. Universidade e empresa tinham objetivos distintos, porém, dentro da cadeia de valor, o output proveniente da primeira era o input necessário para que a segunda alcançasse seus resultados planejados.
Apresentação do
contexto
ANPAD 2009 Cooperação Universidade-Empresa: uma relação direcionada à Inovação Aberta Mauricio Henrique Benedetti, Ana Lúcia Vitale Torkomian
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
32
17
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
33 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Introdução
• Ao escrever uma introdução, atentar para: Informação, Fluxo, Citações
• A introdução deve conter citações (referências)
• Partes da introdução: Contextualização – Apresentar o que está sendo discutido atualmente no tema que
deseja abordar e explica por que é importante. Expressões do tipo “tem se tornado um tópico importante”, “importante para ...” são boas para se utilizar nesta parte
Definição do problema de pesquisa – Não é no primeiro parágrafo, mas deve aparecer no início – no 2º ou 3º parágrafos
Apresentação do estado da arte – Mostrar as fronteiras desta área de conhecimento, o que há de novo, recente. Evidencia pesquisas e descobertas recentes
Apresentação da importância do estudo – Justificar porque estamos gastando tanto neste projeto de pesquisa. Evidenciar as implicações e/ou aplicações
Apresentação do propósito (objetivo) do estudo – Colocar o propósito, pare! Tentar ser objetivo. Não delongar desnecessariamente
Apresentação da metodologia que será utilizada para atingir o propósito – Descrever de modo sucinto como irá investigar o problema posto e qual o resultado que espera ao final
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
33
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
34 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Introdução
• O Fluxo deve ser do Geral para o Específico, chegando ao propósito
Contextualização
Resumo de pesquisas anteriores
Propósito
Geral
Específico Seu trabalho
Seu campo
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
34
18
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
35 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Introdução
• As Citações: devem indicar de onde vem as ideias, não os textos !!!
• Selecionando as referências Primeiros artigos – se necessário, para contextualizar ou estabelecer as
lacunas
Os mais recentes – para mostrar o estado da arte ou para informar que a lacuna ainda está aberta
Os mais importantes – os de maior relevância, motivação e importância
As orientações acerca de Citações devem ser observadas também na Fundamentação
Teórica, Análises e Conclusões
Introdução: é um capítulo curto - seja em uma tese, seja em um artigo. Na segunda seção, que é a fundamentação, é onde o autor pode alongar-se, citar tudo que é importante, etc.
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
35
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
36 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Fundamentação Teórica
• É a etapa mais importante de um processo de pesquisa
• É o referencial teórico que será adotado para tratar o tema a partir do problema de pesquisa
• Por meio da análise da literatura publicada, o referencial desenha um “quadro teórico”, apresentando a estruturação conceitual que irá sustentar o desenvolvimento da pesquisa
• É o resultado do levantamento e análise do que já foi publicado sobre o tema e sobre o contexto do problema de pesquisa
• Deve permitir um mapeamento de quem já escreveu e o que já foi escrito sobre o tema e/ou problema da pesquisa
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
36
19
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
37 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Fundamentação Teórica
• Fundamentação teórica deve conter referências a no mínimo 3 textos de relevância dentro do tema proposto
• Os conceitos chave desses textos devem estar articulados na fundamentação teórica, devem aumentar o conhecimento do leitor e mostrar quais os conceitos mais atuais sobre o tema proposto
• Procure ver a fundamentação teórica de outros artigos antes de escrever e releia o material sobre Fundamentação Teórica passado junto com o material de apoio
• É recomendável que sejam utilizadas também referências recentes
• Além de pesquisa em livros sobre o assunto que podem ser encontrados na biblioteca, recomenda-se buscar nas fontes de informações apresentadas anteriormente
• Objetivo: Prover uma base teórica para o artigo e validar a fundamentação teórica com orientador
Importante: Wikipedia não é considerada uma fonte para pesquisas
acadêmicas devido à procedência duvidosa dos textos. Tomem cuidado com textos
encontrados na Internet que não sejam das fontes citadas, procure descobrir
se a fonte é confiável
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
37
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
38 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Metodologia
• Definição dos métodos e técnicas de pesquisa
Como a pesquisa será desenvolvida?
Onde será a pesquisa?
Quais foram os critérios de seleção da empresa pesquisa?
• Deve responder à seguinte questão:
Quais são os métodos e técnicas mais apropriados para o desenvolvimento pretendido do trabalho de pesquisa?
• As abordagens mais típicas são:
Levantamento tipo survey: Levantamento em uma amostra significativa acerca de um tema visando, a partir de uma análise quantitativa, obter as conclusões acerca desse estudo
o Perguntas típicas para esta abordagem: Quais? Quantos?
Estudo de caso: estudo empírico que investiga um fenômeno dentro de um contexto real de vida. O pesquisador observa as ocorrências mas não interfere no processo. As observações podem ser feitas por meio de entrevistas pessoais
o Perguntas típicas para esta abordagem: Como? Por que?
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
38
20
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
39 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Metodologia
• Apresentar as ferramentas que serão utilizadas na pesquisa como: questionários, planejamento da amostra, roteiro das entrevistas
• Exemplos de referências para desenvolver o capítulo de metodologia:
GIL, A.C. Métodos e técnicas de pesquisa social. São Paulo: Atlas, 1999
SAMPIERI, R.H.; COLLADO, C.H.; LUCIO, P.B. Metodologia de pesquisa. 3 ed. São Paulo: McGrawHill, 2006
VERGARA, Sylvia Constant. Métodos de pesquisa em Administração. São Paulo: Atlas, 2005
YIN, R.K. Estudo de Caso – Planejamento e métodos. 3. ed. Porto Alegre: Bookman, 2005
MIGUEL, P. A.C. Estudo de caso na engenharia de produção estruturação e recomendações para sua condução. Produção, v. 17, n. 1, p. 216-229, 2007
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
39
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
40 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Resultados e Discussões
• Constitui uma parte importante e difícil do artigo. É nesta hora que "damos a cara para bater”
• É onde o autor prova a sua questão inicial, hipóteses, ideias, etc.
• Pode conter material ilustrativo (figuras, tabelas, gráficos, etc.), resultados de cálculos e texto
• Deve fazer a ligação entre o Propósito, os Resultados e as Discussões
• Existem diferentes estruturas possíveis para esta parte:
Resultados – Discussão – Conclusão
Resultados – Discussão
Resultados e Discussão – Conclusão
Resultados – Discussão e Conclusão
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
40
21
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
41 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Conclusão e considerações finais
• Conclusão: Tem a função de declarar a importância do artigo para o desenvolvimento do campo de pesquisa
• As ideias fluem do Específico para o Geral
Principais descobertas
Interpretação dos principais resultados
Contribuição para o Campo
Geral
Específico
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
41
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
42 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Conclusão e considerações finais
• Sugestão de Modelo / Estrutura
1. Enfatizar os principais resultados
2. Interpretar os principais resultados – poucas sentenças, somente para relembrar a interpretação dos principais resultados
3. Descrever as implicações (contribuições / progressos) dos resultados alcançados para o campo de pesquisa
4. Trabalhos futuros e limitações (opcional)
Cuidado para não sugerir que o trabalho não está completo!
• Utilizar verbos no Passado e Presente (ser coerente)
• Título
• Resumo / Abstract
• Introdução (tema, justificativa, objetivos, metodologia utilizada)
• Fundamentação teórica (revisão da literatura)
• Metodologia
• Descrição do caso / análise / discussão
• Conclusão e considerações finais
• Referências
42
22
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
43 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
• Fontes de informação
• Formatação do artigo
• Redação
• Redação – Dicas
• Plágio
Exemplos de Fontes de informação
• SIBI USP http://www.sibi.usb.br
• Google Acadêmico (especializado em pesquisas acadêmicas) – http://scholar.google.com.br/
• ISI Web of Science – Base científica –
• Scopus – Base científica –
• Scielo – Base científica – http://www.scielo.org/php/index.php
• Exemplos de publicações brasileiras:
• Revista de Gestão USP – http://www.regeusp.com.br/ • Revista de Administração da USP – http://www.rausp.usp.br/ • Revista de Administração – eletrônica da USP –
http://www.rausp.usp.br/Revista_eletronica/v1n2/Index.htm • Revista Produção – http://www.revistaproducao.net
43
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
44 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Redação
• Contextualização teórica do problema e seu relacionamento com o que tem sido investigado a seu respeito
• Apresentação das definições e resultados da literatura que sejam RELEVANTES para seu objetivo
• Não é um tratado sobre a história da área de pesquisa, nem um inventário de tudo o que foi lido e muito menos é um conjunto de parágrafos desconexos sobre artigos lidos
• Não é um resumo de livro ou artigo • É bom fazer uso de tabelas e gráficos comparativos, bem
como fazer comentários a cada enfoque apresentado • Ver “Diretrizes para apresentação de dissertações e
teses” da Poli-USP http://www.poli.usp.br/images/stories/media/download/
bibliotecas/DiretrizesTesesDissertacoes.pdf
• Fontes de informação
• Formatação do artigo
• Redação
• Redação – Dicas
• Plágio
44
23
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
45 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Redação
• Impessoalidade
• Objetividade
• Clareza
• Precisão, exatidão, concisão
• Coerência
• Simplicidade
• Fontes de informação
• Formatação do artigo
• Redação
• Redação – Dicas
• Plágio
45
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
46 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Dicas – Síntese da leitura Exemplo:
TemaAssunto específico - fator
estudadoPrincipais autores
Aspectos conceituais - incerteza
Wideman (1992); Ward; Chapman
(2003); Perminova; Gustafsson;
Wikstrom (2008); Meyer; Loch; Pich
(2002)
Processo, técnicas e ferramentas
PMI (2008); Valeriano (1998); Keeling
(2006); Carvalho; Rabechini Jr.
(2011); Salles et al. (2009); Hilson
(2002); Dod (2002); Raz; Shenhar;
Dvir (2002); Wideman (1992)
Gerente de riscos Akintove: Macleod (1997)
Aspectos conceituaisShenhar; Dvir (2010); Raz; Shenhar;
Dvir (2002)
Tipologia de projetos Shenhar; Dvir (2002)
Indicadores Sauser; Reilly; Shenhar (2009)
Sucesso em gestão
de projetosIndicadores
Shenhar;Dvir (2010); Raz; Shenhar;
Dvir (2002)
Gerenciamento de
riscos
Gestão contingencial
Quadro 1 - Síntese de autores discutidos
• Fontes de informação
• Formatação do artigo
• Redação
• Redação – Dicas
• Plágio
46
24
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
47 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Redação - Dicas
• Evite textos que insistentemente mencionam o mesmo autor (segundo fulano..., segundo fulano...)
• Evite textos que insistentemente mencionam vários autores no mesmo parágrafo (segundo fulano..., segundo sicrano, segundo beltrano...)
• Evite apresentar texto sem início meio e fim
• Evite frases longas. Vá direto ao assunto
• Apud (significa citado por) SOMENTE deve ser usado quando é impossível ler o original
• Da mesma forma, não cite textos que você não leu
• Fontes de informação
• Formatação do artigo
• Redação
• Redação – Dicas
• Plágio
47
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
48 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Redação - Dicas
• A redação abaixo não está errada, mas não está boa: O estudo de Shenhar e Dvir (2010) mostrou que
projetos de sucesso têm gerentes bem treinados. É preciso ter um processo de treinamento e se possível seleção dos gerentes. Além disso a remuneração afeta a qualidade do produto do projeto
• Recomenda-se: O estudo de Shenhar e Dvir (2010) mostrou que
projetos de sucesso têm gerentes bem treinados. Além disto, destacou a importância de treinamento, bem como a influência da remuneração na qualidade do produto do projeto
• Fontes de informação
• Formatação do artigo
• Redação
• Redação – Dicas
• Plágio
48
25
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
49 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Plágio
• Copiar parágrafos literalmente sem usar aspas e
sem citar a fonte é falta gravíssima (plágio)
• Copiar a estrutura do texto de outro autor, mesmo
fazendo paráfrases, mas mantendo a mesma
estrutura das ideias também é plágio
• Fontes de informação
• Formatação do artigo
• Redação
• Redação – Dicas
• Plágio
49
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Título do slide
50 Prof. Ms. Kumiko O. Kissimoto Prof. Ms. Ana Paula Lopes Aula 1 – Metodologia de Pesquisa
Exemplos de Critérios de Avaliação de trabalhos
Critério Detalhamento
Peso
Título e resumo
O título é apropriado e está de acordo com o conteúdo do trabalho? É conciso e
claro? O resumo / abstract é apropriado? É conciso e claro? Apresenta o
contexto/problema, o objetivo, o método, os resultados e a conclusão do trabalho?
1
Formulação do
problema e objetivo
O contexto, o problema e os objetivos estão bem caracterizados? O problema é
relevante (quão importante é o trabalho apresentado)? O objetivo é claro? O
objetivo é relevante em relação ao problema apresentado?
1
Fundamentação
Teórica
A bibliografia utilizada é pertinente? O trabalho faz referência a algum trabalho
previamente escrito e demonstra um entendimento de como o trabalho se compara
a outro trabalho? São usados conhecimentos adquiridos no curso?
2
Análise de resultados
da pesquisa
A pesquisa chegou nos objetivos estabelecidos? A análise seguiu uma metodologia
adequada? 2
Conclusão É feita uma análise crítica da contribuição do trabalho? 2
Qualidade da
redação
O trabalho possui início, desenvolvimento e fechamento? Apresenta coerência entre
suas diversas partes? O trabalho é auto-contido de forma que alguém, com
conhecimentos básicos da área, possa entender? O trabalho está bem escrito e
organizado o bastante para um leitor entender o contexto técnico? Apresenta
correção ortográfica?
2
50
26
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP 51
Baseado no material de Prof.a Célia Barbosa Assis
Consultora (Doutora em Engenharia de Produção pelo Programa de Pós-
Graduação em Engenharia de Produção da POLI-USP)
Exemplo de levantamento
bibliográfico com bibliometria:
Pesquisa sobre
governança da informação
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Relevância
52
• Informações são os únicos recursos de TI inimitáveis que criam
vantagem competitiva sustentável (WADE; HULLAND, 2004; tallon; ramirez; short, 2013)
• 69% da informação nas organizações não tem valor legal, regulatório
ou de negócio (PAKNAD, 2012)
• 67% dos executivos não têm condições de compartilhar dados entre
departamentos; 60% dizem não haver visão única do cliente (ECONOMIST
INTELLIGENCE UNIT, 2008)
Evolução do interesse de pesquisa dos tópicos
GI(vermelho), GD (azul) e GTI (amarelo), a partir de
2004, no Google Trends
1 1 1 2 6 6 9 1214
2522
3631
41
71
5852
3
1992
1998
2001
2002
2003
2004
2005
2006
2007
2008
2009
2010
2011
2012
2013
2014
2015
2016
Distribuição dos documentos sobre Governança da
Informação, por ano de publicação
27
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Método para revisão: estágios
53
Definição das palavras chave
Governança da Informação; Governança e Informação; Information Governance;
Governance of Information; Governance and
information
Estágio Argumento Resultado
Escolhadasbasesdedados
Scopus;WebofSciences;BibliotecaDigitaldaUSP;BibliotecaDigitalBrasileira
Estabelecimentodoscritériosdeexclusãoeinclusão
-Ar gosdeperiódicos;Ar gosdeconferências;Capítulosdelivros;Revisões;Livros-Idiomas:Inglês,EspanholePortuguês
Levantamentodosdocumentosdeinteresse
Scopus;WebofSciences;BibliotecaDigitaldaUSPBibliotecaDigitalBrasileira
280 +131 + 9 + 65 = 485
Consolidaçãodasreferências
- RegistrosduplicadosScopus/WebofSciences;USP/Brasil;Brasi;
- Foradeinteresse
68 + 4 + 2 = 74 110
485 – 74 – 110 =
301
Mapeamentobibliométrico
- Mapadevisualizaçãodostermosemrede- Visualizaçãodetermosdeinteressepordensidade
Análisedeclusters - Agrupamentodostermosporclusters- Agrupamentodostermosdeinteressenavisãodeclusterspordensidade
Iden ficaçãodosdomíniosdepesquisa
- Representaçãodosclustersdetermosdeinteresses
Cluster 1 – Tecnologia da Informação
Big Data
Governança de Dados
Cloud Computing
Segurança da Informação
Cluster 2 – Indivíduo
Indivíduo / Pessoa / Cidadão
Paciente
Cluster 5 – Informação
Responsabilidade / Accountability
Gestão da Informação
Transparência
Confidencialidade
Privacidade Conhecimento
Cluster 3 –Organização
Governança Corporativa
Decisão / Tomada de Decisão
Cluster 4 - Sociedade
Liberdade
Governo Redes
Direitos Legislação
Regulamentação
Governança)da)Informação)
Indivíduo !
Indivíduo / Pessoa /
Cidadão / Paciente
Informação!
Gestão da Informação
Dado
Informação
Conhecimento
Sociedade!
Ética
Regulamentação
Direitos
Legislação
Governança da
Informação
Governança de TI
Governança de Dados
Governança Corporativa
Governança !Tecnologia da Informação!
Big Data
Tecnologia da Informação
Redes
Antecedentes e Consequências Viabilizadores e Inibidores
Contexto Conceitos Princípios Componentes Modelos
Relação com Governança de TI
Organização!
Decisão
Organização
Inovação
Inteligência de Negócio
12.113 + 161 + 9 + 65 = 12.348
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Método para revisão: mapeamento bibliométrico
Visualizaçã
o dos
termos em
rede
Visualização
dos termos por
densidade
Termos de
interesse por
clusters
Visualização dos
clusters por
densidade
54
(estudo executado com aplicativo VOSVIEWER)
28
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Método para revisão: domínios de pesquisa
55
Proposta da Autora (2016)
Cluster 1 – Tecnologia da Informação
Big Data
Governança de Dados
Cloud Computing Segurança da Informação
Cluster 2 – Indivíduo
Indivíduo / Pessoa / Cidadão
Paciente
Cluster 5 – Informação
Responsabilidade / Accountability
Gestão da Informação
Transparência
Confidencialidade Privacidade
Conhecimento
Cluster 3 –Organização
Governança Corporativa
Decisão / Tomada de
Decisão
Cluster 4 - Sociedade
Liberdade
Governo
Redes
Direitos Legislação
Regulamentação
GovernançadaInformação
Prof. Dr. Fernando José Barbin Laurindo Programa de Pós-Graduação em Engenharia de Produção – Poli/USP
Governança da Informação
Antecedentes e Consequências Viabilizadores e Inibidores
Contexto Conceitos Princípios Componentes Modelos
Relação com Governança de TI
Organização
Inteligência de Negócio
Organização
Tecnologia da Informação
Big Data
Tecnologia da Informação
Redes Governança de
Dados
Governança Corporativa
Governança
Governança de TI
Informação
Gestão da Informação
Dado
Informação
Conhecimento
Ativo Informacional
Método para revisão: domínios de pesquisa
56
Proposta da Autora (2016)
Cluster 1 – Tecnologia da Informação
Big Data
Governança de Dados
Cloud Computing Segurança da Informação
Cluster 2 – Indivíduo
Indivíduo / Pessoa / Cidadão
Paciente
Cluster 5 – Informação
Responsabilidade / Accountability
Gestão da Informação
Transparência
Confidencialidade Privacidade
Conhecimento
Cluster 3 –Organização
Governança Corporativa
Decisão / Tomada de
Decisão
Cluster 4 - Sociedade
Liberdade
Governo
Redes
Direitos Legislação
Regulamentação
GovernançadaInformação