MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE...
Transcript of MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE...
![Page 1: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/1.jpg)
MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE IMPACTOS DA P&D Experiências recentes em avaliação de impactos em CT&I Adriana Bin
![Page 2: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/2.jpg)
Apresentação
• Faculdade de Ciências Aplicadas (FCA/Unicamp)
• Grupo de Estudos sobre Organização da Pesquisa e da Inovação – Departamento de Política Científica e Tecnológica (GEOPI/DPCT/IGE/Unicamp)
![Page 3: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/3.jpg)
Roteiro da apresentação 1. Avaliação em ciência, tecnologia e inovação – um objeto
diferente 2. Avaliação em ciência, tecnologia e inovação – como fazer? 3. Pontos críticos e recomendações
3
![Page 4: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/4.jpg)
1. CONCEITOS GERAIS DE AVALIAÇÃO
4
![Page 5: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/5.jpg)
O que é avaliação? • Ato ou efeito de avaliar • Avaliar = atribuir valor aos objetos “A ação de avaliar pressupõe que
exista um objeto bem definido para ser avaliado e que exista um sujeito capaz de executar um juízo de valor acerca do objeto” (Zackiewicz, 2005)
![Page 6: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/6.jpg)
Definição de um objeto • A definição de um objeto ocorre a partir de abstrações que correspondem a certas propriedades desses mesmos objetos, ou seja, de seus atributos
• Se o objeto for um homem, pode-se descrevê-lo a partir de alguns de seus atributos, quais sejam: peso, altura, cor de pele, idade, nacionalidade, etc.
“Assim, toda descrição de um objeto
passa irremediavelmente pela escolha e construção subjetiva de atributos” (Zackiewicz, 2005)
![Page 7: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/7.jpg)
Atributos e critérios • Avaliar é interpretar um atributo em uma estrutura de critério
7
![Page 8: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/8.jpg)
8
![Page 9: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/9.jpg)
Métodos de avaliação • Os métodos existem para formalizar e comunicar uma avaliação
• A previsibilidade dos procedimentos e a compreensão dos atributos e critérios por todos os envolvidos traz legitimação
• Sem método, uma avaliação não pode ser institucionalizada
• Há rigores variados na formalização dos métodos • contexto em que ocorre a avaliação • atores envolvidos • objetos envolvidos
9
![Page 10: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/10.jpg)
1. AVALIAÇÃO EM CIÊNCIA, TECNOLOGIA E INOVAÇÃO – UM OBJETO DIFERENTE
10
![Page 11: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/11.jpg)
Objeto da avaliação • Qual é o objeto da avaliação quando pensamos em
CT&I?
• Atividades • Projetos • Programas • Políticas • Bens • Serviços
![Page 12: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/12.jpg)
Principais motivações para avaliação em CT&I (historicamente…) mecanismo interno de controle de produtividade e qualidade da C&T a partir do ethos acadêmico (avaliação pelos pares e cientometria) à lógica “acadêmica”
accountability – prestação de contas em relação a resultados e impactos prometidos ou esperados (relação custo-benefício)
assessment – mecanismos para reduzir potenciais impactos negativos na sociedade (padrões aceitáveis)
Planejamento e aprendizado
![Page 13: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/13.jpg)
Trajetórias da avaliação
Legitimação de iniciativas passadas e accountability
Assessment Neutralidade de avaliadores
independentes
Aprendizado e planejamento (estratégia)
Novo papel dos avaliadores Combinação de métodos
Multidimensional
![Page 14: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/14.jpg)
Recursos, resultados e impactos
14
![Page 15: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/15.jpg)
Recursos, resultados e impactos
15
![Page 16: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/16.jpg)
Recursos, resultados e impactos
16
![Page 17: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/17.jpg)
Camadas “típicas” do objeto CT&I
17
![Page 18: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/18.jpg)
CT&I é um objeto complexo
18
![Page 19: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/19.jpg)
The Iceberg Model Avoiding the risk of under-evaluation
Science and Public Policy December 2007 747
BETA methodology developed by the group of that name at Louis Pasteur University, Strasbourg (Bach et al 1992; 2003). The present version has begun to be labelled the ‘Iceberg Model’ from an image that shows that many effects are hidden from superficial observation (see Figure 5). To the direct effects of sales and cost reductions that are normally captured in surveys of deliverables, are added a series of indi-rect effects involving transfer of the technology de-veloped to other parts of the business, commercial benefits from new networks and visibility, organisa-tional and methodological improvements (an aspect of behavioural additionality), and human resource benefits. Beyond this, there are also the social benefits represented by spillovers and broader user benefits.
Effects
Key categories
These effects may now be examined in more detail. In a first pass key categories of effects are discussed and then three short case studies are discussed to il-lustrate interaction.
Effects on firm strategy The behavioural addition-ality approach recognises that public funding of R&D interacts with firm strategy and needs to be understood in this context. SMEs in particular may be heavily influenced by their experiences in a pro-gramme. Some such effects lead to lasting changes in firm behaviour caused by acquisition of new ca-pabilities. In general, firms seek to align their R&D projects with their strategies. Hence many EUREKA projects could be seen as extensions to the existing strategy, with occasional feedback when, for exam-ple, the R&D indicated that a market sector was in decline.
Examples of where strategy was changed include: transformation from contract research or consultancy
to manufacture (for example, an R&D service com-pany in the food sector moving to industrial-scale production); changing from military work to civil (see P3D case study); moving from traditional to technology-based approaches (for example, upgrad-ing from crude low value-added meat production to high-tech packaging and quality assurance); and, more generally, finding new ways to do business.
Use of technologies in other parts of the business Reporting systems are often structured around initial objectives and hence do not pick up the application of a technology developed in one context in other parts of the business. This is potentially a major source of undervaluation.
The EUREKA case showed that this was a fre-quent occurrence. For example, an electronic tech-nology developed for process automation was used by a firm for traceability and food safety in other areas of the company leading to a 12% rise in sales. Another example is the Contronics case study below.
New technological options may be opened through follow-on projects. The vector for the spread of these technologies is often through the acquired human competences that can then be re-applied. This dimension may also be seen in the per-spective of options theory (Vonortas and Lackey, 2003) as the firm’s ability to pursue the new oppor-tunities (the option) is created by its initial R&D investment decision.
Contacts, networks and prestige The fact of being in a high-profile programme can itself convey pres-tige; for example, subsequent investors or customers may perceive that the technology has been ‘audited’ as a quality mark. Several of the EUREKA SMEs used the EUREKA label in this way: one put it on the product to demonstrate quality derived from R&D, another used it as a substitute for customer references in initial marketing, a third in raising funds to support marketing activities.
Sales of innovative product Reduced process costs Licence income
Use of technology in other parts of the business New contacts/networks & prestige Organisation and method learning Competence & training
Spillovers to non-participants User and social benefits
Figure 5. The Iceberg Model Georghiou, 2007
![Page 20: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/20.jpg)
Desafios da avaliação em CT&I - objeto!• Incerteza na criação de algo que não existe (como captar o que é e o que não é esperado? o que é sucesso e o que é fracasso?)
• Alvo móvel (muda ao longo do tempo) • Cumulatividade dos resultados • Dependência de ativos complementares • Impactos de CT&I são multi-dimensionais por natureza
• Especificidades nacionais, locais e setoriais
![Page 21: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/21.jpg)
2. AVALIAÇÃO EM CIÊNCIA, TECNOLOGIA E INOVAÇÃO – COMO FAZER?
![Page 22: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/22.jpg)
Como avaliar frente a estes desafios?
![Page 23: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/23.jpg)
Métodos e recursos • A escolha do método mais adequado depende das
condições anteriores previamente definidas (motivações, objetivos, objeto, atributos, nível de agregação), das possibilidades em termos de recursos financeiros, humanos e físicos disponíveis para tal e, finalmente, do nível de competência adquirido para a aplicação dos referidos métodos.
![Page 24: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/24.jpg)
“Programa” de Avaliação do GEOPI 5. Avaliação de Programas da Fapesp: Desenvolvimento e Aplicação de Métodos de Avaliação de Impactos e de Requisitos para Avaliações Sistemáticas (FAPESP) (2009-2012) 4. Avaliação de Programas da Fapesp (FAPESP) (2006-2008) • Avaliação de impactos da Lei de Informática
(CGEE/SEPIN) (2009-2010) • Avaliação do Programa INCAGRO (Banco
Mundial – Peru) (2009) • Avaliação do Programa FIA (Governo Chile)
(2009) 3. Avaliação dos projetos do FUNNTEL (Finep) (2007) • Avaliação Prospectiva do Procisur (IICA) (2006) • Avaliação Prospectiva do Procitropicos (IICA)
(2005-2006) • Avaliação dos projetos Fontagro (IICA) (2005) • Impacto do Software Livre e de Código Aberto
na Indústria de Software do Brasil (Softex e
MCT) (2004) 2. Metodologia de Avaliação de Impactos de Programas Tecnológicos – o Programa de Pesquisa em Saneamento Básico - Prosab (Finep) (2003-2005) 1. Metodologia de Avaliação de Impactos de Programas de Pesquisa (Fapesp/Finep) (1999-2003) • Avaliação das propostas submetidas ao CT-Infra
em 2001 (Finep) (2002) • Avaliação dos programas da WWF e USAID
(USAID) (2000 e 2001) • Avaliação do PROBIO e do FUNBIO (GEF)
(1999) • Avaliação das Organizações Estaduais de
Pesquisa Agropecuária – OEPAs (IICA/Embrapa) (1997-1998)
![Page 25: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/25.jpg)
1
2
3
4 5
ü Multidimensiona-lidade
ü Múltiplos atores + ü Adicionalidade ü Atribuição
ü Mensuração da inovação
ü Decomposição ü Validação com
stakeholders
ü Quasi-experimento
ü Avaliação continuada
Dados primários e secundários
![Page 26: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/26.jpg)
1-2: A multidimensionalidade e os múltiplos atores • Além do custo-benefício (medidas econômicas e
financeiras)… • Coexistência de dimensões de impacto não reduzíveis
umas às outras • Coexistência de múltiplas racionalidades, explícitas nos
múltiplos juízos de valor acerca dos impactos (atores e categorias)
• Impactos não são dissociáveis de um contexto objetivo complexo e do contexto subjetivo dos atores impactados
Método de Avaliação em Múltiplas Dimensões (MDM) ou Econômica, Social, Ambiental e Capacitação (ESAC)
![Page 27: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/27.jpg)
Concepção metodológica • Definição de Impacto
• novas tecnologias causam mudanças na medida em que são apropriadas
• impacto é uma medida da intensidade e da importância das mudanças causadas por novas tecnologias
• os impactos ocorrem em diferentes dimensões • e envolvem diferentes atores da sociedade
• Impacto é uma medida que inclui: • os efeitos decorrentes da tecnologia • e os juízos sobre esses efeitos
![Page 28: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/28.jpg)
Concepção metodológica A variável Impacto I definido no intervalo [-1, 1] I = 1 ⇒ máximo impacto positivo I = –1 ⇒ máximo impacto negativo I = 0 ⇒ inexistência de impacto.
![Page 29: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/29.jpg)
Concepção metodológica • As dimensões da avaliação
• parte-se da realidade completa, onde a relação entre os atributos contidos na realidade são complexos
• trabalha-se com a hipótese da independência e delimitação das dimensões (isola-se determinados atributos em um conjunto manejável)
![Page 30: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/30.jpg)
MDM • Cada dimensão é representada por uma estrutura de
impactos, ou seja, uma estrutura hierárquica de atributos que indica sobre quais aspectos se deve examinar a extensão dos efeitos de uma nova tecnologia
![Page 31: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/31.jpg)
Concepção metodológica • As estruturas de impacto obedecem aos seguintes
axiomas: • exaustividade (estrutura é suficiente para captar os impactos de
determinada dimensão) • não redundância (não há como tirar atributos sem que se contrarie
a exaustividade) • coesão (única função que relaciona uma mudança x em
determinado atributo a um medida de impacto I)
![Page 32: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/32.jpg)
Concepção metodológica
![Page 33: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/33.jpg)
Concepção metodológica • Amostra - obtenção das medidas
• Atores e categorias • Intencionalidade
![Page 34: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/34.jpg)
Concepção metodológica
• Valores representativos • coesão das respostas,
baseiada na distribuição das respostas
resposta número de respostas-3 2-2 5-1 10 01 02 03 0
resposta número de respostas-3 1-2 5-1 10 01 22 43 0
0
1
2
3
4
5
6
-3 -2 -1 0 1 2 3
0
1
2
3
4
5
6
-3 -2 -1 0 1 2 3
![Page 35: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/35.jpg)
Concepção metodológica Caso 1: Coesão Forte c(x)=1
-1 0 +1
Impacto
valor representativo média
![Page 36: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/36.jpg)
Concepção metodológica Caso 2: Coesão Fraca c(x)=0,75
-1 0 +1
Impacto
mediana valor representativo
![Page 37: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/37.jpg)
Concepção metodológica Caso 3: Coesão Dupla c(x)=0,5
-1 0 +1
Impacto
valor representativo média das
médias
![Page 38: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/38.jpg)
Concepção metodológica Caso 4. Coesão Assimétrica c(x)=0,25
-1 0 +1
Impacto
valor representativo
média entre
média e mediana
![Page 39: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/39.jpg)
Concepção metodológica Caso 5. Ausência de Coesão c(x)=0
-1 0 +1
Impacto
valor representativo
média das
medianas
![Page 40: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/40.jpg)
Concepção metodológica Z =Coesão Total das Respostas
..
1
)(
bascomp
n
ii
n
xcZ∑==
75,0≥Z
75,0<Z
Impacto Coeso
Impacto Ambíguo
Separar Respostas
Diferentes Atores e Categorias
![Page 41: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/41.jpg)
1-2: Adicionalidade e atribuição • Adicionalidade: empregado para verificar a direção e a
intensidade das transformações observadas a partir da implantação do programa/projeto. A ideia fundamental da adicionalidade está na verificação das mudanças ocorridas em um dado intervalo temporal, cujo baseline é o momento de implantação do programa/projeto e o momento da avaliação.
• Atribuição: será empregada para identificar o grau da relação causal que se estabelece entre o objeto e os impactos verificados, no intuito de estimar a contribuição efetiva do projeto para as mudanças verificadas.
![Page 42: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/42.jpg)
Concepção metodológica • A variável x = variação do componente básico
Componente Básico
Aspecto Mensurável
Variação observada entre t0 e t1
Valor de x Projeção para
a escala [-1, 1]
(função φ)
Impacto I para o Componente
Básico
![Page 43: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/43.jpg)
Concepção metodológica • A variável α = participação da tecnologia no efeito
observado
Programa/ projeto Tecnologia Impacto
+ Outras Causas
?
![Page 44: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/44.jpg)
Concepção metodológica • A variável α = participação da tecnologia no efeito
observado
Programa/ projeto Tecnologia Impacto
Medido pelo valor de α
Projeção para a
escala [0, 1] (função ρ)
?
![Page 45: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/45.jpg)
Concepção metodológica • Agregação dos Impactos
Componente Básico
Componente Básico
Componente de Impacto Componente Básico
Componente de Impacto
It ; Ig ; Io It ; Ig ; Io
It ; Ig ; Io
Ι=κ.Ι+κ.Ι
I=k.I+k.I
e assim por diante...
![Page 46: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/46.jpg)
Concepção metodológica
∑ ∑= =
⎟⎠
⎞⎜⎝
⎛=
Dn
i
nDn
iitDiiDiiDiDitG xkkI
1
...
1......... )(.... φ
∑ ∑= =
⎟⎠
⎞⎜⎝
⎛=
Dn
i
nDn
iitDiitDiitDiiDiiDiDitP xkkI
1
...
1............... .)().(.... αρφ
l Agregação dos Impactos – equações aditivas
![Page 47: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/47.jpg)
Exemplo: avaliação do Prosab
![Page 48: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/48.jpg)
Exemplo: avaliação do Prosab
![Page 49: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/49.jpg)
3 – Mensuração da inovação
• Geração de tecnologias?
Tecnologia
• Geração de inovações (uso ou comercialização das tecnologias)?
• Características da inovação (ano do início do uso/comercializacão + nível de novidade)
Inovação
• Geração de direitos de propriedade intelectual? • Número x tipo de instrumento
Propriedade intelectual
![Page 50: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/50.jpg)
Exemplo: avaliação do Funttel
![Page 51: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/51.jpg)
Exemplo: avaliação do Funttel
![Page 52: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/52.jpg)
Exemplo: avaliação do Funttel
![Page 53: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/53.jpg)
0
5
10
15
20
25
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Sem resposta
Novo para a CPFL, mas já existente no mercado nacional
Novo para o mercado mundial
Novo para o mercado nacional, mas já existente no mercado mundial
Novo para sua Organização, mas já existente no mercado nacional
Sem resposta
Exemplo: avaliação da carteira de projetos de P&D de uma empresa do setor elétrico
![Page 54: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/54.jpg)
0
5
10
15
20
25
1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Sem resposta
Componente ou dispositivo Conceito ou metodologia Máquina ou equipamento
Sistema Software Sem resposta
Exemplo: avaliação da carteira de projetos de P&D de uma empresa do setor elétrico
![Page 55: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/55.jpg)
4 - Decomposição • Empregado para a elaboração dos indicadores e métricas
para a avaliação • Baseia-se na decomposição dos objetivos do projeto
(ação dedutiva)
Objetivos • O que se espera?
Termos • Quais os pontos
chave dos resultados e impactos esperados?
Temas • Rearranjo (concisão e
consistência)
Indicadores • Elementos
mensuráveis
![Page 56: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/56.jpg)
Identificação dos termos
Objetivos do programa termos
General goal: support for the development of innovative research by small enterprises headquartered in São Paulo State, on important problems in science and technology with high potential for commercial or social returns. Projects may be developed by researchers employed by small business or associated with firms for the purpose of carrying out the research.
innovative research small enterprises
high potential for commercial or social returns
problems in science and technology
by small business or associated with firms
![Page 57: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/57.jpg)
Termos e temas
termos
Innovative research
temas R&D activites, results and capabilities developed Transforming R&D results into new products, processes, services etc. Introducing they in the market Technology transfer and difusion Use of intellectual property Creation of a corporative culture of innovative research
![Page 58: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/58.jpg)
Temas e indicadores
temas
R&D activites, results and capabilities developed
indicadores Results directly achieved (foreseen, unforeseen) Results indirectly achieved Change in the infra-structure Products, processes, servies? Capabilities created and difused Relationship with users and partners…
![Page 59: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/59.jpg)
4 - Validação • Reunião de stakeholders/especialistas relacionados com
o objeto da avaliação, no intuito de discutir e validar temas, indicadores e métricas (assim como outros elementos pertinentes da avaliação, como desenho amostral, hipóteses etc.), assim como os resultados obtidos no exercício
![Page 60: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/60.jpg)
5 – Quase-experimento • Grupos de tratamento e de controle no intuito de isolar os
impactos do programa/projeto nos resultados e impactos obtidos
![Page 61: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/61.jpg)
Quase-‐experimento
![Page 62: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/62.jpg)
Efeito da Bolsa FAPESP de Mestrado -‐ Número Total de Ar8gos
![Page 63: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/63.jpg)
Efeito da Bolsa FAPESP de Mestrado -‐ Número de Ar8gos Qualis A1
![Page 64: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/64.jpg)
05
1015
20Sa
lário
s M
ínim
os
Não FAPESP FAPESP
Renda Inicial Renda Atual
Evolução de salário e renda -‐ doutorado
![Page 65: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/65.jpg)
5 – Avaliação continuada • institucionalização no âmbito organizacional • instrumentos de monitoramento e de avaliação para
acompanhar e aperfeiçoar a qualidade, eficiência e efetividade das intervenções em vários estágios da implementação (de um projeto, política, programa) • coleta e análise da informação em uma base regular e continuada • possibilidade de análises periódicas e cumulativas • realização por equipes internas, embora a participação de
membros externos seja desejada • maior grau de participação dos usuários que poderão lidar com o
problemas que surgem na implementação do programa avaliado • pode envolver menos recursos que a opção por uma série de
avaliações pontuais • melhora o suporte à tomada de decisão
![Page 66: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/66.jpg)
3. PONTOS CRÍTICOS E RECOMENDAÇÕES
![Page 67: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/67.jpg)
Desafios da avaliação em CT&I - métodos!• Não se trata de buscar ferramentas universais,
mas de uma linguagem universal (criação de um código comum é o primeiro passo)
• Uso de métodos combinados (quantitativos e qualitativos)
• Integração e manutenção de bases de dados para avaliação
• Custo x tempo x efetividade da avaliação
![Page 68: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/68.jpg)
Desafios da avaliação em CT&I - comunicação!• Resultados de fácil comunicação e que podem criar mecanismos de feedback para a formulação de políticas e tomada de decisões (keep it simple)
• Responder às perguntas inicialmente formuladas • Comunicação para a sociedade (e para outros atores, de diferentes comunidades)
![Page 69: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/69.jpg)
Pontos críticos • Uso dos resultados das avaliações
• Desdobramentos da avaliação modificando o objeto avaliado durante o processo
• Resultados reorientando programas e políticas • Desconsideração dos resultados da avaliação (não há
conseqüências) à torna-se um fim em si mesma • Avaliação para sustentar mudanças de direção já pensadas
![Page 70: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/70.jpg)
Fronteiras (a alcançar) • Necessidade de mensurar os impactos da avaliação
(como fazer com que a avaliação tenha um impacto efetivo no processo de decisão e como disseminá-la)
• Necessidade de garantir o valor científico das avaliações (credibilidade/legitimidade)
• Necessidade de criar sinergias com atividades correlatas no universo da gestão de CT&I (planejamento, prospecção etc.)
![Page 71: MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE …api.ning.com/files/y29oK-06M3NCivv38cQqSBB4JhxtsV4qehUVvHU3... · • Grupo de Estudos sobre Organização da Pesquisa e da Inovação](https://reader031.fdocumentos.tips/reader031/viewer/2022022112/5c64b6fb09d3f2ad6e8b92db/html5/thumbnails/71.jpg)
OBRIGADA [email protected]