MÉTODO MULTIDIMENSIONAL DE AVALIAÇÃO DE IMPACTOS DA P&D Experiências recentes em avaliação de impactos em CT&I Adriana Bin

Apresentação

•  Faculdade de Ciências Aplicadas (FCA/Unicamp)

• Grupo de Estudos sobre Organização da Pesquisa e da Inovação – Departamento de Política Científica e Tecnológica (GEOPI/DPCT/IGE/Unicamp)

Roteiro da apresentação 1.  Avaliação em ciência, tecnologia e inovação – um objeto

diferente 2.  Avaliação em ciência, tecnologia e inovação – como fazer? 3.  Pontos críticos e recomendações

3

1. CONCEITOS GERAIS DE AVALIAÇÃO

4

O que é avaliação? • Ato ou efeito de avaliar • Avaliar = atribuir valor aos objetos “A ação de avaliar pressupõe que

exista um objeto bem definido para ser avaliado e que exista um sujeito capaz de executar um juízo de valor acerca do objeto” (Zackiewicz, 2005)

Definição de um objeto •  A definição de um objeto ocorre a partir de abstrações que correspondem a certas propriedades desses mesmos objetos, ou seja, de seus atributos

•  Se o objeto for um homem, pode-se descrevê-lo a partir de alguns de seus atributos, quais sejam: peso, altura, cor de pele, idade, nacionalidade, etc.

“Assim, toda descrição de um objeto

passa irremediavelmente pela escolha e construção subjetiva de atributos” (Zackiewicz, 2005)

Atributos e critérios • Avaliar é interpretar um atributo em uma estrutura de critério

7

8

Métodos de avaliação • Os métodos existem para formalizar e comunicar uma avaliação

• A previsibilidade dos procedimentos e a compreensão dos atributos e critérios por todos os envolvidos traz legitimação

• Sem método, uma avaliação não pode ser institucionalizada

• Há rigores variados na formalização dos métodos •  contexto em que ocorre a avaliação •  atores envolvidos •  objetos envolvidos

9

1. AVALIAÇÃO EM CIÊNCIA, TECNOLOGIA E INOVAÇÃO – UM OBJETO DIFERENTE

10

Objeto da avaliação • Qual é o objeto da avaliação quando pensamos em

CT&I?

• Atividades • Projetos • Programas • Políticas • Bens • Serviços

Principais motivações para avaliação em CT&I (historicamente…) mecanismo interno de controle de produtividade e qualidade da C&T a partir do ethos acadêmico (avaliação pelos pares e cientometria) à lógica “acadêmica”

accountability – prestação de contas em relação a resultados e impactos prometidos ou esperados (relação custo-benefício)

assessment – mecanismos para reduzir potenciais impactos negativos na sociedade (padrões aceitáveis)

Planejamento e aprendizado

Trajetórias da avaliação

Legitimação de iniciativas passadas e accountability

Assessment Neutralidade de avaliadores

independentes

Aprendizado e planejamento (estratégia)

Novo papel dos avaliadores Combinação de métodos

Multidimensional

Recursos, resultados e impactos

14

Recursos, resultados e impactos

15

Recursos, resultados e impactos

16

Camadas “típicas” do objeto CT&I

17

CT&I é um objeto complexo

18

The Iceberg Model Avoiding the risk of under-evaluation

Science and Public Policy December 2007 747

BETA methodology developed by the group of that name at Louis Pasteur University, Strasbourg (Bach et al 1992; 2003). The present version has begun to be labelled the ‘Iceberg Model’ from an image that shows that many effects are hidden from superficial observation (see Figure 5). To the direct effects of sales and cost reductions that are normally captured in surveys of deliverables, are added a series of indi-rect effects involving transfer of the technology de-veloped to other parts of the business, commercial benefits from new networks and visibility, organisa-tional and methodological improvements (an aspect of behavioural additionality), and human resource benefits. Beyond this, there are also the social benefits represented by spillovers and broader user benefits.

Effects

Key categories

These effects may now be examined in more detail. In a first pass key categories of effects are discussed and then three short case studies are discussed to il-lustrate interaction.

Effects on firm strategy The behavioural addition-ality approach recognises that public funding of R&D interacts with firm strategy and needs to be understood in this context. SMEs in particular may be heavily influenced by their experiences in a pro-gramme. Some such effects lead to lasting changes in firm behaviour caused by acquisition of new ca-pabilities. In general, firms seek to align their R&D projects with their strategies. Hence many EUREKA projects could be seen as extensions to the existing strategy, with occasional feedback when, for exam-ple, the R&D indicated that a market sector was in decline.

Examples of where strategy was changed include: transformation from contract research or consultancy

to manufacture (for example, an R&D service com-pany in the food sector moving to industrial-scale production); changing from military work to civil (see P3D case study); moving from traditional to technology-based approaches (for example, upgrad-ing from crude low value-added meat production to high-tech packaging and quality assurance); and, more generally, finding new ways to do business.

Use of technologies in other parts of the business Reporting systems are often structured around initial objectives and hence do not pick up the application of a technology developed in one context in other parts of the business. This is potentially a major source of undervaluation.

The EUREKA case showed that this was a fre-quent occurrence. For example, an electronic tech-nology developed for process automation was used by a firm for traceability and food safety in other areas of the company leading to a 12% rise in sales. Another example is the Contronics case study below.

New technological options may be opened through follow-on projects. The vector for the spread of these technologies is often through the acquired human competences that can then be re-applied. This dimension may also be seen in the per-spective of options theory (Vonortas and Lackey, 2003) as the firm’s ability to pursue the new oppor-tunities (the option) is created by its initial R&D investment decision.

Contacts, networks and prestige The fact of being in a high-profile programme can itself convey pres-tige; for example, subsequent investors or customers may perceive that the technology has been ‘audited’ as a quality mark. Several of the EUREKA SMEs used the EUREKA label in this way: one put it on the product to demonstrate quality derived from R&D, another used it as a substitute for customer references in initial marketing, a third in raising funds to support marketing activities.

Sales of innovative product Reduced process costs Licence income

Use of technology in other parts of the business New contacts/networks & prestige Organisation and method learning Competence & training

Spillovers to non-participants User and social benefits

Figure 5. The Iceberg Model Georghiou, 2007

Desafios da avaliação em CT&I - objeto!•  Incerteza na criação de algo que não existe (como captar o que é e o que não é esperado? o que é sucesso e o que é fracasso?)

• Alvo móvel (muda ao longo do tempo) • Cumulatividade dos resultados • Dependência de ativos complementares •  Impactos de CT&I são multi-dimensionais por natureza

• Especificidades nacionais, locais e setoriais

2. AVALIAÇÃO EM CIÊNCIA, TECNOLOGIA E INOVAÇÃO – COMO FAZER?

Como avaliar frente a estes desafios?

Métodos e recursos • A escolha do método mais adequado depende das

condições anteriores previamente definidas (motivações, objetivos, objeto, atributos, nível de agregação), das possibilidades em termos de recursos financeiros, humanos e físicos disponíveis para tal e, finalmente, do nível de competência adquirido para a aplicação dos referidos métodos.

“Programa” de Avaliação do GEOPI 5. Avaliação de Programas da Fapesp: Desenvolvimento e Aplicação de Métodos de Avaliação de Impactos e de Requisitos para Avaliações Sistemáticas (FAPESP) (2009-2012) 4. Avaliação de Programas da Fapesp (FAPESP) (2006-2008) •  Avaliação de impactos da Lei de Informática

(CGEE/SEPIN) (2009-2010) •  Avaliação do Programa INCAGRO (Banco

Mundial – Peru) (2009) •  Avaliação do Programa FIA (Governo Chile)

(2009) 3. Avaliação dos projetos do FUNNTEL (Finep) (2007) •  Avaliação Prospectiva do Procisur (IICA) (2006) •  Avaliação Prospectiva do Procitropicos (IICA)

(2005-2006) •  Avaliação dos projetos Fontagro (IICA) (2005) •  Impacto do Software Livre e de Código Aberto

na Indústria de Software do Brasil (Softex e

MCT) (2004) 2. Metodologia de Avaliação de Impactos de Programas Tecnológicos – o Programa de Pesquisa em Saneamento Básico - Prosab (Finep) (2003-2005) 1. Metodologia de Avaliação de Impactos de Programas de Pesquisa (Fapesp/Finep) (1999-2003) •  Avaliação das propostas submetidas ao CT-Infra

em 2001 (Finep) (2002) •  Avaliação dos programas da WWF e USAID

(USAID) (2000 e 2001) •  Avaliação do PROBIO e do FUNBIO (GEF)

(1999) •  Avaliação das Organizações Estaduais de

Pesquisa Agropecuária – OEPAs (IICA/Embrapa) (1997-1998)

1

2

3

4 5

ü  Multidimensiona-lidade

ü  Múltiplos atores + ü  Adicionalidade ü  Atribuição

ü  Mensuração da inovação

ü  Decomposição ü  Validação com

stakeholders

ü  Quasi-experimento

ü  Avaliação continuada

Dados primários e secundários

1-2: A multidimensionalidade e os múltiplos atores • Além do custo-benefício (medidas econômicas e

financeiras)… • Coexistência de dimensões de impacto não reduzíveis

umas às outras • Coexistência de múltiplas racionalidades, explícitas nos

múltiplos juízos de valor acerca dos impactos (atores e categorias)

•  Impactos não são dissociáveis de um contexto objetivo complexo e do contexto subjetivo dos atores impactados

Método de Avaliação em Múltiplas Dimensões (MDM) ou Econômica, Social, Ambiental e Capacitação (ESAC)

Concepção metodológica • Definição de Impacto

•  novas tecnologias causam mudanças na medida em que são apropriadas

•  impacto é uma medida da intensidade e da importância das mudanças causadas por novas tecnologias

•  os impactos ocorrem em diferentes dimensões •  e envolvem diferentes atores da sociedade

•  Impacto é uma medida que inclui: •  os efeitos decorrentes da tecnologia •  e os juízos sobre esses efeitos

Concepção metodológica A variável Impacto I definido no intervalo [-1, 1] I = 1 ⇒ máximo impacto positivo I = –1 ⇒ máximo impacto negativo I = 0 ⇒ inexistência de impacto.

Concepção metodológica • As dimensões da avaliação

•  parte-se da realidade completa, onde a relação entre os atributos contidos na realidade são complexos

•  trabalha-se com a hipótese da independência e delimitação das dimensões (isola-se determinados atributos em um conjunto manejável)

MDM • Cada dimensão é representada por uma estrutura de

impactos, ou seja, uma estrutura hierárquica de atributos que indica sobre quais aspectos se deve examinar a extensão dos efeitos de uma nova tecnologia

Concepção metodológica • As estruturas de impacto obedecem aos seguintes

axiomas: •  exaustividade (estrutura é suficiente para captar os impactos de

determinada dimensão) •  não redundância (não há como tirar atributos sem que se contrarie

a exaustividade) •  coesão (única função que relaciona uma mudança x em

determinado atributo a um medida de impacto I)

Concepção metodológica

Concepção metodológica • Amostra - obtenção das medidas

•  Atores e categorias •  Intencionalidade

Concepção metodológica

• Valores representativos •  coesão das respostas,

baseiada na distribuição das respostas

resposta número de respostas-3 2-2 5-1 10 01 02 03 0

resposta número de respostas-3 1-2 5-1 10 01 22 43 0

0

1

2

3

4

5

6

-3 -2 -1 0 1 2 3

0

1

2

3

4

5

6

-3 -2 -1 0 1 2 3

Concepção metodológica Caso 1: Coesão Forte c(x)=1

-1 0 +1

Impacto

valor representativo média

Concepção metodológica Caso 2: Coesão Fraca c(x)=0,75

-1 0 +1

Impacto

mediana valor representativo

Concepção metodológica Caso 3: Coesão Dupla c(x)=0,5

-1 0 +1

Impacto

valor representativo média das

médias

Concepção metodológica Caso 4. Coesão Assimétrica c(x)=0,25

-1 0 +1

Impacto

valor representativo

média entre

média e mediana

Concepção metodológica Caso 5. Ausência de Coesão c(x)=0

-1 0 +1

Impacto

valor representativo

média das

medianas

Concepção metodológica Z =Coesão Total das Respostas

..

1

)(

bascomp

n

ii

n

xcZ∑==

75,0≥Z

75,0<Z

Impacto Coeso

Impacto Ambíguo

Separar Respostas

Diferentes Atores e Categorias

1-2: Adicionalidade e atribuição • Adicionalidade: empregado para verificar a direção e a

intensidade das transformações observadas a partir da implantação do programa/projeto. A ideia fundamental da adicionalidade está na verificação das mudanças ocorridas em um dado intervalo temporal, cujo baseline é o momento de implantação do programa/projeto e o momento da avaliação.

• Atribuição: será empregada para identificar o grau da relação causal que se estabelece entre o objeto e os impactos verificados, no intuito de estimar a contribuição efetiva do projeto para as mudanças verificadas.

Concepção metodológica • A variável x = variação do componente básico

Componente Básico

Aspecto Mensurável

Variação observada entre t0 e t1

Valor de x Projeção para

a escala [-1, 1]

(função φ)

Impacto I para o Componente

Básico

Concepção metodológica • A variável α = participação da tecnologia no efeito

observado

Programa/ projeto Tecnologia Impacto

+ Outras Causas

?

Concepção metodológica • A variável α = participação da tecnologia no efeito

observado

Programa/ projeto Tecnologia Impacto

Medido pelo valor de α

Projeção para a

escala [0, 1] (função ρ)

?

Concepção metodológica • Agregação dos Impactos

Componente Básico

Componente Básico

Componente de Impacto Componente Básico

Componente de Impacto

It ; Ig ; Io It ; Ig ; Io

It ; Ig ; Io

Ι=κ.Ι+κ.Ι

I=k.I+k.I

e assim por diante...

Concepção metodológica

∑ ∑= =

⎟⎠

⎞⎜⎝

⎛=

Dn

i

nDn

iitDiiDiiDiDitG xkkI

1

...

1......... )(.... φ

∑ ∑= =

⎟⎠

⎞⎜⎝

⎛=

Dn

i

nDn

iitDiitDiitDiiDiiDiDitP xkkI

1

...

1............... .)().(.... αρφ

l  Agregação dos Impactos – equações aditivas

Exemplo: avaliação do Prosab

Exemplo: avaliação do Prosab

3 – Mensuração da inovação

•  Geração de tecnologias?

Tecnologia

•  Geração de inovações (uso ou comercialização das tecnologias)?

•  Características da inovação (ano do início do uso/comercializacão + nível de novidade)

Inovação

•  Geração de direitos de propriedade intelectual? •  Número x tipo de instrumento

Propriedade intelectual

Exemplo: avaliação do Funttel

Exemplo: avaliação do Funttel

Exemplo: avaliação do Funttel

0

5

10

15

20

25

1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Sem  resposta

Novo  para  a  CPFL,  mas  já  existente  no  mercado  nacional

Novo  para  o  mercado  mundial

Novo  para  o  mercado  nacional,  mas  já  existente  no  mercado  mundial

Novo  para  sua  Organização,  mas  já  existente  no  mercado  nacional

Sem  resposta

Exemplo: avaliação da carteira de projetos de P&D de uma empresa do setor elétrico

0

5

10

15

20

25

1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 Sem  resposta

Componente  ou  dispositivo Conceito  ou  metodologia Máquina  ou  equipamento

Sistema Software Sem  resposta

Exemplo: avaliação da carteira de projetos de P&D de uma empresa do setor elétrico

4 - Decomposição • Empregado para a elaboração dos indicadores e métricas

para a avaliação • Baseia-se na decomposição dos objetivos do projeto

(ação dedutiva)

Objetivos • O que se espera?

Termos • Quais os pontos

chave dos resultados e impactos esperados?

Temas • Rearranjo (concisão e

consistência)

Indicadores •  Elementos

mensuráveis

Identificação dos termos

Objetivos do programa termos

General goal: support for the development of innovative research by small enterprises headquartered in São Paulo State, on important problems in science and technology with high potential for commercial or social returns. Projects may be developed by researchers employed by small business or associated with firms for the purpose of carrying out the research.

innovative research small enterprises

high potential for commercial or social returns

problems in science and technology

by small business or associated with firms

Termos e temas

termos

Innovative research

temas R&D activites, results and capabilities developed Transforming R&D results into new products, processes, services etc. Introducing they in the market Technology transfer and difusion Use of intellectual property Creation of a corporative culture of innovative research

Temas e indicadores

temas

R&D activites, results and capabilities developed

indicadores Results directly achieved (foreseen, unforeseen) Results indirectly achieved Change in the infra-structure Products, processes, servies? Capabilities created and difused Relationship with users and partners…

4 - Validação • Reunião de stakeholders/especialistas relacionados com

o objeto da avaliação, no intuito de discutir e validar temas, indicadores e métricas (assim como outros elementos pertinentes da avaliação, como desenho amostral, hipóteses etc.), assim como os resultados obtidos no exercício

5 – Quase-experimento • Grupos de tratamento e de controle no intuito de isolar os

impactos do programa/projeto nos resultados e impactos obtidos

Quase-­‐experimento  

Efeito  da  Bolsa  FAPESP  de  Mestrado  -­‐  Número  Total  de  Ar8gos  

Efeito  da  Bolsa  FAPESP  de  Mestrado  -­‐  Número  de  Ar8gos  Qualis  A1  

05

1015

20Sa

lário

s M

ínim

os

Não FAPESP FAPESP

Renda Inicial Renda Atual

Evolução  de  salário  e  renda  -­‐  doutorado  

5 – Avaliação continuada •  institucionalização no âmbito organizacional •  instrumentos de monitoramento e de avaliação para

acompanhar e aperfeiçoar a qualidade, eficiência e efetividade das intervenções em vários estágios da implementação (de um projeto, política, programa) •  coleta e análise da informação em uma base regular e continuada •  possibilidade de análises periódicas e cumulativas •  realização por equipes internas, embora a participação de

membros externos seja desejada •  maior grau de participação dos usuários que poderão lidar com o

problemas que surgem na implementação do programa avaliado •  pode envolver menos recursos que a opção por uma série de

avaliações pontuais •  melhora o suporte à tomada de decisão

3. PONTOS CRÍTICOS E RECOMENDAÇÕES

Desafios da avaliação em CT&I - métodos!•  Não se trata de buscar ferramentas universais,

mas de uma linguagem universal (criação de um código comum é o primeiro passo)

•  Uso de métodos combinados (quantitativos e qualitativos)

•  Integração e manutenção de bases de dados para avaliação

•  Custo x tempo x efetividade da avaliação

Desafios da avaliação em CT&I - comunicação!• Resultados de fácil comunicação e que podem criar mecanismos de feedback para a formulação de políticas e tomada de decisões (keep it simple)

• Responder às perguntas inicialmente formuladas • Comunicação para a sociedade (e para outros atores, de diferentes comunidades)

Pontos críticos • Uso dos resultados das avaliações

•  Desdobramentos da avaliação modificando o objeto avaliado durante o processo

•  Resultados reorientando programas e políticas •  Desconsideração dos resultados da avaliação (não há

conseqüências) à torna-se um fim em si mesma •  Avaliação para sustentar mudanças de direção já pensadas

Fronteiras (a alcançar) • Necessidade de mensurar os impactos da avaliação

(como fazer com que a avaliação tenha um impacto efetivo no processo de decisão e como disseminá-la)

• Necessidade de garantir o valor científico das avaliações (credibilidade/legitimidade)

• Necessidade de criar sinergias com atividades correlatas no universo da gestão de CT&I (planejamento, prospecção etc.)

OBRIGADA adriana.bin@fca.unicamp.br