Edmundo Inácio Jr. (FCA/UNICAMP)

Cássio Garcia Ribeiro (Franca/UNESP)

André Tosi furtado (DPCT/IG/UNICAMP)

Gabriela Silva (DPCT/IG/UNICAMP)

Abraham Sicsú (FUNDAJ-UFPE)

Luciana Távora (FUNDAJ)1

Avaliação dos projetos de P&D da CHESF: passos

metodológicos

Estrutura da apresentação

2

1. Introdução

2. Justificativa3. Modelo subjacente

4. A tarefa de avaliação

5. Breve histórico do Programa

6. Passos metodológicos

6.1 População e amostra6.2 Pesquisa Documental6.3 Survey6.4 Workshops6.5 População e

amostra6.6 Consolidação dos

dados6.7 Estudos de caso

7. Conclusões

1. Introdução

3

� Década de 90 – processo de privatização do setorde energia elétrica brasileira;

� Criação da Agência Nacional de Energia Elétrica(ANEEL) – 1996;

� Lei 9.991/2000 – obrigatoriedade de investir umpercentual mínimo de suas Receitas OperacionaisLíquidas (ROL) em projetos de P&D;

� Lei incentivou as atividades de inovação no setorelétrico;

2. Justificativas

4

Utilidade:

� Ciência e Tecnologia têm importância crescente para o desenvolvimento econômico e social;

� Controle dos Gastos Governamentais;

� Contabilidade e Transparência dos Resultados;

� Alimentar com informações as Políticas de C&T;

3. Modelo subjacente

5

� A escolha do que medir, como e quando e a forma de interpretar os resultados depende de um modelo subjacente de inovação;

� Enfoque neoclássico percebe o progresso técnico como exógeno;

� Enfoque Alternativo ou Heterodoxo: modelo interativo de inovação.

4. A tarefa de avaliação

6

� Atribuir impactos econômicos e sociais a uma determinada intervenção pública;

� Hiato temporal entre a produção de conhecimentos e a realização dos impactos;

� Imprevisibilidade dos resultados do processo de inovação;

� Atribuição da causalidade;

� Portanto, eficácia das avaliações é limitada:� conhecimento incompleto;

� interpretações diferentes.

4. A tarefa de avaliação

7

� Não é uma atividade rotineira: exige um importante esforço de pesquisa;

� Contribui para o entendimento do processo de inovação : abrir a caixa preta;

� A comunidade de avaliação de P&D ainda não está institucionalizada:� publicações em relatórios pouco divulgados;� pouco debate científico nacional.

8

� Manual de P&D da Aneel define operacionalmente como deverão ser os projetos de P&D e os programas a serem submetidos anualmente pelas concessionárias� Houve alterações entre o Manual de 2001 e de 2008,

mas para efeito da avaliação valeram as regras do Manual de 2001

� Critérios para Avaliação (Manual 2001)“O sucesso de um projeto de P&D depende de dois fatores básicos: da natureza dos produtos quanto à criatividade científica e inovação tecnológica, por um lado, e da sua potencialidade aplicativa pelo outro.”

5. Breve histórico do programa

9

Arranjo Institucional do Programa� Empresa Concessionária Contratante do Projeto de P&D:

� Determina os objetivos gerais do Projeto� Financia o Projeto� Gerencia e acompanha a execução do projeto� Participa da execução do Projeto� Implementa a tecnologia na empresa � Comercializa a tecnologia� � Gerente do Projeto

• Entidade executora do Projeto de P&D� Submete o projeto à entidade executora� Determina o conteúdo técnico do Projeto� Executa o projeto � � Coordenador do Projeto

• Aneel� determina as regras gerais de funcionamento do programa de P&D� aprova os projetos� Acompanha a execução dos projetos

5. Breve histórico do programa

6. Passos metodológicos

10

� Temporalidade: ex-post;

� Fase: resultados e impactos (in)diretos (nãoconcepção e nem implementação);

� Indicadores: quanti-qualitativos;

� Dados: Secundários e primários;

� Técnicas: pesquisa documental; surveys;workshops; entrevistas para estudos de caso.

Objetivo: apresentar a proposta metodológica criada e aplicada paraavaliar os projetos de pesquisa e desenvolvimento (P&D) da carteira daANEEL da Companhia Hidro Elétrica do São Francisco (CHESF).

Tabela 1 – Portfólio de Projetos de P&D da CHESF

6.1 População e amostra

11

6.2 Pesquisa documental

12

� Apoiada em dados secundários contidas nosprojetos originais e nos relatórios quadrimestrais dosprojetos já concluídos;

� Analise dos 67 projetos concluídos;

� Por meio dessas tabulações iniciais foi possível aconstrução de uma visão geral do portfólio deprojetos de P&D da CHESF, auxiliando naelaboração dos questionários aplicados no survey;

� Dados sobre recursos financeiros, entidadesparticipantes, e áreas tecnológicas abrangidaspermitiram atestar a validade da amostra do survey;

6.3 Survey

13

� Abordaram questões não capturadas na pesquisadocumental;

� Pré-teste: aplicados a 3 projetos (Houve 5 versõesde ambos os questionários).

� Questionário autoaplicável, enviado por e-mail aosrespondentes com uma carta de apresentação.Primeiramente foi feito o contato com osrespondentes por telefone, para colocá-los a par doestudo, e assim destacar sua importância para aCHESF;

� 2 Tipos de Questionários: Coordenador e Gerenteque enfocam aspectos complementares e pontos devistas distintos do processo de inovação

6.3 Survey

14

� Variáveis Relevantes:

� Insumos: recursos humanos mobilizados, recursos financeiros

� Produtos: produção científica, resultados tecnológicos e não tecnológicos (diretos e indiretos), processo de transferência de tecnologia

� Mudanças Estruturais: formação de capital humano, mudança organizacional, formação de redes;

� Relações de Causalidade: Consecução dos Objetivos, grau de contribuição do programa, Visão do Programa

Impactos: Econômicos, Sociais e Ambientais

6.4 Workshop

15

� Após três meses do início do survey, de 134questionários:

� 30 questionários recebidos pela equipe, o querepresenta aproximadamente 22% do conjunto dequestionários;

� Os gerentes e coordenadores foram convidados aparticipar de dois workshops: Recife, na sede daCHESF e no Rio de Janeiro, sede do CEPEL;

� Após os workshops houve uma ampliaçãosignificativa da taxa de retorno.

6.5 População e amostra

16

Tabela 2 – Projetos concluídos, total e com questionários retornados por

entidade, segundo ciclo

6.6 Consolidação dos dados

17

� Tratamento e processamento dos dados;

� Construção do banco de dados;

� Criação dos indicadores.

18

Tratamento dados faltantes

� Mesmo após a fase de validação dos questionários, há ainda ocorrência de:� Dados faltantes;� Dados incorretos;� Digitação errada;

� Nestes casos pode-se:� Excluir da tabulação;� Substituir pela média;� Voltar a consultar a fonte de informação (normalmente

custosa).

6.6 Consolidação dos dados

Screen shots do Banco de Dados

19

6.6 Consolidação dos dados

Screen shots do Banco de Dados

20

6.6 Consolidação dos dados

Screen shots do Banco de Dados

21

6.6 Consolidação dos dados

Screen shots do Banco de Dados

22

6.6 Consolidação dos dados

6.6 Consolidação dos dados

23

Criação dos indicadores

� Introduzido o conceito de “Grau de Paternidade”;

� Indicadores que o utilizam:

� Recursos humanos formados;� Produção científica;� Propriedade intelectual e � Novo projeto de P&D conseguido.

� Informado pelos respondentes;� De forma simples, o grau de paternidade expressa

em que medida (em uma escala de 0 a 10) o projeto CHESF contribuiu para o alcance de determinado resultado.

6.6 Consolidação dos dados

24

Criação dos indicadores

� A racionalidade por traz desse elemento reside nofato da dificuldade de se isolar os efeitos de outrasvariáveis em uma relação de causalidade nasciências sociais.

� Nesse sentido, tome como exemplo a relação entrea formação de um mestre e sua participação noprojeto CHESF. A questão é: a formação dessemestre só foi possível devido a sua participação noprojeto?

GRAU DE PATERNIDADEMedida subjetiva, conversadora dessa causalidade

6.7 Estudos de casos

25

� Estudos de caso com o intuito de obter mais profundidade (8 casos) sobre os impacto (econômico, social, ambiental) e as questões de TT;

� Entrevista semiestrutura com: gerente e usuário da tecnologia;

� Os critérios para a escolha dos Casos foram os seguintes:� Projetos concluídos há mais de dois anos;� Projetos cujos questionários indicassem resultados

relevantes;� Projetos oriundos de diferentes áreas de atuação da

empresa;� Projetos com resultados em diferentes estágios de

implementação, desde a fase de protótipo laboratorialaté a de unidade de produção;

� Projetos de diferentes concepções, desde sócio-econômicos ou ambientais, até os estritamente

7. Conclusões: survey

26

� Sobre os Insumos� Recursos financeiros destinaram-se aos Recursos Humanos

de Executora� Participação Expressiva dos Recursos Humanos da Chesf

� Sobre a Implementação� Proporção elevada de projetos atrasados

� Resultados :� Elevada Consecução dos Objetivos dos Projetos � Expressiva formação de recursos humanos nas entidades

executoras e na Chesf� Expressiva produção científica tanto da executora como da

proponente� Expressiva produção tecnológica (2 resultados/projeto)

� Porém:� Entidade Executora e Proponente apresentaram importantes

obstáculos internos relacionados à burocracia e falta de prioridade estratégica para a implementação das tecnologias e a transferência

� Parcela menor das tecnologias alcançou o estágio industrial e

7. Conclusões: estudos de Caso

27

� Achados:� O sucesso na implantação dependeu basicamente de 2 fatores

internos à Chesf:� Envolvimento de técnicos da Chesf no desenvolvimento das

tecnologias do projeto� Alinhamento do projeto com as estratégias e as demandas

tecnológicas da Chesf � Contudo, observou-se que uma parcela significativa dos casos

não implantou e nenhum dos casos transferiu a terceiros as tecnologias

� Obstáculos identificados nas Entrevistas à Inovação na CHESF� Falta de valorização da inovação (percebida muitas vezes como

prestação de serviços) pela cultura organizacional da empresa;� Falta de preocupação em proteger os novos conhecimentos

tecnológicos gerados pelos projetos;� Falta de mobilização de esforços complementares;� Demora causada pelos procedimentos administrativos dos

projetos;� Dificuldade para aquisição de equipamentos científicos;

7. Conclusões: sugestões do Estudo

28

� Reforço e reconhecimento da atividade de P&D interna na CHESF

� Criação de um sistema mais efetivo de gestão da inovação dentro da empresa:� Alinhamento estratégico da atividade de P&D� Gestão mais eficiente dos projetos de P&D (redução

dos custos de transação)� Inserção do projeto de P&D em um projeto de

inovação que acompanhe o projeto até sua efetiva implementação

� Mobilização de recursos para a proteção da propriedade intelectual e a difusão da tecnologia

5. Conclusões

29

�Tal metodologia revelou-se um instrumentobastante adequado para avaliar deforma maisampla os desdobramentos dos projetos deP&D;

�Não há um único método que poderiaabranger todas as dimensões dos resultados eimpactos decorrentes dos programas de P&D;

�Permitiu à CHESF avaliar sistematicamente osimpactos dos investimentos no programa deP&D.

Referências

30

� ANDRADE, M. Introdução à metodologia do trabalho científico. 3. ed. São Paulo: Atlas, 1998.

� COOPER, D. R.; SCHINDLER, P. S. Métodos de pesquisa em administração. Porto Alegre. Bookman, 2004.

� DODGSON, M.; HINZE, S. Indicators used to measure the innovation process: defects and possibles remedies. Research Evaluation, vol. 8, nº 2, pp. 101-124, August 2001.

� DOSI, G. The nature of innovative process. In: Dosi, G. et al. (orgs.), Technical

Change and Economic Theory, Londres & Nova York: Pinter Publisher, p.221-238, 1988.

� GIL, A. C. Como classificar as pesquisas? In: Gil, AC. Como elaborar projetos de

pesquisa. 4ª edição. São Paulo: Atlas, 2002. p. 41-58.

� GÜNTHER, H. Como elaborar um questionário. Planejamento de Pesquisa nas Ciências Sociais, n. 1, Brasília – DF, 2003.

� KLINE, S; ROSENBERG, N. An Overview of Innovation. In: Landau, R; Rosenberg, N. (orgs.), The Positive Sum Strategy, Washington, DC: National Academy of Press, 1986.

� LAKATOS, M. E.; MARCONI, M. Técnicas de pesquisa. São Paulo: Atlas, 1999. 260 p.

� LOUIS LENGRAND e ASSOCIÉS. SMART INNOVATION: A Practical Guide to Evaluating Innovation Programmes. 2006.

LÜDKE, Menga. & ANDRÉ, Marli E. D. A. Pesquisa em educação: abordagens