ANÁLISE DE INDICADORES CIENCIOMÉTRICOS NAS

CIÊNCIAS DA SAÚDEDr. Tony Meireles dos Santos

Prof. Adjunto do Depto. EFI – Universidade Federal de Pernambuco

Existe diferenciação?

2

Vs.

Agradecimento

3

Abordagem da Apresentação

• Fontes de informação

• Breve histórico da cienciometria e sua conceituação

• Indicadores cienciométricos

• Análise crítica dos indicadores

4

Fontes Primárias de Informação

5

Abordagem...

6

Texto Produzido...

7Santos et al. Motricidade 8(S2):15-22, 2012

Abordagem da Apresentação

• Fontes de informação

• Breve histórico da cienciometria e sua conceituação

• Indicadores cienciométricos

• Análise crítica dos indicadores

8

Algumas considerações históricas...

9

Aspectos históricos

• Século XVIII– Expansão da produção científica

• Quantificação• Rastreamento• Disseminação

– Primeiras bibliotecas• Século XIX

– Lenta expansão dos bancos de dados

Santos et al. (2011/2012, dados não publicados)

Aspectos históricos

• Século XX– Mídia digital

• Maior armazenamento • Velocidade de divulgação

– Criação da NLM (década de 1980)• Novos desafios

– “Quantificação da ciência” (cienciometria)• Índices matemáticos

– Journal Citation Report (JCR) - 1955

Santos et al. (2011/2012, dados não publicados)

Cienciometria• Conjunto de técnicas matemáticas

aplicadas à quantificação e qualificação da produção científica.– Derivada da bibliometria;– Foco em periódicos e patentes:

• # de produtos (quantidade)• # citações (utilidade, aplicação prática,

relevância)– Útil na avaliação de periódicos,

pesquisadores, instituições e países.

12http://pt.wikipedia.org/wiki/Cienciometria

Reflexos da Cienciometria• Qualificação dos periódicos

científicos– Publicação em melhores periódicos– Visibilidade do produto científico– Valorização da citação•Diferenciação dos pesquisadores

• Concessão de recursos• Progressão profissional

Santos et al. (2011/2012, dados não publicados)

Exemplo I: Michael Pollock x Riess (Nobel de Física 2011)

14http://www.skopus.com

Exemplo II: Cenário Produtivo Brasil 2009/2010

15http://www.scimagojr.com/mapgen.php?country=BR&year=2009&maptype=cn&un=a&x=h&y=citasxitem&z=item&area=0

Transição dos Tempos

16

Publicar

Publicar nos periódicos

qualificados

Visão Tradicional

Visão Contemporânea

Abordagem da Apresentação

• Fontes de informação

• Breve histórico da cienciometria e sua conceituação

• Indicadores cienciométricos

• Análise crítica dos indicadores

17

JCR - Journal of Citation Report

• Métrica do Thomson Reuters– International Science Institute

• Número de citações, estimado, para um periódico em dois anos

• Comparação e avaliação entre diferentes periódicos – Desde que de uma mesma área de conhecimento

JCR (2011)= # Citações em (2011) das publicações (2009 e 2010)# de Publicações (2009 e 2010)

http://thomsonreuters.com/

IF, Immediacy Index e Cited Half Life

19Triaridis e Kygidis (2010). Hippokratia 14 (Suppl. 1): 5-12

Onde Encontrar o JCR

20

Índice H

• Indicador de qualidade do pesquisador

• Impacto acumulativo de um determinado pesquisador pela quantidade de citações da sua produção

• X trabalhos com pelo menos X citações– Michael L. Pollock

• H = 17

# Artigos Citações1 222 193 104 45 36 27 18 1

Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma SoftwareResearch Pty, 2011. 256 p.

Onde Encontrar o Índice H

22

Scopus

Scimago

Scimago Journal Rank - SJR• Indicador do Scimago

– Normaliza o impacto de uma citação em uma determinada área de conhecimento

– Citação realizada em uma área menos provável possui maior valor

• Migração de informação– Tenta prever o tempo em

que um artigo impactaria uma determinada área

http://www.scimagojr.com/help.php#rank_journals

Onde Encontrar o Índice SJR

24http://www.scimagojr.com

Índice H contemporâneo

– Foco: tempo de atividade– Compensação da não diminuição do

índice H• Pós aposentadoria

– Atribui pesos para cada publicação conforme a sua “idade”• Artigos citados precocimente (< 4 anos) valem

mais• Artigos citados com 4 anos valem 1• Artigos citados tardiamente (> 4 anos) valem

menos

Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma SoftwareResearch Pty, 2011. 256 p.

Quociente – M

• Foco: tempo de atividade• Comparar pesquisadores com

tamanho de produção e tempo de carreira diferentes

– Corrige a vantagem do # de anos ativos de um pesquisador antigo x pesquisador jovem

• Quociente-M = Índice H / # Anos em produtividade

Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma SoftwareResearch Pty, 2011. 256 p.

Variações do Índice H (HI, HInorm e hm)

• Foco: Coautoria• Objetivo de normalizar o efeito da coautoria• HI

– HI = Índice H / # de autores dos artigos• Hinorm

– Hinorm = # de citações do artigo / # de autores do artigo

• Índice H multi-autoral (hm)– Contagem reduzida das citações para casos de

co-autoria

Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma SoftwareResearch Pty, 2011. 256 p.

JCR x C/D

28Rocha-e-Silva. CLINICS 65(4):351-355, 2010

JCR x SJR

29Rocha-e-Silva. CLINICS 65(4):351-355, 2010

Índice G• Foco: diferenciação pelo número de citações• Valoriza os artigos mais citados• G = # artigos com ^2 imediatamente < soma de

citações– G = 7– H = 4

# Artigos Citações # Artigos ^28 22 647 19 496 10 365 4 254 3 163 2 92 1 41 1 1

Soma 62

Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma SoftwareResearch Pty, 2011. 256 p.

Onde Encontrar os Demais Índices

31http://www.harzing.com/pop.htm

Report Software Publish or Perish

32

Papers: 97 Cites/paper: 35.72 h-index: 23 AWCR: 276.30Citations: 3465 Cites/author: 1179.81 g-index: 58 AW-index: 16.62Years: 16 Papers/author: 32.05 hc-index: 16 AWCRpA: 104.00Cites/year: 216.56 Authors/paper: 3.52 hI-index: 6.78 e-index: 51.22

hI,norm: 18 hm-index: 10.85Query date: 14/10/2011

Hirsch a=6.55, m=1.44Contemporary ac=4.32Cites/paper 35.72/3.0/0 (mean/median/mode)Authors/paper 3.52/4.0/4 (mean/median/mode)

4 paper(s) with 1 author(s)15 paper(s) with 2 author(s)24 paper(s) with 3 author(s)35 paper(s) with 4 author(s)19 paper(s) with 5 author(s)

Índices do desempenho e estratégias do pesquisador

Contagens absolutas das informações do pesquisadorIndicadores derivados do índice HÍndices ajustados pela “vida” de cada produção

Alguns índices contemporâneos, com correções diversas

Distribuição da estratégia de colaboração

http://www.harzing.com/pop.htm

Abordagem da Apresentação

• Fontes de informação

• Breve histórico da cienciometria e sua conceituação

• Indicadores cienciométricos

• Análise crítica dos indicadores

33

Interferências nos critérios

• JCR - principal indicador– Auto citações do periódico

• Periódicos • Pesquisadores

– Artigos com grande potencial de citação• Textos metodológicos (novos procedimentos)• Textos de revisão

– Redes de relacionamento• Ghost writers

Motivos para Auto Citações• Tradição entre os pesquisadores

– Valorização do próprio trabalho– Continuidade e evolução de projetos– Prática espúria– Isso é monitorado!

• Indicação de algumas revistas– Textos metodológicos

• Rhea MR. Determining the magnitude of treatment effects in strength training research through the use of the effect size. J Strength Cond Res. 2004 Nov;18(4):918-20.

– Sugestões declaradas• “Be sure to include appropriate articles from the Journal

to which the article is submitted.”

35

Controle das Auto-Citações - Efeito sobre o JCR

36

AM J REPROD IMMUNOL 1.931 224 54 170 116 1.466 -24,1%ANIM REPROD SCI 0,701 110 23 87 157 0,554 -21,0%BIOL REPROD 3.257 726 265 461 530 2.757 -15,4%EUR J OBSTET GYN R B 0,449 169 19 150 376 0,399 -11,1%HUM REPROD 1.328 627 * 627 472 1.328 0,0%INVERTEBR REPROD DEV 0,899 98 8 90 109 0,826 -8,1%J REPROD FERTIL 2.211 1287 209 1078 582 1.852 -16,2%J REPROD IMMUNOL 1.442 137 20 117 95 1.232 -14,6%MOL REPROD DEV 2.003 597 107 490 298 1.644 -17,9%OXFORD REV REPROD B 1.765 30 * 30 17 1.765 0,0%REPROD DOMEST ANIM 0,565 39 2 37 69 0,536 -5,1%REPROD FERT DEVELOP 1.493 221 40 181 148 1.223 -18,1%REPROD NUTR DEV 0,579 84 10 74 145 0,51 -11,9%REPROD TOXICOL 0,859 79 26 53 92 0,576 -32,9%SEMIN REPROD ENDOCR 0,347 25 * 25 72 0,347 0,0%SEX PLANT REPROD 1.659 136 38 98 82 1.195 -28,0%

Reproductive Systems Journals Delta %

(A/D) JCR Impact Factor

Cites in 1992 to 1990-91 Articles

Self-Cites in 1992 to 1990-91 Articles

(A-B) Minus self-

Cites

Articles Published 1990-91

(C/D) Revised Impact Factor

http://thomsonreuters.com/

Exclusão pelo JCR da Revista Brasileira de Farmacognosia

37http://www.scielo.org/php/index.php

Babado Recente...

• Suspensão para 2012 do JCR– Acta Ortopedica Brasileira– Clinics– Jornal Brasileira de Pneumologia – Revista da Associação Médica Brasileira

38

Comparação do JCR Entre as Áreas

39Rose Olthof . How to Get Published. Apresentação Fio Cruz, Rio de Janeiro, 2011

Comparação do JCR Entre as Áreas: CS x MED

40

0 2 4 6 8 10

Medicina

Ciências Sociais

Fator de Impacto (JCR)

http://www.scimagojr.com

JCR - Estratégia para aumento do JCR• Aumento do numerador

– Auto citações– Relevância dos estudos– Relevância dos pesquisadores– Número de pesquisadores

• Ameaça da auto citação• Diminuir o denominador

– Baixa quantidade de artigos aceitos por revista• Estratégia da revista x benefício da ciência

– Impacto sobre os PPG

JCR (2011)= # Citações em (2011) das publicações (2009 e 2010)# de Publicações (2009 e 2010)

Recurso do Número de Artigos de Revisão

42http://www.skopus.com

Considerações Sobre o Índice H

• Vantagem– Sensível à produção x impacto– Múltiplas aplicações

• Pesquisadores, países, instituições etc.• Limitações

– Sensível à idade do pesquisador– Não regride– Influenciado pela auto citação– Influenciado pela multi-autoria

43Harzing A-W. The Publish or Perish Book. 1st ed. Melbourne VIC: Tarma SoftwareResearch Pty, 2011. 256 p.

Utilidades do Índice H - Países

44

Brasil Argentina Portugal EUAÍndice H 253 183 191 1190Documentos 325549 93075 99351 5285514Documentos citáveis 315102 90135 95994 4934052Citações 2203616 814586 873105 94410591Auto citações 716178 185945 183305 43892266

(%) 33% 23% 21% 46%Citações por documento 6,77 8,75 8,79 17,86

1996-2010Indicadores

http://www.scimagojr.com

Utilidades do Índice H - Países

45http://www.scimagojr.com

Br x Ar x Pt - # de Documentos

• > produção Br

• Mudanças 2003/2004

46

Br x Ar x Pt - Colaboração Internacional

• Pt: > interação internacional

• Tendência “-”• Br = Ar

47

Br x Ar x Pt - Índice H

• Índice H: Integração Quant x Quali

• Br > Ar ≥ Pt

48

Br x Ar x Pt - Ameaça ao Índice H: Auto Citação

• Padrão semelhante ao # Citações

• Tendência Natural

49

Possível diferenciação / superioridade

50

SJR x IF - Scimago 2010: Orthopedics and Sports Medicine

51http://www.scimagojr.com/journalrank.php?area=2700&category=2732&country=all&year=2010&order=sjr&min=0&min_type=cd

Indexação

• PubMed– Escopo e cobertura– Qualidade do conteúdo– Qualidade do trabalho e corpo editorial– Qualidade da produção– Audiência– Tipos de conteúdo– Periódicos de língua estrangeira (inglês)– Cobertura geográfica

http://www.pubmed.com

Revisão por pares• Qualidade do manuscrito• Entretanto...

– Histórico e prestígio dos autores– Instituição de origem– Proteção à ideologias pessoais– Tendência à aprovação dos estudos com

“significância estatística” (2/3)– Circuito extremamente fechado

• Muitas vezes independente da qualidade do manuscrito

• Periódicos em plataforma aberta– Revisão metodológica – Adequação à revista

PitBull Reviewers

54Walbot. J Biol 8:24, 2009

Impacto direto sobre os PPG nacionais• CAPES

– Quantidade de produção • Nº de produtos

– Qualidade da produção (Área 21, 2007-2009)

• A1– JCR ≥ 1,85– H ≥ 70

• A2– JCR ≥ 1,35– H ≥ 25

• B1– JCR < 1,35– H < 25

• Desvalorização dos livros– Sem julgamento prévio– Incertezas sobre a

pontuação

Considerações Finais

• Informações fundamentais para pesquisadores e alunos

• Interpretação crítica do JCR• Necessidade de adequação dos critérios

brasileiros– Área 21 trabalhando nesta proposta– Minha sugestão (se é que posso...):

• Se for utilizar o JCR– Normatização dos impactos pelo pico das subáreas

• Investigar outras opções– SJR– Variações do H

56

Colaboradores

57

Bruno Oliveira Bruno Viana

Agradecimento...

58

Perguntas?

59

Santos TM, Barra da Tijuca - Recreio, 18.9.2011