Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

20
Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas

Transcript of Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Page 1: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Lilian CalòBIREME/OPS/OMS

Qualidade e avaliação de revistas científicas

Page 2: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Informação e conhecimento

O conhecimento como capacidade de ação:

A iniquidade de acesso a informação e conhecimento é um determinante social da saúde, que reforça os outros determinantes

A gestão de informação e intercambio de conhecimento tem por objetivo diminuir continua e sistematicamente a brecha entre o que se sabe e o que se pratica.

Page 3: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Avaliação de revistas científicas

Subscrições por bibliotecas universitáriasSociedades científicas, instituições academia e agencias de fomento

Tradução de resultados de pesquisa em políticas públicas

Page 4: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Existem atualmente cerca de 30 mil revistas científicas no mundo em todas as áreas do conhecimento

A qualidade da contribuição científica é estimada à partir do impacto na ciência a longo prazo.

A avaliação das revistas é feita por meio de índices de impacto e através da indexação em bases de dados

Page 5: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Indicadores de impacto científico: Fator de Impacto, Scimago Journal Rank, Eigenfactor,Indice h, medidas de uso y downloadnovas métricas

Indexação em Bases de Dados: LILACS Scopus,SciELO, MEDLINE, Web of Science, Journal Citation Report.

Page 6: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Concebido em 1955 por Eugene Garfield, fundador do ISIUtiliza a base Web of Science (Thomson Reuters) com cerca de 11 mil revistasFI = Citações recebidas / numero de artigosÉ calculado em base a 2 ou 5 anos para efeito de comparação de áreas com distintos parâmetros de citação

Críticas ao FI: É impreciso pois o que conta no numerador não é levado em conta no denominador;Existem artifícios para aumentar o FI de periódicos, como autcitacão, artigos de revisão, editoriais de impacto que serão muito citados e outros;Disponível em uma base de dados de acesso restrito www.isiknowledge.com/

Fator de Impacto

Page 7: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Por que é tão popular? Por ter sido o pioneiro, por ser simples de calcular einternacionalmente difundido

Page 8: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Criado em 2007 pelo pesquisador F. Moya y Anegón (CSIC, Madrid, Espanha) SCImago Journal Rank é uma medida de impacto científico das revistas acadêmicas que representa o número de citações recebidas por uma revista e a importância ou prestigio das revistas de onde tais citações provem;

Utiliza a base de dados Scopus (18 mil revistas) e acumula citações em 3 anos. Autocitações são descontadas;

Toma por base o algoritmo PageRank, utilizado pelo Google para ordenar as páginas mais visitadas em uma busca;

É um indicador independente de tamanho e seus valores ordenam os periódicos pelo seu "prestigio médio por artigo" e pode ser utilizado para comparações de revistas nos processos de avaliação em ciências;

Disponível em uma base de dados em acesso aberto, http://www.scimagojr.com/ apesar da base Scopus depender de assinatura.

SCImago Journal Rank

Page 9: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Desenvolvido na Universidade de Washington em 2007Eigenfactor utiliza mesmo algoritmo PageRank do classificador de páginas do Google; O sistema de classificação de periódicos utilizando Eigenfactor leva em conta a diferença de prestigio entre os periódicos que citam; Eigenfactor também se ajusta para diferenças de padrões de citação entre disciplinas, permitindo comparar desempenhos entre elas utilizando o mesmo índice. Também com esta finalidade, Eigenfactor se baseia nas citações recebidas em um período de cinco anos. Unifica e contabiliza citações em revistas nos campos de ciências e ciências sociais;Elimina auto-citações. São descontadas cada referencia de um artigo em uma revista a outro artigo da mesma revista. Utiliza a base de dados Web of Science. O cálculo matemático foi idealizado de forma que a soma de Eigenfactor de todos os periódicos indexados no JCR seja igual a 100. O índice Eigenfactor se encontra disponível em acesso aberto www.eigenfactor.org e também no site de Web of Science desde 2008

Eigenfactor

Page 10: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

O Article Influence de um determinado periódico é a medida do prestigio deste periódico por artigo. É calculado por meio da divisão do Eigenfactor pela fração de artigos publicados pelo periódico. Esta fração se normaliza, para que a soma total de artigos em todos os periódicos seja igual a 1;

Assim, enquanto o Eigenfactor leva em conta toda a rede de citações recebidas nos últimos cinco anos por todos os artigos do periódico, Article Influence é uma medida do prestigio deste periódico tendo por base as citações por artigo;

O valor médio do Article Influence é igual a 1.00. Valores maiores que 1 indicam que cada artigo no periódico exerce una influencia acima da media e valores menores que 1 indicam que cada artigo do periódico em questão exerce influencia abaixo da media;

O índice Article Influence encontra-se disponível em acesso aberto www.eigenfactor.org e também no site de Web of Science.

Article Influence

Page 11: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Idealizado por J.E.Hirsch (2005) Proc. Natl. Acad. Sci. USA vol. 102 (46) 16569-16572;

É um índice para quantificar a produtividade científica de um pesquisador, departamento o instituição;

Índice h é definido como o número de publicações com citações > h;

Este índice normaliza as diferentes áreas de conhecimento;

p. ex. Um autor com 20 publicações com 20 citações cada tem um índice h igual a 20.

É possível calcular o índice h de una revista. Uma publicação tem índice h n se tiver n artigos com n citações cada.

Indice h

Page 12: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

"Estes resultados devem nos fazer repensar FI e SJR como o golden standard das medidas de impacto científico. Os resultados aqui apresentados indicam que as métricas baseadas em medidas de uso e não de citações - como tem sido mais comum - podem representar uma melhor medida de consenso".

Page 13: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Ley de Bradford• En economía es conocido como Ley de Pareto o Ley 80-20• Un número relativamente pequeño de revistas de cada

especialidad publica la mayor parte de los resultados científicos significativos;

• 2000 revistas corresponden a 85% de los artículos publicados y 95% de los artículos citados

• Esta porción de revistas no es fija, una constante reevaluación e indexación de nuevas revistas es necesaria.

Page 14: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Bases de Datos • Permitem organizar e catalogar as revistas;

• Realizar buscas por assunto, autor, periódico, palavras-chave;

• Sua função primordial é separar os periódicos baseado na qualidade dos artigos publicados;

• Critérios variam pouco entre as varias bases regionais e internacionais;

• Para que sejam mais representativas, as bases não devem indexar a totalidade dos periódicos, e sim os mais representativos.

Page 15: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Bases de Dados referenciais

•MEDLINE – PubMed da National Library of Medicine

•EMBASE – base em Ciencias da vida da Elsevier

•BIOSIS – base em Ciencias biológicas da Thomson Reuters

•LILACS – Literatura Latinoamericana e do Caribe em Ciencias da saúde

Bases de dados com texto completo

•SciELO – Scientific Electronic Libary Online

•Redalyc – Red de Revistas científicas de Ibero América

Bases de dados de citações

•Web of Science / JCR

•Scopus/SJR

Page 16: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Revistas em Bases de Dados em Ibero América

LILACS SciELO WoS JCR MEDLINE SCOPUSArgentina 125 68 21 12 8 58Bolivia 9 8 0 0 0 0Brazil 332 221 133 72 46 230Chile 59 91 47 22 3 68Colombia 99 106 23 9 2 36Costa Rica 12 10 1 1 1 1Cuba 30 34 1 1 1 21Ecuador 15 0 1 1 0 2Espanha 0 46 167 60 63 279Estados Unidos 3 1 1 1 1 1Guatemala 5 0 0 0 0 0Honduras 1 0 0 0 0 0Jamaica 2 1 1 1 1 1Mexico 37 55 43 33 13 67Panama 2 0 0 0 1 0Paraguay 7 3 0 0 0 0Peru 20 13 1 0 2 1Puerto Rico 2 0 0 0 1 5Portugal 0 36 9 4 6 34Uruguay 12 6 1 1 0 0Trinidad & Tobago 0 0 1 0 0 0Venzuela 53 49 14 9 2 39

Total 825 748 465 227 151 843

CountryDatabases

Page 17: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Revistas em Bases de Dados na Ibero América – Ciencias da Saúde

LILACS SciELO WoS JCR MEDLINE SCOPUSArgentina 125 13 10 6 8 17Bolivia 9 3 0 0 0 0Brazil 332 122 57 25 46 84Chile 59 22 9 5 3 19Colombia 99 24 3 1 2 11Costa Rica 12 9 1 1 1 0Cuba 30 22 0 0 1 18Ecuador 15 0 1 1 0 1Espanha 0 34 48 27 63 107Estados Unidos 3 1 0 1 1 1Guatemala 5 0 0 0 0 0Honduras 1 0 0 0 0 0Jamaica 2 1 1 1 1 1Mexico 37 8 5 5 13 28Panama 2 0 0 0 1 0Paraguay 7 3 0 0 0 0Peru 20 7 0 0 2 1Portugal 0 7 3 1 6 7Puerto Rico 2 0 0 0 1 2Uruguay 12 6 0 0 0 0Trinidad & Tobago 0 0 0 0 0 0Venzuela 53 12 6 4 2 14Total 825 294 144 78 151 311

CountryDatabases

Page 18: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

(*) International Committee of Medical Journal Editors – Uniform Requirements for Manuscripts Submitted to Biomedical Journals (http://www.icmje.org/)

Scopus LILACS SciELO NLM Web of Science/ J CR

Numero de títulos na base

18.000/16.500 peer reviewed

801 640 5455 (MEDLINE) 11.261 / 6.620

Títulos aceitos 40% 25-27% 18% 20-25% 10-12%/ 5-6%

Recomendações ICMJE* Não Sim ou outro standard Sim o outro standard Sim Sim

Peer Review Não necessariamente Sim Sim Sim Sim

Análise de Citações (Fator de Impacto)

Importância relativa Não importante Importante Importância relativa Importante

Diversidade Internacional de Autores

Importância relativa Não importante Importante Importância relativa Importante

Corpo Editorial Diversificado

Importância relativa Importante Importante Importância relativa Importância relativa

Mérito e caráter científico – contribuições originais

Não importante Importante Importante Importante Importante

Título, resumo e palavras-chaves em inglês.

Não necessariamente Sim, resumos em inglês Sim Sim Sim

Referencias em alfabeto romano

Não Não Não Sim Sim

Registro de Ensaios Clínicos

Não Sim Sim Sim Sim

Publicações na área médica e biomedicina

Não Sim Não Sim Não

CritériosBases de Dados de Revistas Científicas

Periodicidade e Regularidade

Sim Sim Sim SimImportância relativa

Page 19: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Conclusões• A indexação de uma revista em uma base de dados regional ou

internacional não obedece somente a critérios formais;• A situação das revistas concorrentes na seleção presente ou

precedente na mesma área de conhecimento é um fator determinante;

• Muitas vezes critérios comerciais, geográficos ou de fomento de uma área especifica influenciam a seleção de revistas por una base de dados;

• Em 2008 a Thomson Reuters selecionou 700 novas revistas no mundo de caráter regional para apoiar a disseminação do conhecimento regional. O processo de seleção durou cerca de 2 anos;

• Destas, 80 são de AL&C em varias áreas, inclusive ciências da saúde. Os critérios são os mesmos que para a admissão na WoS, mas sem dar tanta importância às citações.

• A indexação em base de dados é una indicação de qualidade de uma revista, mas não é o único critério para aferir esta qualidade.

Page 20: Lilian Calò BIREME/OPS/OMS Qualidade e avaliação de revistas científicas.

Perguntas?

Comentários?