ANPTUR 2015 Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e...
-
Upload
lidia-barreiro-medina -
Category
Documents
-
view
213 -
download
0
Transcript of ANPTUR 2015 Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e...
ANPTUR 2015Coordenação da Área de Administração Pública e de Empresas, Ciências Contábeis e TurismoQuadriênio 2013-2016Eliane P. Zamith BritoMárcia M. M. De LucaAridelmo J. C. [email protected]
Avaliação de Programas pela CAPES• Se adapta à medida que a comunidade de pesquisa
avança• Leiden Manifesto – princípios para orientar a
avaliação de pesquisa no mundo – Nature abril/2015• Elaborado por um conjunto de cientometristas,
cientistas sociais e os administradores de pesquisa • São críticos do uso de métricas isoladas para
avaliação de programas e pesquisadores, p.e.: • Rankings das publicações, p.e., Financial Times• Fator H para avaliar os pesquisadores• Número de artigos em periódicos selecionados
1º A avaliação quantitativa deve dar suporte à avaliação qualitativa especializada
• Os indicadores quantitativos podem corrigir tendências enviesadas da avaliação por pares e facilitar a deliberação
• Fortalecer a revisão por pares tendo como base informações relevantes
• Os indicadores não devem substituir o juízo informado• Todos são responsáveis pelas avaliações
• Os avaliados que fornecem os dados• Os que calculam os indicadores• Consultores que usam os indicadores
2º Medir o desempenho de acordo com a missão do PPG• O PPG deve ser avaliado considerando seus objetivos • Os indicadores devem levar em conta o contexto
socioeconômico e cultural mais amplo• Os cientistas podem ter diversas missões de pesquisa
• Que avança as fronteiras do conhecimento acadêmico – PPG Acadêmicos
• Focada em soluções para os problemas da sociedade - MP
• A avaliação pode ser baseada em méritos relevantes• Políticas públicas• Para a indústria• Para os cidadãos em geral• Noções de excelência acadêmica
3º Proteger a excelência da pesquisa localmente relevante
• Uso só do fator de impacto de bases no idioma inglês pode ser problemático - Spell e Scielo
• Inclusão de periódicos nacionais nos estratos superiores da classificação por deliberação da área, porque eles têm impacto para a comunidade nacional• Cerca de 60% da produção nos estratos superiores é em periódicos
nacionais - 2/3 da produção do estrato A2 e 50% do B1 • Periódicos promovidos pela área representam mais de 12% do total
da produção da área
• Particularmente importante para as temáticas orientadas para a pesquisa de temas regionais e nacionais
• Livros
4º Manter a coleta de dados e os processos analíticos abertos, transparentes e simples• Plataforma Sucupira
• Inclusão continuada de dados com chancela anual• Acesso aos dados por qualquer pessoa - SNPG - Sucupira• Indicadores principais para análise comparativa dos PPG
• Discussão no CTC sobre simplificação da avaliação• Página da Área • Nossa área - Manual de avaliação disponibilizado aos
coordenadores de PPG • Seminário de acompanhamento - exercício de avaliar
• Avaliação por pares - 1 em cada 3 PPG participa do processo
5º Permitir que os avaliados verifiquem os dados e as análises
• Todas as avaliações e os dados usados nas avaliações anteriores estão disponíveis para acesso por qualquer pessoa - SNPG
• Plataforma Sucupira • Inclusão continuada de dados com chancela anual• Acesso aos dados em planilhas permitindo reproduzir
as avaliações quantitativas por qualquer pessoa • Indicadores principais para análise comparativa dos
PPG serão disponibilizados
6º Considerar as diferenças entre áreas nas práticas de publicação e citação• Selecionar um conjunto de possíveis indicadores e
permitir que as distintas áreas escolham aqueles que lhes são mais adequados• Historiadores e cientistas sociais – livros publicados no
idioma nacional X cientistas da computação trabalhos apresentados em eventos é mais importante
• Os critérios de classificação de periódicos, livros, eventos e produção tecnológica tem que ser distintos por área
• Nossa área é muito diversa – critérios mistos• Livros• Fator de impacto• Critérios de conformidade/qualidade• Produção Tecnológica
7º Basear a avaliação de pesquisadores individuais no juízo qualitativo da sua carreira
• Quando se compara um grande número de pesquisadores, uma abordagem que considere informações diversas sobre o conhecimento, experiência, atividades e influência
• Capes não avalia pesquisadores individuais, mas o conjunto deles na forma de programa de formação
• Avaliamos as experiências e o alinhamento destas com a proposta de formação discentes do PPG
8º Evite solidez mal colocada e falsa precisão• Indicadores de ciência e tecnologia são propensos à
ambiguidade conceitual e à incerteza, e demandam fortes suposições que não são universalmente aceitas
• A melhor prática de avaliação utiliza indicadores múltiplos para fornecer uma imagem mais robusta e plural
• Os produtores de indicadores deveriam, pelo menos, evitar a falsa precisão, p.e., o fator de impacto de revistas é publicado com três casas decimais. No entanto, dada a ambiguidade conceitual e a variabilidade aleatória das contagens de citações, não faz sentido distinguir as revistas com base em diferenças mínimas do FI
• Evite a falsa precisão: apenas uma casa decimal se justifica
9º Reconhecer os efeitos sistêmicos da avaliação e dos indicadores
• Os indicadores mudam o sistema da pesquisa por meio dos incentivos que estabelecem
• Estes efeitos devem ser previstos. Isto significa que um conjunto de indicadores é sempre preferível – um único indicador convida a burlas ou a desvios do objetivo, em que a medida se torna um fim em si • Total de pontos para avaliar os programas na
nossa área
10º Examinar e atualizar os indicadores regularmente
• A missão da pesquisa e os objetivos da avaliação mudam e o sistema de pesquisa evolui junto
• Medidas que anteriormente eram úteis se tornam inadequadas e surgem novos indicadores
• Os sistemas de indicadores têm de ser revistos e talvez modificados
• A avaliação da pesquisa pode desempenhar um papel importante no desenvolvimento da ciência e de suas interações com a sociedade
• As métricas da pesquisa podem fornecer informações cruciais que seriam difíceis de reunir ou entender por especialistas individuais. Mas não se deve permitir que essa informação quantitativa se transforme de instrumento em um fim em si.
• As melhores decisões são tomadas pela combinação de estatísticas robustas com sensibilidade para a finalidade e a natureza da pesquisa que é avaliada
• Tanto a evidência quantitativa quanto a qualitativa são necessárias.
• A tomada de decisão na ciência deve ser baseada em processos de alta qualidade informados por dados da mais alta qualidade
Produção anual dos docentes permanentes PPG acadêmicos da área – Triênio 2010-2012
P >=1000
800=<P<1
000
600=<P<8
00
400=<P<6
00
200=<P<4
00
150=<P<2
00
100=<P<1
50
50=<P<1
00
35=<P<5
0
20=<P<3
5
1=<P<2
0zer
o0
50
100
150
200
250
300
350
Produção Bibliográfica Quadriênio 2013-2016
• Quantidade X Qualidade da produção• Melhores produtos de cada docente
• Coordenadores dos PPG pediram que considerasse ainda o volume para manter o incentivo à produção• 20% total da produção • 80% melhores produtos dos docentes
(Livros/artigos de periódico)• Alinhamento da produção à proposta de
formação discente
4.1. Métrica 1 - Pontos médios de produção bibliográfica total do PPG
05
1015
2025
Núm
ero
de p
rogr
amas
0 100 200 300 400 500Pontos
n=88
Pontos médios de produção bibliográfica total do programaMétrica 4.1
Média 207Mediana 202
Desvio padrão 98
Mínimo 55
Máximo 500
A proposta é ter uma trava em 200 pontos para o programa ser avaliado como muito bom
Item 4.1. Métrica 2 - Pontos médios de produção bibliográfica qualificada do PPG
05
1015
2025
Núm
ero
de p
rogr
amas
40 60 80 100 120 140Pontos
n=88
Pontos médios de produção bibliográfica das duas principais produçõesMétrica 4.1
Média 108Mediana 110Desvio padrão 27Mínimo 35Máximo 156
4.2. Distribuição de publicações qualificadas em relação ao corpo docente permanente do PPGAvalia-se a proporção dos docentes permanentes do PPG considerados produtivos, isto é, que alcançaram a mediana da produção qualificada da área, considerando as duas melhores produções bibliográficas do docente.MB > ou = a 80B > ou = a 70, mas < que 80R > ou = a 50, mas < que 70F > ou = a 20, mas < que 50D < que 20Para os docentes que atuarem no programa em apenas parte do quadriênio, os pontos serão proporcionais ao período de atuação neste.
Princípios da classificação de periódicos para todas as áreas• Classificação considera apenas os periódicos com
produção da área no período• Considera apenas os periódicos informados pelos
PPG da área no sistema da CAPES• Usado apenas para avaliar os programas da área na
CAPES no quadriênio• Estabelece limites para a ocupação dos estratos
considerados de elevado impacto – A1, A2 e B1• Classificação de 2017 valerá para todo o
quadriênio
Processo de classificação 2015• Agradecer a ajuda enorme de colegas da área• Parâmetros
• Itens de conformidade não seriam mais usados • Usaríamos menos indicadores, mas que com maior poder
de diferenciar (em especial os predatórios)• Ajustar os critérios dos estratos considerando os %
definidos pela CAPES para os estratos de alto impacto• A1< A2• A1+A2 no máximo 25% dos periódicos na base da área• A1 + A2 + B1 no máximo 50% dos periódicos na base da
área• Critérios que pudessem perdurar para outros quadriênios
Critérios para a classificação• B5
• ISSN • Ter no mínimo 2 edições/ano• No máximo um ano de atraso
• B4• ISSN • Ter no mínimo 2 edições/ano• Índice de atraso no máximo igual a 0,5• 2 ou mais anos de existência
• B3• ISSN • Ter no mínimo 2 edições/ano• Índice de atraso no máximo igual a 0,5• 3 ou mais anos de existência• Ter no mínimo um indexador (definidos no documento da área)
Critérios para a classificação• B2
• ISSN • Ter no mínimo 2 edições/ano• Estar no Redalyc ou ser editado por Editoras definidas (doc da área)• Ou Scielo com FI < 0,01 ou Scielo com FI alto, mas de outra área
pelo critério da base• B1
• ISSN • Ter no mínimo 2 edições/ano• Scielo com FI > 0,01 e ser da área pelo critério da base, ou• 0<JCR<=0,7 ou (33%)• 0<H-Scopus<=9 (mediana da área)
Critérios para a classificação• A2
• ISSN • Ter no mínimo 2 edições/ano• 0,7<JCR<=1,4 ou (67%)• 9<H-Scopus<=24 (75%)
• A1• ISSN • Ter no mínimo 2 edições/ano• 1,4<JCR• 24<H-Scopus
• Revistas relevantes para a área que serão promovidas um estrato
Periódicos prioritários
Revisão em 2017• Valorizar
• DOI• Pontualidade ou antecipação• Indexadores • Spell
• Rever os limites da área para abranger subgrupos• Pedaladas editoriais
• Tempo de processamento dos artigos• Índice de concentração de autores do mesmo PPG• Buraco nas edições
B2
Posição da área na base Scopus
1996 1998 2000 2002 2004 2006 2008 2010 2012 201402468
101214161820
Citações/doc
1996 1998 2000 2002 2004 2006 2008 2010 2012 20140
100200300400500600700800900
1000
Documentos
Docs Cites/doc1996 32a 50a1998 30a 56a2000 32a 36a2002 27a 59a2004 30a 55a2006 25a 89a2008 21a 75a2010 20a 70a2012 17a 81a2014 14a 89a