Um Modelo de Perfil de Pesquisadores e Métrica para Medir...
Transcript of Um Modelo de Perfil de Pesquisadores e Métrica para Medir...
Programa de PPrograma de Póóss--graduagraduaçção em Computaão em Computaççãoão
Proposta de TeseProposta de Tese
Um Modelo de Perfil de Pesquisadores eUm Modelo de Perfil de Pesquisadores eMMéétrica para Medir Reputatrica para Medir Reputa çção Acadêmicaão Acadêmica
Cristiano Roberto Cervi
Profa. Dra. Renata GalanteProfa. Dra. Renata Galante
(orientadora)(orientadora)
Prof. Dr. JosProf. Dr. Joséé Palazzo Moreira de OliveiraPalazzo Moreira de Oliveira
(co(co--orientador)orientador)
Janeiro/2013Janeiro/2013
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 2/40
Roteiro
� Introdução
� Trabalhos Relacionados
� Visão Geral da Tese
� Experimentos
� Produção Atual
� Planejamento
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 3/40
Roteiro
�� IntroduIntroduççãoão
� Trabalhos Relacionados
� Visão Geral da Tese
� Experimentos
� Produção Atual
� Planejamento
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 4/40
� A gestão da ciência passa por um processo de
qualificação
−Conhecer os pesquisadores
−Ajustar rumos nas pesquisas
−Orientar para uma correta aplicação de recursos
� Instituições que investem em pesquisa
−Necessidade de obter informações sobre a produção e
as demais atividades dos pesquisadores
� Avaliação da produção científica
−Baseada fortemente na análise de currículos
Introdução
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 5/40
� Identificar perfis é tema de estudo da área de
modelagem de usuários (User ModelingUser Modeling)
−Não existe consenso ou padronização do que é
necessário para se modelar um perfil
−Não existe um perfil ideal
−Para pesquisadores são consideradas as publicações
(quase que exclusivamente)
−Um modelo de perfil abrangente poderá preencher ou
minimizar esse gap
Introdução
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 6/40
� Identificar reputação é tema de estudo da área de
métricas científicas (Scientific MetricsScientific Metrics)
−Medir a qualidade da produção científica
−Identificar especialistas em determinada área
−Calcular fator de impacto de periódicos
�Métricas recentes se baseiam fortemente nas
citações de artigos
−−hh--indexindex
−−gg--indexindex
−hc-index
−e-index
−ar-index
Introdução
Mais utilizadosMais utilizados
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 7/40
Roteiro
� Introdução
�� Trabalhos RelacionadosTrabalhos Relacionados
� Visão Geral da Tese
� Experimentos
� Produção Atual
� Planejamento
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 8/40
�Modelagem de Perfil
−Utilização de dados de produção científica
−Redes sociais acadêmicas para analisar relações entre
pesquisadores
−Descoberta de especialistas
−Identificação de perfil de consumidores
�Métricas Científicas
−Citação para medir a reputação de pesquisadores
−Utilização do PageRank para ordenar autores e artigos
−Utilização do h-index e do g-index
Visão Geral
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 9/40
Arnetminer
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 10/40
Microsoft Academic Search
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 11/40
Contextualização dos Índices
� h-index−Quantifica a produtividade e o impacto baseando-se
nos artigos mais citados
−Um pesquisador tem um índice H, quando possuir h
trabalhos com pelo menos h citações
−Ex: um pesquisador com H = 8 tem, pelo menos, 8
artigos que receberam 8 ou mais citações
� g-index−“Dado um conjunto de artigos classificados em ordem
decrescente do número de citações que receberam, o g-
index é o maior número tal que os top “g” artigos
receberam (juntos), pelo menos “g2“ citações”
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 12/40
Exemplos do h-index e do g-index
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 13/40
� Critérios para comparar os trabalhos relacionados−Forma de detecção
•Explícita, implícita ou híbrida
−Técnica de modelagem
•Baseada em conhecimento ou em comportamento
−Forma de representação
•Como o perfil é representado
−Aspectos Temporais
•Existência ou não de aspectos temporais na definição do
perfil
−Métrica
•Existência de métrica ou outra característica avaliativa
Comparações
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 14/40
Comparações
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 15/40
Comparações
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 16/40
Comparações
�� Exclusivamente citaExclusivamente citaçções de artigosões de artigos
�� Não apresentam anNão apresentam anáálise abrangentelise abrangente
�� Dificuldade para comparaDificuldade para comparaçções histões históóricasricas
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 17/40
Comparações
�� Tempo Tempo éé elemento fundamentalelemento fundamental
�� Integra a trajetIntegra a trajetóória de pesquisadoresria de pesquisadores
�� hh--indexindex e e gg--index index não consideramnão consideram
Nenhuma abordagem define um Nenhuma abordagem define um
modelo de perfil com mmodelo de perfil com méétricatrica
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 18/40
Roteiro
� Introdução
� Trabalhos Relacionados
�� Visão Geral da TeseVisão Geral da Tese
� Experimentos
� Produção Atual
� Planejamento
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 19/40
� Especificação de um modelo de perfil de
pesquisadores
−rep-model
� Definição de uma métrica para identificar a
reputação de pesquisadores
−rep-index
Visão Geral da Tese
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 20/40
� Novidade
−Modelo de perfil abrangente e adaptativo
−Métrica para medir reputação baseada em um modelo de perfil
−Aspectos temporais no modelo de perfil
� Contribuição
−Análise abrangente da trajetória do pesquisador
−Equilíbrio da produção científica
−Aplicabilidade em diferentes áreas do conhecimento
−Adaptabilidade diante das especificidades das áreas
−Medição de reputação por meio de níveis de classificação
� Hipótese
−O nníível de reputavel de reputaççãoão de um pesquisador se dá pelo equilequilííbrio da brio da
produproduçção cientão cientííficafica e pode ser medido pela evoluevoluççãoão do
pesquisador ao longo do tempo
Visão Geral da Tese
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 21/40
rep-model
Ajustes de Ajustes de contextocontexto
ExclusãoExclusãoInclusãoInclusãoExclusãoExclusãoInclusãoInclusão
CalibragemCalibragemCalibragemCalibragem
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 22/40
rep-model
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 23/40
rep-index
∑ ∑= =
⋅=−
c
i
e
j j
jji
vmax
wv
1 1 )(
)((R)IndexRep
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 24/40
Roteiro
� Introdução
� Trabalhos Relacionados
� Visão Geral da Tese
�� ExperimentosExperimentos
� Produção Atual
� Planejamento
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 25/40
� Objetivo do Experimento
−Usar o rep-index para identificar a reputação
−Correlacionar com o h-index e com o g-index
� Hipótese
−O rep-index possui validade estatística para medir a
reputação de pesquisadores
� Conjunto de Dados
−Programas de pós-graduação em Computação da Capes
−Total de 156 pesquisadores
−Dados coletados da DBLP, Microsoft Academic Search,
Arnetminer e Plataforma Lattes
Estudo de Caso
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 26/40
� Coeficiente de Correlação de Postos de Spearman
−Avalia como a relação entre duas variáveis pode ser
descrita
−Coeficiente varia de -1 a +1
−Quanto mais próximo destes extremos, maior será a
relação entre as variáveis
−Correlação negativa indica variação na direção oposta
� Comparamos a correlação da classificação dos programas
de pós-graduação com o resultado obtido pelo rep-index,
pelo h-index e pelo g-index dos 156 pesquisadores
Método Utilizado
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 27/40
Dados do rep-model
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 28/40
� Calculamos o rep-index dos pesquisadores
−Utilizamos o rep-model, com seus elementos e pesos
−Definimos cinco intervalos, que resultaram em cinco níveis de
reputação
� Identificamos o h-index e o g-index dos pesquisadores
� Comparamos os resultados dos índices “rep”, “h” e “g”
com os conceitos dos programas de pós-graduação
Metodologia
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 29/40
� Hipótese confirmada−O rep-index é estatisticamente comparável ao h-index e ao g-
index
−63% dos elementos são fortemente correlacionados
•ED, MDA, PTA, PEBPT, ASJ, BCP, BP, CWPCP, HI, NC, SWR e SWOR
Resultados
−32% dos elementos tem correlação moderada
•PA, PEBMD, CCC, CCM, EBM e RJ
−5% dos elementos
apresentaram
correlação
fortemente negativa
•RP
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 30/40
� Classificação dos programas é consistente com os valores nos três
índices
� Exceção foi a troca de posição entre P3 e P4, em relação ao h-index
e ao rep-index
Resultados
MMéédia dos programas de pdia dos programas de póóss--graduagraduaçção em relaão em relaçção ao ão ao hh--indexindex, , gg--indexindex e e reprep--indexindex
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 31/40
� g-index: classificação dos programas se manteve a mesma para os
programas P1, P2, P3, P4 e P5
� h-index e rep-index: ordem dos programas P3 e P4 inverteu
Resultados
Programas de pProgramas de póóss--graduagraduaçção com as mão com as méédias dos três dias dos três ííndicesndices
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 32/40
� O rep-model e o rep-index são
fortemente correlacionados
com o h-index e com o g-index
dos 156 pesquisadores
� Calculamos o Coeficiente de Correlação de Postos de Spearman do
h-index e do g-index de todos os pesquisadores com o rep-index
� Obtenção de 100% de correlação forte entre os índices mostra que os
pesos dos elementos estão alinhados com o perfil dos pesquisadores
Resultados
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 33/40
� Abordagem abrangente e adaptativa
−Foca no equilíbrio da trajetória do pesquisador construída ao
longo de sua carreira
−Aplicabilidade em diferentes áreas do conhecimento
−Adaptabilidade diante das especificidades das áreas
−Inclusão/exclusão de categorias e de elementos
−Calibragem dos pesos
� Coeficientes de correlação entre o h-index, o g-index e
rep-index validaram a abordagem proposta
�Medição de reputação por meio de níveis de classificação
Resultados
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 34/40
Roteiro
� Introdução
� Trabalhos Relacionados
� Visão Geral da Tese
�� Experimentos
�� ProduProduçção Atualão Atual
� Planejamento
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 35/40
1. An Adaptive Approach for Identifying Reputation of Researchers
− ICWI – International Conference WWW/Internet, 2012, Madrid
2. Identificando a Reputação de Pesquisadores Usando um Modelo de
Perfil Adaptativo
− Semish - Seminário Integrado de Software e Hardware, 2011, Natal
3. Uma Ferramenta Para Análise Quantitativa da Produção Científica de
Pesquisadores
− ERBD – Escola Regional de Banco de Dados, 2011, Novo Hamburgo
4. Mecanismo para Gestão do Perfil Evolutivo de Pesquisadores e Análise
Preditiva Baseada em Comportamento Científico
− SBBD – Simpósio Brasileiro de Banco de Dados, 2008, Campinas
5. Modelando o Perfil de Pesquisadores Através de Fontes de Dados
Heterogêneas
− SIPM – Simpósio de Informática do Planalto Médio, 2008, Passo
Fundo
Publicações
UNBUNB
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 36/40
Orientações
Alisson - Uma Ferramenta Web para Identificar a Reputação de Pesquisadores
XX
Jardel - Uma Ferramenta Para Análise Quantitativa da Produção Científica de Pesquisadores
Roger - Identificação de Comportamento Semelhante de Pesquisadores Através deDados de Produção Científica
Rodrigo - Um Mecanismo Para Orientação de Carreira Científica Baseado em Perfil dePesquisadores e Recomendação
XX
Jean - Um Estudo Analítico Sobre o Comportamento de Pesquisadores Baseado em Dadosde Produção Científica
Paulo - Uma Ferramenta Web Para Extração de Redes Sociais de Pesquisadores
Edimar - Suporte a Consultas Temporais Através de um Mapeamento da linguagem TSQL2para o PostgreSQL
Fahad - Uma Ferramenta de Suporte à Análise do Comportamento Científico de Pesquisadores
Leandro - Modelagem do Perfil de Pesquisadores Baseada em Dados de Produção Científica
22001100
22000099
22000088
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 37/40
Roteiro
� Introdução
� Trabalhos Relacionados
� Visão Geral da Tese
�� Experimentos
� Produção Atual
�� PlanejamentoPlanejamento
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 38/40
� Estudar se há necessidade de excluir/incluir elementos no
rep-model
� Incorporar aspectos temporais no rep-model e no rep-
index−Tempo de titulação
−Tempo de orientação
−Tempo de editor/revisor
−Tempo de participação em bancas
−Tempo de publicações
� Realizar experimentos para validar os aspectos temporais
� Realizar experimentos com pesquisadores de diferentes
áreas
� Continuar o desenvolvimento de ferramentas para
automatizar o processo de modelagem do perfil
Metas
Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 39/40
� Até março/2013−Incorporar aspectos temporais no rep-model e no rep-index
−Realizar experimentos para validar os aspectos temporais
−Realizar experimentos com pesquisadores de diferentes áreas
−Submeter artigo para conferência qualificada (em andamento)
� Até maio/2013−Desenvolver ferramenta para automatizar a coleta dos dados
para modelagem do perfil
−Submeter artigo para periódico
−Iniciar redação da tese
� Até agosto/2013−Defender a tese
Cronograma