um modelo de perfil de pesquisadores e métrica para medir...

Programa de PPrograma de Póóss--graduagraduaçção em Computaão em Computaççãoão

Proposta de TeseProposta de Tese

Um Modelo de Perfil de Pesquisadores eUm Modelo de Perfil de Pesquisadores eMMéétrica para Medir Reputatrica para Medir Reputa çção Acadêmicaão Acadêmica

Cristiano Roberto Cervi

Profa. Dra. Renata GalanteProfa. Dra. Renata Galante

(orientadora)(orientadora)

Prof. Dr. JosProf. Dr. Joséé Palazzo Moreira de OliveiraPalazzo Moreira de Oliveira

(co(co--orientador)orientador)

Janeiro/2013Janeiro/2013

Proposta de Tese Proposta de Tese –– Cristiano Roberto Cervi Cristiano Roberto Cervi –– PPGC/UFRGSPPGC/UFRGS 2/40

Roteiro

� Introdução

� Trabalhos Relacionados

� Visão Geral da Tese

� Experimentos

� Produção Atual

� Planejamento


Roteiro

�� IntroduIntroduççãoão



� Experimentos


� Planejamento


� A gestão da ciência passa por um processo de

qualificação

−Conhecer os pesquisadores

−Ajustar rumos nas pesquisas

−Orientar para uma correta aplicação de recursos

� Instituições que investem em pesquisa

−Necessidade de obter informações sobre a produção e

as demais atividades dos pesquisadores

� Avaliação da produção científica

−Baseada fortemente na análise de currículos

Introdução


� Identificar perfis é tema de estudo da área de

modelagem de usuários (User ModelingUser Modeling)

−Não existe consenso ou padronização do que é

necessário para se modelar um perfil

−Não existe um perfil ideal

−Para pesquisadores são consideradas as publicações

(quase que exclusivamente)

−Um modelo de perfil abrangente poderá preencher ou

minimizar esse gap

Introdução


� Identificar reputação é tema de estudo da área de

métricas científicas (Scientific MetricsScientific Metrics)

−Medir a qualidade da produção científica

−Identificar especialistas em determinada área

−Calcular fator de impacto de periódicos

�Métricas recentes se baseiam fortemente nas

citações de artigos

−−hh--indexindex

−−gg--indexindex

−hc-index

−e-index

−ar-index

Introdução

Mais utilizadosMais utilizados


Roteiro

� Introdução

�� Trabalhos RelacionadosTrabalhos Relacionados


� Experimentos


� Planejamento


�Modelagem de Perfil

−Utilização de dados de produção científica

−Redes sociais acadêmicas para analisar relações entre

pesquisadores

−Descoberta de especialistas

−Identificação de perfil de consumidores

�Métricas Científicas

−Citação para medir a reputação de pesquisadores

−Utilização do PageRank para ordenar autores e artigos

−Utilização do h-index e do g-index

Visão Geral


Arnetminer


Microsoft Academic Search


Contextualização dos Índices

� h-index−Quantifica a produtividade e o impacto baseando-se

nos artigos mais citados

−Um pesquisador tem um índice H, quando possuir h

trabalhos com pelo menos h citações

−Ex: um pesquisador com H = 8 tem, pelo menos, 8

artigos que receberam 8 ou mais citações

� g-index−“Dado um conjunto de artigos classificados em ordem

decrescente do número de citações que receberam, o g-

index é o maior número tal que os top “g” artigos

receberam (juntos), pelo menos “g2“ citações”


Exemplos do h-index e do g-index


� Critérios para comparar os trabalhos relacionados−Forma de detecção

•Explícita, implícita ou híbrida

−Técnica de modelagem

•Baseada em conhecimento ou em comportamento

−Forma de representação

•Como o perfil é representado

−Aspectos Temporais

•Existência ou não de aspectos temporais na definição do

perfil

−Métrica

•Existência de métrica ou outra característica avaliativa

Comparações


Comparações


Comparações

�� Exclusivamente citaExclusivamente citaçções de artigosões de artigos

�� Não apresentam anNão apresentam anáálise abrangentelise abrangente

�� Dificuldade para comparaDificuldade para comparaçções histões históóricasricas


Comparações

�� Tempo Tempo éé elemento fundamentalelemento fundamental

�� Integra a trajetIntegra a trajetóória de pesquisadoresria de pesquisadores

�� hh--indexindex e e gg--index index não consideramnão consideram

Nenhuma abordagem define um Nenhuma abordagem define um

modelo de perfil com mmodelo de perfil com méétricatrica


Roteiro

� Introdução


�� Visão Geral da TeseVisão Geral da Tese

� Experimentos


� Planejamento


� Especificação de um modelo de perfil de

pesquisadores

−rep-model

� Definição de uma métrica para identificar a

reputação de pesquisadores

−rep-index

Visão Geral da Tese


� Novidade

−Modelo de perfil abrangente e adaptativo

−Métrica para medir reputação baseada em um modelo de perfil

−Aspectos temporais no modelo de perfil

� Contribuição

−Análise abrangente da trajetória do pesquisador

−Equilíbrio da produção científica

−Aplicabilidade em diferentes áreas do conhecimento

−Adaptabilidade diante das especificidades das áreas

−Medição de reputação por meio de níveis de classificação

� Hipótese

−O nníível de reputavel de reputaççãoão de um pesquisador se dá pelo equilequilííbrio da brio da

produproduçção cientão cientííficafica e pode ser medido pela evoluevoluççãoão do

pesquisador ao longo do tempo

Visão Geral da Tese


rep-model

Ajustes de Ajustes de contextocontexto

ExclusãoExclusãoInclusãoInclusãoExclusãoExclusãoInclusãoInclusão

CalibragemCalibragemCalibragemCalibragem


rep-model


rep-index

∑ ∑= =

⋅=−

c

i

e

j j

jji

vmax

wv

1 1 )(

)((R)IndexRep


Roteiro

� Introdução



�� ExperimentosExperimentos


� Planejamento


� Objetivo do Experimento

−Usar o rep-index para identificar a reputação

−Correlacionar com o h-index e com o g-index

� Hipótese

−O rep-index possui validade estatística para medir a

reputação de pesquisadores

� Conjunto de Dados

−Programas de pós-graduação em Computação da Capes

−Total de 156 pesquisadores

−Dados coletados da DBLP, Microsoft Academic Search,

Arnetminer e Plataforma Lattes

Estudo de Caso


� Coeficiente de Correlação de Postos de Spearman

−Avalia como a relação entre duas variáveis pode ser

descrita

−Coeficiente varia de -1 a +1

−Quanto mais próximo destes extremos, maior será a

relação entre as variáveis

−Correlação negativa indica variação na direção oposta

� Comparamos a correlação da classificação dos programas

de pós-graduação com o resultado obtido pelo rep-index,

pelo h-index e pelo g-index dos 156 pesquisadores

Método Utilizado


Dados do rep-model


� Calculamos o rep-index dos pesquisadores

−Utilizamos o rep-model, com seus elementos e pesos

−Definimos cinco intervalos, que resultaram em cinco níveis de

reputação

� Identificamos o h-index e o g-index dos pesquisadores

� Comparamos os resultados dos índices “rep”, “h” e “g”

com os conceitos dos programas de pós-graduação

Metodologia


� Hipótese confirmada−O rep-index é estatisticamente comparável ao h-index e ao g-

index

−63% dos elementos são fortemente correlacionados

•ED, MDA, PTA, PEBPT, ASJ, BCP, BP, CWPCP, HI, NC, SWR e SWOR

Resultados

−32% dos elementos tem correlação moderada

•PA, PEBMD, CCC, CCM, EBM e RJ

−5% dos elementos

apresentaram

correlação

fortemente negativa

•RP


� Classificação dos programas é consistente com os valores nos três

índices

� Exceção foi a troca de posição entre P3 e P4, em relação ao h-index

e ao rep-index

Resultados

MMéédia dos programas de pdia dos programas de póóss--graduagraduaçção em relaão em relaçção ao ão ao hh--indexindex, , gg--indexindex e e reprep--indexindex


� g-index: classificação dos programas se manteve a mesma para os

programas P1, P2, P3, P4 e P5

� h-index e rep-index: ordem dos programas P3 e P4 inverteu

Resultados

Programas de pProgramas de póóss--graduagraduaçção com as mão com as méédias dos três dias dos três ííndicesndices


� O rep-model e o rep-index são

fortemente correlacionados

com o h-index e com o g-index

dos 156 pesquisadores

� Calculamos o Coeficiente de Correlação de Postos de Spearman do

h-index e do g-index de todos os pesquisadores com o rep-index

� Obtenção de 100% de correlação forte entre os índices mostra que os

pesos dos elementos estão alinhados com o perfil dos pesquisadores

Resultados


� Abordagem abrangente e adaptativa

−Foca no equilíbrio da trajetória do pesquisador construída ao

longo de sua carreira

−Aplicabilidade em diferentes áreas do conhecimento

−Adaptabilidade diante das especificidades das áreas

−Inclusão/exclusão de categorias e de elementos

−Calibragem dos pesos

� Coeficientes de correlação entre o h-index, o g-index e

rep-index validaram a abordagem proposta

�Medição de reputação por meio de níveis de classificação

Resultados


Roteiro

� Introdução



�� Experimentos

�� ProduProduçção Atualão Atual

� Planejamento


1. An Adaptive Approach for Identifying Reputation of Researchers

− ICWI – International Conference WWW/Internet, 2012, Madrid

2. Identificando a Reputação de Pesquisadores Usando um Modelo de

Perfil Adaptativo

− Semish - Seminário Integrado de Software e Hardware, 2011, Natal

3. Uma Ferramenta Para Análise Quantitativa da Produção Científica de

Pesquisadores

− ERBD – Escola Regional de Banco de Dados, 2011, Novo Hamburgo

4. Mecanismo para Gestão do Perfil Evolutivo de Pesquisadores e Análise

Preditiva Baseada em Comportamento Científico

− SBBD – Simpósio Brasileiro de Banco de Dados, 2008, Campinas

5. Modelando o Perfil de Pesquisadores Através de Fontes de Dados

Heterogêneas

− SIPM – Simpósio de Informática do Planalto Médio, 2008, Passo

Fundo

Publicações

UNBUNB


Orientações

Alisson - Uma Ferramenta Web para Identificar a Reputação de Pesquisadores

XX

Jardel - Uma Ferramenta Para Análise Quantitativa da Produção Científica de Pesquisadores

Roger - Identificação de Comportamento Semelhante de Pesquisadores Através deDados de Produção Científica

Rodrigo - Um Mecanismo Para Orientação de Carreira Científica Baseado em Perfil dePesquisadores e Recomendação

XX

Jean - Um Estudo Analítico Sobre o Comportamento de Pesquisadores Baseado em Dadosde Produção Científica

Paulo - Uma Ferramenta Web Para Extração de Redes Sociais de Pesquisadores

Edimar - Suporte a Consultas Temporais Através de um Mapeamento da linguagem TSQL2para o PostgreSQL

Fahad - Uma Ferramenta de Suporte à Análise do Comportamento Científico de Pesquisadores

Leandro - Modelagem do Perfil de Pesquisadores Baseada em Dados de Produção Científica

22001100

22000099

22000088


Roteiro

� Introdução



�� Experimentos


�� PlanejamentoPlanejamento


� Estudar se há necessidade de excluir/incluir elementos no

rep-model

� Incorporar aspectos temporais no rep-model e no rep-

index−Tempo de titulação

−Tempo de orientação

−Tempo de editor/revisor

−Tempo de participação em bancas

−Tempo de publicações

� Realizar experimentos para validar os aspectos temporais

� Realizar experimentos com pesquisadores de diferentes

áreas

� Continuar o desenvolvimento de ferramentas para

automatizar o processo de modelagem do perfil

Metas


� Até março/2013−Incorporar aspectos temporais no rep-model e no rep-index

−Realizar experimentos para validar os aspectos temporais

−Realizar experimentos com pesquisadores de diferentes áreas

−Submeter artigo para conferência qualificada (em andamento)

� Até maio/2013−Desenvolver ferramenta para automatizar a coleta dos dados

para modelagem do perfil

−Submeter artigo para periódico

−Iniciar redação da tese

� Até agosto/2013−Defender a tese

Cronograma

Programa de PPrograma de Póóss--graduagraduaçção em Computaão em Computaççãoão

Proposta de TeseProposta de Tese

Obrigado!Obrigado!

Perguntas Perguntas –– SugestõesSugestões

Janeiro/2013Janeiro/2013

um modelo de perfil de pesquisadores e métrica para medir...

Documents