Indicadores dedesempenhoparaefeito decomparações

internacionais

ProjetoIndicadoresFAPESP2017/50046-803deoutubrode2018

Visão Geral deRankings

• RankingsuniversitáriossãofatossociaisinescapáveisdoséculoXXI(Altbach,2011).Assim,umauniversidadededestaqueserásempremonitoradaporterceirosembuscadereferencias.

• Osrankingsinfluenciamaopiniãopúblicaeostomadoresdedecisãopelaviadamídia

• Quandoaavaliaçãoécentradaemmétricasquantitativas,atendênciaédistorcerocomportamentodoavaliado(Campbell,1973)

Dimensõesdoprojeto:Julho2017ajunho2019

• Missão• PesquisadoresassociadosUSP,UNICAMPeUNESP• InterfacecomasUniversidadesPaulistas• EstudodosRankingsemonitoramento• ConstruçãodeconteúdosrelativosaosRankings• WorkshopsUSP,UNESPeUNICAMP• Obracoletiva“RepensaraUniversidade”• Cursodeextensãouniversitáriaparaprofissionaisejornalistas• EducaçãoaDistanciaparadirigentesepesquisadores

Pesquisadores,GEecontatos

Pesquisadoresassociados:JacquesMarcovitch,ElizabethBalbachevsky,JoséAugustoChavesGuimarães,JustinAxel-berg, LuizNunes,NinaRanieri,RenatoPedrosa.

Grupodeenlace:AluísioAugustoCotrimSegurado(USP), MarisaMasumi Beppu (Unicamp),CarlosEduardoVergani (UNESP)

ContatoMétricasEdumetricas.edu@usp.br

Portal:Acesso:https://metricas.usp.br/ Responsável:PedroBelasco

ObjetivosdoProjetoIndicadoresFAPESP

• Tornarmaisacessíveloconhecimento públicosobremetodologiaemétricasrelacionadasascomparaçõesinternacionais.• Elencarprocessosdemonitoramentoeinternalizaçãodosindicadoresadotadosemcomparaçõesuniversitáriasinternacionais.• Identificaroscomponentesdeumapolíticapúblicasobreindicadoresdedesempenho nasuniversidadespúblicasparaefeitodecomparaçõesinternacionais• Delinearasatribuiçõeseatributosdosresponsáveispelosindicadoresdedesempenhoparaefeitodecomparaçõesinternacionais.• Aprimoraragovernançadasinstituições,paraprojetaraciênciabrasileiranocenárionacionaleinternacionalembenefíciodasociedadecomoumtodo.

Origenseinteressesderankings:China,ReinoUnidoeaComunidadeEuropeia• Paracompreenderoscomponentesdeumrankingdeve-seconhecerosinteressesevaloresquemotivaramsuaconstrução.• OXangaiJiao Tong,oprimeirorankingmundialem2003,refleteosinteressedogovernochinês:oestabelecimentodeumaligachinesaparacompetircomoIvy League.• OsTimesHigher eQS(2007),interesseemvalorizar areputaçãodasuniversidadesbritânicasparaatrairtalentosdeoutrospaíses.• OU-Multirank, daComunidadeEuropeia,interesseemcriarumacomunidadedeIEScomdadosinteroperáveis.

Rankings:Oqueinterpretar?Comoescolher?

NaChina,noReinoUnidoenaComunidadeEuropeia,rankingsecomponentesrefletemvisãodofuturoeprioridadesdecorrentes.

Apesardosrankingsofereceremumretratoincompletodasuniversidades,conjuntamente,ajudamaidentificarodesempenhorelativo.

Universidadesnecessitamdeumavisãodefuturoparaarticularoselementosrelevantesparaoseuentorno

IndicadoresdedesempenhonasUniversidadesEstaduaisPaulistasPrioridades2018-2019.

• UniversidadesEstaduaisPaulistas:trêscenáriosparaohorizonte2022.• Fórumdeindicadores :foconosindicadoresdeimpactosocialeregional• Interoperabilidadededadosenovosmétodosanalíticos.• Cursodeextensãoparadirigentesuniversitáriosejornalistas• Temasepráticasdegovernançauniversitária associadaaindicadores.• PresençadasUniversidadesEstaduaisPaulistasnoU-Multirank.• PortalMetricas.edu.

Identificação eafiliação institucional

• http://www.orcid.org

• Organização não governamental,sem finslucrativos:sem vínculo às agênciasdepublicação• Consolidação detodas suas produções em bancos dedadosdiversos

• OOrcid é oseu CPFcientífico!

Identificação eafiliação institucional

• Porque é importante?• Visibilidadedeciência brasileira• Visibilidade institucional• Visibilidadepessoal

• Comodiferenciar entretantas pessoas comomesmo nome?• Comogarantir queoquevocê publica esteja atribuída avocê?

PerformanceIndicators forLawSchools-Background

• Aprofessionallaw school is principallyconcerned with:• Theprofessionaltrainingof legalpractitioners• Themaintenance of prestigewithin their ownenvironment

• Itis often privately owned,with little publicresponsibility

• TheNation BuildingLawSchool• Same responsibilities asabove,plus...• Building,reformingand shaping the legalinstitutions and culture of the country

• Maintainingand contributing to publicdebate• Typically,public institutions formedwith thespecific intentionof buildingnascent nationstates

PerformanceIndicators forLawSchools-Background

Ifweacceptthatthereisadifference,wearethencommittedtoasetofminimalsubsequentpremises:• Iftheuniversity’sactivityisdefinedinpartbyitseffectsoutsideofitswalls,thendiscussionaboutitcannotbepurelyaboutquality.Itmustalsobeaboutimpact.• Inordertobeasuccessfulnationbuildinglawschool,thisimpactmustbevisibleandsignificant.Thismeansthat,evenifnotcompletely,itisinsomewayquantifiable.• Ifthisimpacthasaroleinshapinganation,itisthereforeoflegitimateandhighinteresttosocialsciences.• Inademocraticstate,whathasimpactoverthearrangementofpowershouldbe,toeveryextentpossible,transparenttooutsiders.

PerformanceIndicators forLawSchools-

• IsthisaquestforQualityorImpact?• Thetwoareregularlyconflatedbypolicymakers.Theyarenotthesame.

• Quality isaqualitativepropertyofintellectualvalue,novelty,andmoralandethicalgrounding.Itismosteasilydefinedthroughpeerreview.Itisdifficulttorepresentquantitatively• Impact istheextensionandmaterialeffectsthatthefaculty’sactivityhasontheworldaroundit– economically,socially,anddiscursively. Itisthereforepossibletorepresentthroughaconjunctionofquantitativeindicators

PerformanceIndicators forLawSchools-• Whataretheexistingrankingmethodologiesforlawschools?• USNews:Indicatorsfocusedonselectivity,barpassrate,opinionsurveyandgraduateemployment

• QSWorldLawandLegalStudies:80%onopinionsurvey,20%oncitationsthroughScopus

• Existingmethodologiesserveprofessionallawschools.Theydonotreflectthegoalsofnationbuilders

PerformanceIndicators forLawSchools-• Theuniversityinthemodernworld:• DemocratisationofknowledgeandspreadoffakenewsanddisinformationmeansthattheuniversityhasaroleasCuratorofKnowledge –itmustaddqualifiedopinion,anddefendtruth.• Inthiscontext- themanybylines,opinionpieces,interviewsandevensocialmediapostsmadebythefacultyassumeimportance,alongsidemoretraditionalpublications

PerformanceIndicators forLawSchools-

• Altmetrics tracksthespreadandimpactofscientificproductionfarbeyondtraditionalsources- allowingustoseehowsocietyisusingresearch.

PerformanceIndicators forLawSchools-

• As such, they are important indicators to monitor at an institutionallevel, and can be used to make descriptive statistics (but notindividual metrics) about academic staff (Waltman, 2018).

• The university should seek to persuade Brazilian journals toimplement Altmetrics into their online platforms

PerformanceIndicators forLawSchools-Priorities foraction

• Most nation building law schools hold a comprehensive andconsolidated record of their full range of academic and non-academicoutputs, consolidating different sources (Microsoft Academic, GoogleScholar, Dimensions):• NationalUniversityofSingaporehttps://law.nus.edu.sg/about_us/faculty/staff/lawpubv2.asp ,• HarvardLawSchoolhttps://hls.harvard.edu/faculty/bibliography/,• Universidade deCoimbrahttps://www.uc.pt/fduc/biblioteca ,• ParisSorbonneIPantheonhttps://hal-paris1.archives-ouvertes.fr/ .

• NoneoftheLatinAmericanflagshipuniversitieshaveimplementedthis(UNAM,UBA,UniversidaddeChile).

Pesquisadores,GEecontatos

Pesquisadoresassociados:JacquesMarcovitch,ElizabethBalbachevsky,JoséAugustoChavesGuimarães,JustinAxel-berg, LuizNunes,NinaRanieri,RenatoPedrosa.

Grupodeenlace:AluísioAugustoCotrimSegurado(USP), MarisaMasumi Beppu (Unicamp),CarlosEduardoVergani (UNESP)

ContatoMétricasEdumetricas.edu@usp.br

Portal:Acesso:https://metricas.usp.br/ Responsável:PedroBelasco