Oceňování výsledků vědy a výzkumu nezávislé na čase. Oceňování vědeckého výkonu VO organizace včetně porovnání s jinými organizacemi - „benchmarking". Predikce bodového zisku za výsledky VO a okolí na další čtyři roky. Podpora zvýšení příjmů z institucionálního financování. Manažerské rozhodování na základě objektivních dat. Měření podílu pracovníků organizace na celkovém vědeckém výkonu organizace. Měření efektivity (tj. výnosy/náklady) vědecké a výzkumné činnosti organizace. Úspora času zaměstnanců fakulty Podpora pro rozhodování o investicích do perspektivních výzkumnch oblastí a projektů Ochrana vlastních výzkumných zdrojů

 

PRINCIP A METODY

 

Bibliometrie a mereni vedeckeho vykonu

Bibliometrie je zakladem pro scientometrii ( = mereni vedeckeho vykonu). Bibliometrie je tedy nastroj a scientometrie je cil
V bibliometrii zpracovavame predevsim publikacni vysledky, tj. vysledky zakladniho vyzkumu (vysledky aplikovaneho vyzkumu lze take zpracovavat, ale vystupy jsou nepresne a mene relevantni)
Faze zpracovani bibliometrickych dat
• Vytvoreni identifikatoru sjednoceneho vysledku a konsolidace potrebnych udaju
• Podil autora a podil organizace na vysledku
Podil autora a podil organizace na vysledku je ze sve podstaty plne objektivni slozkou mereni vedeckeho vykonu
• Ohodnoceni vysledku:
zavedeni objektivnicho mereni vedeckeho vykonu – rozlisujeme 3 zakladni metody ohodnoceni vysledku (tj mereni vedeckeho vykonu obsazeneho v danem vysledku)

• Standardni ohodnoceni uvedene s podrobnostmi nize
• Objektivni ohodnoceni pomoci podilovych bodu (tzv. p-bodu)
• Plne objektivni ohodnoceni odbornych clanku pomoci kvartilove analyzy

• Agregace vedeckeho vykonu na vyssi celky

• Osoby/vedce
• Tymy
• Fakulty, pripadne soucasti fakult
• Univerzity
• Obory

Vyuziti bibliometrie
• Pro rizeni vedni politiky – podpora perspektivnich vedcu a tymu (vcetne perspektivnich trendu) a potlacovani neperspektivnich smeru badani
• Mereni vedeckeho vykonu osob, soucasti, tymu, fakult, skol a dalsich celku
• Hlavnim prinosem bibliometrickych metod je vysoky stupen objectivity (tj. nezavislosti na subjektivnim postoji jedince).
• Vyznamnym prinosem bibliometrie je vytvareni podkladu pro panelove hodnoceni, kdy dochazi k ucelovemu spojeni objektivnich bibliometrickych metod se subjektivnimi metodami hodnoceni prostrenictvim odbornych panelu
• Pri rozdelovani financnich prostredku na soucasti fakulty a pri rodelovaani na fakulty
• Tim i moznost porovnavani uvedenych celku – v zasade je bibliometrie nejprinosnejsi pro porovnavani vedeckeho vykonu ruznych celku.
• Vypocty trendu a pripadnych predikci
• Identiikace spickovych tymu a spickovych vedcu (vcetne moznosti posouzeni trendu)
• Identifikace vedcu a tymu s rostoucim trendem
• Pri zpracovani celeho RIV dava i moznost porovnani v ramci cele CR
• Pomoci porovnani dat z RIV s vlastnimi daty lze provadet validaci vlastnich dat

Identifikator sjednocneho vysledku a konsolidace udaju

Vysledky mohou byt obsazeny v RIV duplicitne, protoze tentyz vysledek muze byt dodan napr. vice predkladateli. Je tedy nutne stanovit skupiny vyskytu stejnych vysledku odpovidajicich danemu realnemu vysledku. Tyto skupiny jsou charakterizovany pomoci identifikatoru sjednoceneho vysledku.
Algoritmy pro tvorbu identifikatoru sjednocneho vysledku (tzv. semanticky klic) jsou dosti slozite a zadnych z nich neni 100% presny. Napr. algoritmus pouzivany firmou Scimetrics je v sirokem rozsahu overeny na datech a dava dobre vysledky. Ale neuvadime jej, protoze tvori soucast dusevniho vlastnictvi firmy.
Tvorbu identifikatoru sjednoceneho vysledku je treba realizovat na urovni RIV, ale i na urovni university, protoze ruzne fakulty mohou dodat stejny vysledek do universitniho informacniho system (napr. jestlize ma vysledek dva spoluautory z ruznych fakult teze skoly).
Po vytvoreni identifikatoru sjednoceneho vysledku nastava situace, kdy k danemu sjednocenemu vysledku nalezi skupina vyskytu vysledku a v techto vyskytech muze dany udaj nabyvat ruznych hodnot. Je treba tento udaj konsolidovat, tj. stanovit nejcastejsi hodnotu, ktera se vyskytuje u vyskytu tehoz vysledku jako konsolidovanou hodnotu.
Neni treba konsolidovat vsechny udaje, pouze ty, ktere se pouzivaji pri vypoctu hodnoceni. Zakladni udaje, ktere musi byt konsolidovany jsou rok uplatneni vysledku, obor, počet autorů (pro výpočet podílu na výsledku), počet stran výsledku (od techto udaju se hodnoceni odviji).
Vytvoreni identifikatoru sjednoceneho vysledku a konsolidacee nezbytnych udaju je operace, ktera musi predchazet jakemukoliv hodnoceni vysledku zalozenemu na bibliometrii.

Standardni mereni vedeckeho vykonu

Ohodnoceni vysledku
• Vysledk druhu J (= odborny clanek) se hodnoti podle hodnoceni casopisu ve kterem byl publikovan – hodnoceni casopisu viz nize
• Vysledek druhi B (= kniha) nebo vysledek druhu C (= kapitola v knize) je hodnocen podle hodnoceni nakladastelstvi ve kterem byl publikovan, u kapitoly se bere v uvahu jeji rozsah
• Vysledek druhu D (= clanek ve sborniku) je hodnocen podobne jak J pokud ma sbornik ISSN, pokud ma pouze ISBN, je hodnocen pausalne (4 body)
• Pri hodnoceni vysledku techto druhu se bere v uvahu pocet stran vysledku (presneji, pocet stran vysledku / prumerny pocet stran v rámci příslušné vědní oblasti)
Ohodnoceni casopisu
• Casopis z WoS je hodnocen takto

• Vypocte se normalizovane poradi n, 0<n<1 daneho casopisu v danem oboru
• Urci se hodnoty (pro deny obor)

        Jmin = nejmensi hodnota casopisu (= napr. 10)
        Jmax = nejvetsi hodnota casopisu (= napr. 200)
        Jmed = hodnota medianoveho casopisu = napr 25)

• Pouzije se linearni lomene (nebo kvadraticke) prolozeni temito hodnotami
• Pokud casopis spade do vice oboru pouzije se aritmeticky prumer

• Casopis ze Scopus je hodnocen analogicky
• Casopisy, ktere nejsou ani ve WoS ani ve Scopus se hodnoti 0 body
• Jina variant hodnoceni casopisu (jina metrika) – tzv. Kvartilove hodnoceni

• Casopis, ktery je v prvni kvartile casopisu se hodnoti hodnotou Jmax
• Casopis, ktery je mimo prvni kvartilu se hodnoti hodnotou Jmin (muze byt Jmin = 0)

• Hodnoceni clanku ve sbornicich majicich ISSN se provede analogicky
Ohodnoceni nakladatele se provede pomoci seznamu nakladatelu vypracovaneho firmou Scimetrics.
Podil autora na vysledku – zde jsou ruzne moznosti
• Kazdy autor vysledku si pripise cele body vysledku (tzv. carkovani) – autorsky podil = 1 vzdy
• Body za vysledek se nasobi autorskym podilem 1 / pocet autoru
• Body za vysledek se nasobi navic nasobi tzv. predkladatelskym podilem, ktery je roven 1 / pocet prekladatelu daneho vysledku se stejnym autorem
• Ze scientometrickeho hlediska pouze treti postup je spravny – jinak dochazi k vicenasobnemu zapocteni bodu daneho vysledku – ale v praxi jsou vyuzivany vsechny tri moznosti
• Pro vypocet treti (spravne) moznosti je zapotrebi zpracovat data z celeho RIV
Podil organizace na vysledku je souctem autorskych podilu vsech domacich autoru daneho vysledku.
Podklady pro bibliometricke hodnoceni
• Nejsirsi rozsah maji dat RIV (cela CR)

• Pro nektere vypocty je nezbytne zpracovat cela data z RIV
• Na druhou stranu data RIV maji ponekud mensi miru actuality nez data z IS skoly nebo fakulty

• Data z IS university jsou limitovana svym rozsahem a neumosnuji spocitat spravne podil organizace
• Data z IS fakulty jsou nejaktualnejsi ale take nejvic limitované z hlediska informačního obsahu
• Data z citacnich rejstriku (WoS a Scopus)

• Tato data se pouzivaji pro vypocet ohodnoceni casopisu

• Data z citacnich rejstriku (WoS a Scopus) nelze pouzit pro hodnoceni vysledku pomoci realnych citaci, protoze aktualni vysledky mohou mit v prvnich 2 letech relativne malou cast skutecnych citaci

Objektivni ohodnoceni vysledku pomoci podilovych bodu

Nedostatkem standardniho ohodnoceni vysledku je urcita libovule pri stanoveni postupu bibliometrickeho vyhodnoceni. Projevuje se to tim, ze neni stanovena jednotka mereni vykonu. Neni jasne definovano, co to znamena, ze vysledek ma hodnotu 1 standardni bod (je to stanoveno pravidly vypoctu, ktera obsahuji urcitou libovuli – toto je casto predmetem kritiky standardniho hodnoceni),
Tento nedostatek je do znacne miry (nikoliv uplne) odstranen zavedenim pojmu podiloveho bodu (p-bodu).
Definice. Podilovy bod vyjadruje podil hodnoty vysledku na hodnote celeho vyzkumu v CR v danem roce. Vysledek ma p-body = 1, jestlize mnozstvi vedeckeho vykonu v nem obsazene je rovno jedne miliontine vedeckeho vykonu cele CR v danem roce. Vzorcem
p-body(vysledek) = [body(vysledek) / body(cela CR v danem roce)] * 1000000
kde body(vysledek) jsou standardni body uvedene vyse a body(cela CR) je soucet vsech podilu bodovych podilu vsech VO ve smyslu standardnich bodu v danem roce sberu.
Podilove body obsahuji jasne stanovenou jednotku vedeckeho vykonu a v tom smyslu jsou objektivni. Podilove body ovsem obsahuji stale jeste urcitou miru nahodilosti, ktera je dana tim jak je nastavena metrika pri vypoctu standardnich bodu. Tuto nahodilost odstranuje pouze kvartilova analyza popsana nize.
Velkou vyhodou podilovych bodu pri hodnoceni je moznost vyuzivani casovych trendu. Rostouci trend v p-bodech znamena rostouci podil dane organizace (tymu, osoby) na vykonu cele CR a naopak klesajici trend znamena poles podilu na vykonu cele CR.
Dalsi velkou vyhodou p-bodu je moznost jednoduse vztahnout vedecky vykon k financovani vedy a vyzkumu. Jestlize zname napr. Celkovee vydaje na institucionalni financovani VaV v danem roce muzeme snadno stanovit financni hodnotu p-bodu v danem roce :
finance(p-bod v danem roce) = finance(cela CR v danem roce) / 1000000
Pomoci financni hodnoty p-bodu muzeme snadno financne ohodnotit kazdy vysledek a kazdy podil na vysledku.

Plne objektivni ohodnoceni pomoci kvartilove analyzy
Kvartilova analyza neobsahuje zadnou libovuli a to je jeji hlavni prednost. Jeji nevyhodou je, ze ji lze pouzit pouze na urcitou podmnozinu vysledku :
• Odborne clanky publikovane v casopisech z WoS a Scopus (tzv. impaktovane clanky)
• Do urcite miry ji lze pouzit i na knihy a kapitoly v knize, jejichz ISBN se nachazi v seznamu nakladatelu vedenem firmou Scimetrics (v tom smylu, ze kod nakladatele je v definovanem smyslu obsazen v ISBN knihy)
Postup kvartilove analyzy je nasledujici :
• Casopisy z WoS v danem oboru jsou serazeny (v klesajicim poradi) podle vhodnoho indikatoru (impaktni factor, nebo lepe nejaky pokrocilejsi indicator, ktery stanovi prumernou citovanost clanku v danem casopisu)
• Pomoci poradi se vypocte normalizovane poradi casopisu v danem oboru (cislo mezi 0 a 1)
• Pokud casopis spade do vice oborum, jeho normalizovane poradi se vypocte jako prumer normalizovanych poradi v techto oborech
• Podobne se postupuje pro Scopus – pokud se casopis vyskytuje jak ve WoS tak ive Scopus, potom se jeho normalizovana poradi prumeruji
• Stanovi se kvartila do ktere patri dany casopis :
o Casopis patri do Q1 (do prvni kvartily), pokud jeho normalizovne poradi je v intervalu (0, 0.25)
o Do Q2, pokud norm. poradi je v intervalu (0.25, 0.5) a podobne pro Q2 a Q3
• Pro vetsi celky (osoby, tymy, fakulty, skolu, ..) se sectou pocty clanku v jednotlivych kvartilach – lze pouzit dva zpusoby
o Sectou se proste pocty
o Sectou se upravene pocty, ktere se upravuji s ohledem na autorske (spoluautorske) podily (pripadne i s ohledem na predkladatelske podily)

Diskuze

Moznosti dostat se k pouzitelnym vnitrnim evaluacim
• Samostatne provest na urovni university hodnoceni vysledku, vypocet podilu autoru a organizaci a prislusne agregace - toto je velky narok na capacity analytiku a programatoru – fakticky je to duplicitni cinnost – je ucelne provest toto hodnoceni spolecne pro vsechny university a fakulty
• Pro vsechny university (a dalsi vyzkumne organizace) provest centralne zpracovani dat RIV – toto napr. nabizi firma Scimetrics (zatim pro fakulty)
Rozpory mezi hodnocenim na zaklade Metodiky 17+ a individualne nastavenym internim hodnocenim
• Zakladni rozpor spociva ve zcela rozdilnych cilech a metodach
o Cilem hodnoceni 17+ je hodnoceni velkych celku: universit a dalsich vyzkumnych organizaci metodou odbornych panelu ve ktere je bibliometricke hodnoceni pouze podkladem pro rozhodovani panelu
o Cilem interniho hodnoceni je hodnoceni jednotlivcu, tymu a dalsich celku zalozene na bibliometrickych a scientometrickych postupech – odborne panely nejsou mozne (vzhledem k velmi vysokym financnim narokum na zahranicni hodnotitele)
• University (a jine VO) mohou byt navenek hodnoceny jak panelove, tak i bibliometricky, zatimco dovnitr mohou byt hodnoceny pouze bibliometricky
o Interni bibliometricke hodnoceni muze byt zalozeno na datech fakulty, university nebo celeho RIV.
o Hodnoceni zalozene na datech fakulty nebo i university je nutne omezene a obssahuje systmaticke nedostatky zminene vyse. Plnohodnotne interni hodnoceni lze zalozit pouze na zpracovani celeho RIV.
Doporuceni
• Provadet interni sber dat a hodnoceni na urovni fakulty resp. university
• Opatrit si data a hodnoceni na urovni RIV pro danou fakultu/universitu
• Verifikovat data pomoci porovnani techto dvou datovych sad (RIV a fakultni/universitni data)
• Vyuzivat data z RIV pro porovnani dane fakulty/university s vyzkumnym prostorem cele CR

Produkty firmy Scimetrics

Vsechny vyse uvedene metody jsou pouzity pri tvorbe vystupu pro danou fakultu firmou Scimetrics. Pri vyuziti techto vystupu dochazi ke znacne uspore casu a financnich nakladu na strane fakulty.