Bibliometrické analýzy pro hodnocení v roce 2017 Obsah Úvod. 2 1 Použité základní bibliometrické ukazatele. 3 2 Bibliometrické zprávy. 5 2.1 Oborové bibliometrické zprávy. 5 2.2 Bibliometrické zprávy za skupiny oborů. 6 2.3 Bibliometrické zprávy za výzkumné organizace. 7 Přílohy. 9 Úvod Tento materiál specifikuje zpracování bibliometrických analýz a doplňuje tak Postup při hodnocení výsledků dle Metodiky 17+ v roce 2017 (dále jen „Postup hodnocení 17“) schváleném na zasedání 325. Rady pro výzkum, vývoj a inovace dne 27. 5. 2017. Metodika hodnocení výzkumných organizací a hodnocení programů účelové podpory výzkumu, vývoje a inovací (dále jen „Metodika 17+) schválená usnesením vlády ze dne 8. února 2017 č. 107 specifikuje vytváření bibliometrické zprávy takto: „Pro všechny výsledky z RIV, pro které je bibliometrie vhodným nástrojem hodnocení, bude vypracována bibliometrická analýza všech časopiseckých výstupů s použitím mezinárodních databází a bibliometrických nástrojů (podle Modulu 2). Bude vytvořen kvalitativní profil[1] výstupů jednotlivých VO, jež budou rozřazeny do kvartilů podle oborového AIS (Article Influence Score, Web of Science) příslušného odborného periodika. Zvlášť budou postiženy výstupy v prvním decilu daného oboru podle AIS. Analogicky bude postupováno v případě výstupů indexovaných v databázi Scopus podle SJR (Scimago Journal Rank).“ Sekce VVI zajistí spárování výsledků uvedených v RIV s údaji z mezinárodních databází Web of Science a Scopus a dále zajistí podle specifikace popsané v tomto dokumentu zpracování statistických podkladů určených k odbornému komentování. 1 Použité základní bibliometrické ukazatele Dosavadní praxe hodnocení vycházela z impakt faktoru[2] časopisu, ve kterém byl výsledek publikován, resp. z ukazatelů z něj odvozených (pořadí resp. normalizované pořadí podle IF v rámci oboru). Tyto ukazatele jsou do jisté míry relevantní v rámci některých přírodovědných oborů, ale jejich použitelnost jako obecného měřítka vědecké kvality je velmi diskutabilní.[3] Za mezinárodně uznávané bibliometrické přístupy se považují ukazatele Article Influence Score a SCImago Journal Rank pracující s citacemi sofistikovanějším způsobem než IF – berou v úvahu kvalitu citací a sledují delší citační okno. U těchto ukazatelů také panuje shoda na podstatně výraznější korelaci s vědeckou kvalitou. Article Influence Score (AIS) reflektuje průměrný vliv článků v určitém časopisu v průběhu prvních pěti let po jejich zveřejnění v rámci databáze Web of Science. Odvozuje se z ukazatele Eigenfactor, vycházejícího z toho, kolikrát byly články z daného časopisu zveřejněné v posledních pěti letech citovány v databázi časopisů Journal Citation Reports (JCR), a odpovídá tedy zhruba pětiletému impakt faktoru časopisu (5-Year Journal Impact Factor). Eigenfactor ale navíc zohledňuje kvalitu časopisů, ze kterých tyto citace pocházejí – vysoce citované časopisy mají větší váhu než časopisy méně citované. (Odkazy z jednoho článku v časopisu na jiný článek v témže časopisu se nezapočítávají.) Hodnota AIS pak udává vliv časopisu normalizovaný v rámci databáze JCR. Hodnoty Eigenfactor (a tedy i AIS) jsou úměrné počtu článků publikovaných v daném časopise – pokud dva časopisy publikují stejně kvalitní články a prvním jich vydává dvakrát více, pak je i jeho Eigenfactor dvakrát větší než u druhého časopisu.[4] SCImago Journal Rank (SJR) udává průměrný počet vážených citací v rámci databáze Scopus, které získal daný článek za poslední tři roky. Kromě počtu citací se zohledňuje kvalita a prestiž zdrojů, ve kterých se citace objevily. K určení váhy se podobně jako u ukazatele AIS používá míra reflektující počet a kvalitu spojení daného citačního zdroje v rámci celé citační sítě.[5] Pořadí dané těmito základními bibliometrickými ukazateli slouží k rozdělení výsledků do kvalitativních tříd, podle toho v jaké části pořadí se daný výsledek vyskytl. Třídy jsou vytvořeny jako percentily pořadí časopisů, konkrétně prvním decilem a kvartily. První decil časopisů daného ukazatele (AIS, SJR) je vymezen 10 % nejlepšími časopisy. Kvartily rozdělují pořadí na čtyři pásma, vždy po čtvrtinách (v I. kvartilu leží 25 % nejlepších časopisů dle AIS/SJR, poslední IV. kvartil je vymezen spodními 25 % časopisů v pořadí). Základní postup je založen na zjišťování, v jakém percentilu příslušného oboru se nalézá časopis, v němž byl výsledek zveřejněn. Pro účely mezinárodního srovnání se dále určuje, kolik článků se v daném oborovém percentilu nalézá a to na celkové (mezinárodní) úrovni a na národní úrovni. Zjištěné rozdíly vypovídají, nakolik je sledovaný obor v ČR mezinárodně kompetitivní. Dalším použitým ukazatelem bibliometrické analýzy je medián. Medián se používá jako měřítko „obvyklé“ hodnoty v případech, kdy je použití průměru nevhodné resp. neinformativní, neboť průměr je citlivý zejména na extrémní minimální a maximální hodnoty. Medián se určí tak, že se hodnoty seřadí podle velikosti a mediánem je hodnota, která se nalézá uprostřed seznamu (případně průměr dvou prostředních hodnot pokud má soubor sudý počet prvků). Analýza pracuje se třemi mediány: · světový medián oboru podle pořadí odborných článků je určen výší AIS/SJR časopisu, ve kterém byl publikován článek, který půlí pořadí článků v daném oboru publikovaných v roce 2016, · národní medián oboru je určen obdobně, avšak je založen na pořadí článků, které byly v daném oboru publikovány domácími tvůrci, · medián oboru pro výzkumnou organizaci je založen na pořadí článků, které jsou v daném oboru vykázány danou výzkumnou organizací. Pro účely bibliometrické analýzy je medián používán jako srovnávací parametr. Vzájemné relace (procentuálně vyjádřené odchylky) mediánů dovolují provádět srovnání při zachování alespoň minimálního rozumného ohledu k daným oborovým specifikům. 2 Bibliometrické zprávy Jak vyplývá z Metodiky 17+ a z Postupu hodnocení 17, bibliometrická analýza je vytvořena z pohledu oborového a dále z pohledu jednotlivých výzkumných organizací. Údaje budou zpracovány do těchto bibliometrických zpráv: · Oborové bibliometrické zprávy · Bibliometrické zprávy za skupiny oborů · Bibliometrické zprávy za výzkumné organizace Bibliometrické zprávy jsou součástí výstupů hodnocení, tj. tvoří příslušnou část pro Souhrnné oborové zprávy, Zprávy za výzkumné organizace, Zprávy pro poskytovatele. 2.1 Oborové bibliometrické zprávy Oborové bibliometrické zprávy jsou připraveny ve třech navazujících krocích. I. Příprava podkladů. Statistiky budou zpracovány formou tabulek a grafů, za jejichž přípravu odpovídá Sekce VVI. II. Odborné komentáře. Odborné komentáře připravují oborově příslušní členové odborných panelů na základě podkladů připravených v prvním kroku. Ke každému podkladu je vymezen minimální věcný obsah komentáře. Za výsledné zpracování jednotlivých oborových zpráv je odpovědný garant bibliometrické analýzy pro příslušný obor viz Postup hodnocení 17, kapitola 7.1, písmeno d. III. Bibliometrické zprávy. Obsahem bibliometrických zpráv je souhrn podkladů spolu s odbornými komentáři. Jak plyne z Metodiky 17+ a z Postupu hodnocení 17, oborový pohled bude založený na oborové klasifikaci podle materiálu Struktura oborů OECD (Frascati Manual) – převodník M17+ (dále jen „Převodník“), který byl schválen na 324. zasedání Rady pro výzkum, vývoj a inovace dne 31. března 2017 a který určuje strukturu odborných panelů. Z hlediska struktury oborů se rozlišují tři úrovně (viz příloha): · skupina oborů (vědní oblasti: 1. přírodní vědy, 2. technické vědy, 3. lékařské vědy, 4. zemědělské vědy, 5. společenské vědy, 5. humanitní vědy) · FORD (obory) · Detailed FORD (podobory) Výsledné oborové bibliometrické zprávy jsou vytvořeny pro každý obor (FORD). Jsou tvořeny odborně komentovanými podklady. Kromě komentářů k podkladům tyto zprávy vždy obsahují: a) úvodní komentář k relevanci bibliometrických postupů pro daný obor, b) stručný závěrečný souhrn o úrovni daného oboru v ČR z pohledu světového standardu v daném oboru. Zprávy jsou předány Sekci VVI, která je včlení do Souhrnné oborové zprávy. Pro vytvoření oborových bibliometrických zpráv budou použity tyto podklady: Podklad O1: světové oborové pořadí časopisů podle AIS a SJR. Údaje poskytují základní informační vstupy o oboru na mezinárodní úrovni. Data zahrnují: pořadí časopisů pro daný obor podle AIS a SJR v roce 2016 (tabulka O1a); vyznačení prvního decilu a kvartilů (tabulka O1b); hodnoty světového mediánu oboru dle pořadí časopisů a dle pořadí článků v pořadí podle AIS a SJR (tabulka O1c). Odborný komentář k podkladu O1 obsahuje vyjádření k relevanci AIS a SJR pro daný obor. Podklad O2: národní výsledky oboru ve světovém srovnání podle AIS a SJR. Rozložení četností a procentních podílů oborových výsledků v prvním decilu a v kvartilech podle mezinárodního pořadí časopisů (tabulka a graf 02a); porovnání distribuce mezinárodních a národních výsledků oboru v prvním decilu a v kvartilech pořadí časopisů (graf O2b); porovnání mezinárodního oborového mediánu článků s národním oborovým mediánem článků (tabulka a graf 02c). Odborný komentář k podkladu O2 hodnotí výsledky daného oboru ve vztahu k mezinárodnímu prostředí daného oboru. Podklad O3: excelentní výsledky podle AIS a SJR. Počet a procentní podíl nejlepších výsledků v daném oboru podle prvního decilu mezinárodního pořadí časopisů a identifikace výzkumných organizací, jejichž výsledky se takto umístily (tabulka a graf 03a); počet a procentní podíl nejlepších výsledků v daném oboru podle prvního kvartilu mezinárodního pořadí časopisů a identifikace výzkumných organizací, jejichž výsledky se takto umístily (tabulka a graf 03b); seznam národních výsledků, které byly uplatněny v multidisciplinárních časopisech Science a Nature a identifikace výzkumných organizací, jejichž výsledky se takto uplatnily (tabulka 03c)[6]. Odborný komentář k podkladu O3 obsahuje komentář k excelenci v daném oboru a též ve vazbě na výzkumné organizace, které se na nich podílejí. Komentář dále zohledňuje v relevantních případech (tj. pokud byly pro daný obor identifikovány) výsledky publikované v časopisech Nature a Science. 2.2 Bibliometrické zprávy za skupiny oborů Oborový pohled na výsledky hodnocení pomocí bibliometrických ukazatelů je dále doplněn srovnávací Zprávou za skupiny oborů (vědní oblasti: 1. přírodní vědy, 2. technické vědy, 3. lékařské vědy, 4. zemědělské vědy, 5. společenské vědy, 6. humanitní vědy). Zprávy za skupiny oborů jsou připraveny obdobně ve třech návazných krocích jako oborové zprávy. Jednotlivé zprávy za skupiny oborů zpracovává předseda příslušného panelu ve spolupráci s jeho členy. Za výsledné zpracování jednotlivých oborových zpráv je odpovědný předseda panelu příslušné oborové skupiny. Výsledné bibliometrické zprávy za šest oborových skupin jsou tvořeny odborně komentovaným podklady a dále též obsahují: a) úvodní komentář k relevanci bibliometrických postupů pro danou skupinu oborů, b) stručný závěrečný souhrn o úrovni dané oborové skupiny v ČR z pohledu světového standardu v daném oboru. Zprávy jsou předány Sekci VVI, která je včlení do Souhrnné oborové zprávy. Pro vytvoření bibliometrických zpráv za skupiny oborů jsou použity tyto podklady: Podklad OS1: Mezioborové srovnání pro danou skupinu oborů. Porovnání odchylek (vyjádřených v procentech) mezinárodního a národního mediánu AIS a SJR každého oboru. Mezioborové srovnání odchylek mediánů bude probíhat v rámci skupin oborů/vědních oblastí. Odborný komentář k podkladu OS1 obsahuje porovnání oborů v dané skupině oborů na pozadí mezinárodního standardu. Přestože porovnání mediánů a distribuce výsledků v kvartilech dovoluje relativně rozumné mezioborové srovnání, je třeba v komentáři explicite zohlednit případná relevantní oborová specifika. 2.3 Bibliometrické zprávy za výzkumné organizace Zpracované statistiky se zaměřují na tři oblasti: · obecný přehled výsledků dané výzkumné organizace a její úspěšnost z hlediska členění ukazatelů AIS a SJR podle prvního decilu a kvartilů, · srovnání oborů uvnitř dané výzkumné organizace na pozadí světového standardu, · srovnání výzkumných organizací. Oborový pohled na výzkumné organizace je odvozený od výsledků, které vstoupily do hodnocení. Jejich seznam je součástí výstupních materiálů. To umožňuje jednotlivým výzkumným organizacím provádět návazné detailnější analýzy pro vlastní potřeby. Statistiky budou připraveny formou tabulek a grafů, za jejichž realizaci odpovídá Sekce VVI. Výzkumným organizacím budou zpracované podklady předány s možností poskytnout ve stanoveném termínu stručnou věcnou intepretaci dodaných bibliometrických údajů. Zprávy jsou poté předány Sekci VVI, která je včlení do Zpráv za výzkumné organizace a Zpráv pro poskytovatele. Pro vytvoření bibliometrických zpráv za výzkumné organizace jsou použity tyto podklady: Podklad VO1: Seznam a počty výsledků. Seznam a celkový počet hodnocených bibliometrizovatelných výsledků (tabulka VO1a) a jejich členění podle oborů (tabulka a graf VO1b). Údaje slouží pro základní přehled o výsledcích, které vstoupily do hodnocení a o jejich oborovém členění. Odborný komentář k podkladu VO1 poskytuje dle svého uvážení daná výzkumná organizace. Podklad VO2: Výsledky výzkumné organizace podle AIS a SJR. Rozložení četností a procentních podílů výsledků v prvním decilu a v kvartilech pořadí časopisů dle AIS a SJR souhrnně za výzkumnou organizaci (tabulka a graf VO2). Statistika podává souhrnný přehled o všech výsledcích výzkumné organizace z hlediska jejich rozložení ve sledovaných percentilech pořadí časopisů, tj. vždy s ohledem na obory. Odborný komentář k podkladu VO2 poskytuje dle svého uvážení daná výzkumná organizace. Podklad VO3: excelentní výsledky podle AIS a SJR. Oborově členěný počet a procentní podíl nejlepších výsledků podle umístění v prvním decilu a prvním kvartilu mezinárodního pořadí časopisů dle AIS a SJR (tabulka VO3). Statistika indikuje počet výsledků, které se uplatnily v nejvyšších sledovaných percentilech, a identifikuje tyto výsledky z oborového hlediska. Odborný komentář k podkladu VO3 poskytuje dle svého uvážení daná výzkumná organizace. Podklad VO4: Oborově členěné výsledky výzkumné organizace podle AIS a SJR, jejich srovnání se světem a s ČR. Rozložení četností a procentních podílů oborově členěných výsledků v prvním decilu a v kvartilech dle mezinárodního pořadí článků na základě AIS a SJR podle oborů (tabulka a graf VO4a); porovnání distribuce mezinárodních a národních výsledků oborů v prvním decilu a v kvartilech pořadí časopisů dle AIS a SJR – analýza je provedena pouze pro případy, kde počet výsledků je ≥ 10 (grafy VO4b); porovnání mezinárodního oborového mediánu článků s oborovými mediány dané výzkumné organizace (tabulka a graf VO4c), porovnání národního oborového mediánu článků s oborovými mediány dané výzkumné organizace (tabulka a graf VO4d). Statistiky v první tabulce a grafu ukazují oborově členěné výsledky ve sledovaných percentilech pořadí časopisů podle AIS a SJR. Tento obecný přehled je podkladem pro následné mezinárodní srovnání, které je provedeno pouze u oborových výsledků, jejichž počet je minimálně 10. Srovnání je provedeno v rámci jednotlivých percentilů a dovoluje určit, zda oborové výsledky výzkumné organizace odpovídají mezinárodnímu rozložení výsledků v oboru. Mezinárodní srovnání je doplněno o souhrnné porovnání mediánů, které je hrubým ukazatelem celkové odchylky oborových výsledků. Obdobně je pomocí mediánů provedeno srovnání oborových výsledků s úrovní oboru v ČR. Podklad VO5: Počet publikací ve spolupráci se zahraničními výzkumnými organizacemi. S pomocí databáze RIV jsou identifikovány výsledky, které vznikly ve spolupráci se zahraničními autory/autorkami a institucemi. Odborný komentář k podkladu VO5 poskytuje dle svého uvážení daná výzkumná organizace. Podklad VO6: Počet publikací ve spolupráci s podniky. S pomocí databáze RIV jsou identifikovány výsledky, které vznikly ve spolupráci s podniky. Odborný komentář k podkladu VO6 poskytuje dle svého uvážení daná výzkumná organizace. Vedle výše definovaných podkladů a komentářů jsou výsledné bibliometrické zprávy tvořeny též: a) úvodním komentářem k relevanci bibliometrických postupů pro danou výzkumnou organizaci, který poskytuje dle svého uvážení (tedy nepovinně) daná výzkumná organizace, b) stručným závěrečným shrnutím zjištěných údajů, ke kterému poskytuje vlastní komentář daná výzkumná organizace dle svého uvážení. ________________________________ [1] Profil bude mít komparativní charakter, tudíž podle daných srovnávacích hledisek bude možno konstatovat, jak si daná instituce stojí (tzn. je-li horší, lepší, srovnatelná v relevantním kontextu). [2] Impakt faktor (IF) daného časopisu je dán průměrným počtem citací jednoho článku publikovaného v tomto časopise během posledních 2 let. Pokud je tedy IF nějakého časopisu 4 v roce 2014, pak články publikované v tomto časopise v letech 2012 a 2013 byly v roce 2014 citované v průměru 4krát. [3] Viz podrobně Příloha: Rozbor výpočtu bodů pro nejvýznamnější druhy výsledků Jimp a Jsc v rámci hodnocení výzkumných organizací v ČR – dle Metodiky hodnocení pro období 2013–2016 In: Analýza stavu výzkumu, vývoje a inovací v České republice a jejich srovnání se zahraničím v roce 2015,Úřad vlády 2016 , www.vyzkum.cz/FrontClanek.aspx?idsekce=799318 [4] Viz www.eigenfactor.org/about.php. [5] Viz www.elsevier.com/solutions/scopus/features/metrics [6] Publikování v těchto časopisech je pro část oboru vysoce prestižní a zároveň se jedná o časopisy, které nemají stanovenou specifickou oborovou příslušnost.