Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy1
Podpora v oblasti scientometrie,
bibliometrie, hodnocení vědy
Stručný exkurz pro uvedení do tématu posluchačů ISKB21
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy2
Světová úroveň – Scientometrie
(bibliometrie)
Stručné představení možností (eng.)
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy3
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy4
Bublio...what?
̶ Bibliometrics – the application
of statistical methods of the
study of bibliographic data.
(Webster‘s dictionary)
̶ Part of Scientometrics
̶ Older sister of Altmetrics
Source: https://www.getyarn.io/yarn-clip/eddce405-0154-4b32-9b2f-d2dabc776104/gif
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy5
Little bit of history
̶ 1927 – Gross and Gross – first citation analysis ever – 3633
citations from the 1926 volume of the Journal of the American
Chemical Society <- to find out which journals to purchase
̶ Changes in the second half of the 20th century:
̶ Computers
̶ Internet
̶ Need (calling) for other than peer review system of evaluation
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy6
Source: clarivate.com
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy7
̶ 1964– Science Citation Index (SCI)
(Expanded 1988; today over 9200 journals)
̶ 1975 – Arts and Humanities Citation Index
̶ 1988 – Social Sciences Citation Index
̶ 2015 – Emerging Sources Citation Index
̶ Institute for Science information =>
Thomson Corporation => now Clarivate
https://www.wikidata.org/wiki/Q1379084
1956 – Institute for Scientific Information
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy8
WOS – hugely US centric
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy9
SCIE
https://clarivate.com/webofsciencegroup/solutions/webofscience-scie/
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy10
AHCI
https://clarivate.com/webofsciencegroup/solutions/webofscience-arts-and-humanities-citation-index/
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy11
SSCI
https://clarivate.com/webofsciencegroup/solutions/webofscience-ssci/
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy12
ESCI
Click to add text
https://clarivate.com/webofsciencegroup/solutions/webofscience-esci/
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy13
Source: scopus.com
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy14
2004 – Scopus launched
̶ Elsevier – publishing company
(2500 journals, 500 000
articles, yearly downloads
around 1 billion)
̶ Netherland – West Europe
Source: Scopus Content Coverage Guide [online elevier.com]
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy15
SCOPUS
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy16
SCOPUS – active titles indexed
̶ Hugely Eurocentric
Source:
https://www.elsevier.com/solutions/scopus/how-scopus-works/content?dgcid=RN_AGCM_Sourced_300005030
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy17
Metrics and other magic words
̶ D1, Q1, Q2, Q3, Q4
̶ Journal Impact factor
̶ CiteScore
̶ H-index
̶ Article Influence Score
̶ SCImago Journal Rank
̶ Eigenfactor
̶ See more here:
https://editorresources.taylorandfrancis.com/und
erstanding-research-metrics/
Source: https://en.wikipedia.org/wiki/Albus_Dumbledore
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy18
WoS
Comparison
Scopus
̶ Older, bigger
̶ Journal metrics: JIF
(Journal Impact Factor)
̶ Author metrics: h-index
̶ InCites
̶ Younger, faster growing
̶ Journal metrics: CiteScore
̶ Author metrics: h-index
̶ SciVal
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy19
So – which is better?
̶ Both contain high quality peer-reviewed articles – but not all of
them; you can find excellent articles indexed only in one of them
or in neither
̶ Good for following new trends in the field
̶ Good for finding potential collaborators
̶ Bad for evaluation of researcher
̶ Not very reliable for humanities and arts
̶ BEWARE METRICS – Metric is the question, not the answer
(Taylor and Francis).
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy20
Alternatives? – ERIH PLUS
̶ European Reference Index for
the Humanities
̶ 2014
̶ Europe focused
̶ Originally created by European
Science Foundation
̶ Now NSD – Norwegian Centre
for Research Data
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy21
Google Scholar
Honorable mentions
Dimensions
̶ More of a search engine than
a database
̶ Unsuitable for evaluation
̶ Great for source search
̶ Rising star
̶ Collaborating with ERIH PLUS
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy22
Author identifiers
Link
̶ Scopus Author ID
̶ ResearcherID (WoS)
̶ ORCID
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy23
Sběr 2023
Czech context – according RIV
Sběr 2022
Státní úroveň – Metodika 17+
Stručný exkurz pro uvedení do kontextu v roce 2023
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy24
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy25
M17+? M1? RIV? ISVAVAI? Whaaat?!
̶ Hodnocení vědeckých institucí je komplexní problém, který nelze
nikdy správně vyřešit.
̶ Před M17+ byl kafemlejnek – ten byl hodně špatný a pokřivil
české vědecké prostředí.
̶ M17+ je krok dobrým směrem a trochu i do minulosti.
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy26
Co je M17+?
̶ M17+ je zkrácené označení pro Metodiku hodnocení výzkumných
organizací a ukončených programů účelové podpory výzkumu,
vývoje a inovací, která byla schválena Usnesením vlády ČR dne
8. února 2017 (č. 107).
̶ Hodnocení se skládá z pěti modulů (M1 až M5).
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy27
Další užitečné pojmy
̶ RIV – Rejstřík informací o výsledcích. Databáze výsledků VaVaI v
ČR. Dostupné na: isvavai.cz
̶ VaVaI – Výzkum a Vývoj a Inovace.
̶ RVVI – Rada pro výzkum, vývoj a inovace. Patří pod Úřad vlády
ČR.
̶ V čele stojí ministryně pro vědu, výzkum a inovace Mgr. Helena Langšádlová
̶ 16+1 členů, obvykle „veteráni“ různých oblastí VaVaI ze státní i soukromé sféry.
̶ Působnost.
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy28
Modul 1
̶ Kvalita vybraných výsledků.
̶ Dvě kritéria
̶ Společenská relevance
̶ Přínos k poznání
̶ Proces hodnocení zajišťuje Úřad vlády.
̶ Výběr z výsledků odvedených do RIV.
̶ 5% nebibliometrizovaných výsledků (z celkového počtu odvedených do RIV) a „X“ bibliometrizovaných
(1 výsledek za každých 15 mil. Kč z částky přidělené na DKRVO).
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy29
Modul 1 detailněji
̶ VO dostane seznam výsledků, které může nominovat (dosud nehodnocené výsledky
odvedené do RIV v posledních 5 letech).
̶ Po vnitřním výběru přiřadí VO k vybraným výsledkům kritérium (Přínos k poz./Spol. rel.),
zdůvodní jej a zašle na Úřad vlády.
̶ Výsledky jsou dle FORD (dFORD) rozděleny do panelů, kde je hodnotí panelisté (systém
peer review) – obvykle 2 každý výsledek, v případě potřeby vstupuje Garant panelu.
̶ Každý výsledek dostane dle hodnocení v panelu výslednou známku na stupnici 1 až 5.
Požadavky na výsledky se liší dle zvoleného kritéria. Více zde.
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy30
Modul 2
̶ Výkonnost výzkumu.
̶ Bibliometrická analýza na základě AIS (WoS).
̶ Pro SSH obory se dělá ještě „Doplňková analýza“ na základě Scopus.
̶ Veřejně dostupné zde: https://m17.rvvi.cz/homepage
̶ Pouze výsledky odvedené do RIV.
̶ Proces hodnocení zajišťuje Úřad vlády.
̶ Sleduje se rozložení výsledků v pásmech (D, Q1-Q4) a srovnání
se světovým průměrem daného vědního oboru OECD.
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy31
Modul 3
̶ Společenská relevance.
̶ Každá hospodářská jednotka, případně její součásti, vytváří sebeevaluační
zprávu, kde hodnotí dopad svých výsledků na společnost. Ta pak slouží jako
podklad pro mezinárodní evaluační panel.
̶ Zahrnuje patenty, licence, postupy… a jiné věci s pozitivním dopadem na
společnost.
̶ Zohledňují se výsledky aplikovaného výzkumu, transfer technologií,
spolupráce se soukromým sektorem, a i popularizace výsledků VaVaI.
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy32
Modul 4
̶ Viabilita.
̶ Úzce souvisí s M5.
̶ Hodnocení výzkumného prostředí, vnitřních procesů a kvality
řízení v rámci VO.
̶ Celouniverzitní sebeevaluační zpráva.
̶ Obvykle se řeší podpora VaVaI, PhD studium, mezinárodní
spolupráce, finanční zdroje etc.
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy33
Modul 5
̶ Strategie a koncepce.
̶ Úzce souvisí s M4.
̶ Posuzuje se koncepce dlouhodobého rozvoje VO – její kvalita,
proveditelnost, přínos, relevance (v rámci ČR), mezinárodní
kontext etc.
Získání
financování (IP
na DKRVO)
Výzkum/tvorba
vědeckého
výsledku v
rámci (ne jen)
IP
Publikace
vědeckého
výsledku
Vykázání
vědeckého
výsledku do
RIV
Hodnocení
vědeckého
výsledku v
rámci M1 a M2
M17+
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy34
Publikační cyklus
Získání
vstupního
financování (IP)
v rámci kterého
lze připravit a
podat projekt
Výzkum/tvorba
vědeckých
výsledků v
rámci projektu
Plnění projektu
(publikace
vědeckých
výsledků)
Vykázání
vědeckých
výsledků do
RIV/Kontrola
poskytovatelem
financí
Hodnocení
vědeckého
výsledku v
rámci M1 a M2
M17+
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy35
Posloupnost od publikování k hodnocení
Výsledky VaVaI
na FF MU
IS MU
RIV (RVVI)
M1 (+M2)
36
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy37
Srovnání průměrné známky FF MU s FF UK, FHS
UK a FF UPOL, FF JČU
1,00
1,50
2,00
2,50
3,00
3,50
4,00
4,50
5,00
H18 H19 H20 H21 H22
Univerzita Palackého v Olomouci/Filozofická fakulta
Univerzita Karlova/Filozofická fakulta
Masarykova univerzita/Filozofická fakulta
Jihočeská univerzita v Českých Budějovicích/Filozofická fakulta
Univerzita Karlova/Fakulta humanitních studií
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy38
Zdroje:
̶ https://www.vyzkum.cz/FrontClanek.aspx?idsekce=627
̶ https://m17.rvvi.cz/homepage
̶ https://hodnocenivedy.muni.cz/
̶ https://www.isvavai.cz/
̶ http://www.vyzkum.cz/FrontAktualita.aspx?aktualita=950238
̶ https://www.slu.cz/fvp/cz/aktuality/30/860
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy39
Zdroje:
̶ https://clarivate.com/
̶ https://www.elsevier.com/solutions
̶ https://kanalregister.hkdir.no/publiseringskanaler/erihplus/
̶ https://www.digital-science.com/
̶ https://scholar.google.com/
Stručný exkurz pro uvedení pro posluchače ISKB21 / Informační podpora studia a vědy40
Dotazy?
Vypracoval:
Mgr. et Mgr. Stanislav Hasil, Informační podpora studia a vědy UK FF MU