titl CZ OPVK_MU_rgb 1 Měření výkonnosti vědy Lucie Vavříková zahlavi CZ Agenda * věda a výzkum = proč hodnotíme vědu a výzkum * Výstupy vědy a vědecká komunikace * publikování v časopisech * Citace reference * Citační a publikační analýza * Základní indikátory * Základní rejstříky * 2 zahlavi CZ Věda, výzkum a její výstupy * věda vs. výzkum * druhy výzkumu * základní (basic research) * aplikovaný (applied research) * inovace (innovation), průmyslový výzkum * výstupy * publikační * aplikační * jiné * * 3 zahlavi CZ Vědecké výstupy dle disciplín * Přírodní vědy a medicína * Research articles (peer reviewed) * Review articles * Letters & notes (typical for physics and alike areas) * Technologie a počítačové vědy: * Research articles (peer reviewed) * Conference-papers (peer reviewed) * Patents * Společenské a humanitní vědy: * Books (antologies, monographies) – peer-reviewed / publisher * Research articles (peer reviewed) * 4 zahlavi CZ Vědecké výstupy dle disciplín * 5 zahlavi CZ Časopisy * základní médium pro vědce * otázka kvality (v porovnání s ostatními) * impakt faktor, SJR, SNIP * faktory * míra odmítnutých článků * periodicita * editor / redakční rada * excerpce vybranými databázemi * „hierarchie“ časopisů * 6 zahlavi CZ Proces publikování článku zahlavi CZ Proces zveřejnění * preprint / eprint – otevřené archívy * submitted * correction proof * first online (bez znaků časopisu) * tištěné číslo * * čas – 9 – 12 – 18 měsíců - ... (!) zahlavi CZ Reference a citace * Znak vědecké komunikace * Reference – užití informací * Citace – indikátor užití 9 zahlavi CZ Hodnocení výzkumu •In science, quantity and quality are correlated. * 2 tradice * Recenzní řízení (peer review) * Princip zodpovědnosti (nástroj řízení výzkumu) * Časování - Ex ante / ex post * Metody * Recenzní řízení (peer review) * Bibliometrie, scientometrie * Ekonometrické metody * 10 informační věda zahlavi CZ Recenzní řízení (peer review) * 11 http://4.bp.blogspot.com/-yPLZsqxYDEA/Txh1KY4iWFI/AAAAAAAAEJI/NChsWuAWJmc/s1600/peerreview.jpg zahlavi CZ Recenzní řízení (peer review) * Tradiční způsob hodnocení výzkumu * Peers - kolegové, experti z oboru * Ex ante * Problémy - objektivita, zachovávání existujících struktur * Uplatnění * Recenzní řízení v časopisech, na konferencích (mikro) * Posuzování grant. přihlášek, výsledků projektů (meso) * Hodnocení institucí, grant. programů (meso) * Kvalita recenzního řízení u časopisů je základním kritériem pro zařazení do odborných a citačních databází zahlavi CZ Princip zodpovědnosti (nástroj řízení výzkumu) * Vychází z požadavků veřejné správy * Řízení – poslední článek intervenční logiky * Nástroj učení * Ospravedlnění vynaložení veřejných prostředků * Využívá všech metod * Hodnocení dopadu (impact assessment) * 13 zahlavi CZ Bibliometrie a ostatní ~metrie * Bibliometrie * Využívá matematických a statistických metod pro dokumentovou komunikaci * Scientometrie * Měří a analyzuje vědu * Informetrie * Zkoumá kvantitativní aspekty informací * Webometrie * Založena na měřitelných aspektech na internetu, např. stažení článku, pohyb po sítích * Pojmy bibliometrie a scientometrie se často zaměňují * * zahlavi CZ Podstata bibliometrie •In science, quantity and quality are correlated. • •Publish, or perish. * * citace – reference à kvalita * Impakt – vědecký dopad * Metody * Publikační analýza * Citační analýza * * zahlavi CZ Citační a publikační analýzy * Publikační analýza * kvantitativní měření výzkumných publikací * geografická oblast, vědní oblast, čas. perioda * typy vědecké literatury, zdroje * Citační analýza * založená na analýze počtu citací * předpokládá citační morálku * při interpretaci výsledků citačních analýz je nutno přihlížet k možnostem a mezím těchto metod * Obsahová analýza * Např. co-word analýzy zahlavi CZ Zdroje dat pro bibliometrii * Hlavní citační databáze (citační rejstříky) * Web of Science (Thomson Reuters) * Journal Citation Reports * Vznik v 60. letech, Eugene Garfield * Scopus (Elsevier) * Další zdroje * Google Scholar * Citeseer * Chorvatský citační rejstřík * Indický citační rejstřík * * 17 zahlavi CZ Pohledy na citace a jejich analýzy * fyzický – zákony, definování indikátorů (J. S. Price, A. van Raan) * sociologický * uvažuje vědecké publikování a citování jako druh komunikace a způsob výzkumu * mikrosociologická úroveň - hodnocení života vědce * psychologický – např. motivy citování (B. Cronin) * historický * kognitivní dimenze odborných aktivit – vývoj idejí, věd. oblasti aj. * sociální, ekonomické a institucionální podmínky, které podmiňují vědeckou aktivitu (Price) * informačně-komunikačně-vědní * stojí na konceptu informace * užívá konceptů fyzického a sociologického přístupu zahlavi CZ Problematické aspekty bibliometrie * identifikace měřených elementů (tech., jazyk., struk.) * datová základna a excerpce * srovnání mezi disciplínami * článek typu review (nebo též klinický vs. základní výzkum) * autocitace * časová perioda * spoluautorství * negativní citace * zneužití jako náhradního evaluační nástroje * vliv „open acces“ zahlavi CZ Bibliometrické zákony a indikátory * Zákony (paretovo rozložení) * Lotkův – počet autorů a jejich produkce * Bradfordův – jádro časopisu * Zipfův – frekvence slov * Indikátory (ukazatele) * Impact factor * H-Index * 20 zahlavi CZ (Journal) Impact factor „Dobrý sluha, ale zlý pán“ M.Špála * * * * Vyjadřuje impakt individuálních časopisů, podle toho, jak byly průměrně citovány ve 2 předchozích letech * * Autor Eugene Gerfield * Vypovídá o tom, s jakou pravděpodobností lze očekávat, že články v časopise uveřejněné by mohly být citovány * 2letá perioda (v r. 2004 je IF určen za 2002 a 2003) * Nově 5letá perioda S Citations S Publications = Impact Factor zahlavi CZ H-Index * Hirsch index à highly-cited index * Jorge Hirsch – 2005 • • * * * * Hodnocení mikro a střední úrovně (Autor, vědecký tým…) * Sada dokumentů * Odráží jak kvantitu tak viditelnost * Velmi rychle uznán vědeckou komunitou * http://upload.wikimedia.org/wikipedia/commons/thumb/d/da/H-index-en.svg/300px-H-index-en.svg.png http://upload.wikimedia.org/wikipedia/commons/thumb/d/da/H-index-en.svg/200px-H-index-en.svg.png http://upload.wikimedia.org/wikipedia/commons/thumb/d/da/H-index-en.svg/500px-H-index-en.svg.png h-počet publikací, které jsou h-krát nebo vícekrát citovány zahlavi CZ Další indikátory * SJR - SCIMago Journal Rank * SNIP – Source normalized impact per paper * Eigenfactor * Cited half life * G-Index * Y-factor * Web Impact Factor * * zahlavi CZ Hodnocení výzkumu v ČR * Výsledky výzkumu financovaného z veřejných prostředků * Sběr do jednotné databáze (RIV) * Rozdělení prostředků podle výsledků * Dle typů přidělována bodová hodnota * Využití impakt faktoru, do budoucna se uvažuje i SNIP a/nebo SJR * Dostupné finance/bodů celkem = hodnota bodu * à počet bodů instituce * hodnota bodu * Databáze ISVaV (www.isvav.cz) * Provádí Rada vlády pro výzkum, vývoj a inovace 24 zahlavi CZ * 25 zahlavi CZ OPVK_MU_rgb 26 •Děkuji za pozornost.