3 Doporučený postup hodnocení časopisů

Pakliže chceme maximálně eliminovat riziko publikování v pochybném časopise, je zcela nezbytné při hodnocení časopisu uskutečnit následující tři kroky:

  1. Ověřit objektivně verifikovatelná formální kritéria principů transparentnosti a etiky vědeckého publikování. Tento krok zahrnuje kontrolu 10 kritérií, která detailně popisujeme v následujících podkapitolách a jejichž výsledná hodnocení doporučujeme bodově zaznamenat do hodnotící tabulky.

  2. Provést obsahovou analýzu časopisu, tj. pročíst si několik posledních čísel časopisu a na základě vlastních odborných znalostí či případně pomocí kontrolních listů (viz kap. 3.2) posoudit odbornou kvalitu v časopise vydaných článků.

  3. Na internetu existují různé webové stránky, na kterých vědci sdílejí své zkušenosti s publikováním, díky čemuž lze získat bližší představu o regulérnosti redakční práce příslušného časopisu. Součástí tohoto hodnotícího kroku je i seznámení s hodnocením časopisu databázemi Web of Science/JCR či Scopusu

V následujících podkapitolách jsou detailněji představeny jednotlivé výše zmíněné kroky postupu hodnocení časopisů.

3.1 Kontrola formálních kritérií

Při prvním evaluačním kroku kontrolujeme deset kritérií, která lze objektivně verifikovat a která vycházejí z principů transparentnosti a etiky vědeckého publikovaní stanovených autoritami v oblasti publikační etiky – COPE (Committee on Publication Ethics), DOAJ (Directory of Open Access Journals), OASPA (Open Access Scholarly Publishers Association) a WAME (World Associtaion Medical Editors). Při evaluaci časopisu podle těchto kritérií doporučujeme použít hodnotící tabulku buď v online variantě nebo v podobě excelovského souboru.

V následujících podkapitolách je vysvětleno, proč daná kritéria kontrolovat a jak přitom postupovat. Součástí podkapitol jsou i ukázky časopisů porušujících příslušné kritérium. Při hodnocení těchto kritérií za pomocí hodnotící tabulku postupujeme tak, že na webu časopisu ověřujeme, zdali dané kritérium je časopisem splněno či nikoli (např. ověřujeme přítomnost ISSN, tak se podíváme na úvodní stránku či podstránky s informacemi o časopise, zdali na některé z nich není ISSN uvedeno). Při kladném ověření kritéria za ně časopis získá 1 bod, při nesplnění (třeba i částečném) získá 0 bodů. Za zcela transparentní lze považovat časopis se ziskem 10 bodů.

V praxi uživatelé zjistí, že někdy některé kritérium porušuje i renomovaný titul. I proto v tomto materiálu doporučené hodnocení časopisů musí zahrnovat a zahrnuje další dva evaluační kroky, a to posouzení odborné kvality časopisu a snaha o zjištění informací o fungování časopisu a jeho řešení případných porušení publikační etiky.

3.1.1 Přístup k plnému textu

Prvním kontrolovaným kritériem je zdarma volný přístup k plnému textu jako primární cíl Open Access časopisů. V rámci kritéria kontrolujeme, zdali časopis proklamující režim Open Access skutečně zdarma zpřístupňuje plné texty svých článků. Protože řada časopisů zpřístupňovala dříve články formou předplatného a model Open Access přejala později, má smysl se při kontrole zaměřit na dostupnost plných textů v aktuálním čísle či ročníku časopisu.

Ačkoliv se vyhodnocení tohoto kritéria může zdát zcela jednoznačné, bohužel mohou nastat případy, kdy můžeme váhat, zdali toto kritérium u časopisu hodnotit jako splněné či nikoli. Kupříkladu jednoznačné hodnocení by se týkalo časopisu JSM Bioavailability and Bioequivalence, na jehož webové stránce po volbě aktuálního čísla v menu se namísto stránky s články ke stažení znovu načetla úvodní strana About the Journal.

undefined

Diskutabilní však může být hodnocení časopisu Noise & Health, který zdarma a volně zpřístupňuje HTML verzi článku, zatímco verzi PDF zpoplatňuje 20 americkými dolary. Někdo může alespoň zpřístupnění plného textu ve formátu HTML považovat za splnění kritéria, jiný může kritérium posuzovat přísněji a očekávat při proklamaci režimu Open Access zcela bezbariérového přístupu k plnému textu bez ohledu na jeho formát.

undefined

3.1.2 Autorské poplatky

V souvislosti s autorskými poplatky jsou pochybné časopisy spojovány s praktikami jako např. netransparentní informace o výši autorských poplatků či sdělení jejich výše ex post (překvapení v podobě nečekaných faktur) nebo s velmi nízkou částkou, která nemůže pokrýt náklady na vydání článků.

Ačkoliv bylo v minulosti zjištěno, že průměrné náklady na vydání článku u západních vydavatelů činí cca 500 EUR, nelze to považovat za univerzální hranici rozlišující pochybné časopisy od ostatních, protože ekonomiky států jsou různé. Výše autorských poplatků jako kritérium je dále neodůvodněná proto, že již dnes existují pochybné časopisy požadující výši poplatku blížící se výši požadované tradičními vydavateli (viz níže příklad časopisů Journal of Immunobiology x Immunobiology).

undefined
Rozdíl v ceně autorských poplatků za publikování v Journal of Immunobiology a Immunobiology činí pouze 531 USD, přičemž však první titul je vydáván vydavatelem OMICS, který byl odsouzen k pokutě 50 mil. USD za nekalé publikační aktivity.

V souvislosti s autorskými poplatky při hodnocení časopisu zjišťujeme, zdali časopis jasně a srozumitelně uvádí jejich konkrétní výši. Pochybné časopisy se totiž vyznačují tím, že kromě výše autorských poplatků uvedou – zpravidla na téže stránce – i nějakou poznámku, kterou si vydavatel vyhrazuje právo požadovat i nějaké další poplatky.

Kupříkladu v níže uvedeném příkladu vydavatelství Allied Academies vidíme, že vydání článku je nad rámec úhrady autorského poplatku podmíněno členstvím některého z autorů ve vydavatelově blíže nespecifikované organizaci s povinným ročním poplatkem 75 USD.

undefined

3.1.3 Popis recenzního řízení

Ačkoliv v případě recenzního řízení se můžeme setkat s tvrzením, že pochybné časopisy se vyznačují rychlým recenzním řízením v řádu několika dnů, ve skutečnosti jde o diskutabilní kritérium. Napsání recenze totiž může ve skutečnosti trvat jen pár hodin, přičemž však výsledná délka recenzního řízení může být ovlivněna hledáním vhodného recenzenta či zaneprázdněností recenzenta. Kupříkladu z níže zobrazené zprávy vyplývá, že nemít editorka časopisu dovolenou, mohlo být recenzní řízení o celý měsíc kratší.

undefined

Při posuzování tohoto kritéria zjišťujeme, zdali je na webu časopisu uveden popis recenzního řízení, aby autor měl přesnou představu o jeho průběhu. V praxi to znamená nalézt na webu časopisu stránku s informacemi pro autory či jeho etickými zásadami a na ní zjistit, zdali časopis konkrétně popisuje průběh recenzního řízení, které může být trojího typu:

undefined

Double blind

Text posuzují alespoň dva recenzenti, přičemž oni ani autor neznají vzájemně svou identitu. Jedná se o nejčastější typ recenzního řízení.

undefined

Single blind

Text posuzují alespoň dva recenzenti, kteří znají autorovu identitu, zatímco autor jejich nikoli.

undefined

Open

Text posuzují alespoň dva recenzenti, kteří i s autorem vzájemně znají svou identitu.

Redakční rada je jeden z nejdůležitějších orgánů časopisu disponující rozhodovací pravomocí ohledně obsahu a tematického zaměření časopisu. Vytváří také strategie a vize vydávání časopisu a její prestiž se odráží na kvalitě celého periodika. V souvislosti s pochybnými časopisy je redakční rada spojovány s níže uvedenými kritérii, která ale jsou převážně problematická:

undefined
V tomto příkladu z časopisu Nature jde jen o krátkou ukázku jinak obsáhlého popisu recenzního řízení v pokynech pro autory.
undefined
Častěji se ale setkáme se stručnějším a zároveň dostačujícím popisem, protože zahrnuje to nejdůležitější – že článek podstupuje recenzní řízení a jaký typ recenzního řízení (zde double blind) to bude.
undefined
Naproti tomu například v časopise Current Issues in Molecular Biology informace o průběhu recenzního řízení uvedeny nejsou. Zároveň s ohledem na fakt, že časopis je indexován v Journal Citation Reports, tj. má přidělený impakt faktor, je tento příklad i dokladem, že se skutečně nelze spoléhat na databáze jako na tzv. whitelisty.

3.1.4 Afiliace členů redakční rady

Redakční rada je jeden z nejdůležitějších orgánů časopisu disponující rozhodovací pravomocí ohledně obsahu a tematického zaměření časopisu. Vytváří také strategie a vize vydávání časopisu a její prestiž se odráží na kvalitě celého periodika. V souvislosti s pochybnými časopisy je redakční rada spojovány s níže uvedenými kritérii, která ale jsou převážně problematická:

Kritéria

Diskutabilnost kritéria

Stejná redakční rada pro celé portfolio časopisů

Při existenci tisícovek časopisů je prakticky nemožné ověřit spojení redakční rady s více časopisy.

Fiktivní členové redakčních rad

Prakticky lze kritérium ověřovat jen vyhledáním člena rady na webu jeho instituce. Pomineme-li, že to u mnohačlenných rad může být časově náročné, tak zejména ne všechny instituce kvůli ochraně osobních údajů zpřístupňují informace o svých zaměstnancích či studentech.

Mezi členy redakčních rad časopisů jsou uvedeni známí a úspěšní vědci bez jejich vědomí

Protože ne všichni vědci mají kvůli koncepci webu jejich instituce či jejich nezájmu možnost či povinnost zveřejňovat informace o členství v redakční radě, je toto kritérium de facto ověřitelné jen kontaktováním vědce. Otázkou zůstává, nakolik budou vědci ochotni odpovídat na dotazy týkající se jejich členství v redakční radě…

Redakční rada má málo členů nebo není mezinárodní a je tvořena zejména osobami z rozvojových zemí

Z hlediska počtu členů redakční rady autority jako COPE, DOAJ, OASPA a WAME nestanovují a je tedy diskutabilní stanovit hranici určující, zdali kritérium je/není porušeno.

Diskutabilní je i převaha osob z rozvojových zemí v redakční radě jako kritérium zdůvodňované nižší technologickou úrovní zemí a z toho vyplývající nízkou kvalitou redakční práce. Vzhledem k všeobecné globalizaci jde však o přirozený vývoj, že se v redakčních radách vyskytují i zástupci rozvojových zemí. V neposlední řadě existuje velké množství regionálních časopisů, které mají obvykle v redakční radě zástupce z daného regionu, přičemž se jedná o odborně kvalitní periodikum.

Členové redakční rady nemají přesně uvedené afiliační údaje

Jedná se o jediné kritérium související s redakční radou, které doporučujeme kontrolovat, ačkoliv si uvědomujeme, že může být také diskutabilní. Jak je patrné z níže uvedené ukázky, kupříkladu i tak prestižní časopis jako CA: A Cancer Journal for Clinicians s nejvyšším impakt faktorem (223,679 v r. 2018) neuvádí u členů redakční rady úplnou afiliaci, tj. instituci a město/stát, ale pouze instituci. Při zcela striktní kontrole by to znamenalo z hlediska formálních kritérií hodnotit časopis jako pochybný.

Navzdory těmto skutečnostem však doporučujeme toto kritérium kontrolovat, protože skutečně jen při úplné afiliaci může potenciální autor či čtenář zcela bezpečně identifikovat člena redakční radě. Zároveň se opět jedná o kritérium stanovené autoritami COPE, DOAJ, OASPA a WAME.

undefined

3.1.5 Hlavní editor je uveden

Návazně na předchozí kritérium se rovněž ověřuje, jestli časopis má jasně stanoveného a na webu časopisu či přímo v časopise uvedeného hlavního editora (editor-in-chief). Jako v každé normálně fungující organizaci musí být osoba odpovědná za určité procesy, což v případě rozhodování o přijetí či zamítnutí článku k vydání je v časopise šéfredaktor neboli hlavní editor.

undefined
Na webu časopisu Parkinson’s Disease se nachází pouze informace o redakční radě, nikoli však o hlavním editorovi.

3.1.6 Jednoznačně identifikovatelný vydavatel

Pochybné časopisy se mnohdy vyznačují tím, že namísto jednoznačného uvedení vydavatele jeho název buď neuvádějí, nebo jej nahrazují pouze názvem časopisu. Přitom se jedná o důležitou informaci, podle které má čtenář či potenciální autor možnost znát vlastníka časopisu. Díky tomu čtenář či autor mohou zvláště v případech, kdy je vlastníkem tradiční vydavatelství typu Elsevier, Springer apod. či známá instituce nebo vědecká společnost, ihned získat představu o očekávané kvalitě redakční práce.

Při ověřování tohoto kritéria lze vydavatele nejčastěji zjistit v zápatí webu v informacích o copyrightu. Kupříkladu níže je zobrazeno zápatí webu časopisu Medicine se sdělením, že vydavatelem titulu je Wolters Kluwer Health, Inc. Název vydavatele je navíc odkazem na jeho webové stránky.

undefined

Naproti tomu na webu časopisu Neuropsychiatry je v zápatí je pouze název časopisu a vedle něj adresa bez adresáta.

undefined

3.1.7 Časopis uvádí ISSN na webu

Důležitým údajem časopisu je i ISSN (International Standard Serial Number), protože jako jednoznačný identifikátor umožňuje čtenářům i potenciálním autorům nezaměnit tituly s podobně znějícím názvem. Při ověřování tohoto kritéria je třeba velmi pečlivě prohlížet webové stránky časopisu, neboť údaj nemusí být vždy na první pohled viditelný.

Kupříkladu zatímco časopis World Psychiatry uvádí ISSN hned v záhlaví svého webu …

undefined

… časopis Nature umístil tento údaj těsně nad zápatí svého webu a píše jej vcelku malým písmem.

undefined

Někdy může být zjištění ISSN komplikovanější. Kupříkladu časopis Cell nemá uvedeno ISSN ani na úvodní stránce, ani na žádné podstránce v sekci About, na kterých by je uživatel očekával, ale pouze na stránce s informacemi pro předplatné.

undefined

3.1.8 Pravdivé tvrzení o citační metrice v Journal Citation Reports a Scopusu

Jedním z nejvýraznějších projevů pochybných časopisů je záměrné matení autorů a čtenářů lživým tvrzením o přidělení některé z citačních metrik v databázích Journal Citation Reports (JCR) a Scopusu. Jmenovitě v JCR je indexovaným časopisů vypočítávána metrika impakt faktor, zatímco ve Scopusu jsou indexovaným časopisům vypočítávány tři metriky – CiteScore, SNIPSJR (metrikám věnujeme samostatný studijní materiál).

Pochybné časopisy na svých webech prezentují hodnotu nějaké metriky mající podobný název jako výše zmíněná trojice metrik (např. Global Impact Factor, Journal Impact Factor). Cílem je zlákat autora k publikování článku v pochybném časopise a návazně na to k uhrazení autorských poplatků. S ohledem na hodnocení vědy i autorskou prestiž je pro autory publikování v časopise zejména s impakt faktorem velkou motivací. Právě toho pochybné časopisy zneužívají proklamací přidělené metriky mající podobný název jako některá z JCR a Scopusu.

V tomto případě je ověření tohoto kritéria velmi jednoduché, protože setkáme-li se u časopisu s proklamací metriky podobně znějící jako impakt faktor, CiteScore, SNIP či SJR, podíváme se do JCR či Scopusu, zdali v nich je časopis skutečně indexován a má-li přidělenu nejaktuálnější hodnotu metriky. Zde je třeba pamatovat, že hodnoty metriky bývají zveřejňovány s jistým zpožděním. Kupříkladu impakt faktor bývá zveřejňován obvykle v červnu nebo červenci, takže zatímco v prvním pololetí roku 2020 při kontrole časopisu bude v JCR nejaktuálnější hodnota impakt faktor pro rok 2018, při kontrole v druhém pololetí jí bude hodnota pro rok 2019.

Časopisy obvykle uvádějí citační metriku někde na úvodní stránce svého webu nebo v sekci o indexaci časopisu v databázích. V níže uvedeném příkladu s časopisem China-USA Business Review se jedná o případ s proklamací metrik v sekci Indexing. V tomto případě metrika JIFACTOR může indikovat buď napodobení klasického impakt faktoru z JCR, a tedy snahu časopisu zmást potenciálního autora, nebo proklamaci pochybné metriky (o nich viz dále).

undefined

Protože text metriky není odkazem na web s více informacemi, je třeba ujistit se, zdali časopis je, či není indexován v JCR a nemůže-li se tedy jednat o pravou metriku. Z níže uvedeného náhledu je evidentní, že časopis v JCR není indexován, a tedy kritérium nesplnil, protože buď o indexaci v JCR lže, nebo o metrice neposkytuje transparentní informace.

undefined

Dalším příkladem lživého tvrzení o citační metrice je časopis Indian Journal of Advanced Nursing, který proklamuje impakt faktor ve výši 2,002 (jedná se o pohyblivou lištu, ve které ještě proklamuje IBI Factor – viz dále část o pochybných metrikách).

undefined

Při ověření této hodnoty v JCR jsme však zjistili, že časopis v databázi nefiguruje.

undefined

Naproti tomu jiná situace je u časopisu Vitamins & Minerals s metrikou Journal Impact Factor, která může indikovat buď klasický impakt faktor z JCR, a tedy snahu časopisu zmást potenciálního autora, nebo proklamaci pochybné metriky.

undefined

Na rozdíl od předchozího příkladu je v tomto případě název metriky odkazem na webovou stránku (viz níže) s popisem metody výpočtu. Ten sice kopíruje postup výpočtu klasického impakt faktoru, ale podle uvedených informací hodnotu metriky vypočítává na základě citovanosti článků a časopisu v Google Scholar Citation (viz níže). Časopis porušil kritérium Pravdivé tvrzení o citační metrice v Journal Citation Reports a Scopusu tím, že pro svoji metriku použil oficiální název skutečného impakt faktoru – Journal Impact Factor. Zároveň tímto časopis porušil i kritérium Proklamace pochybné citační metriky, protože zakládat metriku na systému počítajícího i citace např. v prezentacích je diskutabilní.

undefined

3.1.9 Pravdivé tvrzení o indexaci ve Web of Science a Scopusu

Protože v souvislosti s hodnocením vědeckých institucí jsou autoři motivování k publikování v časopisech indexovaných ve Web of Science (WoS) a Scopusu, doporučujeme kontrolovat případné tvrzení časopisu o indexaci v těchto databázích (lékařské obory mohou zvážit i MEDLINE PubMed).

Při zjištění proklamace indexace ve WoS nebo Scopusu ověřujeme její pravdivost buď přímo v databázích, nebo prostřednictvím veřejně dostupných obsahů obou databází. V případě WoS je to online vyhledávač Master Journal List, zatímco obsah Scopus je ke stažení na webu Elsevieru v sekci Looking for something else?, na kterých by je uživatel očekával, ale pouze na stránce s informacemi pro předplatné.

Nutnost opravdu pečlivě kontrolovat informace na webu časopisu dokládá i situace s časopisem American Journal of Analytical Chemistry, který v sekci indexace na prvním místě uvádí Web of Science (Clarivate Analytics) s údaji o citovanosti a odkazem na to dokládající náhled z WoS.

undefined

Text může u někoho navodit dojem, že časopis je indexován ve Web of Science, ačkoliv tomu tak vůbec není (viz níže náhled z WoS). Ve skutečnosti náhled z WoS pouze dokládá, že časopis American Journal of Analytical Chemistry byl ve WoS citován jinými časopisy.

undefined

3.1.10 Proklamace pochybné citační metriky

Dojmu prestiže se pochybné časopisy snaží dosáhnout i uváděním různých citačních metrik, které nemají nic společného s Impakt faktorem, CiteScore, SNIP a SJR z JCR a Scopusu. Nejčastěji se jedná o metriky spojující nějaké přídavné jméno s termínem Impact Factor (např. Global Impact Factor, General Impact Factor, IBI Factor aj.). Problémem těchto metrik je jejich netransparentnost, kdy buď není zveřejněna jejich metoda, nebo je jejich metoda založena na – třebas jen částečně – subjektivním hodnocení časopisu.

V praxi to znamená, že pokud se v časopise setkáme s jinou metrikou než s impakt faktorem, CiteScore, SNIP a SJR z JCR a Scopusu, je třeba pokusit se na internetu zjistit o metrice více. V kapitole o citačních metrikách v JCR a Scopusu byl uveden příklad časopisu Vitamins & MineralsVitamins & Minerals s metrikou Journal Impact Factor včetně vysvětlení její metody operující s citačními údaji Google Scholar Citations. Vzhledem k tomu, že tato aplikace při sledování citovanosti nerozlišuje, je-li publikace citována řádně vydanými publikacemi nebo i nejrůznějšími dalšími dokumenty jako např. prezentace, pracovní verze textu apod., lze pak citační údaje považovat za diskutabilní a v důsledku toho i samotnou metriku jako irelevantní.

Jako další příklad pochybné citační metriky lze uvést např. IBI Factor proklamovaný kupříkladu časopisem Indian Journal of Advanced Nursing, o které jsme se již zmínili v části o citačních metrikách v JCR a Scopusu.

undefined

Při hledání na internetu lze k této metrice dohledat popis její metody výpočtu (viz níže ukázka), kterou však shledáváme jako diskutabilní.

undefined

Metoda výpočtu IBI Factoru spočívá v tom, že se časopis nejdříve bodově hodnotí naplnění kritérií rozdělených do sekcí A až E. Výsledný IBI Facto se následně vypočítá podle vzorce:

A + B + C + D + E 10

IBI Factor lze považovat za pochybnou metriku z několika důvodů:

  • Je otázkou, zda li je skutečně personálně únosné každoročně hodnotit výše uvedeným způsobem téměř 5 000 časopisů.

  • Metrika je netransparentní. Kupříkladu již v první sekci A není jasné, proč se součet článků má násobit právě hodnotou 10 a proč vůbec se má počet letošních článků dělit počtem loňských článků. U dalších sekcí není jasné, jestli časopis získá 10 bodů jen při dodržení všech kritérií, nebo jestli se body v rámci dané sekce dělí počtem kritérií a tyto dílčí body časopis získá za dodržení příslušného kritéria (např. když časopis ze sekce B se čtyřmi kritérií dodrží jedno kritérium, dostane 0 bodů, nebo 2,5 bodu?).

  • Kritéria jsou diskutabilní. Kupříkladu, jestliže neexistuje žádný zákon či norma nařizující, že časopis má být týdeník, měsíčník atd., je v sekci B irelevantní kritérium hodnotící počet vydaných čísel v předchozím roce. Stejně tak časopisy nemají povinnost mít webovou stránku, a tedy v sekci C jsou irelevantní kritéria 2, 3, 5, 6, 8.

Tímto způsobem by bylo možno rozporovat i kritéria v dalších sekcí, ale pro účel tohoto materiálu výše uvedené poznámky postačují k demonstraci toho, jak je třeba jiné metriky než ty z JCR a Scopusu prověřovat.

Hodnotící tabulka

3.2 Posouzení odborné kvality časopisu

Druhým krokem při hodnocení časopisu musí být obsahová analýza časopisu zaměřená především na jeho odbornou kvalitu než na gramatické či pravopisné chyby obvykle spojované s pochybnými časopisy. Mnozí autoři totiž publikovali v pochybných časopisech bez zhodnocení jejich odborné kvality. Přitom pro posouzení odborné kvality mohli kromě svých odborných znalostí využít i některou z následujících pomůcek k prověření kvality zpracování textu.

Kupříkladu the Joanna Briggs Institute vytvořil nástroje na kritickou evaluaci různých typů studií s otázkami kontrolujícími jejich srozumitelnost, detailnost, objektivitu či ověřitelnost výsledků výzkumu. Zároveň jednotlivé otázky opatřil jejich vysvětlením, nač konkrétně v článku otázka cílí.

undefined
Ukázka archu na evaluaci případových studií z the Joanna Briggs Institute

Obdobnou pomůckou jsou i evaluační archy Critical Appraisal Skills Programme s otázkami na jasnost cílů a výsledků výzkumu, vhodnost zvolené výzkumné metody a sběru výsledků či dodržení etických zásad výzkumu. Tyto pomůcky mohou pomoci autorům posoudit obsahovou kvalitu náhodně zvolených článků nejen na základě své odbornosti, ale i pomocí nějakého standardizované metody. Autoři by tak mohli získat představu o kvalitě redakční práce a jejich nárocích na odbornou kvalitu vydaných článků.

undefined
Ukázka archu Critical Appraisal Skills Programme na evaluaci případových studií

3.3 Zjištění o fungování časopisu

Třetím krokem při hodnocení časopisu je i pokusit se získat informace o fungování časopisu. V případě časopisů praktikujících open peer review je třeba seznámit se s recenzními posudky a komunikaci autora s recenzenty a editorem, protože sdělují nejvíce o průběhu recenzního řízení a editorových důvodech pro přijetí článku.

undefined
Nakladatelství BioMed Central v řadě svých časopisů zavedla open peer review ve smyslu zveřejnění recenzních posudků i autorových reakcí na ně. Čtenář tak může získat plnou představu o průběhu a kvalitě recenzního řízení a tedy i zájmu časopisu či jeho nakladatele o publikování kvalitních prací.

Protože ale open peer review je v časopisech zavedeno jen ojediněle, v rámci třetího kroku jsme odkázání na informace o časopise ze sekundárních zdrojů. Takovým může být některá z platforem jako ResearchGate, Academia.edu, Retractionwatch.com či Retractiondatabase.org, kde vědci sdílejí své zkušenosti s publikováním. Samozřejmě je nezbytné kriticky posuzovat zjištění z těchto platforem. Kupříkladu kvůli jednomu článku se zfalšovanými nebo jinak zmanipulovanými daty nelze automaticky vyvozovat, že časopis jako celek či jeho vydavatel jsou pochybní. Naopak je třeba zjištění prověřit, např. jestli redakce časopisu dodatečně článek stáhla (retracted). Nebo při používání platforem typu ResearchGate je třeba si všímat, zdali diskutující dokladují svá tvrzení.

O fungování časopisů může něco napovědět i jeho indexace v databázích Journal Citation Reports (JCR) a Scopus, které v případě nedodržování jejich evaluačních kritérií či nestandardního citačního chování časopis vyřadí z rozhraní dostupného uživatelům. Uživatel by se proto při zjištění přerušení či ukončení indexace časopisu měl zajímat o možné příčiny. Ty alespoň stručně jsou sděleny pro JCR v seznamu vyřazených časopisů a pro Scopus v přehledu ukončených periodik. A v případě potřeby lze se pokusit o rekonstrukci jejich evaluačního postupu. Při kontrole časopisu indexovaného v JCR je třeba zaměřit se na případné nestandardní citační chování časopisu (výrazný nárůst či pokles citací, sebecitací a článků, převaha citovanosti z úzkého okruhu časopisů) a plnění 28 kritérií JCR. U časopisu indexovaném ve Scopusu se v rámci oboru časopisu kontrolují údaje o self-citation rate, total citation rate, CiteScore, number of articles, number of full-text clicks and abstract usage on Scopus.com.

Například v seznamu časopisů vyřazených z JCR v roce 2019 figuruje titul International Journal of Civil Engineering. Poznámka Self indikuje ovlivnění výše impakt faktoru vysokým počtem sebecitací.

undefined

Totiž podíváme-li se na konkrétní data o časopise v JCR, zjistíme, že zatímco hodnota impakt faktoru se pohybuje mezi 0,372 až 0,695 (průměr 0,497), tak hodnota impakt faktoru osciluje mezi 0,150 až 0,382 (průměr 0,254). S ohledem na způsob výpočtu impakt faktoru to znamená, že cca polovina citací na články vydané v časopise International Journal of Civil Engineering byly autocitace. Pro správce JCR byl tento vyšší počet autocitací již významným ovlivňovatelem výše impakt faktoru a časopisy proto vyřadili z indexace.

undefined

Naproti tomu Scopus u kritéria Number of articles kontroluje, jestli the journal produced half, or less, the number of articles, when compared to peer journals in its subject field, ale neodůvodňuje, proč právě polovina a ne jiný počet. Kritérium navíc ignoruje různou produkci článků kvůli různé periodicitě časopisu.