Recenzní řízení (review process) Vědecká komunikace 2015 Lenka Dědková & Věra Kontríková http://genomicenterprise.com/blog/wp-content/uploads/2010/09/Peer-Review-Cartoon2.jpg Výběr časopisu •Téma • •Kvalita • •Délka a typ recenzního řízení • •Doba do publikování Téma •Asi jasnéJ • •Obecnější časopis x specifičtější • •Jak hledat časopis –Podívejte se, kde vyšly články, které sami citujete •(pozor na special issues) –Databáze (Web of science, Scopus, DOAJ) –Každý časopis má popis toho, co chce publikovat Přístup do časopisu •Open access: http://doaj.org/ –Volně přístupné časopisy –Zvyšující se tlak na publikování v nich –Obvykle publikování trvá kratší dobu •Částečně open access –Někdy si můžete zaplatit za volný přístup k vašemu článku •Tištěné časopisy (nebo print/e) –Je opravdu potřeba hlídat rozsah slov – přesáhnutí limitu zvyšuje časopisu náklady, proto je to problém •Plus fees • Kvalita: Impact factor •Časopisy ve Web of science • •IF pro rok 2014 = počet citací článků vydaných v 2012-2013 v roce 2014 / počet článků vydaných v 2012-2013 •Spočítán v roce 2015! • •Slouží jako míra průměrné citovanosti článků a prestiže časopisu •(s opatrností) k ohodnocení výkonu autorů (a budoucích zaměstnanců) –Nikdy dopředu nevíte, zda (a jak) bude váš článek citovaný • •http://wokinfo.com/essays/impact-factor/ • •https://jcr.incites.thomsonreuters.com/JCRJournalHomeAction.action Časopisy s IF •Celkem: 11570 •IF range: 0 – 162.500 (A Cancer Journal for Clinicians) –pro srovnání druhý v pořadí: 54.420 • •Social sciences: 3076 časopisů •IF range: 0 – 21.147 (Trends in Cognitive Sciences) Kategorie: Psychologie, multidisciplinární •Neexistuje jen IF • •Scopus: http://www.scopus.com/ –SJR – podobný výpočet jako IF –Je v něm víc časopisů –Méně prestižní… – Typy recenzí •Single-blind (masked review) –autor článku nezná jména recenzentů •Double-blind (double-masked) –jména autora a recenzenta zná jen redakce •Open –jména jsou známá oběma stranám •Post-publication –připomínky po publikování článku In our previous study [AUTHOR, 2012], the relation between alcohol abuse and the frequency of posting selfies… X According to Beer, Wine, and Hangover (2012), the relation between alcohol abuse and the frequency of posting selfies… V seznamu literatury pak: AUTHOR (2012) Příprava článku •Pozor na požadavky časopisu na: –Tematické zaměření –Délku příspěvku –Citační styl –Formát příspěvku, tabulek, obrázků –„Supplement materials“ • •Pozorně pročíst jednotlivé kroky zasílání článku do časopisu a důsledně se jimi řídit • •Uvést všechny spoluautory, možné konflikty zájmu, zdroje financování • •Nikdy ne! –neposílat článek do více časopisů najednou –neposílat článek do časopisu jen pro získání rychlé zpětné vazby Recenzní řízení •Cyberpsychology.eu • • • • •Neplést se Cyberpsychology, Behavior, and Social Networking Submission à Publication Submit! > Hodnocení editora > Odmítnutí 1. Téma – patří do našeho časopisu? 2. (Počet znaků/slov) 3. Citační styl 4. Formální uspořádání článku 5. Obsah – kvalita, novost, přínos k oboru 6. Jazyk Nejčastější důvody desk rejection v Cyberpsychology: -APA styl -Jazyk -Článek nesedí do zaměření časopisu -tématicky, formou (je to spíš kapitola, esej…) -Článek nepřináší nové a zajímavé poznatky -V článku chybí informace důležité pro jeho adekvátní zhodnocení -např. nedostatečně popsané measures, vzorek či analýza -Neadekvátní vzorek pro provedenou analýzu a úroveň generalizací -V článku chybí odůvodnění – proč je zajímavé se tématem zabývat Submission à Publication Submit! > > Hodnocení editora Odmítnutí Nejčastější důvody desk rejection v Cyberpsychology: -APA styl -Jazyk -Článek nesedí do zaměření časopisu -tématicky, formou (je to spíš kapitola, esej…) -Článek nepřináší nové a zajímavé poznatky -V článku chybí informace důležité pro jeho adekvátní zhodnocení -např. nedostatečně popsané measures, vzorek či analýza -Neadekvátní vzorek pro provedenou analýzu a úroveň generalizací -V článku chybí odůvodnění – proč je zajímavé se tématem zabývat Direct rejects v Cyberpsychology: 2012: 35% 2013: 50% 2014: 44% 2015 (únor): 76% Direct rejects v Cyberpsychology: (ve dnech) 2012: 14 (0-70) 2013: 16 (0-134) 2014: 11 (0-43) Submission à Publication Submit! > > Hodnocení editora Odmítnutí > (drobné úpravy) > Přijetí do recenze > Hodnocení recenzentů (peer review) > Hodnocení editora Hledání recenzentů, oslovování… Délka do rozhodnutí v Cyberpsychology u článku přijatého do externího recenzního řízení: (ve dnech) 2012: 154 (40-382) 2013: 117 (22-290) 2014: 134 (12-349) Submission à Publication Submit! > > > > > > Hodnocení editora Odmítnutí (drobné úpravy) Přijetí do recenze Hodnocení recenzentů (peer review) Hodnocení editora > Odmítnutí > Velké změny (major revisions) > Menší změny (minor revisions) > Přijetí Hledání recenzentů, oslovování… Revize Vyjádření se k recenzi > > > > Odmítnutí Velké změny (major revisions) Menší změny (minor revisions) Přijetí Rejects po recenzích v Cyberpsychology (z hodnocení po recenzích): 2012: 19% 2013: 29% 2014: 36% Major revisions v Cyberpsychology (z hodnocení po recenzích): 2012: 38% 2013: 32% 2014: 22% Minor revisions v Cyberpsychology (z hodnocení po recenzích): 2012: 13% 2013: 14% 2014: 16% Accepts v Cyberpsychology (z hodnocení po recenzích): 2012: 30% 2013: 25% 2014: 26% Submission à Publication Submit! > > > > > > > > > Hodnocení editora Odmítnutí (drobné úpravy) Přijetí do recenze Hodnocení recenzentů (peer review) Hodnocení editora Odmítnutí Velké změny (major revisions) Menší změny (minor revisions) > Přijetí 1. Téma – patří do našeho časopisu? 2. (Počet znaků/slov) 3. Citační styl 4. Formální uspořádání článku 5. Obsah – kvalita, novost, přínos k oboru 6. Jazyk Hledání recenzentů, oslovování… Revize Vyjádření se k recenzi Recenzní řízení (peer review) •Jako autoři byste měli být informováni o tom, v jaké fázi váš článek je –transparentnost –pokud neexistuje online portál, nebojte se zeptat (ale ne moc často:) –pokud je recenzní řízení (na váš vkus) příliš pomalé, máte možnost článek z něj stáhnout a poslat jinam (napište svému editorovi) – • • Special issues •Specifický případ • •Guest editoři •Call for papers – typicky poměrně úzce vymezené téma –Např. New Media and Democracy; Children in cyberspace: Opportunities, risks and safety; Cyberbullying research: New perspectives and alternative methodologies – •Články se nicméně stále řídí pokyny časopisu (délka, styl, tabulky…), pokud není explicitně specifikováno jinak Special issues ABSTRAKT > > > Hodnocení editorů Odmítnutí (dohadování o tématu) > > > > > > Pozvání k zaslání celého článku Hodnocení recenzentů Hodnocení editora Odmítnutí Velké změny (major revisions) Menší změny (minor revisions) > Přijetí guest editorem Recenzenti bývají často autoři jiných článků zvažovaných do stejného issue! Revize Vyjádření se k recenzi > Vyhrazeno: Zaslání editorovi časopisu Zaslání editorovi časopisu > Vyhrazeno: Hodnocení editora Hodnocení editora > Odmítnutí > Revize > Přijetí Special issues •Náročné na rychlost –Pro editory i pro autory –Př. časového plánu: •28. února – deadline na abstrakty •15. března – rozhodnutí o abstraktu •15. června – deadline na celý článek •15. července – recenze •15. srpna – deadline na revizi •15. září – deadline ze strany časopisu na zaslání celého čísla vč. editorialu – •Časový plán obvykle neumožňuje víc než jedno kolo revizí •Co to znamená pro kvalitu článku? • • http://blog.viedu.org/wp-content/uploads/2013/01/DEADLINE-stamp.gif Submission: Cover letter •Vyžadují některé časopisy •Stručné představení článku, kde je specifikované: –téma (Jak spadá do toho, co časopis publikuje? Co se snažíme zjistit?) –nastíněné výsledky (Na co jsme přišli a čím je to skvělé) – Submission: Cover letter •Dear Prof. David Smahel, Editor •Cyberpsychology: Journal of Psychosocial Research on Cyberspace • •Attached please find our manuscript entitled, “The Benign Online Disinhibition Effect: Could Situational Factors Induce Self-Disclosure and Prosocial Behaviors?" submitted for possible publication in 'Cyberpsychology: Journal of Psychosocial Research on Cyberspace'. • •The present research studied the impact of three typical online interpersonal communication factors (anonymity, invisibility, and lack of eye-contact) on inducing the benign online disinhibition effect. Using a true experimental design, we examined the extent to which these factors cause benign behaviors in cyberspace. • •Thank you for your consideration. • •Sincerely, Submission: Cover letter Recenzní řízení •Chce čas... spoustu času –hledání recenzentů – klíčová slova, seznam literatury, editorial board –oslovování recenzentů, čekání na odpověď, remindery • • http://francis.naukas.com/files/2008/01/dibujo.jpg Recenzní řízení •Chce čas... spoustu času –hledání recenzentů – klíčová slova, seznam literatury, editorial board –oslovování recenzentů, čekání na odpověď, remindery –(recenzenti se rozhodují na základě abstraktu!) –samotné psaní recenze (cca 1 měsíc) –(někdy se vám pak recenzent už neozve) –hodnocení editora –dohromady 3-4 měsíce, mnohdy déle • • Délka do rozhodnutí v Cyberpsychology u článku přijatého do externího recenzního řízení: (ve dnech) 2012: 154 (40-382) 2013: 117 (22-290) 2014: 134 (12-349) Rozhodnutí • > > > > Odmítnutí Velké změny (major revisions) Menší změny (minor revisions) Přijetí http://1.bp.blogspot.com/-UBOvUMsBK40/TY_TeA23ROI/AAAAAAAACyQ/bDDqs8C-N6E/s1600/College%2Bdecisions .jpg Rozhodnutí: Reject •Klid! •I když s komentáři recenzentů (a rozhodnutím editora) nesouhlasíte, nehádat se •Upravit článek podle komentářů (které vám přijdou smysluplné) a zkusit jiný časopis –nezapomenout změnit styl podle nového časopisu •Pokud jsou recenze obzvlášť kritické (a oprávněně kritické) a vyžadují velké změny, zvážit, zda se další práce na daném článku vyplatí! • > > > > Odmítnutí Velké změny (major revisions) Menší změny (minor revisions) Přijetí Rozhodnutí: Revisions •Předělání na základě komentářů recenzentů –ne všechny je nutné zapracovat –i komentáře, se kterými nesouhlasíte, jsou pro vás cenné – naznačují, že daná část článku není dostatečně jasná a je potřeba ji lépe popsat •Major x minor revision –Nenechat se zmást pojmy • • • > Odmítnutí > > > Přijetí Velké změny (major revisions) Menší změny (minor revisions) > Rozhodnutí: Revisions Odmítnutí > > > Přijetí Velké změny (major revisions) Menší změny (minor revisions) We have changed the order of variables in our analysis to comply with this recommendation. You are absolutely right. Thank you for these notes and suggestions. We rewrote discussion completely, being more cautious when interpreting the findings. We also included implications and suggestions for future research. •„Cover letter“ –poděkovat za podnětné komentáře, vždy být zdvořilý • • Rozhodnutí: Revisions •„Cover letter“ –poděkovat za podnětné komentáře, vždy být zdvořilý –Ne vždy dávají komentáře smyslL, ne vždy s nimi souhlasíme – i tak být zdvořilý • • • > Odmítnutí > > > Přijetí Velké změny (major revisions) Menší změny (minor revisions) The relation with upset feelings seems to be less stronger (1.00) than the relation with request for help (1.09). Actually it’s not. The numbers to compare are in the column with β’s. As you can see, standardized coefficient (β) for upset feelings equals .33 while for request for help β = .17. (in step 3 and .32 x .17 in step 4). Rozhodnutí: Revisions •Rozporné recenze –Pokud si recenze protiřečí, editor by měl už v rozhodnutí napsat, na co se máte zaměřit –Pokud to nenapíše a vy se sami rozhodnout nedokážete (oba přístupy v recenzích vám dávají smysl), můžete se na editora obrátit s dotazem •Komentář, kterému nerozumíte –Obrátit se na editora, případně komentář interpretovat a v odpovědi přiznat, že si nejste jistí, zda jste ho pochopili.. • • • > Odmítnutí > > > Přijetí Velké změny (major revisions) Menší změny (minor revisions) If we understood your comment correctly, you suggest to use CFA instead of EFA. However, based on…. we decided to stick to current analysis as we are convinced it is the correct analysis for our data. Rozhodnutí: Accept •Různě dlouhá doba od přijetí po publikování (měsíce až roky!) •Proof (finální úprava článku) – nezapomenout na afiliace (financování) •Advanced online publications –veřejně dostupné, doi –ale nejsou to „oficiální“ publikace, které byste mohli vykázat –v podstatě jde stále o článek „in press“ –který ale už není možné změnit či doplnit • • • > > > > Velké změny (major revisions) Menší změny (minor revisions) Odmítnutí Přijetí http://cdn.desktopwallpapers4.me/wallpapers/3d/1920x1080/2/12009-zen-stones-1920x1080-3d-wallpaper. jpg Jak psát recenze •Review unto others as you would have them review unto you. • • • Recenzní řízení (peer review) •Cílem je zaručení kvality článku •Zpětná vazba od odborníků, kteří sami dělají výzkum ve stejné oblasti (ideálně) •Co čekat od kvalitní recenze: –Celkové zhodnocení i vyjádření ke každé sekci článku –Velmi konkrétní doporučení a návrhy na zlepšení článku –Zdvořilost •i pokud je recenze velmi kritická (a článek velmi špatný) • • Recenzní řízení (peer review) •Cílem je zaručení kvality článku •Ne vždy se to podaří… • • Although association preferences documented in our study theoretically could be a consequence of either mating or shoaling preferences in the different female groups investigated (should we cite the crappy Gabor paper here?), shoaling preferences are unlikely drivers of the documented patterns both because of evidence from previous research and inconsistencies with a priori predictions. http://southerndefender.files.wordpress.com/2007/06/new-justice.gif Když blind není blind •Někdy autory prostě (po)znáte –ČR je malý rybníček –Malé a specifické obory jsou malé rybníčky •Někdy se odkazu na vlastní práci nevyhnete •Je důležité: –Zreflektovat, zda dokážete „objektivně“ zhodnotit daný text – většinou to jdeJ –Napsat o tom editorovi – vím, kdo to je, ale věřím, že moje posouzení to neovlivní (a nechat rozhodnutí na editorovi) –Pokud to nedokážete, odmítnout recenzi (i poté, co už jste ji přislíbili) • Jak psát recenze •Jako recenzent obvykle dostanete nějaké instrukce (případně si je můžete vyžádat) –Některé časopisy posílají jasně danou strukturu –Některé to nechávají volněji na recenzentovi •Než začnete psát: –Článek přečíst několikrát (pozor na efekt prvního dojmu a momentální náladu), při jednom čtení snadno některé věci přehlédneme –Podívat se na časopis (jaká je jeho celková úroveň (IF?), jaké typy článků publikuje, co po svých autorech požaduje – styl psaní a formátování) Cyberpsychology.eu Jak psát recenze: Úvod •Celkové zhodnocení (velmi zobecněné) úrovně článku a jeho tématu • • Úvod: This paper explores the relationship between Facebook intensity and friendship contingent self-esteem. Overall, I found the paper to be well written and appropriate for publication in Cyberpsychology: Journal of Psychosocial Research on Cyberspace. However, several questions and concerns arose during my review of the paper that need to be addressed… • Jak psát recenze: Úvod •Celkové zhodnocení (velmi zobecněné) úrovně článku a jeho tématu •Obvykle pozitivní, i pokud je článek špatný • • Úvod: The paper deals with a relatively unintended topic that actually deserves much more theory and research. Reality in the last two decades has shown that blogging is common (…) This trend reflects an essential change in social communication typical to our current era (…). Psychological and sociological research into this dramatic change is relatively sparse and far from understanding its circumstances and consequences related to individuals and groups. The present review therefore may contribute in closing this gap. That is, the subject the paper focuses on is timely, relevant and important. However, the problems I have found in the paper in its current form should be attended. Jak psát recenze: Jádro •Postupně zhodnotit všechny části článku –Introduction – podává dostatečný přehled tématu? Vyplývá z něj jasně, proč je důležité téma zkoumat a to tímto způsobem? –Methods – vhodné metody pro daný problém? Vhodný vzorek? Dostatečně popsané? –Results – důležité (nové, obohacující) výsledky anebo jen replikování již známých výsledků? –Discussion – vhodná interpretace dat? Chybí něco podstatného (návaznost na jiné výzkumy, teorie, vysvětlení zajímavých výsledků)? Je věnována pozornost validitě a limitům studie? • Jak psát recenze: Jádro •Anebo jít od nejzávažnějších problémů po ty nejméně závažné –Pokud je například Methods sekce nedostatečná, není potřeba detailně komentovat jiné sekce –Rozdělení na Major comment a Minor comments •Ať už píšete jakkoliv, mělo by být jasné, které věci jsou opravdu potřeba změnit a které jsou spíše doporučení pro zvážení Jak psát recenze: Závěr •(znovu) celkové shrnutí a vypíchnutí důležitého •Doporučení autorům, co s článkem dál • • Závěr: Finally, I have to recommend article to be refused, because it has methodological pitfalls, it misinterprets the data and it uses out-of-date theory. I would suggest the author to continue in the research, use different methodology and include more recent theory to his or her research. http://www.corporatewellnessmagazine.com/upload/articles/364575219DEE1A88988FBF6D1C74B32E-main.jpg Jak psát recenze: Pro editora •Obvykle je ve formuláři místo pro komentář editorovi, který autoři nedostanou •Doporučení editorovi, co s článkem dál •Nemusíte jej psát, pokud máte pocit, že vše zaznělo v recenzi • • Editor only: Please apologize this harsh of review; usually I do not express such a tough criticism. But in my opinion this paper is so poor from so many perspectives that I think it’s almost impertinent to expect other people spending their time on reading/reviewing it. And in the end, as expressed to the authors, I think such work is not helpful for the entire genre of educational games – although the authors are clearly in favour of them. Well … Při psaní recenze •Dojmy x věcnost –Pište jasně – oddělujte to, co víte od toho, co si (jenom) myslíte – je to důležité pro autory i editory •Přiznejte, že nevíte všechno, pokud je v článku něco, co zhodnotit nedokážete •Není nutné komentovat každý detail, nejste spoluautor •Snažte se psát obecně i konkrétně • Od srdce a se srdcem… • EDITOR ONLY: Ok, the review is attached. I do not like my review. I tend to get annoyed with papers and then I don't like my comments, although my comments are accurate. The problem is the paper.... it.... has issues. Well I detail them in the comments. The main problem (besides too much lit, too many Williams cites, too much lit about MMOs and Facebook, not enough background about Farmville, very convoluted or lacking explanations of the loadings for the models), is that the paper lacks heart. I don't see that the authors care. It is a bland, perfunctory paper. It has lit, but not why the lit is important. It has data, but not why we should care. Yes academic papers need those things, but they are not sufficient.