Úvod do Open Science JAROSLAV GOTTFRIED & NIKOL KVARDOVÁ Prezentovanáno na společném semináři doktorandů, učitelů a výzkumníků Katedry psychologie a IVDMR, FSS MU , 16. dubna 2021. Charakteristika Open Science • Velmi obecně jde o myšlenkové hnutí podporující co nejsnadnější šíření a sdílení informací souvisejících s výzkumem • Základy položeny v 17. století, dlouhý vývoj, důležitá role šlechty • Mnoho proudů, soustředím se zde na tři z nich: •Open Access (Otevřený přístup) •Open Data (Otevřená data) •Open Materials (Otevřené materiály) Open Access • Snaha zajistit co nejsnadnější tok výzkumných zjištění od výzkumníka k (odborné) veřejnosti Zeptejte se sami sebe: Co byste dělali, kdyby Vám univerzita nezařídila přístup do časopisů a SciHub by nefungoval? • Publikace vědeckých článků časopisy je výnosný byznys, kritika drahého„bottlenecku“ autor-vydavatel-čtenář, proběhly bojkoty nakladatelství Elsevier •V současnosti dvě hlavní cesty, jak zpřístupnit naše zjištění světu 1) • Časopis sám po přijetí článek poskytne všem zdarma • Výhody: kvalita zajištěná recenzí, snadno dostupné, oslovení širokého publika, publikace! • Nevýhody: často za příplatek a drahý, pro jednotlivce bez grantu těžko dosažitelné, TIP: při přípravě grantu si vyhraďte peníze na publikační poplatek, časopisy se zlatou cestou zdarma většinou predátoři nebo bez indexace či nižší impakt 2) • Náš manuskript před recenzí (tzv. pre-print) sami umístíme na veřejně sdílené úložiště • Výhody: Zdarma, s trochou vlastní propagace osloví i širší odborné publikum, možnost zpětné vazby a vylepšení před posláním k recenzi • Nevýhody: Chybí externí kvalita kontroly, nutná konzultace s časopisem – některé nepovolují, v našem systému akademického hodnocení není na tento typ publikace brán zřetel • Kam nahrávat pro psychologii: https://psyarxiv.com/ propojeno s doménou Open Science Framework https://osf.io Open Data • Snaha o volný přístup k datům, na kterých byly provedeny analýzy • Citlivé téma, nejen kvůli legislativním aspektům zveřejnění • Čí jsou ta data? • Pro psychologii nejznámější repozitář na https://osf.io Open Data - Výhody • ověřitelnost původních výsledků, podmiňuje reprodukovatelnost výsledků, možná zpětná kontrola chyb • výsledky se hůře zkreslují či falšují • data jsou lehce znovu využitelná, žádná „jednorázovka“ do šuplíčku • výrazně usnadňuje metaanalýzy, lepší kvalita vědeckého poznání • nabourává systém kupčení a handlování s daty výměnou za autorství • stabilní záloha, spousta dat navždy umře na vyhození do koše nebo vadný harddisk • více citací Open Data - Nevýhody • nutnost pořešení legislativní otázky, anonymizace, před sdílením • obavy z boomu studií se sekundárními analýzami a „parazitování“ na poskytovatelích primárních dat, stejné ocenění za daleko méně práce (sběr dat je časově náročná část výzkumu) • obavy, že nám jiní „ukradnou“ objevy, když jsme data ještě sami úplně nevytěžili • sdílení pomáhá druhým, ale nám pouze nepřímo – vložené množství času a práce nemusí být oceněno Open Materials • Sem můžeme zařadit sdílení důležitých materiálů, které jsou součástí výzkumu: výzkumné deníky, codebooky, analytické skripty, podnětové materiály, dotazníky, apod. • V rámci jednoduchosti sem přiřazuji i sdílený výzkumný plán a design – preregistraci, která ale spadá částečně i do jiné problematiky Open Materials – klíčové prvky • Analytické skripty • Umožňují kontrolu analýzy, reprodukovatelnost výsledků a usnadňují replikovatelnost • Dbejte na přehlednost! • Codebooky • Usnadňují orientaci v datech a proměnných • Podnětové materiály • Usnadňují replikovatelnost Open Materials Výhody • transparentnost, ověřitelnost, výsledky se hůře zkreslují či falšují • nepřímo vede k vyšší kvalitě vědeckého poznání Nevýhody • práce navíc • obavy, že si někdo všimne chyb nebo nedostatků v naší analýze Preregistrace – co to je? ● Ověřitelný (byť ne nutně veřejně) plán studie před její realizací ● “svazování rukou” výzkumníka a kontrola donedávna „soukromých“ aspektů výzkumu ● zavazujeme se jako výzkumníci preregistrovaný plán dodržovat ● případné změny musíme odůvodnit Proč sdílet výzkumný plán? Koncept Researcher degrees of freedom (Wicherts et al., 2016) ● naše možnosti ovlivňovat výzkum po jeho prvotním naplánování ● flexibilita umožňuje korekce nepředvídaných problémů ● ale zároveň otevírá dveře nejrůznějším zkreslením a QRP (Questionable Research Practices, např. p-hacking, HARKing) Co budu mít z preregistrace já? ● transparentnější a důvěryhodnější proces výzkumu ● rozlišení mezi testováním hypotéz a explorací ● lepší kvalita článku celkově (Soderberg et al., 2021), nutnost zamyslet se nad „detaily“ předem ● možnost veřejného feedbacku, vylepšení teorie a designu, oprava chyb Empirické důkazy pro preregistraci (Schäfer & Schwarz, 2019) Empirické důkazy pro preregistraci (Scheel et al., in press) Jak můžeme sdílet data, materiály a postup? ● existuje více platforem, ale nejvíce možností nabízí asi OSF: https://osf.io/ ● další platformy: ○ As Predicted https://aspredicted.org/ ○ Prospero pro systematic reviews s healthrelated outcomes https://www.crd.york.ac.uk/prospero/ ● je možné využít různě dostupné šablony (https://osf.io/zab38/wiki/home/) ● nejčastěji preregistrujeme: ○ výzkumné otázky, hypotézy, design ○ vzorek, sběr dat ○ měření proměnných a plán analýzy ● ale: neexistuje jeden jediný správný formát preregistrace! Open Science – výhledy do budoucna • v zahraničí se velice rychle stává mainstreamem, v posledních letech proniká i do povědomí v ČR • mnohé časopisy začínají silně doporučovat či dokonce vyžadovat dodržování některých Open Science principů, každopádně postup v souladu s Open Science vám pravděpodobně zvýší šanci na přijetí • dá se očekávat, že i většina grantových komisí brzy začne (pokud ještě nezačala) brát v úvahu dodržování Open Science principů a zohledňovat tuto část v hodnocení Díky za pozornost! Zdroje Gottfried, J. (2020). Lesk a bída moderní Open Science: Představení vybraných aspektů. Československá psychologie, 64(4), 490-500. Schäfer, T., & Schwarz, M. A. (2019). The meaningfulness of effect sizes in psychological research: Differences between sub-disciplines and the impact of potential biases. Frontiers in Psychology, 10, 813. https://doi.org/10.3389/fpsyg.2019.00813 Scheel, A. M., Schijen, M., & Lakens, D. (in press). An excess of positive results: Comparing the standard Psychology literature with Registered Reports. Advances in Methods and Practices in Psychological Science. https://psyarxiv.com/p6e9c/ Soderberg, C. K., Errington, T., Schiavone, S. R., Bottesini, J. G., Thorn, F. S., Vazire, S., ... & Nosek, B. A. (2021). Research quality of registered reports compared to the traditional publishing model [Preprint]. https://doi.org/10.31222/osf.io/7x9vy Wagenmakers, E. J., & Dutilh, G. (2016). Seven selfish reasons for preregistration. APS Observer, 29(9). https://www.psychologicalscience.org/observer/seven-selfish-reasons-for-preregistration Wicherts, J. M., Veldkamp, C. L., Augusteijn, H. E., Bakker, M., Van Aert, R., & Van Assen, M. A. (2016). Degrees of freedom in planning, running, analyzing, and reporting psychological studies: A checklist to avoid p-hacking. Frontiers in psychology, 7, 1832. https://doi.org/10.3389/fpsyg.2016.01832 Příklady aplikace open science v evropském prostředí Odkaz na platformy Evropské komise - *new Open Research Europe (ORE) platform* – které se týkají open science: https://open-research-europe.ec.europa.eu/ EARA (European Association for Research on Adolescence) organizuje webinars zaměřené na praxi open science (využití, psaní článků..) viz: https://www.earaonline.org/resources/webinars/