V současné době slavíme zhruba 10 let tzv. "krize replikovatelnosti". Za tu dobu se do značné míry proměnil postup, "jak se dělá věda", máme mnoho nástrojů a doporučení pro zkvalitňování vědecké metody. Replikační krize dostala nová, vhodnější jména, jako třeba krize důvěryhodnosti či krize zobecnitelnosti. Během přednášky se podíváme na to, proč zpravidla nelze věřit závěrům jediné studie, a zaměříme se na možnosti agregování výzkumných zjištění pomocí systematické review a meta-analýzy. Následně se zaměříme na krizi zobecnitelnosti, její nedávnou historii

Stručný obsah přednášky

• Krize důvěryhodnosti, zobecnitelnosti, replikační krize. Její příčiny a důsledky, společenské dopady.
• Statistické a metodologické pozadí krize důvěryhodnosti.
• Pochybné praktiky ve výzkumu (QRP) a jak se jim bránit.
• Doporučení pro zvýšení replikovatelnosti psychologického výzkumu, best-practices pro zajištění reprodukovatelnosti výzkumu (nejen) v sociálních vědách.
• Příklady nereplikovatelných efektů. Příklady velkých replikačních studií.
• Principy metaanalýzy. Srovnání narativní review, systematické review a metanaanalýzy.
• Hlavní přístupy k metaanalýze, random vs. fixed effects, homogenita vs. heterogenita efektu. Kontrola publikačního zkreslení.
• Forrest plot, funnel plot.
• Questionable measurement practices, souvislost krize důvěryhodnosti a měření.
• "Čtyři posvátné krávy", measurement schmeasurement. 

Průběžná příprava

Ve druhé průběžné přípravě vás čekají dvě otázky. Každá se týká jednoho z níže uvedených povinných zdrojů. Čas je opět omezený 30 minutami; příprava je pro vás, cílem je se zamyslet, nikoli napsat perfektní text, a proto by 30 minut mělo být naprosto dostatečných (reálně bych doporučoval samotným psaním strávit méně času).

Studijní zdroje

Povinné zdroje

K dnešnímu tématu jsou dva povinné zdroje, oba jsou však velmi krátké (pozor, nelekněte se: první PDF obsahuje i jiné články, než jen Asendorpfa, a není tak nutné číst jej celé!). Zároveň se přednáška nevěnovala primárně ani jednomu z nich, doporučuji proto do nich alespoň nahlédnout. První zdroj (Asendorpf a kol., 2013) se zaměřuje na replikovatelnost psychologického výzkumu a poskytuje doporučení, jak v současně době má vypadat "best-practices" otevřená věda. Druhý zdroj (Lilienfeld a Strother, 2020) se zaměřuje na to, proč je zajištění kvalitního měření nezbytnou součástí boje proti krizi důvěryhodnosti, a vyjmenovává "čtyři posvátné krávy", které negativně kvalitu měření ovlivňují.

1. Replikovatelnost výzkumu: Asendorpf, J.B., Conner, M., De Fruyt, F., De Houwer, J., Denissen, J.J.A., Fiedler, K., Fiedler, S., Funder, D.C., Kliegl, R., Nosek, B.A., Perugini, M., Roberts, B.W., Schmitt, M., van Aken, M.A.G., Weber, H. and Wicherts, J.M. (2013), Recommendations for Increasing Replicability in Psychology. European Journal of Personality, 27. 108 – 119. https://doi.org/10.1002/per.1919 
   
2. Vztah měření a replikovatelnosti: Lilienfeld, S. O., & Strother, A. N. (2020). Psychological measurement and the replication crisis: Four sacred cows. Canadian Psychology, 61(4), 281–288. https://doi.org/10.1037/cap0000236 

Doporučené a rozšiřující zdroje

Silně doporučené zdroje :-)

Pokud si i po přečtení povinných zdrojů a poslechnutí přednášky nejste zcela jistí, proč je kvalita měření jednou z příčin replikační krize, doporučuji dva úžasné zdroje. Tal Yarkoni (kterého si společně s Westfallem možná pamatujete z bakalářské psychometriky z učebnicového příkladu o kontrolování vztahu počtu utonutí a prodeje zmrzliny v New Yorku na nereliabilní subjektivní odhad teploty) argumentuje, že replikační krize je vlastně krizí zobecnitelnosti, která pramení z nedostatečné konstruktové validity a operacionalizace měřených konstruktů. Na tento článek navazuje Jessica Flake s kolegy a navrhuje postup, jak se z krize zobecnitelnosti dostat ven. Tato dvojice textů je navíc zajímavá tím, že krásně ilustruje "best-practices" v psychologickém výzkumu. Náhled do pozadí tvorby článků a toho, "jak se dělá věda", poskytuje i přiznání konfliktu zájmů ve druhém článku (už jen kvůli němu stojí za to do textu nahlédnout). Pokud by vás pak oba články zaujaly, doporučuji celé komentářové vlákno, jehož součástí je i zde uvedený článek Jessicy Flake, a které navazuje na původní Yarkoniho "výkop". Jde o velmi krátké peer komentáře; řada z nich přichází se zajímavými postřehy.

A mimochodem: oba dva články budou výrazně pochopitelnější, pokud si na jejich přečtení počkáte až po přednáškách o epistemologii od Honzy Šerka a po přednášce o teorii zobecnitelnosti. 

1. Must read: Yarkoni, T. (2022). The generalizability crisis. Behavioral and Brain Sciences, 45, e1. https://doi.org/10.1017/S0140525X20001685 
   
2. Navazující "o něco méně must" read: Flake, J. K., Luong, R., & Shaw, M. (2022). Addressing a crisis of generalizability with large-scale construct validation. Behavioral and Brain Sciences, 45, e14. https://doi.org/10.1017/S0140525X21000376 
   
3. Navazující čtení pro zájemce: Vlákno komentářů ve 45. ročníku časopisu Behavioral and Brain Sciences: https://www.cambridge.org/core/journals/behavioral-and-brain-sciences/volume/E4DC6D6EAA0153208E5A132F97E7405F

Další doporučené zdroje

Další dva doporučení zdroje se týkají meta-analýzy. Celá učebnice Borensteina a kolegů je dobrá; nicméně hned první kapitola pěkně představuje celou problematiku. Kromě toho doporučujeme i kapitolu 43, která vyjmenovává klíčové obtíže s meta-analýzou spojené. 

4. Meta-analýza (úvod): Borenstein, M., Hedges, L.V., Higgins, J.P.T., & Rothstein, H.R. (2009). Introduction to Meta-Analysis. Wiley. Předmluva a kapitoly 1–2, strany xxi–14.
5. Meta-naalýza (kritika a potíže):  Borenstein, M., Hedges, L.V., Higgins, J.P.T., & Rothstein, H.R. (2009). Introduction to Meta-Analysis. Wiley. Kapitola 43, strany 377–387.

Pokud vás zajímá "replikační" situace v České republice, doporučujeme (dnes už bohužel pět let starý) konferenční příspěvek, který jsme s kolegy připravili na Psychologické dny v Olomouci (Gabrhel a kol., 2016). 

6. Replikovatelnost: Gabrhel, V., Cígler, H., Gottfried, J., Ježek, S., Bernatová, K., Blažková, H., Farkasová, K., Farkašová, S., Chvojková, E., Janů, A., Knapová, L., Kratochvíl, T., Mýlek, V., Novák, O., Palíšek, P., Prachařová, K., Rečka, K., Rosická, A.M., Rudecký, T., Klára, Š., & Vašek, D. (2016). Replikovatelnost českého psychologického výzkumu. In Psychologické dny 2016, Olomouc.

Celý blog Simonsohna, Nelsona a Simmonse Data Colada je úžasné čtení, nicméně jako příklad kvalitní replikační studie doporučujeme kratičký příspěvek o reklamách; najdete v něm celý postup včetně krátkých zdůvodnění a komunikace s originálními autory. Kromě toho doporučujeme aktuální článek o fabrikovaných datech ze studie Dana Arielyho a také zamyšlení nad tím, že většina meta-analýz v sociálních vědách je vlastně naprosto k ničemu :-)

7. Příklad replikační studie: Simmons, J., & Nelson, L. (2020, December 3). [94] Data Replicada #9: Are Progression Ads More Credible? Data Colada. http://datacolada.org/94
   
8. Příklad odhalení podvodu: Simmons, J., & Nelson, L. (2020, December 3). [98] Evidence of Fraud in an Influential Field Experiment About Dishonesty. Data Colada.  http://datacolada.org/98
9. K potížím meta-analýz v sociálních vědách: Simonsohn, U., Simmons, J., & Nelson, L. (2022, November 1). [104] Meaningless Means: Some Fundamental Problems With Meta-Analytic Averages. Data Colada. https://datacolada.org/104 

Můžete také nahlédnout i do jedné z potenciálních šablon pro preregistraci výzkumných studií, který využívá OSF platforma. Na OSF je k dispozici i komplexní průvodce preregistracemi.

9. Šablona na preregistraci: Chambers, C. D. (2020, January 30). Template-preregistration-RR.rtf. Talks. https://mfr.osf.io/render?url=https://osf.io/93znh/

A konečně doporučuji panel příspěvků z konference Metascience 2021 o tom, proč je nekvalitní měření jednou z příčin replikační krize.

10. Measurement Schmeasurement (video): Flake, J.K., Fried, E., & Stoevenbelt, A.H. (2021). Psychology’s crisis of confidence: Measurement edition. Metascience 2021. https://youtu.be/FPzVXqEV9Qo
    

Další rozšiřující zdroje

Pokud vás téma zaujalo, nabízíme vám blogové články, komiks, talk show Johna Olivera a další zajímavé a zábavné zdroje, stejně jako odkazy na důležité zdroje informací o krizi důvěryhodnosti včetně užitečných on-line aplikací. 

Zábavné zdroje

Blogy

Online aplikace

Kolaborativní výzkumné projekty

Další užitečné odkazy

1. Iniciativa pro Open Science na Masarykově univerzitě: https://openscience.muni.cz
   
2. Center for Open Science (COS): www.cos.io
3. Open Science Framework (OSF): www.osf.io 
4. PsyArXiv: www.psyarxiv.com
5. Curate Science: www.curatescience.org