Slovo úvodem: poselství Víta Gabrhela :-)

Přestože je v posledních letech akcentována především replikovatelnost výzkumu, rovněž meta-analýza odkazuje ke snaze vyhodnotit jistotu, s jakou platí vyprodukované empirické poznatky.

Během setkání se vás pokusím přesvědčit o tom, že z hlediska psychologie jako vědy a vědy vůbec se nacházíme ve fascinujícím období. Mnohé z poznatků, které jsme považovali za dané, jsou nyní zpochybňovány. Fenomén social primingu toho budiž příkladem.

Vzniklá "krize" zároveň umožňuje přicházet s řešeními problémů, které byly z hlediska fungování psychologické vědy jako instituce dlouho přehlíženy. Je proto možné, že s odstupem času budeme toto období hodnotit jako to, během něhož došlo ke změně paradigmatu, k vědecké revoluci. Zkrátka jako období, během něhož se podstatným způsobem proměnily způsoby, jakými se "dělá věda".

Tato změna se však odehrává nyní a my můžeme být jejími svědky, ba i jejími aktéry!

Přestože jsem do studijních materiálů vložil "povinnou" a doporučenou literaturu k tématu, chci vám rovněž nabídnout alternativní vstup do problematiky formou komiksu a televizního pořadu a mj. tak demonstrovat průnik tématu do širšího společenského kontextu.

Vít Gabrhel
[Zveřejněno bez jakékoli redakční úpravy.]

Stručný obsah přednášky

• Krize důvěryhodnosti, zobecnitelnosti, replikační krize. Její příčiny a důsledky, společenské dopady.
• Statistické a metodologické pozadí krize důvěryhodnosti.
• Pochybné praktiky ve výzkumu (QRP) a jak se jim bránit.
• Doporučení pro zvýšení replikovatelnosti psychologického výzkumu, best-practices pro zajištění reprodukovatelnosti výzkumu (nejen) v sociálních vědách.
• Příklady nereplikovatelných efektů. Příklady velkých replikačních studií.
• Principy metaanalýzy. Srovnání narativní review, systematické review a metanaanalýzy.
• Hlavní přístupy k metaanalýze, random vs. fixed effects, homogenita vs. heterogenita efektu. Kontrola publikačního zkreslení.
• Forrest plot, funnel plot.
• Questionable measurement practices, souvislost krize důvěryhodnosti a měření.

Průběžná příprava

Studijní zdroje

Povinné zdroje

K dnešnímu tématu jsou dva povinné zdroje, oba jsou však velmi krátké (pozor, nelekněte se: první PDF obsahuje i jiné články, než jen Asendorpfa, a není tak nutné číst jej celé!). Zároveň se přednáška nevěnovala primárně ani jednomu z nich, doporučuji proto do nich alespoň nahlédnout. První zdroj (Asendorpf a kol., 2013) se zaměřuje na replikovatelnost psychologického výzkumu a poskytuje doporučení, jak v současně době má vypadat "best-practices" otevřená věda. Druhý zdroj (Lilienfeld a Strother, 2020) se zaměřuje na to, proč je zajištění kvalitního měření nezbytnou součástí boje proti krizi důvěryhodnosti, a vyjmenovává "čtyři posvátné krávy", které negativně kvalitu měření ovlivňují.

1. Replikovatelnost výzkumu: Asendorpf, J.B., Conner, M., De Fruyt, F., De Houwer, J., Denissen, J.J.A., Fiedler, K., Fiedler, S., Funder, D.C., Kliegl, R., Nosek, B.A., Perugini, M., Roberts, B.W., Schmitt, M., van Aken, M.A.G., Weber, H. and Wicherts, J.M. (2013), Recommendations for Increasing Replicability in Psychology. European Journal of Personality, 27. 108 – 119. https://doi.org/10.1002/per.1919 
   
2. Vztah měření a replikovatelnosti: Lilienfeld, S. O., & Strother, A. N. (2020). Psychological measurement and the replication crisis: Four sacred cows. Canadian Psychology, 61(4), 281–288. https://doi.org/10.1037/cap0000236 

Doporučené a rozšiřující zdroje

Silně doporučené zdroje :-)

Pokud si i po přečtení povinných zdrojů a poslechnutí přednášky nejste zcela jistí, proč je kvalita měření jednou z příčin replikační krize, doporučuji dva úžasné zdroje. Tel Yarkoni (kterého si společně s Westfallem možná pamatujete z bakalářské psychometriky z učebnicového příkladu o kontrolování vztahu počtu utonutí a prodeje zmrzliny v New Yorku na nereliabilní subjektivní odhad teploty) argumentuje, že replikační krize je vlastně krizí zobecnitelnosti, která pramení z nedostatečné konstruktové validity a operacionalizace měřených konstruktů. Na tento článek navazuje Jessica Flake s kolegy a navrhuje postup, jak se z krize zobecnitelnosti dostat ven. Tato dvojice textů je navíc zajímavá tím, že krásně ilustruje "best-practices" v psychologickém výzkumu. Ani jeden z textů není publikovaný; jsou jen přijaté k publikaci a dostupné formou preprintu. Náhled do pozadí tvorby článků a toho, "jak se dělá věda", poskytuje i přiznání konfliktu zájmů ve druhém článku (už jen kvůli němu stojí za to do textu nahlédnout). 

A mimochodem: oba dva články budou výrazně pochopitelnější, pokud si na jejich přečtení počkáte až po přednáškách o epistemologii od Honzy Šerka a po přednášce o teorii zobecnitelnosti. 

1. Yarkoni, T. (2020). The generalizability crisis. Behavioral and Brain Sciences [preprint]. https://doi.org/10.1017/S0140525X20001685
   
2. Flake, J. K., Luong, R., & Shaw, M. (2021). Addressing a Crisis of Generalizability with Large-Scale Construct Validation. Behavioral and Brain Sciences [preprint]. https://doi.org/10.31234/osf.io/c45t9 
   

Další doporučené zdroje

Další dva doporučení zdroje se týkají meta-analýzy. Celá učebnice Borensteina a kolegů je dobrá; nicméně hned první kapitola pěkně představuje celou problematiku. Kromě toho doporučujeme i kapitolu 43, která vyjmenovává klíčové obtíže s meta-analýzou spojené. 

3. Meta-analýza (úvod): Borenstein, M., Hedges, L.V., Higgins, J.P.T., & Rothstein, H.R. (2009). Introduction to Meta-Analysis. Wiley. Předmluva a kapitoly 1–2, strany xxi–14.
4. Meta-naalýza (kritika a potíže):  Borenstein, M., Hedges, L.V., Higgins, J.P.T., & Rothstein, H.R. (2009). Introduction to Meta-Analysis. Wiley. Kapitola 43, strany 377–387.

Pokud vás zajímá "replikační" situace v České republice, doporučujeme (dnes už bohužel pět let starý) konferenční příspěvek, který jsme s kolegy připravili na Psychologické dny v Olomouci (Gabrhel a kol., 2016). 

5. Replikovatelnost: Gabrhel, V., Cígler, H., Gottfried, J., Ježek, S., Bernatová, K., Blažková, H., Farkasová, K., Farkašová, S., Chvojková, E., Janů, A., Knapová, L., Kratochvíl, T., Mýlek, V., Novák, O., Palíšek, P., Prachařová, K., Rečka, K., Rosická, A.M., Rudecký, T., Klára, Š., & Vašek, D. (2016). Replikovatelnost českého psychologického výzkumu. In Psychologické dny 2016, Olomouc.

Celý blog Simonsohna, Nelsona a Simmonse Data Colada je úžasné čtení, nicméně jako příklad kvalitní replikační studie doporučujeme kratičký příspěvek o reklamách; najdete v něm celý postup včetně krátkých zdůvodnění a komunikace s originálními autory. Kromě toho doporučujeme aktuální článek o fabrikovaných datech ze studie Dana Arielyho.

6. Příklad replikační studie: Simmons, J., & Nelson, L. (2020, December 3). [94] Data Replicada #9: Are Progression Ads More Credible? Data Colada. http://datacolada.org/94
   
7. Příklad odhalení podvodu: Simmons, J., & Nelson, L. (2020, December 3). [98] Evidence of Fraud in an Influential Field Experiment About Dishonesty. Data Colada.  http://datacolada.org/98

Můžete také nahlédnout i do jedné z potenciálních šablon pro preregistraci výzkumných studií, který využívá OSF platforma. Na OSF je k dispozici i komplexní průvodce preregistracemi.

8. Šablona na preregistraci: Chambers, C. D. (2020, January 30). Template-preregistration-RR.rtf. Talks. https://mfr.osf.io/render?url=https://osf.io/93znh/

A konečně doporučuji panel příspěvků z konference Metascience 2021 o tom, proč je nekvalitní měření jednou z příčin replikační krize.

9. Measurement Schmeasurement (video): Flake, J.K., Fried, E., & Stoevenbelt, A.H. (2021). Psychology’s crisis of confidence: Measurement edition. Metascience 2021. https://youtu.be/FPzVXqEV9Qo
   

Další rozšiřující zdroje

Pokud vás téma zaujalo, nabízíme vám blogové články, komiks, talk show Johna Olivera a další zajímavé a zábavné zdroje, stejně jako odkazy na důležité zdroje informací o krizi důvěryhodnosti včetně užitečných on-line aplikací. 

Zábavné zdroje

Blogy

Online aplikace

Kolaborativní výzkumné projekty

Další užitečné odkazy

1. Iniciativa pro Open Science na Masarykově univerzitě: https://openscience.muni.cz
   
2. Center for Open Science (COS): www.cos.io
3. Open Science Framework (OSF): www.osf.io 
4. PsyArXiv: www.psyarxiv.com
5. Curate Science: www.curatescience.org