Replikujeme
FSS:PSY112 SEMINÁŘ Č.1
Co je cílem replikace?
Ujištění se, že výsledek(efekt) není ARTEFAKT…
◦ … konkrétního vzorku – chyba 1. typu
◦ … konkrétního způsobu analýzy - p-hacking, vhodnost statistik, modelů
◦ … konkrétních (irelevantních) okolností – místo, doba, osoby….
◦ … konkrétní metody - podněty, měřítka, postupy, populace…
◦ … konkrétní kultury…
Ověření
◦ pravdivosti teoreticky předpokládaného procesu, který má efekt vyvolávat
◦ a zpřesnění odhadu velikosti účinku/efektu
◦ robustnosti mimo originální setting
Možné podoby replikace
INTERNÍ – stejný tým/prostředí
◦ Krosvalidace dělením vzorku, reanalýzy
◦ Opětovný sběr dat stejnými autory (vybavení, prostředí,
design…)
EXTERNÍ - jiný tým/prostředí
◦ Přesná (close, direct, exact) – identický design, materiál,
populace… jiný vzorek, čas…
◦ Konceptuální – modifikace designu, materiálu, které by dle
teorie neměly na výsledku nic změnit
Jak replikovat?
Replication Recipe podle Brandta a kolegů (2014)
1. Pečlivé definování efektů a metod, které chceme
replikovat.
2. Co nejpřesnější napodobení metody původní studie
(vzorek, instrukce, podněty, měřítka, postupy, analýzy…)
3. Zajištění vysoké statistické síly.
4. Transparence - zpřístupnění veškerých detailů, aby byla
replikace hodnotitelná externisty.
5. Vyhodnocení výsledků replikace a kritické srovnání s
výsledky původní studie.
Jak budeme replikovat v PSY112?
Jaké studie replikovat?
◦ Zajímavé (Baví mě o tom přemýšlet?)
◦ Se solidní velikostí účinku,
◦ Subjektivně metodologicky kvalitní,
◦ Analyzované způsobem, kterému alespoň trochu rozumím,
◦ Objektivně vlivné – citované – min 10 citací ve WoS,
◦ (webofknowledge.com)
◦ V oblasti, které rozumím (nebo rychle porozumím),
◦ Malé (do 100 účastníků),
◦ Realizovatelné ve skromných podmínkách
Zadání 1. kroku
Najít 2 studie splňující VŠECHNY podmínky na předchozím slajdu.
Zodpovědět otázky 1-9 o efektu, který chcete replikovat.