Design experimentu a motivace subjektů POL 565 Design experimentu •Design experimentu řeší celou řadu návazných problémů, souvisejících s organizací, obsahem a průběhem experimentu. • •Věda, „jak dělat experiment“, souvisí s tím, jak se experimentování stává rutinním výzkumem • •Řeší experimentální protokoly (př. Leeper 2010 http://thomasleeper.com/surveyexpcourse/Activities/protocol.pdf ) Dimenze protokolu • •Teorie a hypotézy •Instrumentace •Populace, vzorek, přiřazení k experimentálním podmínkám •Implementace •Analýza Teorie a hypotézy •Přesná specifikace závislé a nezávislé proměnné (včetně toho, jakých hodnot NP může/bude nabývat) •Odkazy na předchozí výzkum v oblasti •Přehled hypotéz, vycházejících z teorie •Úvaha o tom, jak teorie a hypotézy ovlivnily to, co je v experimentu (naopak je to špatně!) Praktické problémy práce s teorií •Manipulujeme nezávislou proměnnou, musíme pečlivě zvážit její hodnoty vzhledem k tomu, co očekává teorie. • •Příklad: teorie očekává, že ve volbách s nízkou úrovní informace nabývá na významu pro volební rozhodnutí vzhled kandidátů. Nezávislá proměnná je „vzhled kandidátů“, musíme pečlivě zvážit, jakých hodnot má nabývat proměnná „vzhled kandidátů“, aby to umožnilo testovat teoretický předpoklad, což souvisí s tím, jakou dimenzi konceptu „vzhledu“ volíme. Musíme samozřejmě také umět operacionalizovat kontext (nízkou úroveň informace). Instrumentace experimentu •operacionalizace teoretických konceptů • experimentální instrukce • způsob měření hodnot závislé proměnné, rozhodnutí o tom, jaké třetí proměnné měřit •pretesty, pilotní testování •rozhodnutí o tom, pomocí jakého média budou subjekty vystaveny stimulu a pomocí jakého média bude měřena závislá proměnná • Operacionalizace teoretických konceptů •Chceme pokud možno, aby subjekty sdílely význam naší operacionalizace. Přílišná jemnost/přehnaně sofistikovaný jazyk/způsob operacionalizace není na místě. •Příklad1: chceme měřit, zda v případě, že subjekty vykazují dokonalou postojovou shodu s kandidátem, hraje nějakou roli v jeho podpoře to, zda je Čech nebo Rom (etnická příslušnost=NP). Korektní operacionalizace je říci jim, že kandidát je Čech (Rom), méně korektní nazvat jednoho kandidáta Novák a druhého Dzurko a čekat, že si to dovodí sami. Někteří ano, jiní ne.... •Příklad2: chceme měřit stereotypy, vyplývající ze vzhledu kandidáta, který odkazuje k různým etnickým skupinám. Korektní je ukázat subjektům fotografie kandidátů, horší je opět operacionalizovat skrze jména Experimentální instrukce •Hodně často experiment uvozuje úvodní instrukce, týká se chování subjektů během experimentu, úkolů, které je čekají, často i obsahu experimentu, někdy přítomna decepce (další přednáška) •U experimentů, které mají „pravidla“ je OK být mírně redundantní (například instrukci číst a zároveň promítat na obrazovce) •Pokud nejsou instrukce, případně celá instrumentace zcela rutinní (replikace), je dobré podrobit ji pretestu. Pretesty •Subjekty v tomto případě plní roli informátorů/posuzovatelů kvality našich výzkumných procedur. •V pretestech na malých vzorcích ověřujeme, zda subjekty situaci interpretují tak, že naše manipulace odpovídá teorii, k níž se vztahujeme. •Příklad: chceme ověřovat, zda podporu represivní politiky nějak ovlivňuje, jak drasticky je prezentována „hrozba“ (NP). Subjekty v pretestu hodnotí na experimentálním materiálu (fotografie), zda jsme „drastičnost hrozby“ (její míru) skutečně operacionalizovali dobře. Pilotní testování •Kompletní experimentální sezení, následované důkladným debriefingem s participanty, zaměřeným na průběh experimentu •Pomáhají odhalit problémy, na které se v pretestech nenarazí z toho důvodu, že ty jsou často zaměřeny jen na výsek experimentu •Příklady: únava subjektů, emoce související s instrukcí, chybějící instrukce, špatná logická návaznost •Pokud je pilotní testování zcela OK, můžeme z něj udělat ex post běžnou experimentální skupinu. •Účastníci pretestu a pilota vyloučeni z experimentálních sezení + mlčenlivost. Populace, vzorek, náhodné přiřazení •Je nutné zvážit, kdo je populace a jak z ní bude rekrutován vzorek •Typicky zvaní vybraných osob z databáze (počet pozvaných, přihlášených, těch, co aktuálně dorazili) •Je potřeba promyslet mechanismus náhodného přiřazení • •Příklad: dobré náhodné přiřazení není participanty úterního sezení přiřadit k podmínce A, zatímco pátečního k podmínce B, obě skupiny se mohou lišit (pokud jsme přihlášeným náhodně nepřiřadili i den sezení). Lépe je v úterý i pátek přiřadit část k podmínce A i B. Specifické populace •Experimenty nejčastěji probíhají se studenty, někdy specifické populace: • •Příklad: Palacios Huerta- Volij (2009): Field Centipedes- studenti a šachisté (předpoklad, že budou řešit následující úlohu jinak) • Průběh experimentu (I.) •Kdy, kde a (především) jak? •Klíčová otázka: timing procedur/částí experimentu. •Obvyklý scénář: nejdříve „rozehřívací otázky“, pak hlavní úkoly a věci, co by mohly subjekty nějak zahanbit (např. měření politických znalostí), až na konci. •V ekonomických experimentech „cvičná kola“. •Dopředu bychom měli mít plán, pokud se věci „začnou kazit“ (např. někdo začne vyrušovat). • • • •Příklad: Chceme měřit, jak lidé s různými postoji k uprchlíkům hodnotí politiky, kteří jsou s nimi v ostatních otázkách nekongruentní a v otázce uprchlíků se podle experimentální podmínky mohou lišit nebo shodovat. Rozhodujeme se, zda nejdřív měřit hodnocení politiků a pak postoje respondentů nebo naopak- obojí má problémy, je to těsné rozhodnutí. Zde ale vzhledem k tomu, že přizpůsobujeme pozice politiků názorům subjektů (každému jednomu zvlášť), musíme nejdřívě dotazovat postoje subjektů a pak až měřit hodnocení politiků. Průběh experimentu (II.) •Jak zajistit, aby subjekty nevěděly, v jakém stavu světa se nachází? • •Příklad: Ve volebním experimentu, kde nejlepší výsledek byl pro subjekty nevolit a vítězství kandidáta s nejvyšší odměnou, v první verzi „zdržet se“, znamenalo dva kliky myší, zatímco „volit“ tři (museli jsme upravit, dalo se zneužívat). Průběh experimentu (III.) •Sběr dat •Musíme ověřit a zajistit, že se zaznamenávají všechna data, která jsou relevantní z hlediska voleb subjektů, často včetně latentních proměnných (čas na rozmyšlenou). Bývá už součástí pretestu. •Předdesignovaná prostředí (ORSEE, Ztree, DPTE, Inquisit) obvykle zaznamenávají. Komplikovanější, pokud subjekty například pracují s tištěnými materiály, kartičkami, které odevzdávají, zaznamenává se zvuk atd. •Příklad: pokud si ve hře Ultimatum posílají subjekty peníze v obálce, musíme zaznamenat, kolik v ní první hráč druhému pošle, nejen, jestli druhý přijme nebo odmítne. Analýza dat (pozn.: v přípravě experimentu se často zanedbává) •Zhodnocení předpokládaných kauzálních vztahů •Zdůvodnění, proč (statisticky) právě takto •Plány, jak si počínat při chybějících datech, nespolupráci, výrazných rozdílech ve třetích proměnných v jednotlivých podmínkách •Pokud se reálně dělalo něco nad rámec plánovaných statistických operací, je potřeba zdůvodnit proč. Zveřejnění protokolu •V článcích zestručněná verze, věnující se hlavním aspektům •V recenzním řízení často plná verze jako příloha (v experimentalistických časopisech povinnost). •Prostředek, jak odhalit, proč se liší výsledky dvou studií se stejnou výzkumnou otázkou (různá instrumentace). Motivace POL 565, 25.10. 2016 Vnitřní a vnější motivace •Psychologové rozlišují vnitřní a vnější motivace • •Vnitřní motivace- souvisí s tím, že úkol je zajímavý nebo zábavný •Vnější motivace- souvisí s tím, že výsledky úkolu jsou odlišitelné (horší x lepší) • •Podle některých vnější motivace snižují vnitřní motivace (ale ne všude, třeba sportovní psychologie tvrdí opak). Jak to řeší psychologie •Odměny za účast, ne za výsledek (show-up fee) •Kompenzuje se čas •Nijak nesouvisí s výsledkem •Subjekty nejsou hodnoceny, jak si v experimentu počínaly ( vs. Populární „psychologické testy“) •Vše má pokud možno podpořit vnitřní motivace Argument psychologie: Heyman-Ariely (2004) •Množství splněných úkolů bylo: • •Největší bez odměn •Druhé největší se znatelnými odměnami •Třetí největší s nepočitatelnými odměnami •Nejmenší s malými odměnami Proč finanční pobídky zhoršují výkon subjektů? •4 vysvětlení: -Subjekty pak mají motivaci přemýšlet nad problémy „zbytečně moc“ -Mění náladu subjektů -Subjekty se začínají chápat jako „dělníci vědy“ -Peníze naznačují, že subjekty čeká lehce nechutná práce (snížení motivace) Ekonomické experimenty •Testování teorie, stress testy • •Obvykle to, jak pravidla ovlivňují chování lidí • •Testování znamená zjišťovat, zda je preferenční struktura subjektů a jejich volby konzistentní s teorií • •Experimentátor přiřazuje určitým výsledům určité finanční výsledky, skrze to hodnotí teorii. Jak to řeší ekonomie •Obvykle odměňuje za výsledek •Od subjektů vyžaduje rozhodování buďto v kontextu skupiny nebo modelu, předpokládajícího nějaké jejich chování •Rozhodování je hodnoceno (subjekt vidí, jak dobře se rozhodl, má posílit i vnější motiavce) •Peníze slouží k tomu, aby dokázaly odlišit možné výsledky a usnadnily testování toho, zda se subjekty chovají „podle teorie“. •Touto strategií se podrobně zabývá tzv. Teorie indukované hodnoty (autor Vernon Smith). Příklad: finanční odměny jako prostředek operacionalizace závislé proměnné • •Předpokládáme, že ve volebním systému jako je v amerických prezidentských volbách, se lidé chovají jinak, pokud: •Volí simultánně (jedna podmínka) •Volí sekvenčně (druhá podmínka) • •Závislá proměnná („výsledek volby“), operacionalizovaná skrze odměny z volby jednotlivých kandidátů, nám umožní zajistit, že subjekty v obou skupinách (mezi nimi) přikládají jednotlivým výsledkům stejnou hodnotu. Není to např. tak, že by se v sekvenční skupině najednou kandidát začal jevit jako lepší jen proto, že ho někteří volí (má hlasy, ale odměna z jeho volby je stále stejná). Argumenty pro finanční motivaci (experimentálně ověřeno Prior-Lupia 2005) • •Redukuje varianci ve vzorku, danou odlišnou motivací •V ekonomických experimentech eliminuje framing experimentu •Subjekty se rychleji učí, rychleji se blíží k ekvilibriu •Prodlužuje čas, který subjekty úkolům věnují Pokud nejsou finanční pobídky nebo peníze nejsou reálné • •Chovají se subjekty jinak než IRL • • •(aukce- povolení zastřelit jelena, dárky- viz Morton-Williams- četba) Induced Value Theory (Vernon Smith 1982) •Říká, že když subjekt motivujeme, máme se ptát, zda (nejde o nutné a postačující podmínky!): •Vnímá odměnu monotónně •Zda je zřejmé, jak je odměna propojena s volbami subjektu, resp. jeho prací •Zda je určeno jen subjektu (není vnímáno v kontextu) •Zda je jediným faktorem, který určuje volby subjektu Monotónnost •U studentů začíná interval monotónnosti zhruba u +50% až dvojnásobku minimální mzdy za hodinu. •Potvrzeno experimentálně (Gneezy-Rustachini 2000) •Bassi, Morton, Williams (2008): v herně-teoretických experimentech dokonalá monotónnost odměn, čím složitější, tím jasnější. •Platit velmi vysoké částky je neetické (další přednáška) Problém- různě motivované pooly •Palacios-Huerta-Volij (experiment se smíšenými strategiemi) • •Studenti: přeplacení •Fotbalisté: podhodnocení • •(Není jasné, kolik platit nestudentům). •Příklad: náš experiment Havel-Klaus (nezaměstnaní). • • Významnost učiněných voleb •Aby se rozšířilo rozpětí hodnot pro subjekty, používají se často „experimentální peníze“ (inflace). • •Umožňují stanovit směnný kurs post mortem • •Je nutné subjekty předem informovat tak, aby uvěřili, že platba a peníze jsou reálné (složité designy, zisk peněz a hru s nimi např. oddělovalo několik měsíců). Problémy s tím, pokud subjekty mají budget, se kterým hrají • • •Například měříme-li náchylnost k risku, chová se jinak subjekt s podobnou mírou náchylnosti, který zezačátku vyhrál a ten, který prohrál. • Dominance a privátnost zisků •Nutné, aby se subjekty soustředily jen na své zisky a neznaly informaci o ziscích ostatních • •Používá se buďto úplná privátnost nebo single blind privátnost (zná volby a zisky, nezná přesně kdo), double blind privátnost (nezná ani výzkumník). •Při dokonalém double blind soukromí subjekt nevěří/nemusí věřit, že experiment je reálný. • Averze k k risku •Se zvyšujícími se odměnami stoupá • •S klesajícím přesvědčením, že jde o reálný experiment, klesá • •Mění se podle typu hry Friedman- Sunder (1994) •Zvládání risku: •Procedura, která umožní transformovat subjekty, aby byli neutrální k risku • •Měřící nástroj rizikovosti • •Zabudovat předpoklady o risku již do teoretického modelu Nepeněžní odměny-motivace (home-grown values) • •Update postojů/ vědomostí, zvnitřněné hodnoty • •Známky, kredity (není dominance, náhodnost přiřazení k experimentálním podmínkám- neetické známkovat podle výkonu/výsledku) Experimenty bez speciálních vnějších motivací •Většina experimentů ze sociálně-psychologické tradice • •Prostředky toho, že subjekty nalézají vnitřní motivaci: sociální relevance, použití skutečných reálií (často problematické, vzniká problém s pretreatmenty).