EXPERIMENTY V POLITICKÉ PSYCHOLOGII 20. 10. 2020 Sociálně vědní metoda? Co je experiment? •„To find out what happens if you change something, it is necessary to change it“ (Box, Hunter, and Hunter 1978). • •Vědomá intervence do procesu generujícího data •Manipulace s určitými prvky prostředí procesu generujícího data •Vytváření nepřirozených situací •Snaha aproximovat situaci, kdy se sledovaný subjekt nachází ve dvou různých stavech světa •Náhodné přiřazení a kontrola • Experimentální kontrola •Izolace a manipulace nezávislé proměnné •Vše ostatní konstantní •Kontrola treatmentu a prostředí •Eliminace efektu intervenujících proměnných Náhodné přiřazení •Přiřazení do skupin (random assignmnet) •Náhodný výběr???? •Náhodné přiřazení na nenáhodném vzorku •Poč? •Eliminace zkreslení v jednotlivých experimentálních podmínkách •Předpoklad, že kontrolní skupina a experimentální skupina se neliší Výhoda experimentu •Sledování kauzálních vztahů •A -> B •Výhoda oproti observačním metodám •Sledování situací, které jsou těžko sledovatelné v reálném světě •Sledování proměnných, které jsou těžko sledovatelné v reálném světě • • Psychologická vs. Ekonomická tradice •Psychologové: laboratoř a survey, show-up fee, individuální rozhodování (spíše), studentské vzorky, decepce, vyšší míra věcného realismu, v poslední době spíše survey, méně labu •Ekonomové: laboratoř, odměna za výkon, míň práce se studenty, více interaktivní, testování formálních modelů, nízká míra realismu, opakované volby, decepce se nepřipouští Experimentální design •Between subject (mezisubjektový experimentální design) •Řešíme náhodné přiřazení •Více skupin, kontrolní skupina • •Within subject (vnitrosubjektový experimentální design) •Neřešíme náhodné přiřazení •Jedna skupina stejný treatment •Subjekt činí rozhodnutí v různých stavech světa •Nehrozí zkreslení individuálními rozdíly •Může dojít k ovlivnění subjektů mezi t1 a t2 Diana Mutz, Byron Reeves 2005 • •Vliv neslušnosti politiků v TV na důvěru v politiku, videomalaise •Between subject experimenty •Politická debata, fiktivních kandidáti •Between subject •Manipulation check, pretest sympatií ke kandidátům (v experimentu 2) •Zdvořilá verze x Nezdvořilá verze (x Kontrolní skupina) •Within subject experiment •Všichni sledují obě verze (náhodné pořadí) •Měření SCR během sledování TV •Fyziologická reakce na necivilní diskurz, jako by se nás to týkalo osobně • https://doi.org/10.1017/S0003055405051452 • • • Lokace experimentu •Laboratorní experiment •Survey experiment (offline/online) •Field experiment Laboratorní experiment •Standardním postupem v 1980s •News That Matter: Iyengar, Kinder 1987, první kniha v politologii založená pouze na laboratorních experimentech •Nejvyšší kontrola •Umožňuje vytvářet prostředí, která jinde neexistují •Některé technologie vyžadují přítomnost subjektu v laboratoři •Nižší úroveň realismu (většinou) •Ansolabehere, Iyengar 1994: efekty negativity politické reklamy •Reklama mezi zprávami (30 sekund) •Různé verze textu a hudby, vizuální pozadí reklamy a hlas mluvčího konstantní •Manipulace: integrita/kompetence kandidáta, postoje k politickým tématům •Replikace během různých volebních kampaní •Efektem negativity je demobilizace voličů • Survey experiment •Součástí dotazníkového šetření, •Větší vzorky, více reprezentativní (?) •Online/offline/telefon •Manipulace je součástí dotazníku •Dotazníky se liší se v jednom aspektu, náhodně přiřazeny •Clinton, Lapinski 2004: vliv politické reklamy na volební chování •Reprezentativní online vzorek, subjekty dostaly internetové připojení a internetovou TV, musely jednou týdně vyplňovat survey •Během kampaně 2000 použili reklamy Bushe a Gora •Přiřazení do skupin podle toho, jaké reklamy měli vidět (Gore negativní a pozitivní, Gore negativní, Gore negativní a kontrolní) (Gore negativní a Bush pozitivní, Gore negativní a Bush negativní, Kontrolní) •Intention to vote •Po volbách nový survey – ptali se zda subjekty byly volit a koho volily •Jaké mohou být PROBLÉMY????? • • Field experiment •Náhodné přiřazení a kontrola treatmentu •Ale neprobíhá v laboratoři •V přirozeném prostředí •Ve srovnání s lab experimentem je zde nižší úroveň kontroly (treatmentu i prostředí) •Nízká umělost • • • Gerber, Karlan and Bergan 2007 •Vliv čtení nevyvážených zdrojů informací na volební chování •Ve Virginii, USA, seznam registrovaných voličů a spotřebitelská databáze •Vybraní jedinci kontaktováni, dotaz, zda mají předplatné novin •Pretest: konzumace médií, čtení novin, politické postoje, záměr jít k volbám •Lidé, kteří neodebírali noviny – 3 skupiny •Washington Post, Washington Times, žádné noviny (náhodné přiřazení!), možnost předplatné zrušit •Kontrola, zda domácnosti obdržely noviny •Dotazování po volbách – předplatitelé W. P. volili demokratického kandidáta, efekt v politických tématech •PROBLÉM????? • • Přírodní experiment •Jedná se o experiment? •Výzkumník využívá přirozeně se dějící události •Nedochází k umělé intervenci •Chybí randomizace •Chybí kontrola nad treatmentem •Nesplňuje kritéria experimentu • • Přírodní experiment •Lassen 2005 •Místní referendum v Kodani v roce 2000, decentralizace městské správy •Ve 4 částech reforma už v roce 1996 •Referendum, zda by to mělo platit všude, nebo se to úplně zrušit •Zjišťoval, zda informovaní voliči (operacionalizace, lidé žijí v decentralizovaných distriktech jsou více informovaní) mají vyšší účast v referendu • • https://doi.org/10.1111/j.0092-5853.2005.00113.x • Subjekty •Odvíjí se od lokace •Často studenti •Problém se studentskou populací? •Dobrovolníci? •Reprezentativní vzorek? Validita výzkumu •U každého výzkumu je důležitá validita a zobecnitelnost •Validita: Co nám říkají data z tohoto výzkumu? •Přibližná pravdivost závěrů a znalosti vyvozené z výzkumu. •Klasické rozlišení na interní a externí validitu. •Interní validita: jaká je pravdivost výsledků vzhledem ke sledované populaci. •Externí validita: jaká je pravdivost výsledků mimo sledovanou populaci? • Interní validita •Konstruktová validita •Jak jsou výsledky validní pro teorii a konstrukty, které používá? •Odpovídají proměnné sledované v experimentu proměnným v teorii? •Je to, co by mělo být podle teorie konstantní v experimentu opravdu konstantní? •Jsou skutečně měřeny ty proměnné odpovídající konstruktům teorie? •Statistická validita •Je kovariance mezi proměnnými statisticky významná? •Je-li naměřen efekt – je dostatečně velký a je významný? •Pokud je na hranici statistické významnosti, co to znamená? •Statistická replikace: replikace výsledků ze stejných dat, nebo ze stejné populace pomocí stejné analytické metody. Někdy vede ke kontroverzím. Interní validita •Kauzální validita •Zda jsou vztahy, které výzkumník identifikuje, kauzální •Zda změna v nezávislé proměnné způsobuje změnu v závislé proměnné •Klíčová je experimentální manipulace • Externí validita •Většinou problém zobecnění závěrů mimo experiment •Tradičně se experimenty považují za metodu s nízkou externí validitou •PROČ? •Umělost prostředí a nízký realismus •Nereprezentativní vzorky zkreslující výsledky Realismus •Věcný realismus (ekologická validita –součást problému zobecnitelnosti) •Jak prostředí experimentu připomíná reálný svět? •V umělém prostředí se chovají subjekty jinak než normálně •Můžeme zobecňovat?? •Experimentální realismus •Nejde o prostředí jako takové •Klíčová je psychologická zkušenost •Je treatment dostatečný, vyvolává to, co chceme •Berou to subjekty vážně? •Různé úrovně věcného a experimentálního realismu v různých experimentech? Jaké to může mít důsledky pro validitu?? • Studentské vzorky •Sears 1986: Studenti jsou skupina odlišná od zbytku populace •Slabě vyvinutá identita •Nekonsistentní postoje •Více egocentričtí •Více ovlivnitelní vnějšími faktory •Výhody: časově flexibilní. Méně nákladní, schopni sledovat instrukce, homogenní vzorky v čase, jednodušší rekrutace, někdy lze brát jako silnější test (když to funguje na studentech, tak na nestudentech by to mělo fungovat o to víc) •Někdy se projevují rozdíly (v herně teoretických experimentech) • •Proč používat studenty? Protože cílem experimentu není zobecnění na celou populaci! • • Co je víc? •Je vztah mezi interní a externí validitou zero-sum game? •Pokud máme vysokou interní validitu (dobrá konstruktová, statistická a kauzální validita) je to za cenu toho, že neleze zobecnit výsledek na celou populaci. •Co je důležitější? •Je ok, když můžu zobecnit výsledek, který neodpovídá teorii nebo desinterpretuje kauzální vztah? •Co je řešení? •Replikace. Vědecká replikace: replikace výsledků za použití stejných konstruktů a jiné populace nebo jiného vzorku. •Teorie v sociálních vědách je KUMULATIVNÍ PROCES Motivace subjektů •Jak dosáhnout toho, aby subjekty braly experiment vážně? •Peníze: show-up fee, nebo výdělek během experimentu? •Důkazy, že peníze vedou k horšímu výkonu (ve srovnání s bonbony a experimentem bez odměny) •Peníze mohou vést k přemotivovanému chování, ovlivnění kognitivního úsilí, můžou vést k různým náladám zkreslujícím výsledek, subjekty se považují za zaměstnance experimentátora •Role peněz není vyřešená (různé výsledky v experimentech) •Vernon Smith: Induced Value Theory: Chceme mít kontrolu nad motivací, peníze jsou hlavní motivace a proto již nejsou důležité jiné alternativní motivy, které by mohly zkreslovat výsledky • Motivace •Známky a kredity. Je to dobrá praxe? •Nemáme problém s rekrutací •Ale subjekty mohou být příliš motivované •Nedůvěra v anonymitu, problém desirability •Je to etické?? • •Co nejvyšší ekologická validita •Aby experiment připomínal běžné situace a subjekty se snažily chovat tak, jako by se chovali v reálním světě •Motivace v instrukci • • Etika •Při práci s lidskými subjekty musíme zvažovat etiku výzkumu •Přebírání praxe z medicínských experimentů •Norimberský proces odhalil problém chybějících standardů etiky ve výzkumu •Norimberský kodex, po něm vznikají nové moderní kodexy, praxe přechází i do sociálních věd •Problém s etikou se v soc. vědách ještě v 70. letech neřešil •Milgaram, Humprhries (nešlo o experiment) – neetické postupy akceptovány • Etika •Riziko pro subjekty musí být minimální (riziko nekomfortu nebo škody nesmí výrazně převyšovat riziko spojené s každodenním životem) •Rizika musí být vyvážena benefity •Zaručena bezpečnost subjektů •Zaručena ochrana soukromí • •Posuzujeme cost/benefit Etika •Benfity: •Sociální •Terapeutické •Kolaterální (např. ekonomické, altruistický dobrý pocit, edukační) • •Náklady: •Fyzické •Psychologické (některé změny mohou být dlouhodobé, narušení soukromí) •Ekonomické a sociální (časové náklady, ostrakizace, vyvolání nelegálního chování • Problémy s etikou •Fried, Lagunes, Venkatarami 2008: •Konfederáti činí dopravní přestupky v Mexico City s cílem být zastaven policistou •Sledují, zda jim policisté řeknou o úplatek •Experimentátor vyvolává situaci, ve které subjekty (policisté) porušují zákon • • Decepce •Když experimentátor záměrně desinterpretuje, co se v experimentu děje •Subjektům lžeme, nebo neříkáme pravdu (úplnou) •Běžná praxe v psychologických experimentech (pod podmínkou, že to je nutné) – nechceme, aby subjekty věděly, které psychologické aspekty zkoumáme •Nutný debriefing po konci, snaha odstranit negativní následky experimentu (Ale je to vždy OK? Viz. Milgram) •Proč decpce? Nepoužití decepce by vedlo ke zkreslení výsledků (např. v experimentu s policisty v Mexico City) •Proč decepce NE? Je to neetické, negativní dopad na subjekty •Mutz: měla fiktivní kandidáty •Druckman: předstírá, že používá materiál z New York Times •Někdy podprahové signály (Lodge, Taber) •Snaha o nejnižší level decepce! •