EXPERIMENTY POL363 12. 10.. 2016 Co jsme nestihli: SURVEY •Výběr určitého počtu případů z celkové populace •Snížené náklady •Umožňuje infernci o celé populaci •Musí se dodržet pravidla náhodného výběru •každá jednotka má stejnou šanci, že bude vybrána •Každá kombinace jednotek má stejnou šanci, že bude vybrána SURVEY •Techniky nenáhodného výběru •Kvótní výběr, sněhová koule, anketa, • •Náhodný výběr může také produkovat chybu, riziko chyby lze odhadnout pomocí statistických metod (riziko toho, že se výsledky liší od celé populace) SURVEY •Cross - section survey •Jeden časový bod •Panel survey •Opakovaná měření Problémy dotazníkových šetření •Formulace otázek •Pořadí otázek •Nejednoznačnost otázek •Sociální desirabilita •Co vlastně v dotazníku měříme? •Zaller a Feldman: postoje lidí nejsou fixní, odpovídají podle toho, co je zrovna dostupné v paměti •Silná stránka: •Možnost zobecnění na celou populaci •Mnoho proměnných •Slabá stránka: •Nedostatečná síla při testování kauzálních vztahů Skin Conductance Response •Fyziologické reakce •Změny elektrodermální aktivity •Elektroda připevněná k nedominantní ruce •Vodivost kůže, je propojená s autonomním nervovým systémem •Přesvědčivější metoda měření např. afektivní aktivace subjektů •Levná, neinvazivní metoda •Problém s interpretací Screenshot 2016-02-29 08.27.40.png SCR příklad: Petersen, Giessing, Nielsen 2015 •Subjekty napojeny na elektrodu •Hodnocení politických stran •Sledování afektivních obrazů a neutrálních obrazů •Treatment: politické návrhy s logem politických stran – měření aktivity nervového systému •Fyziologické reakce zprostředkují efekt stranické heuristiky na evaluaci politických návrhů • Magnetická rezonance •Nejprominentnější metoda •Neinvazivní zobrazování lidského mozku •Měří BOLD (Blood oxygen-level dependet) signál ve sledované části mozku •Finančně náročné •Obtíže s interpretací •Aktivace může být důsledek chyby •Chyby v záznamech neurální aktivity v důsledku aktivit v různých částech mozku •Interpretace fMRI experimentů, hypotetické vazby mezi neurální aktivitou a zpracováním informace, nutné další replikace EXPERIMENT: Sociálně vědní metoda? Co je experiment? •„To find out what happens if you change something, it is necessary to change it“ (Box, Hunter, and Hunter 1978). • •Vědomá intervence do procesu generujícího data •Manipulace s určitými prvky prostředí procesu generujícího data •Vytváření nepřirozených situací •Snaha aproximovat situaci, kdy se sledovaný subjekt nachází ve dvou různých stavech světa •Náhodné přiřazení a kontrola • Experimentální kontrola •Izolace nezávislé proměnné •Manipulace nezávislé proměnné •Vše ostatní držíme konstantní •Kontrola treatmentu •Kontrola prostředí •Eliminace efektu intervenujících proměnných Náhodné přiřazení •Subjekty jsou k různým typům manipulace přiřazeni náhodně •Nejde o náhodný výběr •Často náhodné přiřazení na nenáhodném vzorku •Náhodný výběr může být u survey experimentů •Každý subjekt má stejnou šanci, že bude přiřazen do určité podmínky •Eliminace zkreslení v jednotlivých experimentálních podmínkách •Předpoklad, že kontrolní skupina a experimentální skupina se neliší a budou se chovat stejně (pokud by žádná z nich nedostala manipulaci) Výhoda experimentu •Sledování kauzálních vztahů •A -> B •Výhoda oproti observačním metodám, neodhalují kauzální vztahy •Sledování situací, které jsou těžko sledovatelné v reálném světě •Sledování proměnných, které jsou těžko sledovatelné v reálném světě • • Psychologická vs. Ekonomická tradice •Psychologové: většinou laboratoř a survey, subjekty dostanou show-up fee, individuální rozhodování (spíše), studentské vzorky, decepce, vyšší míra věcného realismu •Ekonomové: laboratoř, odměna za výkon v experimentu, míň práce se studenty, více interaktivní, testování formálních modelů, nízká míra realismu, opakované volby, decepce se nepřipouští Experimentální design •Between subject (mezisubjektový experimentální design) •Řešíme náhodné přiřazení •Více skupin, kontrolní skupina • •Within subject (vnitrosubjektový experimentální design) •Neřešíme náhodné přiřazení •Jedna skupina, všichni stejný treatment •Subjekt činí rozhodnutí v různých stavech světa •Nehrozí zkreslení individuálními rozdíly •Může dojít k ovlivnění subjektů mezi treatmenty Diana Mutz, Byron Reeves 2005 • •Vliv neslušnosti politiků v TV na důvěru v politiku, videomalaise •Between subject experimenty •Politická debata dvou fiktivních kandidátů •Subjekty v různých skupinách mají buď zdvořilou nebo nezdvořilou verzi politické debaty •Manipulation check, pretest sympatií ke kandidátům (v experimentu 2) •Zdvořilá verze x Nezdvořilá verze (x Kontrolní skupina) •Within subject experiment •Všichni sledují obě verze (náhodné pořadí) •Měření SCR během sledování TV •Fyziologická reakce na necivilní diskurz, jako by se nás to týkalo osobně • • • Lokace experimentu •Laboratorní experiment •Survey experiment (offline/online) •Field experiment Laboratorní experiment •Standardním postupem v 1980s •Důležitá práce News That Matter: Iyengar, Kinder 1987, první kniha v politologii založená pouze na laboratorních experimentech •Nejvyšší stupeň kontroly •Umožňuje vytvářet prostředí, která jinde neexistují •Umožňuje manipulaci více proměnných •Některé technologie vyžadují přítomnost subjektu v laboratoři •Nižší úroveň realismu (většinou) •Ansolabehere, Iyengar 1994: efekty negativity politické reklamy •Reklama mezi zprávami (30 sekund) •Různé verze textu a hudby, vizuální pozadí reklamy a hlas mluvčího konstantní •Manipulace: integrita/kompetence kandidáta, postoje k politickým tématům •Replikace během různých volebních kampaní •Efektem negativity je demobilizace voličů • Survey experiment •Součástí dotazníkového šetření, větší vzorky, více reprezentativní (?) •Online/offline/telefon •Manipulace je součástí dotazníku •Dotazníky se liší se v jednom aspektu, náhodně přiřazeny •Clinon, Lapinski 2004: vliv politické reklamy na volební chování •Reprezentativní online vzorek, subjekty dostaly internetové připojení a internetovou TV, musely jednou týdně vyplňovat survey •Během kampaně 2000 použili reklamy Bushe a Gora •Přiřazení do skupin podle toho, jaké reklamy měli vidět (Gore negativní a pozitivní, Gore negativní, Gore negativní a kontrolní) (Gore negativní a Bush pozitivní, Gore negativní a Bush negativní, Kontrolní) •Intention to vote •Po volbách nový survey – ptali se zda subjekty byly volit a koho volily •Jaké mohou být PROBLÉMY????? • • Field experiment •Náhodné přiřazení a kontrola treatmentu •Ale neprobíhá v laboratoři •V přirozeném prostředí •Ve srovnání s lab experimentem je zde nižší úroveň kontroly (treatmentu i prostředí) •Nízká umělost • • • Gerber, Karlan and Bergan 2007 •Vliv čtení nevyvážených zdrojů informací na volební chování •Ve Virginii, USA, seznam registrovaných voličů a spotřebitelská databáze •Vybraní jedinci kontaktováni, dotaz, zda mají předplatné novin •Otázky na konzumaci médií, čtení novin, politické postoje, záměr jít k volbám •Lidé, kteří neodebírali noviny – 3 skupiny •Treatment: měsíční předplatné Washington Post, Washington Times, žádné noviny (náhodné přiřazení!), možnost předplatné zrušit •Kontrola, zda domácnosti obdržely noviny •Dotazování po volbách – předplatitelé W. P. volili demokratického kandidáta, efekt v politických tématech •Co je tady PROBLÉM????? • • Přírodní experiment •Jedná se o experiment? •Výzkumník využívá přirozeně se dějící události •Nedochází k umělé intervenci •Chybí randomizace •Chybí kontrola nad treatmentem •Nesplňuje kritéria experimentu • • Přírodní expeirment •Lassen 2005 •Místní referendum v Kodani v roce 2000 týkající se decentralizace městské správy •Ve 4 částech města tato reforma proběhla v roce 1996, hlasování o tom, zda by to mělo platit všude, nebo se to úplně zrušit •Zjišťoval, zda informovaní voliči (operacionalizace, lidé žijí v decentralizovaných distriktech jsou více informovaní) mají vyšší účast v referendu •Posner 2004 •Kulturní cleavage mezi etniky Chewa a Tumbuka má jinou palčivost v Zambii a v Malawi •Hranice mezi státy umělá, prochází oběma etniky •V Malawi je konfliktní vztah, v Zambii nikoliv •Survey ve dvou vesnicích v každé zemi Subjekty •Odvíjí se od lokace •Často studenti •Problém se studentskou populací? •Dobrovolníci? •Reprezentativní vzorek? Validita výzkumu •U každého výzkumu je důležitá validita a zobecnitelnost •Validita: Co nám říkají data z tohoto výzkumu? •Přibližná pravdivost závěrů a znalosti vyvozené z výzkumu. •Klasické rozlišení na interní a externí validitu. •Interní validita: jaká je pravdivost výsledků vzhledem ke sledované populaci. •Externí validita: jaká je pravdivost výsledků mimo sledovanou populaci? • Interní validita •Konstruktová validita •Jak jsou výsledky validní pro teorii a konstrukty, které používá? •Odpovídají proměnné sledované v experimentu proměnným v teorii? •Je to, co by mělo být podle teorie konstantní v experimentu opravdu konstantní? •Jsou skutečně měřeny ty proměnné odpovídající konstruktům teorie? •Statistická validita •Je kovariance mezi proměnnými statisticky významná? •Je-li naměřen efekt – je dostatečně velký a je významný? •Pokud je na hranici statistické významnosti, co to znamená? •Statistická replikace: replikace výsledků ze stejných dat, nebo ze stejné populace pomocí stejné analytické metody. Někdy vede ke kontroverzím. Interní validita •Kauzální validita •Zda jsou vztahy, které výzkumník identifikuje, kauzální •Zda změna v nezávislé proměnné způsobuje změnu v závislé proměnné •Klíčová je experimentální manipulace • Externí validita •Většinou problém zobecnění závěrů mimo experiment •Tradičně se experimenty považují za metodu s nízkou externí validitou •PROČ? •Umělost prostředí a nízký realismus •Nereprezentativní vzorky zkreslující výsledky Realismus •Věcný realismus (ekologická validita –součást poblému zobecnitelnosti) •Jak prostředí experimentu připomíná reálný svět? •V umělém prostředí se chovají subjekty jinak než normálně •Můžeme zobecňovat?? •Experimentální realismus •Nejde o prostředí jako takové •Klíčová je psychologická zkušenost •Je treatment dostatečný, vyvolává to, co chceme •Berou to subjekty vážně? •Různé úrovně věcného a experimentálního realismu v různých experimentech? Jaké to může mít důsledky pro validitu?? • Studentské vzorky •Sears 1986: Studenti jsou skupina odlišná od zbytku populace •Slabě vyvinutá identita •Nekonsistentní postoje •Více egocentričtí •Více ovlivnitelní vnějšími faktory •Výhody: časově flexibilní. Méně nákladní, schopni sledovat instrukce, homogenní vzorky v čase, jednodušší rekrutace, někdy lze brát jako silnější test (když to funguje na studentech, tak na nestudentech by to mělo fungovat o to víc) •Někdy se projevují rozdíly (v herně teoretických experimentech) • •Proč používat studenty? Protože cílem experimentu není zobecnění na celou populaci! • • Co je víc? •Je vztah mezi interní a externí validitou zero-sum game? •Pokud máme vysokou interní validitu (dobrá konstruktová, statistická a kauzální validita) je to za cenu toho, že neleze zobecnit výsledek na celou populaci. •Co je důležitější? •Je ok, když můžu zobecnit výsledek, který neodpovídá teorii nebo desinterpretuje kauzální vztah? •Co je řešení? •Replikace. Vědecká replikace: replikace výsledků za použití stejných konstruktů a jiné populace nebo jiného vzorku. •Teorie v sociálních vědách je KUMULATIVNÍ PROCES Motivace subjektů •Jak dosáhnout toho, aby subjekty braly experiment vážně? •Peníze: show-up fee, nebo výdělek během experimentu? •Důkazy, že peníze vedou k horšímu výkonu (ve srovnání s bonbony a experimentem bez odměny) •Peníze mohou vést k přemotivovanému chování, ovlivnění kognitivního úsilí, můžou vést k různým náladám zkreslujícím výsledek, subjekty se považují za zaměstnance experimentátora •Role peněz není vyřešená (různé výsledky v experimentech) •Vernon Smith: Induced Value Theory: Chceme mít kontrolu nad motivací, peníze jsou hlavní motivace a proto již nejsou důležité jiné alternativní motivy, které by mohly zkreslovat výsledky • Motivace •Známky a kredity. Je to dobrá praxe? •Nemáme problém s rekrutací •Ale subjekty mohou být příliš motivované •Nedůvěra v anonymitu, problém desirability •Je to etické?? • •Co nejvyšší ekologická validita •Aby experiment připomínal běžné situace a subjekty se snažily chovat tak, jako by se chovali v reálním světě •Motivace v instrukci • • Etika •Při práci s lidskými subjekty musíme zvažovat etiku výzkumu •Přebírání praxe z medicínských experimentů •Norimberský proces odhalil problém chybějících standardů etiky ve výzkumu •Norimberský kodex, po něm vznikají nové moderní kodexy, praxe přechází i do sociálních věd •Problém s etikou se v soc. vědách ještě v 70. letech neřešil •Milgaram, Humphries (nešlo o experiment) – neetické postupy akceptovány • Etika •Riziko pro subjekty musí být minimální (riziko nekomfortu nebo škody nesmí výrazně převyšovat riziko spojené s každodenním životem) •Rizika musí být vyvážena benefity •Zaručena bezpečnost subjektů •Zaručena ochrana soukromí • •Posuzujeme cost/benefit Etika •Benfity: •Sociální •Terapeutické •Kolaterální (např. ekonomické, altruistický dobrý pocit, edukační) • •Náklady: •Fyzické •Psychologické (některé změny mohou být dlouhodobé, narušení soukromí) •Ekonomické a sociální (časové náklady, ostrakizace, vyvolání nelegálního chování • Problémy s etikou •Fried, Lagunes, Venkatarami 2008: •Konfederáti činí dopravní přestupky v Mexico City s cílem být zastaven policistou •Sledují, zda jim policisté řeknou o úplatek •Experimentátor vyvolává situaci, ve které subjekty (policisté) porušují zákon • • Decepce •Když experimentátor záměrně desinterpretuje, co se v experimentu děje •Subjektům lžeme, nebo neříkáme pravdu (úplnou) •Běžná praxe v psychologických experimentech (pod podmínkou, že to je nutné) – nechceme, aby subjekty věděly, které psychologické aspekty zkoumáme •Nutný debriefing po konci, snaha odstranit negativní následky experimentu (Ale je to vždy OK? Viz. Milgram) •Proč decepce? Nepoužití decepce by vedlo ke zkreslení výsledků (např. v experimentu s policisty v Mexico City) •Proč decepce NE? Je to neetické, negativní dopad na subjekty •Mutz: měla fiktivní kandidáty •Druckman: předstírá, že používá materiál z New York Times •Někdy podprahové signály (Lodge, Taber) •Snaha o co nejnižší level decepce! •