Jak „fungují“ experimenty?
POL 565, 27.9. 2016
Příklad
• Kampaň HRC natočila negativní klip o DT, třeba
tento:
https://www.youtube.com/watch?v=RaxNEzA3j
Rs
a ráda by věděla dopředu, jestli bude fungovat
tak, že zvýší její podporu.
Otázka tedy je:
• Zvýší negativní inzerce (nezávislá
proměnná) podporu (závislá proměnná)
toho, kdo ji vyrobil?
Jak by se to dalo zjistit
• Zeptáme se politologa
• V čem je to špatně?
Jak by se to dalo zjistit
• Inzerát prostě začneme vysílat a budeme
sledovat, jak se vyvíjí průzkumy
• V čem je to špatně?
Jak by se to dalo zjistit
• Uděláme fokusovou skupinu, ukážeme jim
inzerát a pak se budeme také ptát, zda by
nás volili.
• V čem je to špatně?
Jak by se to dalo zjistit
• Zeptáme se skupiny straníků, zda by nás
volili, pak jim pustíme inzerát a znovu se
jich zeptáme, zda by nás volili.
V čem je to špatně?
Jak by se to dalo zjistit
• Dáme si (naše kampaň) inzerát a toho, kdo
nám odpoví, pozveme a zeptáme se ho, zda
by volil HRC. Poté mu pustíme klip a znovu
se ho zeptáme, zda by HRC volil.
• V čem je to špatně?
Jak by se to dalo zjistit
• Klip pustíme a po týdnu najdeme lidi, kteří
ho viděli a kteří ho neviděli. Ptáme se jich,
zda by volili HRC. Rozdíl mezi skupinami je
efekt klipu.
• V čem je to špatně?
Jak by se to dalo zjistit?
• Profesionální agentura nám náhodně vybere
vzorek, dobře reprezentující elektorát.
Zeptáme se ho, zda by volil HRC. Poté mu
pustíme klip a znovu se ho zeptáme, zda by
HRC volil.
• V čem je to špatně?
Jak by se to dalo zjistit?
• Profesionální agentura nám náhodně vybere
vzorek, dobře reprezentující elektorát.
Mužům klip pustíme a ženám nepustíme a
pak se jich budeme ptát, zda by volili HRC.
Rozdíl mezi skupinami je efekt klipu.
• V čem je to špatně?
Jak by se to dalo zjistit?
• Profesionální agentura nám náhodně vybere
vzorek, dobře reprezentující elektorát.
Náhodně je rozdělíme do dvou skupin a
jedné si mohou subjekty zvolit, zda se na
klip dívat, v druhé se musí dívat všichni.
Rozdíl mezi skupinami je efekt klipu.
• V čem je to špatně?
Všechny předchozí designy porušovaly dvě
složená pravidla experimentu, ve kterém
experimentátor kontroluje hodnoty
nezávislé proměnné a náhodně je
přiřazuje subjektům.
Skutečný experiment by musí zároveň
splňovat obě.
Co znamená, že experimentátor
„kontroluje hodnoty proměnné“?
• Znamená to jednak, že se rozhodujeme, co
přesně hodnoty proměnné budou (např. trojí
puštění klipu, jedno puštění klipu a žádné) a
kdo podstoupí jakou „proceduru“
• Vylučuje to samovýběr, nechat sledování klipu
na náhodu atd.
• „Kontrola“ také znamená možnost rozhodnutí
výzkumníka o operacionalizaci závislé a
nezávislé proměnné a jejich měření.
Problém: naše manipulace se vždy
automaticky nerovná „ošetření“
(treatment) subjektu
• V lékařské studii například je manipulací, že jedné
skupině pacientů dáme placebo a druhé lék. Rozdíl mezi
skupinami by měl být efekt medikace, ale:
• 1. někteří pacienti lék polknou „jenom jako“ a vyplivnou
• 2.část pacientů s placebem se může mimo náš protokol
doléčovat jinak....
• 3...atd.
Do ošetření bohužel zasahují nejrůznější pozorovatelné i
nepozorovatelné proměnné.
Podobně v našem experimentu s
inzerátem:
• Ve skupině, která inzerát vidí, se všichni
nesoustředí stejně, někteří ho nepochopí,
jiní třeba spí, někdo s duševní poruchou
nebo opilý vidí něco jiného- úroveň jeho
přijmutí je různá. Všechny subjekty tak
nejsou přesně „ošetřeny“ tak, jak si svou
manipulací představujeme.
Co znamená, že experimentátor
„náhodně přiřazuje hodnoty
proměnné“?
• Každý ve vzorku musí mít stejnou šanci na
kteroukoliv jednu z možných procedur
(treatmentů), je mu určena náhodně (např.
losem, hodem mincí), nemůže si vybrat.
• Pozor- náhodné přiřazení (random
assignment) není náhodný výběr (random
sampling)!
Problém: některé nezávislé
proměnné nejde náhodně přiřadit
Například si myslíme, že pohlaví (nezávislá proměnná)
ovlivňuje příjem (závislou proměnnou).
• Pohlaví nemůžeme subjektům náhodně přiřadit.
Podobně etnicita, fyzický vzhled a další proměnné.
Dá se ale různě řešit, protože nepřiřaditelné proměnné
nejčastěji působí zprostředkovaně:
Můžeme např. subjekty s určitým pohlavím náhodně
přiřadit do různé práce a měřit jejich příjem.
Problém je spíš s definováním kauzálního vztahu než s jeho
identifikací.
Jak by (možná) vypadal klasický
korektní experiment s naším
inzerátem:
• Náhodně vybranou populaci, dobře
reprezentující elektorát, bychom náhodně
rozdělili do dvou skupin, oběma bychom pustili
nějaký stejný televizní program, s jediným
rozdílem, jedna by viděla inzerát HRC, druhá
něco nevinného (např. inzerát na komerční
výrobek). Obou skupin bychom se potom ptali
na víc věcí, mj. na možnou volbu HRC. Rozdíl
mezi skupinami by byl efekt inzerátu (naší
intervence).
Byl by OK následující experiment?
• Náhodně vybranou populaci vojenských
veteránů, bychom náhodně rozdělili do dvou
skupin, oběma bychom pustili nějaký stejný
televizní program, s jediným rozdílem, jedna
by viděla inzerát HRC, druhá něco
nevinného (např. inzerát na komerční
výrobek). Obou skupin bychom se potom
ptali na víc věcí, mj. na možnou volbu HRC.
Rozdíl mezi skupinami by byl efekt
inzerátu (naší intervence).
Proč nám tak záleží na náhodném
přiřazení?
• Protože je celá řada dalších proměnných,
které ovlivňují volbu HRC (věk, pohlaví,
etnicita, příjem). Náhodným přiřazením
dosáhneme, že v obou skupinách budou tyto
proměnné distribuovány stejně/velmi
podobně (závisí na velikosti vzorku).
Nenáhodným by byly rozloženy
nerovnoměrně.
Co pro praktický svět znamená náš
„efekt inzerátu“ z experimentu?
• (Bohužel) to neznamená efekt u volební
urny (souvisí s tím, jak si voliči tvoří či
updatují informace).
• Znamená prostě jen velikost efektu, který
má inzerát na voličovy preference
bezprostředně v momentě, kdy ho vidí a
pár desítek minut poté.
Srovnání s observačním výzkumem
Experiment očima čtyř kauzálních
překážek
• První - není o nic snazší nebo těžší než v
neexperimentálním výzkumu
• Druhá - závislá nemůže způsobovat
nezávislou proměnnou, jednak je problém s
časovou sousledností, jednak nezávislou
proměnnou „způsobujeme“ my náhodně.
Experiment očima čtyř kauzálních
překážek
• Třetí- korelaci mezi závislou a nezávislou
proměnnou počítáme podobně jako u
observačních studií
• Čtvrtá- hlavní výhoda experimentálních
studií
• Říkáme, že v experimentech „kontrolujeme
vliv třetích proměnných“.
Experimenty a čtvrtá kauzální
překážka
• Chceme, aby náš efekt (rozdíl mezi skupinami s různým
treatmentem) nebyl vyvolán působením nějaké třetí proměnné
(např. vzděláním nebo různou únavou subjektů).
V dobrém experimentu jsou všechny třetí proměnné díky
náhodnému přiřazení distribuovány v jednotlivých skupinách
stejně (skupiny jsou stejně vzdělané, stejně unavené, stejně
levicové, stejně duševně zdravé, stejně nesmrtelné i geniální,
mají stejné všechno, na co si vzpomeneme i to, nač si
nevzpomeneme).
To samozřejmě neznamená, že by třetí proměnné neexistovaly,
jen jde o to, že působí v obou skupinách stejně.
Kritika: Cohen 1997
• Příčin (možných nezávislých proměnných) existuje
nekonečně mnoho, i při náhodném výběru se v
některé z nich skupiny liší, čím jich je víc, tím víc se
zvětšuje pravděpodobnost, že se skupiny liší alespoň
v jedné.
• Odpověď: dá se řešit dostatečně velkými vzorky,
nutnost rozlišovat mezi nezávislými proměnnými,
které mohou ovlivnit závislou a které ji skutečně
ovlivňují.
• I kdyby těch faktorů bylo skutečně mnoho- řeší tzv.
centrální limitní teorém- navzájem se nulují.
Experimenty a kauzalita
• Zdá se tedy, že experimenty jsou skvělý
nástroj k určování kauzality, protože
překonávají čtyři kauzální překážky a
můžeme tedy říkat, že nezávislá proměnná
způsobuje závislou. To je pravda, ale
zároveň existují dvě omezení:
• Jde o probablistickou kauzalitu
• Má nejistou“styčnost“ (contiguity)
Probabilistická kauzalita
• Sledování klipu nevede (vždy) k tomu, že
divák bude volit HRC, jen zvyšuje
pravděpodobnost této události. Stejně tak
ne všichni aktuální voliči HRC viděli klip.
Nejistá styčnost
• Některé nezávislé proměnné ovlivňují závislé rychle,
jiné pomalu a zprostředkovaně.
• Zejména u sociálně-psychologických
experimentálních manipulací nejsme vždy schopni
odhadnout rychlost, s jakou by se měl efekt
nezávislé proměnné demonstrovat.
• Problém v laboratoři- chceme (předpokládáme), že
subjekt zabere na klip HRC do desítek minut
• Asi největší problém, souvisí s experimentálním,
ale i věcným realismem (laboratorních)
experimentů (samostatná přednáška o validitě)