Experimentální studie



Proč děláme experimenty?
•Základní myšlenka – zkoumání manipulovaného efektu za maximální kontroly
•Umožňuje usuzování na kauzalitu
•
•

Nezávislá proměnná
•Faktor
•Nabývá 2 a více hodnot
•Přítomnost a absence podmínky
•Ale také různé podoby NP

Téma: kredibilita informací na internetu
•Moje výzkumné téma
•Můžu mít hodně různých otázek:
•Je kredibilita dostatečně konceptualizována v literatuře?
•Jaké faktory ovlivňují kredibilitu?
•Liší se kredibilita informací na sociálních sítích a v online zpravodajství?
•Co vede k vyšší dovednosti hodnotit kredibilitu informací?
•Ovlivňují kritické komentáře vnímanou kredibilitu?
•
•

Příklad
•Naab, T. K., Heinbach, D., Ziegele, M., & Grasberger, M. T. (2020). Comments and credibility: how
critical user comments decrease perceived news article credibility. Journalism Studies, 21(6),
783-801.

•H1: Critical user comments will reduce the perceived credibility of a news article compared to an
article that received supporting comments or no comments
•
•Naše H1: Critical user comments will reduce the perceived credibility of a news article compared
to an article that received no comments
•

Kauzalita
•Cause effect, příčina a následek
•Reciproční vztah, pravděpodobnostní uvažování
•Příčina:
•Inus: insufficient but non-reduntant part of an unnecessary but sufficient condition (Mackie,
1974)
•Následek:
•Conterfactual (Hume) – kontra vůči nastalému faktu; porovnávání s tím, co nastalo
•Problémy
•Celkově:
•P se nikdy nerovná 1 nebo 0
•Multifaktoriální podoba vztahů

Kauzalita
•John Stuart Mill: kauzalita
•
•Metoda shody: Y následuje po X
•Metoda rozdílu: Pokud není X není ani Y
•
•1) X předchází Y
•2) Je vztah mezi X a Y
•3) Není jiné pravděpodobné vysvětlení pro Y než Y
•
•
•
•

Kauzalita
•
•1) X předchází Y
•2) Je vztah mezi X a Y
•3) Není jiné pravděpodobné vysvětlení pro Y než Y ( = Z)
•
•V experimentech:
1)Manipulujeme  X a měříme Y
2)Sledujeme (ko)varianci X a Y
3)Redukujeme vliv Z
•
•
•

Co to konkrétně znamená?
•X předchází Y – jak si můžu být jistá, že směr není obrácený?
•Self-report data – problém s hodnocením, pamětí
•Byly tam komentáře?
•Jak vypadaly?
•Opravdu to hodnocení ovlivnilo, nebo hodnocení vzniklo už před tím?
•Ovlivnilo hodnocení vzpomínku na komentáře?
•Nebo rating kredibility – nekredibilní článek dostane více kritických komentářů

Korelace není kauzalita
•Směr vztahu?
•Vliv třetí proměnné (confounds)
•Z: ovlivňuje X i Y
•Z: ovlivňuje X a to ovlivňuje Y
•Nenajdeme vztah X a Y pokud nekontrolujeme pro Z
•

Co to konkrétně znamená?
•Kovariace X a Y – jak (jestli) se mění?
•„Problém konstant“ – častěji efekty podlahy a stropu
•Kredibilita i přítomnost nějak variují – je tam kovariance?
•Jaký směr má?
•Potřebuji změřit NP i ZP

Co to konkrétně znamená?
•Redukujeme vliv Z - za vztahem mezi komentáři a kredibilitou není něco dalšího
•Např.: layout článku snižuje množství kritických komentářů i hodnocení kredibility
•Chyby v článku, autor článku, další?
•Řešení: článek bude v experimentu úplně stejný
•Zkonstantnění dalších faktorů
•
•Randomizace dalších faktorů – random assigment
•
•
•

Kontrola vnějších podmínek
•Standardizace experimentální situace
•Intervenující proměnné – mohou ovlivnit výsledek (ZP; Y)
•Držíme konstantní
•Nebo s nimi také manipulujeme (vzorek a situace) – jako další NP – faktoriální designy
•Nutnost zohlednit, které faktory jsou zásadní
•A které neohrozí validitu experimentu
•

Kauzalita
•Kauzální deskripce a kauzální explanace
•

Experimenty
•Jeden ze základních metodologických designů
•
•Manipulujeme s nezávislou proměnnou
•Měříme závislou proměnnou
•Kontrola vnějších proměnných
•Random assignement – náhodné přiřazení
•

Manipulace s příčinou
•Ne se vším se dá manipulovat!
•Existující atributy (věk)
•Přirozené události
•
•Problém usuzování na příčinu
•

Experimenty
•Random assignement, randomized experiment (Fisher)
•Náhodně přiřazujeme experimentální podmínky
•Vznik dvou a více skupin které jsou si pravděpodobnostně průměrně podobné
•Experimental/treatment group vs. control group
•Tudíž: rozdíl je způsoben manipulací (treatment)
•Odhadujeme velikost efektu
•
•Není totéž co random sampling!

Kontrolní skupina
•Jak můžeme vědět, že efekt je pravděpodobně důsledkem působení NP a ne normální průběhem?
•
•Metoda rozdílu
•
•Např. průběh nemoci, rezistence vůči persuasivním mediálním vzkazům…
•
•Podmínka X=0
•
•Vystavení žádnému efektu
•Či vystavení „placebu“ – nutnost pro srovnatelnost podmínek
•Např. neutrální obsah místo agresivního
•
•

Problém s experimenty
•Pracujeme s lidmi!
•
•Existující skupiny a charakteristiky
•
•Co to znamená pro náhodnost a manipulaci?
•
•

Kvaziexperimenty
•Není naplněn předpoklad náhodného přidělení
•
•Manipulujeme s NP, ale nepřidělujeme náhodně (úrovně) NP
•Rozdělení je závislé na další proměnné
•Důvody: pragmatické, etické
•Self/admin-selection
•
•
•Např. – participanti by si mohli sami zvolit, jestli budou nebo nebudou číst komentáře
•
•

Ex post facto studie
•„mezi“ experimentem a korelační studií
•zkoumáme účinek faktoru, který se odehrál (existuje před) před samotnou studií
•
•Např: chtěla bych zjistit, jestli kritické komentáře působí na lidi s vysokou a nízkou mediální
gramotností

Natural experiments
•Manipulace nastala z „přirozených“ příčin
•Rozšíření médií v populaci
•Virální video
•Politický zásah
•Problémy:
• absence kontroly nad zařazením do skupin
•Malá kontrola vnějších podmínek
•Výhody:
•Zkoumání jevů které jinak experimentálně nezachytíme
•Někdy i na velkých segmentech populace
•

Základní designy
•


2 základní typy experimentu
•(1) mezisubjektový design
•Min. 2 skupiny, každá s jinou experimentální podmínkou
•
•(2) vnitrosubjektový design
•1 skupina s různorodými experimentálními podmínkami
•= design s opakovaným měřením
•

(1) mezisubjektový design
•Min. 2 skupiny, každá s jinou experimentální podmínkou
•
•Nutné použít
•pokud je nezávislou proměnnou subjekt (introverti vs. extroverti) – nebo obecněji něco, s čím sami
nemůžeme (nechceme) manipulovat
•pokud vystavení způsobí změnu (např. odhalení účelu studie)
•
•Nutnost - vytvoření stejných skupin až na danou podmínku

(1) mezisubjektový design
•Př:
•Náhodně vytvořím 2 skupiny respondentů
•První čte článek s kritickými komentáři, druhá bez
•Všichni hodnotí kredibilitu článku
•Porovnám tato dvě hodnocení
•
•Porovnávání průměrů: t-test, dále ANOVA

(1) mezisubjektový design
•Požadavek: vytvořit shodné skupiny
•Náhodné přiřazení = každý účastník výzkumu má stejnou šanci do jakékoliv skupiny
•RCT – randomized control trial
•
•Jak toho dosáhneme?
•„hod mincí“
•
•

(1) mezisubjektový design
•Další postupy
•Bloková randomizace
•„dáváme respondenty do bloků“ podle nutného faktoru
•Co je náš „nuissance factor“?
•V rámci bloku porovnávám dané vztahy (např. v rámci mužů a žen)
•Metoda spojování/párování (matching)
•Uplatnění při malém vzorku
•Na základě vybraných charakteristik
•Dobře zvolená a odůvodněná proměnná pro spojování/párování (2 muži věk 15-25)
•Každý je vystaven jiné podmínce

(2) vnitrosubjektový design
•Každý participant s více (všemi či vybranými) experimentálními podmínkami
•Repeated-measures design
•
•Repeated measures neznamenají automaticky tento design
• opakovaná měření jen závislé proměnné, ale pouze jedno vystavené nezávislé

(2) vnitrosubjektový design
•Př:
•Seženu skupinu participantů
•Každý participant je vystaven článku s kritickými komentáři a pak článku bez nich
•Každý hodnotí oba články
•Porovnávám hodnocení článku s a článku bez komentářů u každého participanta
•
•Repeated measure procedury
•

(2) vnitrosubjektový design
•Výhody
•Potřeba méně lidí
•Jde stranou problém stejnosti skupin – vše je konstantní u všech podmínek
•100% matching J
•Také stejné podmínky
•Odpadají „nuisance faktory“ – spíše se zachytí efekty
•Má ale limity – viz dále

(2) vnitrosubjektový design
•Problémy spojené s opakovaným vystavením
•Problém pořadí
•Předpoklad stejného účinku a postupu, ale…
•carry-over effect – odlišnosti jen tím jestli X předchází Y či naopak
•Jiné účinky s ohledem na pořadí (změny mezi 1. a 2. měřením, 2. a 3. měřením atd.)
•Efekt zahřátí
•Efekt únavy
•Efekt učení
•

(2) vnitrosubjektový design
•Randomizace pořadí – důležitá
•Counterbalancing
•
•
•

(2) vnitrosubjektový design
•A) Complete counterbalancing
•stejný počet respondentů absolvuje danou sekvenci
•Polovina čte první článek s kritickými komentáři, polovina bez
•ABC, ACB, BAC, BCA, CAB, and CBA (4 podmínky potřebují 24, 5 potřebuje 120, atd.)
•Není random assigment „do skupin“ (nemám “skupiny“)
•Ale specifické pořadí musí být přiřazeno náhodně
•
•
•

(2) vnitrosubjektový design
•B) Latinský čtverec
•„sudoku“
•Každá podmínka musí být na každé pozici
•
•
•

(2) vnitrosubjektový design
•C) Random counterbalancing
•Každému dám random kombinaci
•nejméně efektivní
•
•

(2) vnitrosubjektový design
•Někdy problémy s délkou experimentu
•Podle podmínek x krát delší než between-subject
•
•Někdy ani nelze realizovat – je jasný účel studie po první podmínce
•

Který design zvolit?
•Zvažte všechny faktory
•Mezisubjektivní bývá konceptuálně jednodušší
•I jednodušší na analýzu
•Potřebný vzorek – vnitro potřebuje méně
•Jakékoli efekty pořadí – pomůže counterbalancing?
•Náročnost pro respondenty – není toho u vnitra příliš?
•Vnitro – méně „noise“ v datech
•
•

Factorial design
•Testování dvou a více nezávislých proměnných současně
•Ne jen podmínek! Můžu mít 1 NP se třemi podmínkami
•Každá podmínka nezávislé proměnné je zkombinována s každou podmínkou další nezávislé proměnné
•2x2, 2x3 designy atd. (3x4 – 12 skupin)
•Výhoda: umožňuje sledovat hlavní efekty i interakce proměnných
•
•Full factorial a incomplete factorial
•
•

Factorial design
•Př: This study used a 4x2 experimental design that varied the genre of website (news organization,
e-commerce, special interest, or personal sites) with verity of the site (a fictional or real site)
to test the hypotheses and research questions. The dependent variables were the three types of
credibility perceptions.
•The websites used in this study all contained an identical news story on the topic of the
potentially harmful effects of radiation on pregnant women who fly in airplanes. This particular
story, originally obtained from a reputable, national news source, was selected due to its
plausibility of appearing on each of the sites used in the study. The story was stripped of all
references to experts and expert sources (e.g. ‘according to Dr. Smith ...’ or ‘the Institute for
Radiation Study reports that ...’) and was embedded in each site as a prominent, live ‘link’.
Website genres included a news organization with no direct interest in the issue (CNN;
www.cnn.com), a relevant e-commerce site (BabyCenter.com;www.babycenter.com), a special interest
group related to the issues in the story(Children’s Defense Fund; www.childrensdefense.org), and a
personal webpage.
•In order to test RQ1, parallel sites were constructed which mirrored the ‘real’sites exactly,
except that the name of the sponsoring entity was changed to a fictitious one throughout the site
(‘Online news’ for CNN, ‘Child Rights Fund’ for Children’s Defense Fund, and ‘BabyPlace’ for
BabyCenter).This was done for all but the personal sites, for which both male and female versions
were created.
• (Flanagin & Metzger, 2007)
•

Mixed factorial design
•Kombinace between a within subject designu
•Jedna proměnná se mění mezisubjektivně, druhá vnitrosubjektivně
•Ostatní zásady obou designů musí být dodrženy
•
•Př: článek napříč dvěma médii (liší se mezi skupinou), všichni čtou 2 články - poprvé s a podruhé
bez kritických komentářů
•
•

Mixed factorial design
•We conducted a mixed-factorial experiment with modality as a between-subjects factor and story as
a within-subjects factor. Participants were randomly assigned to one of three storytelling mediums
(VR vs. 360°-video vs. Text) to read two stories from the New York Times, ‘‘The displaced’’24–26and
‘‘The click effect.’’ Story order was counterbalanced.
•Participants in VR condition experienced the stories using a smartphone and a Cardboard VR
headset. VR stories were accessed from the New York Times VR mobile app and YouTube channel ‘‘The
Daily 360°.’’bIn 360°-video condition, participants experienced the stories on traditional desktop
computers. Participants in Text condition read both stories from the New York Times’ online news
sites (www.nytimes.com) using the same computers.
•Sundar, S. S., Kang, J., & Oprean, D. (2017). Being there in the midst of the story: How immersive
journalism affects our perceptions and cognitions. Cyberpsychology, Behavior, and Social
Networking, 20(11), 672-682.
•
•

Další designy
•Je jich opravdu hodně
•Viz Maxwell, S. E., Delaney, H. D., & Kelley, K. (2017). Designing experiments and analyzing data:
A model comparison perspective. Routledge.
•

Hypotézy a design pro téma
•1) Vnímání perzuazivních vzkazů
•2) Cyberhate
•
•Uveďte proč, co jste zvažovali

Možnosti designů
•Designy se dále „komplikují“
•Dnes velmi široké možnosti analýz
•Jaké všechny faktory můžeme vzít v úvahu?
•Jak můžeme přistupovat k analýze dat?

Možnosti designů
•Historicky – základní designy postaveny na porovnávání průměrů
•Dnes – multivariační přístupy
•Např. regresní modely s podmínkou jakožto interakcí
•Zvyšují možnosti experimentální explanace
•