Operacionalizace, měření a validita v kvantitativním výzkumu POLn4003, 10.4. 2024 Operacionalizace •Teorie- vztah mezi koncepty, často dosti abstraktní, přímo nepozorovatelný („volební systém ovlivňuje stranický systém“) • • •Vztah mezi proměnnými na zcela konkrétní, měřitelné úrovni („.....ovlivňuje.......“) operacionalizace Charakter operacionalizace •Pro jeden koncept mnoho způsobů operacionalizace i způsobů, jak ho měřit •Obvykle operacionalizace spojena i s vymezením prostorové a časové dimenze (předchází operacionalizaci konceptů- ptáme se, „jaké případy měřit v jakém čase“). •„Nejlepší“ operacionalizace je taková, která nejlépe vyjadřuje teoretický problém, který chceme studovat. •Chybná operacionalizace, byť ji následuje korektní měření, nám zabraňuje korektně posoudit původní teoretický vztah na konceptuální úrovni. Studium politiky a data • • • • Data, která si chceme nasbírat (podceňujeme problémy, které jsou s tím spojeny) Data, která už nasbíral někdo před námi (přeceňujeme jejich využitelnost) PROBLÉM: PŘI STUDIU POLITIKY OBVYKLE VÍME, CO JSOU NEJLEPŠÍ DATA A ZÁROVEŇ VŽDY NEMUSÍ BÝT JEDNODUCHÉ JE ZÍSKAT (X EKONOMIE (HDP) X PSYCHOLOGIE (DEPRESE)). „Obtížné koncepty“ (příklady) •„Aktivismus soudů“ • •„Progresivismus legislativy“ • •„Politická sofistikovanost“ • •„Sociální kapitál“ • Jaké problémy jsou spojeny s operacionalizací a měřením (I.) • •Konceptuální jasnost- musíme přesně vědět, co chceme měřit • •Příklad: příjem • •Příklad: status • Problém II.: Reliabilita • •Pokud měříme dvakrát tu samou věc, ve stejném stavu (věci), musíme dojít ke stejnému výsledku měření. • •Př: váha, kódování zpráv Problémy III: Validita (u konceptů při operacionalizaci) •Měřící nástroj a měření akurátně reprezentují koncepty, o které se zajímáme. • •Zjevná validita • •Validita daná výčtem obsahu (konceptu, realistický přístup) • •Konstruktová validita (semantický přístup) Validita (šířeji) jako „aproximace k pravdě“ (Shadish et. al. 2002) • • •Validita (v emprickém výzkumu): naše vědění (získané inferencí) je přibližně pravdivé. Komponenty validity: externí a interní validita •Interní validita: přibližná pravda inference nebo získaného vědění v rámci populace, kterou jsme studovali („jak dobře jsme zkoumali, co nás zajímá“) • •Externí validita: přibližná pravda inference nebo získaného vědění mimo studovanou populaci. („jestli to, co jsme zjistili, lze automaticky vztáhnout i mimo zkoumanou populaci“). • •Stačí k porozumění konceptu validity? Ne nestačí! Dekonstrukce interní validity •Interní validita má několik komponent: • • •Statistickou •Kauzální •Konstruktovou Interní validita má několik komponent: Statistická validita •Obecně jde o efektivní a přesné použití statistických nástrojů (statistické usuzování- například se předpokládá něco o distribuci hodnot proměnných nebo o vztahu proměnných a podle toho se používá statistika), posouzení statistické významnosti, síly vztahu, korektní lingvistickou reprezentaci statistiky. • •Při studiu kauzality zjišťuje, zda existuje statisticky významný vztah (kovariance) mezi proměnnými, které výzkumníka zajímají a zda lze určit jeho velikost • •Manski: SV je o tom, jak velikost, variabilita a reprezentativita vzorku ovlivňuje závěry, které můžeme udělat o populaci. • Diskuse o statistické významnosti • •Co znamená prakticky, že je něco statisticky významné: že naše data (měnící se hodnoty závislé proměnné) nejsou náhoda, ale můžeme je připsat působení nějaké proměnné. •Koncept důležitý v experimentech a při náhodných výběrech •Př. (Rabušic, Soukup): U náhodného reprezentativního výběru znamená, že riziko chybného zobecnění z náhodného reprezentativního výběru na celý základní soubor je nejvýše 0,05 (tj. 5 %). Jde o riziko, že nesprávně zamítneme statistickou nulovou hypotézu H0. •Konvence většinou je 0.05, chceme nižší p-hodnotu, abychom řekli, že náš výsledek je „statisticky významný“- za tím se ale honíme zbytečně často. •Celá řada problémů se statistickou významností souvisí s tím, že se tento typ usuzování používá v situacích, kdy to není korektní (např. cenzy, nenáhodné výběry, malé výběry) •„Vyšší statistická významnost neznamená větší důležitost výsledku“ •Důležitá i velikost efektu •V diplomce (ve vědě) důležité reportovat i nesignifikantní výsledky (říci, že při analýze vztahu mezi nějakými proměnnými nejsme schopni odmítnout nulovou hypotézu) Př. •500 kandidátů si v komunálních volbách si dělá personalizovanou kampaň, 500 ne •Chceme zjistit, zda personalizace kampaně má vliv na jejich volební výsledek •Zjistíme, že mezi skupinami jsou statisticky významné rozdíly •Skupina s personalizovanou kampaní získala průměrně o 0,4% hlasů více. •Věcná významnost sporná. •vs. •15 kandidátů si v komunálních volbách si dělá personalizovanou kampaň, 15 ne •Chceme zjistit, zda personalizace kampaně má vliv na jejich volební výsledek •Zjistíme, že mezi skupinami nejsou statisticky významné rozdíly •Skupina s personalizovanou kampaní získala průměrně o 3,5% hlasů více. •Věcná významnost potenciálně vysoká, statistickou validitu narušuje malé N. • Intervaly spolehlivosti •Používáme, pokud chceme v populaci odhadnout skutečnou hodnotu („pravdu o“) nějakého neznámého parametru (např. volební účasti) na základě dat ze vzorku. •Má horní a dolní hodnotu a určitou statistickou jistotu, říká nám, že se statistickou jistotou např. 95 % leží hodnota „pravdy“ o volební účasti v intervalu, ohraničeném horní a dolní hodnotou •Šířka intervalu závisí na velikosti vzorku a jeho variabilitě. •Prakticky to přináší problémy s interpretací různých sociálních událostí, vývojů, trendů. Příklad statistické validity: průzkumy veřejného mínění (zdroj euro.cz) 1.png pref.png Příklad statistické validity: průzkum nakažení koronavirem: duben 2020 • •Na vzorku 1000 náhodně vybraných obyvatel ČR zjistíme, že protilátky proti koronaviru má 6 osob (0,6 %) a noviny napíší, že nakažených v ČR bylo 60.000. •Jenže pokud se ptáme, v jakém intervalu leží 95 % pozorování z celé populace, bylo by to mezi 0,12 % a 1,08 %. •Korektní závěr by tedy byl, že v 95 % neprovedeme chybné zobecnění, pokud řekneme, že v Česku je mezi 12.000 a 108.000 nakaženými. Ten bohužel např. z hlediska politického rozhodování poskytuje mnohem míň jasný podklad (a spíš vyvolává otázku, k čemu výzkum byl). I proto jsou výsledky výzkumů v praxi zveřejňovány často nepřesně bodově a ne intervalově. •Predikce by se vylepšila (interval zúžil) s větším vzorkem (bohužel finanční ohledy). Př. Statistické validity: distribuce hodnot (vhodná statistika) http://blisty.cz/art/files/2003/11/01/2003-10.gif http://www.fgse.nova.edu/edl/secure/stats/images/image12.gif U dat obvykle předpokládáme normální distribuci, pokud není, musíme tomu přizpůsobit statistické nástroje, pomocí kterých je analyzujeme Např. zde není průměr vhodnou statistikou, zajímá-li nás centrální tendence v populaci Viceméně normální rozložení Statistická replikace • •Prostředek zvyšování statistické validity a někdy i ověřování reliability: buďto se použije jiný (větší) vzorek ze stejné populace nebo jiná statistická metoda u stejného vzorku (v DP a observačních studiích to neděláme- časově a finančně nákladné, v experimentech často ano). • •Souvisí s tzv. replikační krizí v sociálních vědách Kauzální validita •Jde o určení toho, zda variance, nalezená v datech, má kauzální charakter. •Prakticky to znamená určit (a být si jist), že změna v T způsobuje Y. •Nejde o to, jak velký je vztah (to je statistická validita), ale o identifikaci proměnných, které se na něm podílí. •„Čtyři kauzální překážky“ (viz předchozí přednášky). Příklady problematické kauzální validity- chyby v kauzálním usuzování •„Budu zkoumat, jak míra profesionalizace kampaně ovlivňuje podporu strany“ (čtvrtá překážka). • •„Zjistila jsem v datech, že pohlaví ovlivňuje ideologickou orientaci“ (první překážka, pokud nedoplníme o přesvědčivý mechanismus a konstatujeme jen na základě dat). • •„Data sice navrhovaný vztah zatím nepotvrdila, ale mechanismus mezi závislou a nezávislou proměnnou je logický a vztah tedy existuje“ (třetí překážka). • • Konstruktová validita •Hodnocení toho, jak validní je pozorování/data pro teorii, k níž je vztaženo. • •Širší než kauzální validita, nejde jen o to, zda mezi T a Y je kauzální vztah, ale o to, zda tento vztah jde dobře (validně) uplatnit i na T a Y v již existující teorii (z níž jsme vyšli). Příklady otázek, které si klademe u konstruktové validity (MW 2010:261) • •Jsou možné volby/úkoly subjektů (např. to, na co odpovídají v dotazníku, jak se rozhodují v experimentu) stejné jako v teorii? Získáme pak data, která bezpečně můžeme vztáhnout k teoretickým konceptům? •Jsou proměnné, které považuje teorie za konstantní, i konstantní ve výzkumu? •Je rozsah informace dostupný aktérům obdobný, jak to předpokládá teorie? •Jsou subjekty ze stejné populace, jako předpokládá teorie? • Příklad měření složitějších konceptů: Demokracie- Polity IV • • Problém s Polity IV: USA (souvisí s obsahovou validitou, více Kellstedt) • • Jiný příklad: Politická tolerance •Stouffer: v 50. letech se ptal reprezentativního vzorku obyvatel USA, zda by nechali učit ve veřejných školách komunisty, socialisty, ateisty atd. V 70. letech výzkum opakoval, zjistil značné snížení netolerance • •Validita tohoto výzkumu radikálně zpochybněna, proč? (Řešení Kellstedt) Hrozby interní validitě, pokud zkoumáme (experimentálně) lidi (Campbell-Stanley 1966) •Selekce •Historie •Zrání •Opakované testování •Instrumentace (nedokonalé instrumentální proměnné) •Regrese k průměru •Úmrtnost (subjektů) •Zkreslení vyvolané pozorovatelem (obtrusivní techniky) Externí validita •Úzce souvisí s koncepty „robustnosti“ výsledku a „vědecké (věcné) replikace“. • •Vědecká replikace odkazuje k situaci, kdy (např. v teoretickém vakuu) buďto opakujeme náš výzkum na jiné populaci, abychom ověřili naše původní zjištění nebo rozšíříme teorii o další předpoklady na stejné populaci. Interní a externí validita: příklad • • •Zkoumáme politické hodnoty příslušníků Aktivních záloh, zjistíme např., že mají vysoké hodnoty resilience a nízkou míru otevřenosti. Interní validita: kritéria hodnocení •Statistická: z AZ jsme vybrali dostatečně velký a variabilní (např. z hlediska zařazení a AZ) vzorek, zpracovali jsme pomocí korektních statistických metod (zde např. popisné statistiky). •Kauzální: tu bychom posuzovali, pokud by předpoklad byl, že ty vlastnosti ovlivňují rozhodnutí členství v AZ, případně naopak, odpovídali bychom na 4 KP. •Konstruktová: např. otevřenost bychom měřili pomocí validizované škály Big5, ne otázkou „Jste otevřený?“, která asi teoretický konstrukt (otevřenost) moc dobře neměří Externí validita: kritéria hodnocení •Náš výzkum na vzorku bychom byli schopni generalizovat na celé AZ. To by stačilo, abychom řekli, že náš výzkum má uspokojivou externí validitu, protože to jsme chtěli, usuzovat o AZ. Pokud by to nešlo a mohli jsme usuzovat jen o našem vzorku, byl by to problém pro externí validitu. •Tento výzkum by se asi nedal generalizovat mimo AZ (hodnoty AZ výrazně odlišné, než celé populace)- nedá se ale tvrdit, že je to jeho vada, to asi od počátku nebyl náš cíl. Interní a externí validita jako známka kvality dohromady •Výzkum, který nemá dobrou interní validitu, nemůže mít ani dobrou externí (bez interní validity totiž nemáme totiž validní závěry, které bychom mohli uplatnit mimo zkoumaný vzorek, ale vlastně ani v jeho rámci). •Výzkum s dobrou interní validitou může a nemusí mít dobrou externí