Operacionalizace a měření v kvantitativním výzkumu POL 494, 10.4. 2019 Operacionalizace •Teorie- vztah mezi koncepty, často dosti abstraktní, přímo nepozorovatelný („volební systém ovlivňuje stranický systém“) • • •Vztah mezi proměnnými na zcela konkrétní, měřitelné úrovni („.....ovlivňuje.......“) operacionalizace Charakter operacionalizace •Pro jeden koncept mnoho způsobů operacionalizace i způsobů, jak ho měřit •Obvykle operacionalizace spojena i s vymezením prostorové a časové dimenze (předchází operacionalizaci konceptů- ptáme se, „jaké případy měřit v jakém čase“). •„Nejlepší“ operacionalizace je taková, která nejlépe vyjadřuje teoretický problém, který chceme studovat. •Chybné měření nám zabraňuje korektně posoudit původní teoretický vztah na konceptuální úrovni. Studium politiky a data • • • • Data, která si chceme nasbírat (podceňujeme problémy, které jsou s tím spojeny) Data, která už nasbíral někdo před námi (přeceňujeme jejich využitelnost) PROBLÉM: PŘI STUDIU POLITIKY OBVYKLE VÍME, CO JSOU NEJLEPŠÍ DATA A ZÁROVEŇ VŽDY NEMUSÍ BÝT JEDNODUCHÉ JE ZÍSKAT (X EKONOMIE (HDP) X PSYCHOLOGIE (DEPRESE)). „Obtížné koncepty“ (příklady) •„Aktivismus soudů“ • •„Progresivismus legislativy“ • •„Politická sofistikovanost“ • •„Sociální kapitál“ • Jaké problémy jsou spojeny s operacionalizací a měřením •Konceptuální jasnost- musíme přesně vědět, co chceme měřit • •Příklad: příjem • •Příklad: status • Reliabilita •Pokud měříme dvakrát tu samou věc, ve stejném stavu (věci), musíme dojít ke stejnému výsledku měření. • •Př: váha, kódování zpráv Validita (u konceptů) •Měřící nástroj a měření akurátně reprezentují koncepty, o které se zajímáme. • •Zjevná validita • •Validita daná výčtem obsahu (konceptu) • •Konstruktová validita Validita (šířeji) jako „aproximace k pravdě“ (Shadish et. al. 2002) • • •Validita (v emprickém výzkumu): naše vědění (získané inferencí) je přibližně pravdivé. Komponenty validity: externí a interní validita •Interní validita: přibližná pravda inference nebo získaného vědění v rámci populace, kterou jsme studovali („jak dobře jsme zkoumali, co nás zajímá“) • •Externí validita: přibližná pravda inference nebo získaného vědění mimo studovanou populaci. („jestli to, co jsme zjistili, lze automaticky vztáhnout i mimo zkoumanou populaci“). •Stačí k porozumění konceptu validity? Ne nestačí! Dekonstrukce interní validity •Interní validita má několik komponent: • • •Statistickou •Kauzální •Konstruktovou Interní validita má několik komponent: Statistická validita •Obecně jde o efektivní a přesné použití statistických nástrojů (statistické usuzování- například se předpokládá něco o distribuci hodnot proměnných nebo o vztahu proměnných a podle toho se používá statistika), posouzení statistické významnosti a síly vztahu. •Při studiu kauzality zjišťuje, zda existuje statisticky významný vztah (kovariance) mezi proměnnými, které výzkumníka zajímají a zda lze určit jeho velikost •Manski: SV je o tom, jak velikost a variabilita vzorku ovlivňuje závěry, které můžeme udělat o populaci. • Diskuse o statistické významnosti • •Statistická významnost= pravděpodobnost, že náš vybraný vzorek pochází ze souboru, ve kterém platí nulová hypotéza. •Koncept důležitý v experimentech a při náhodných výběrech •Konvence většinou je 0.05, chceme nižší, abychom řekli, že náš výsledek je „statisticky významný“- za tím se ale honíme zbytečně často. •„Vyšší statistická významnost neznamená větší důležitost výsledku“ •Důležitá i velikost efektu Př. •500 kandidátů si v komunálních volbách si dělá personalizovanou kampaň, 500 ne •Chceme zjistit, zda personalizace kampaně má vliv na jejich volební výsledek •Zjistíme, že mezi skupinami jsou statisticky významné rozdíly •Skupina s personalizovanou kampaní získala průměrně o 0,4% hlasů více. •Věcná významnost sporná. •vs. •15 kandidátů si v komunálních volbách si dělá personalizovanou kampaň, 15 ne •Chceme zjistit, zda personalizace kampaně má vliv na jejich volební výsledek •Zjistíme, že mezi skupinami nejsou statisticky významné rozdíly •Skupina s personalizovanou kampaní získala průměrně o 3,5% hlasů více. •Věcná významnost potenciálně vysoká, statistickou validitu narušuje malé N. • Příklad statistické validity: průzkumy veřejného mínění (zdroj euro.cz) 1.png pref.png Př. Statistické validity: distribuce hodnot (vhodná statistika) http://blisty.cz/art/files/2003/11/01/2003-10.gif http://www.fgse.nova.edu/edl/secure/stats/images/image12.gif U dat obvykle předpokládáme normální distribuci, pokud není, musíme tomu přizpůsobit statistické nástroje, pomocí kterých je analyzujeme Např. zde není průměr vhodnou statistikou, zajímá-li nás centrální tendence v populaci Viceméně normální rozložení Statistická replikace • •Prostředek zvyšování statistické validity: buďto se použije jiný vzorek ze stejné populace nebo jiná statistická metoda u stejného vzorku (v DP a observačních studiích to neděláme- časově a finančně nákladné, v experimentech často ano). • •Souvisí s tzv. replikační krizí v sociálních vědách Kauzální validita •Jde o určení toho, zda variance, nalezená v datech, má kauzální charakter. •Prakticky to znamená určit (a být si jist), že změna v T způsobuje Y. •Nejde o to, jak velký je vztah (to je statistická validita), ale o identifikaci proměnných, které se na něm podílí. •„Čtyři kauzální překážky“ (viz předchozí přednášky). Příklady problematické kauzální validity •„Budu zkoumat, jak míra profesionalizace kampaně ovlivňuje podporu strany“ (čtvrtá překážka). • •„Zjistila jsem v datech, že pohlaví ovlivňuje ideologickou orientaci“ (první překážka, pokud nedoplníme o přesvědčivý mechanismus a konstatujeme jen na základě dat). • •„Data sice navrhovaný vztah zatím nepotvrdila, ale mechanismus mezi závislou a nezávislou proměnnou je logický a vztah tedy existuje“ (třetí překážka). • • Konstruktová validita •Hodnocení toho, jak validní je pozorování/data pro teorii, k níž je vztaženo. • •Širší než kauzální validita, nejde jen o to, zda mezi T a Y je kauzální vztah, ale o to, zda tento vztah jde dobře (validně) uplatnit i na T a Y v již existující teorii (z níž jsme vyšli). Příklady otázek, které si klademe u konstruktové validity (MW 2010:261) •Jsou možné volby/úkoly subjektů (např. to, na co odpovídají v dotazníku, jak se rozhodují v experimentu) stejné jako v teorii? Získáme pak data, která bezpečně můžeme vztáhnout k teoretickým konceptům? •Jsou proměnné, které považuje teorie za konstantní, i konstantní ve výzkumu? •Je rozsah informace dostupný aktérům obdobný, jak to předpokládá teorie? •Jsou subjekty ze stejné populace, jako předpokládá teorie? • Hrozby interní validitě, pokud zkoumáme lidi (Campbell-Stanley 1966) •Selekce •Historie •Zrání •Opakované testování •Instrumentace (nedokonalé instrumentální proměnné) •Regrese k průměru •Úmrtnost (subjektů) •Zkreslení vyvolané pozorovatelem (obtrusivní techniky) Externí validita •Úzce souvisí s koncepty „robustnosti“ výsledku a „vědecké replikace“. • •Vědecká replikace odkazuje k situaci, kdy (např. v teoretickém vakuu) buďto opakujeme náš výzkum na jiné populaci, abychom ověřili naše původní zjištění nebo rozšíříme teorii o další předpoklady na stejné populaci. Úkol • • ÚKOL • • •Jak byste měřili vývoj míry korupce v konkrétní zemi? Příklad měření složitějších konceptů: Demokracie- Polity IV • • Problém s Polity IV: USA (souvisí s obsahovou validitou) • • Jiný příklad: Politická tolerance •Stouffer: v 50. letech se ptal reprezentativního vzorku obyvatel USA, zda by nechali učit ve veřejných školách komunisty, socialisty, ateisty atd. V 70. letech výzkum opakoval, zjistil značné snížení netolerance • •Validita tohoto výzkumu radikálně zpochybněna, proč?