Filozofické základy měření v psychologii 5. a 12. 10. 2021 PSYn4790 Psychometrika: měření v psychologii Jan Šerek Co znamená něco měřit v psychologii? Oproti měření, jak jej známe z přírodních věd, měřené atributy: • mají výrazně proměnlivější vzájemné vztahy • nemají jednoznačné kauzální příčiny a důsledky • často nemají jasnou definici, na které by se psychologové shodli Co znamená něco měřit v psychologii? Jen obtížně lze popřít sociální/kulturní (spolu)konstruovanost psychologických pojmů – konstruktů, které spíše vytváříme, než abychom je objevovali Co znamená něco měřit v psychologii? Jen obtížně lze popřít sociální/kulturní (spolu)konstruovanost psychologických pojmů – konstruktů, které spíše vytváříme, než abychom je objevovali Jak si lze představit měření něčeho, co je konstruované? Měříme tak vůbec něco reálného? A pokud ano, lze u těchto věcí určovat jejich kvantitu? Co v takovém kontextu znamená chyba měření? Co znamená něco měřit v psychologii? Jestliže v přírodních vědách můžeme měření chápat jako proces přiřazování číselných hodnot k různým veličinám (např. hmotnost), potom měření v psychologii • lze chápat pouze metaforicky • nebo musí mít jinou definici než v přírodních vědách Co znamená něco měřit v psychologii? Specificky psychologické pojetí měření? • definice se v praxi obvykle příliš neřeší: měření = testování? • koexistence více různých modelů měření, za nimiž stojí často radikálně odlišné filozofické přístupy Reálný fenoménMěření Reálný fenoménMěření Konstrukt Reálný fenoménMěření Konstrukt Pozorovatelný Nepozorovatelný Odkazování Popis Číselný záznam konstruktu, jeho empirická paralela Součást vědeckého jazyka Přehled Záleží hodnota vědeckých teorií na existenci entit, které tyto teorie předpokládají? NE: Antirealismus (konstruktivismus) Logický pozitivismus Operacionalismus Pragmatismus/instrumentalismus ANO: Realismus Naivní realismus Kritický realismus Přehled Záleží hodnota vědeckých teorií na existenci entit, které tyto teorie předpokládají? NE: Antirealismus (konstruktivismus) Logický pozitivismus Reprezentační model Operacionalismus Model klasické testové teorie Pragmatismus/instrumentalismus ANO: Realismus Naivní realismus Kritický realismus Model latentních proměnných Modely toho, co je to měření (Borsboom, 2005) Racionalismus versus empirismus(podle SEP) Racionalismus • Některé věci poznáváme skrze své intuice či následnou dedukcí • Některé naše znalosti plynou přímo z našeho rozumu • Některé pojmy, které používáme, plynou přímo z našeho rozumu Empirismus • Naše znalosti a pojmy nemají jiný původ než v naší smyslové zkušenosti Empirismus (D. Hume) • Souvislost příčiny a účinku nelze nikdy nahlédnout a priori (logickou analýzou pojmů) • Zakoušíme pouze pravidelný sled zkušeností • Pouze na základě zvyku interpretujeme časový sled jako nutnost (kauzalitu) • Problematizuje jakékoli hledání obecných zákonitostí existentialcomics.com Moderní pojetí vědy • Výhradně smyslový (empirický) základ našeho poznání • Místo nahlédnutí kauzální nutnosti sledování a zobecňování pravidelností, které se objevují v našich pozorováních • Snaha „odplevelit“ vědecké myšlení o veškerou metafyziku, tj. od všeho, co nelze převést na smyslová pozorování Logický pozitivismus Teoretická část vědeckých teorií • zahrnuje veškeré naše teoretické pojmy (inteligence, neuroticismus, úzkost atd.) • nástrojem její výstavby je logika Empirická/observační část vědeckých teorií • tzv. protokolární věty, které vypovídají o našich smyslových pozorováních Pravidla, která nám umožňují převádět mezi teoretickým a observačním slovníkem • např. jak převést inteligenci na sadu protokolárních vět Logický pozitivismus Základní důsledky • naše teoretické pojmy (konstrukty) nemají svůj předobraz v realitě (resp. jsme-li skuteční vědci, je pro nás tato otázka nezodpověditelná) • ve vědě mají místo jen takové pojmy, které jsou jednoznačně převoditelné na konkrétní smyslová pozorování („smysl věty je metoda její verifikace“) • vědecké poznání je tedy bezrozpornou sítí konstrukcí, které vytváříme nad jednoznačně daným empirickým základem • věda nesmí jít za to, co můžeme najít v naší smyslové zkušenosti Reálný fenoménMěření Konstrukt Pozorovatelný Nepozorovatelný Odkazování Popis Číselný záznam konstruktu, jeho empirická paralela Součást vědeckého jazyka Klasický behaviorismus Přenesení a radikální domyšlení důsledků logického pozitivismu v oblasti psychologie • psychické stavy a procesy nejsou pozorovatelné – usuzujeme na ně pouze nepřímo, proto je příliš velká spekulace vpustit je do našich teorií • jediné, pro co máme v naší zkušenosti základ (o čem lze tvořit protokolární věty) a na čem můžeme stavět vědecké poznání, je chování Některé problémy logického pozitivismu • Předpoklad, že všechny vědecké pojmy jsou plně převoditelné na smyslová pozorování, je nerealistický • podobně v rámci klasického behaviorismu selhává předpoklad, že se obejdeme bez konstruktů, které by odkazovaly k psychickým stavům a procesům • Smyslová pozorování nejsou neutrální (jsou vždy „kontaminovaná“ nějakou teorií) • Smyslová pozorování v sobě neobsahují jasný návod, jak je začlenit do teorie – mohou být do teorie začleněna různými způsoby Logický pozitivismus a psychologické měření Vliv operacionalismu – jedné z radikálních variant logického pozitivismu • vědecké pojmy neznamenají nic jiného než sadu operací, které jsme podnikli za účelem jejich pozorování (Bridgman) • nemá smysl ptát se, měříme-li „něco skutečného“ • takový přístup umožňuje známou Stevensovu definici „měření jako přiřazování čísel objektům podle nějaké pravidla“, přičemž tímto pravidlem může být cokoli kromě náhody Reálný fenoménMěření Konstrukt Pozorovatelný Nepozorovatelný Odkazování Popis Číselný záznam konstruktu, jeho empirická paralela Součást vědeckého jazyka Přitažlivost operacionalismu Elegantní způsob, jak definovat měření a zároveň se vyhnout metafyzice a spekulaci • můžeme v psychologii měřit a přitom zůstat striktními empiriky • nemusíme předpokládat, že naše konstrukty odkazují k nějakým reálným entitám (… co konkrétně by jimi ostatně mělo být?) • značná ontologická úspornost Operacionalismus v klasické testové teorii Klasická testová teorie jako model (představa, reprezentace) toho, jak vypadá měření • základ v analogii s přírodními vědami – opakovaná měření veličiny, nahodilé fluktuace s normálním rozložením chyb, průměr jako cesta ke správnému odhadu • pravý skór = ten, který můžeme u daného člověka na daném měřicím nástroji očekávat napříč vzájemně nezávislými replikacemi • chyba = rozdíl oproti tomu, co jsme reálně naměřili Měření je definováno čistě ve vztahu ke konkrétnímu testování a bez odkazování k dalšími entitám Operacionalismus v klasické testové teorii Co přesně znamenají ony replikace? • v případě psychologie si je nelze představit doslova, protože nikdy neměříme znova „téhož“ člověka (předchozí znalost testu, únava) • odkazují proto spíš k myšlenkovému experimentu, ve kterém člověka testujeme opakovaně, přičemž mezi každým testováním dochází k cestování v čase zpět a vymytí mozku • CTT nicméně nedefinuje v jakých hranicích máme tyto replikace provádět – co se má měnit – nic? vše? něco? Operacionalismus v klasické testové teorii Důsledky • jestliže je pravý skór definovaný výhradně ve vztahu k procesu měření, má každý test unikátní vlastní pravý skór • pravý skór (byť to slovo tak zní) neodkazuje k ničemu reálnému či ke konstruktovému skóru, ale pouze k myšlenkovému experimentu v pozadí • nelze říci, jak mohou dva testy měřit ten stejný konstrukt • každý (i nesmyslný) test má z definice svůj pravý skór Shrnutí problémů operacionalismu • Neadekvátní množení teoretických entit • Nemožnost vzájemně k sobě vztáhnout výsledky více testů měřících tentýž konstrukt • Nemožnost adekvátně vymezit chybu měření Další cesty pro logický pozitivismus Empirický základ – korelace mezi testovými skóry a dalšími proměnnými • snaha vytvořit konstrukci na jejich základě a definovat tímto způsobem měřené atributy (bez jakýchkoli metafyzických závazků) Měřené atributy mohou například odpovídat systematickým indukcím nad pozorovanými vzorci chování („kdyby člověk měl takovouto úroveň neuroticismu, vykazoval by takovéto vzorce“) Další cesty pro logický pozitivismus Reprezentační model • měření jako konstruování matematické reprezentace empiricky pozorovaných vztahů mezi lidmi • přiřazovaná čísla pomáhají uchovávat pozorované empirické vztahy (homomorfismus) • jde o jakousi přiznaně zkonstruovanou mapu • inteligence je tak například reprezentace empiricky pozorovaných vztahů mezi lidmi a položkami v testu problém: jak naložit s chybou měření? Pragmatismus (instrumentalismus) • Cílem teorií je umožnit nám úspěšné fungování v okolním světě – efektní jednání, dosahování cílů apod. • Důraz na praktické důsledky našich teorií – lze vztáhnout i k měření • Hlavním kritériem úspěšného psychologického měření je tedy to, zda je pro nás jeho výsledek nějak dále užitečný Pragmatismus při měření • Měření nelze chápat jako získávání znalostí o měřených osobách • Měření v podstatě odpovídá tomu, že dojde k nějaké testové proceduře, která přinese určité výsledky • poměrně protiintuitivní předpoklad, protože testování obvykle zahrnuje měřicí a „ne-měřicí“ aspekty, mezi kterými dokážeme rozlišovat • neumožňuje nám identifikovat, jak došlo k tomu, že test funguje Antirealismus (konstruktivismus) • Logický pozitivismus • Operacionalismus • Pragmatismus/instrumentalismus • Sociální konstruktivismus Realismus • Cílem vědeckého zkoumání je získávat poznání o okolním světě • Realistické „závazky“: • Metafyzický: Existuje svět, který je (částečně) nezávislý na našem poznání • Sémantický: Věty o okolním světě mohou mít pravdivostní hodnotu • Epistemologický: Pravdivé věty o okolním světě představují naši znalost o něm • Realismus entit (např. vazba) – realismus teorií (např. faktory přispívající k jejímu formování) Přitažlivost realismu • Argument zázrakem: jediný filozofický přístup, pro který nepředstavují úspěchy vědy zázrak • Elegantní vysvětlení, jak je možné, že skrze různé postupy často dospíváme k předpokladu týchž entit a teorií Realismus v psychologii • Psychologie a její měření často implicitně stojí na realistických východiscích • intuitivně odlišujeme měřený atribut od měření samotného • běžné intuitivní pojetí chyby měření není možné bez rozlišování mezi naměřeným a „reálným“ (konstruktovým) skóre Realismus v psychologii • Psychologie a její měření často implicitně stojí na realistických východiscích • intuitivně odlišujeme měřený atribut od měření samotného • běžné intuitivní pojetí chyby měření není možné bez rozlišování mezi naměřeným a „reálným“ (konstruktovým) skóre • Zároveň se ale často explicitnímu realismu vyhýbáme, zvláště s odkazem na sociální/kulturní (spolu)konstruovanost psychologických pojmů Běžné miskoncepce realismu • Realismus = pozitivismus (versus sociální konstruktivismus) • ve skutečnosti představují pozitivismus a sociální konstruktivismus filozofické sourozence, zatímco realismus se od obou výrazně odlišuje • Realismus = redukcionismus (např. biologismus či fyzikalismus) • předpoklad „reálné“ existence psychologických entit nutně neznamená jejich neurofyziologickou či obecně materiální povahu • Realismus = naivní realismus • realismus nemusí nutně znamenat naivní víru, že se v našem poznání odráží svět přímo tak, jak je Příklad realistického přístupu k měření (Edwards & Bagozzi) • Pozorované skóre – náš kvantifikovaný záznam o konstruktu, výsledek použití našich měřicích nástrojů • Konstrukt – pojem, který slouží k popisu fenoménu, jenž nás zajímá 1. Konstrukty odkazují k fenoménům, které skutečně existují nezávisle naší reflexi 2. Konstrukty samy o sobě reálné nejsou – jde o součásti vědeckého diskurzu, představují slovní pojmenování fenoménů, které nás zajímají 3. Fenomény popisované konstrukty mohou být pozorovatelné (např. výkon) i nepozorovatelné (např. postoj) 4. Konstrukty se liší v tom, jak dobře popisují a dávají význam fenoménům, kterými se zabýváme Příklad realistického přístupu k měření (Edwards & Bagozzi)  Kritický realismus • Často existují alternativní „empiricky ekvivalentní“ konstrukty a teorie, které nám umožňují uchopit zkoumané fenomény • Naše konstrukty a teorie jsou společensky a kulturně podmíněné, vznikají v určitém historickém okamžiku, proměňují se v čase, promítají se do nich veškeré předpoklady, omezení, motivace atd. spojené s určitou vědeckou komunitou … přesto však odkazují k reálně existujícím fenoménům • Nepoznáváme svět neutrálně, což ale neznamená, že jej nepoznáváme vůbec Latentní proměnné • Modely měření pracující s latentními proměnnými předpokládají realistickou ontologii • Umožňují jednoznačnou interpretaci chyb měření • Předpokládají kauzální vztah mezi latentní proměnnou a jejími indikátory (měřená entita je kauzální příčinou skórů, které pozorujeme) chyba Působení konstruktů na indikátory • Klíčová otázka pro realismus, irelevantní z hlediska pozitivismu (vč. operacionalismu) • Tradiční podmínky kauzality • Kovariance (asociace) • Časová následnost • Vyloučení třetích proměnných • Modely latentních proměnných v sobě všechny tyto tři podmínky zahrnují • Prakticky lze splnění všech podmínek alespoň částečně empiricky testovat, anebo nad nimi uvažovat pomocí myšlenkových experimentů Působení konstruktů na indikátory Dvě důležitá témata • Problém s kovariancí (a jeho důsledky pro naše pojetí povahy měřených konstruktů) • Reflektivní versus formativní měření Problém s podmínkou kovariance (Borsboom) • Kovariance odpovídá předpokladu, že se s odlišnou pozicí člověka na latentní proměnné mění jeho očekávané skóre na indikátoru • Tuto kovarianci ovšem typicky zjišťujeme pouze mezi-subjektově (tj. na základě vztahu jednotlivce k nějaké populaci) • Na vnitro-subjektové úrovni (tj. na úrovni vnitřních procesů jednotlivce) často žádná variabilita, a tudíž ani kovariance neexistují • viz například inteligence či osobností rysy Mezi- vs. vnitro-subjektové měření (Borsboom) • Kromě toho, pokud nějaká vnitro-subjektová variabilita existuje … • o vnitro-subjektové struktuře (dimenzionalitě) konstruktů typicky nemáme téměř žádné poznatky • pokud tyto poznatky máme, naznačují, že struktura konstruktů je běžně odlišná na mezi-subjektové úrovni a vnitro-subjektové úrovni • vnitro-subjektová struktura se navíc může lišit člověk od člověka Mezi- vs. vnitro-subjektové měření (Borsboom) • Typickou chybou psychologie je, že interpretuje konstrukty, o kterých máme poznatky pouze na mezi-subjektové úrovni, jako by se jednalo o poznatky vnitro-subjektové • inteligence jako entita v hlavě/mysli daného člověka, která jej vede k určitému odpovídání v testu • pět komponent pěti-faktorového modelu jako pět entit v hlavě každého z nás, které v nás probouzejí určité chování Mezi- vs. vnitro-subjektové měření (Borsboom) • Typickou chybou psychologie je, že interpretuje konstrukty, o kterých máme poznatky pouze na mezi-subjektové úrovni, jako by se jednalo o poznatky vnitro-subjektové • inteligence jako entita v hlavě/mysli daného člověka, která jej vede k určitému odpovídání v testu • pět komponent pěti-faktorového modelu jako pět entit v hlavě každého z nás, které v nás probouzejí určité chování • Paradoxní přitom je, že když rekonstruujeme kognitivní vnitrosubjektový proces odpovídání člověka na položky v inteligenčním testu, žádná „tajemná“ entita jménem inteligence do tohoto procesu nevstupuje Mezi- vs. vnitro-subjektové měření (Borsboom) • Příklady chybných úvah plynoucích ze záměny mezi-subjektového a vnitro-subjektového • koeficient dědičnosti pro IQ skóry o velikosti .50 znamená, že 50 % mé inteligence jsem zdědil • skutečnost, že 30 % variability mezi studenty v dosažených známkách vysvětluje výsledek přijímacího řízení, neznamená, že 30 % mých známek je vysvětlitelných na základě výsledků přijímacího řízení • lineární model růstu (čehokoli) znamená, že mohu očekávat lineární růst na úrovni jednotlivců Co s tím? Typologie konstruktů (Borsboom) • Lokálně homogenní • náš konstrukt správně vysvětluje mezi-subjektové i vnitro-subjektové rozdíly • struktura konstruktu je tatáž pro každého člověka • příklady: nálada, úzkost, nabuzení • Lokálně heterogenní • konstrukt s jasnou mezi-subjektovou strukturou, ale odlišnými vnitro-subjektovými strukturami • příklady: stres, některé postoje • Lokálně irelevantní • stabilní konstrukty, u kterých typicky považujeme vnitro-subjektovou variabilitu za chybu měření • obrovská abstrakce z individuální roviny • příklady: inteligence, osobnostní rysy Co s tím? (Borsboom) • Psychologie by se měla zaměřit na vnitro-subjektové souvislosti konstruktů, které typicky zkoumáme výhradně mezi-subjektově • znamená to i částečnou proměnu její metodologie • Měli bychom si ujasnit, co vlastně myslíme konstrukty spadajícími do lokálně irelevantní skupiny • nemohou být nalezeny na rovině jednotlivců • jedná se spíše o charakteristiky větších celků (populací) • naším úkolem může být hledat teorii, která dokáže smysluplně propojit tyto abstraktní mezi-subjektové konstrukty s procesy na úrovni jednotlivců Reflektivní versus formativní měření (Edwards & Bagozzi) • Realismus neznamená, že všechny konstrukty musejí nutně odkazovat reálně existujícím fenoménům • Pro realisty tedy vzniká nutnost rozlišovat mezi měřením, při kterém konstrukty kauzálně působí na získané skóry (= reflektivní měření), a měřením, při kterém ze skórů post hoc formujeme své konstrukty (= formativní měření) • Zatímco formativní měření je dobře slučitelné i s pozitivismem, reflektivní měření je čistě realistickou záležitostí Reflektivní versus formativní měření (Edwards & Bagozzi) chyba chyba Reflektivní versus formativní měření (Edwards & Bagozzi) • Z hlediska shody modelu s našimi pozorováními jsou obě alternativy často ekvivalentní – nejde tedy o dilema zodpověditelné statistickou analýzou • Prakticky ale mohou být na každý z modelů navázány různé statistické postupy (faktorová analýza versus analýza hlavních komponent) • Klíčová pro určení reflektivnosti versus formativnosti našeho měření jsou proto zejména naše teoretická východiska a také úvaha o časové posloupnosti (jako jedné z podmínek kauzality) pozorovaných skórů a konstruktu Modely měření (Edwards & Bagozzi) chyba chyba Přímý reflektivní Přímý formativní Modely měření (Edwards & Bagozzi) chyba chyba Nepřímý reflektivní Nepřímý formativní chybachyba Modely měření (Edwards & Bagozzi) chyba Nepřímý reflektivní Nepřímý formativní chyba chyba chyba chyba chybachybachyba Modely měření (Edwards & Bagozzi) chyba Nepravý (spurious) chyba Modely měření (Edwards & Bagozzi) Příklad: měření stresu prostřednictvím náročných životních událost (Holmes & Rahe) • reflektivní? • formativní? • nepravý? Shrnutí • Pozitivismus a operacionalismus (klasická testová teorie, reprezentační model měření) • Pragmatismus • Realismus (latentní proměnné) • Formativní a reflektivní měření