Úvod do psychometriky PSYb2590: Základy psychometriky | Přednáška 1 13. 2. 2023 | Hynek Cígler 3+1 magické důvody, proč studovat psychometriku. ANEB TŘI ULTIMÁTNÍ PSYCHOMETRICKÁ KOUZLA JIŽ DNES DOPOLEDNE VE VAŠÍ POSLUCHÁRNĚ! Důvod 1 Co chcete dělat po studiu? Důvod 2 Jak jste vysoký/vysoká? HTTP://FSSVM6.FSS.MUNI.CZ/HEIGHT/ Důvod 3 K tomuto kouzlu je potřeba asistent/ka psychometrického kouzelníka FSSVM6.FSS.MUNI.CZ/VYSKA D3: fssvm6.fss.muni.cz/vyska PŘÍPADNĚ ODKAZ VE STUDIJNÍCH MATERIÁLECH Zdroj: https://www.facebook.com/vimzenicnezmerim Bonusový důvod 4: Natural History Museum, London Zdraví Standa Ježek (2020)  „Psychometrics is a scientific discipline concerned with the construction of assessment tools, measurement instruments, and formalized models that may serve to connect observable phenomena (e.g., responses to items in an IQ-test) to theoretical attributes (e.g., intelligence). [...] Such models present conceptual, substantive, and statistical problems that psychometricians aim to analyze and solve. Because many of the questions that psychometricians study transcend disciplinary boundaries [...] the boundaries of the discipline are fuzzy; psychometrics is especially closely intertwined with methodology and statistics. Psychometric techniques are widely used across the sciences, and have found applications in educational testing, behavior genetics, sociology, political science, and neuroscience.“ Denny Borsboom (University of Amsterdam) https://www.psychometricsociety.org/content/what-psychometrics „Psychometrics is the approximation of latent psychological processes by means of stochastic analysis at both the individual and population levels.“ Peter Molenaar (Pennsylvania State University) https://www.psychometricsociety.org/content/what-psychometrics Psychometrika Věda o měření psychických jevů (nejen v psychologii). ◦ Pomocná psychologická disciplína – tvorba a hodnocení diagnostických a výzkumných metod. ◦ Teoretický obor i praktické „řemeslo“. Teorie měření v psychologii a příbuzných oborech. ◦ Čerpá zejména z metodologie a matematické statistiky. ◦ Úzce provázaná s psychologií osobnosti, individuálních rozdílů a dalších. Způsob měření často souvisí s tím, jak vnímáme některé psychologické konstrukty, či přímo náš pohled přímo utváří. ◦ Osobnost: Eysenck; Cattel & McCrae... Inteligence: Thurstone, Spearman, Cattel-Horn-Carroll... ◦ Např. extraverze jako osobnostní „typ“ (Jung; MBTIa) vs. kontinuální „míra“ (Eysenck, NEO). ◦ Deprese jako „latentní rys“ vs. deprese jako „dynamický síťový model“. a Tímto srovnáním v žádném případě neuvádím Junga do falešné souvislosti s pseudovědeckými diagnostickými metodami. Proč vás psychometrika zajímá? Využití psychometriky je všude kolem nás: v průběžných testech z psychometriky, státní maturitě, přijímačkách na VŠ, kariérním poradenství... Psychometrické znalosti jsou nezbytné pro praktické provádění psychologické diagnostiky (zejména v klinických a poradenských oborech včetně HR). Pochopení měření v psychologii umožňuje lépe uvažovat o psychických jevech. Měření je základem vědy. Poznatky, se kterými se potkáváte, byly „změřeny“. ◦ A validita těchto výzkumů je jen tak dobrá, jak dobré bylo použité měření. Psychometrika je nezbytná, pokud zvažujete budoucnost ve vědě (i aplikované). ◦ Hlubší psychometrické dovednosti jsou zárukou velmi dobré pracovní pozice (v zahraničí). Psychometrika je vzrušující!  Cíle kurzu PSYb2590: Základy psychometriky „Psychometrický“ způsob uvažování o psychologických konstruktech. Základní pojmy a koncepty měření v psychologii (a sociálních vědách). Předpoklady pro budoucí psychodiagnostickou praxi. Základy „řemesla“: postupů vývoje psychodiagnostických metod. Statistické postupy nezbytné pro analýzu testu. „Psychometrický“ způsob uvažování o psychologických konstruktech. Co se v PSYb2590 nenaučíte? Základy metodologie a statistiky. ◦ PSYb1170, PSYb2520 (Statistická analýza I a II) ◦ PSYb1120 (Metodologie psychologického výzkumu). Konkrétně: ◦ Sampling, formulace a testování hypotéz, úrovně měření. ◦ Rozdělení proměnné (střední hodnoty a rozptyl). ◦ Kovariance a korelace, testy středních hodnot, kontingenční tabulky a testy. ◦ Lineární, logistická regrese (základní pojmy). Doporučujeme současný zápis PSYb2550 (Individuální rozdíly). Organizace kurzu Přednášky (nástin, přehled) + semináře (nácvik dovedností) + literatura (znalosti). Vyučují: ◦ Přednášky: Hynek Cígler ◦ Semináře: Hynek Cígler (S1), Petr Palíšek (S2), Petra Hubatková (S3). ◦ Seminární práce: Hynek Cígler, Petr Palíšek, Karel Rečka, Tomáš Kratochvíl, Jakub Brojáč Konzultační hodiny (zřejmě bude ještě upřesněno): ◦ HC: Pondělí (po semináři S1), cca od 14:00, kanc. 2.47. ◦ Ostatní vyučující: bude upřesněno, případně po osobní domluvě. Hlavní komunikační kanál: Diskuzní fórum v ISu. ◦ E-mail volte jen pro individuální dotazy, raději se stavte osobně! Orientační harmonogram Datum Téma Test Seminární práce P1 13. 2. Úvodní informace. Úvod do psychometriky a měření v psychologii. S1 13./20. 2. Zadání seminární práce. Obsahová validita, vývoj měřicích nástrojů. P2 27. 2. Model měření CTT. Reliabilita. Úvod do chyby měření v rámci CTT. 26. 2.: A (týmy) S2 27. 2./6. 3. Práce s chybou měření. Prezentace záměrů seminárních prací. 7.–12. 3. P3 13. 3. Validita. Nové i tradiční pojetí validity. S3 13./20. 3. Položková analýza a analýza testu v rámci CTT. Odhad reliability. P4 27. 3. Faktorová analýza – teorie. 28. 3.–2. 4. 27. 3.: B (teorie) S4 27. 3./3. 4. EFA a CFA: Praktická realizace. XX 10. 4. Velikonoce P5 17. 4. Objektivita, normy a standardizace testu. 18.–23. 4. 17. 4.: C (sběr) P6 24. 4. Úvod do dalších teorií měření. IRT, GT, networks. XX 1. 5. státní svátek XX 8. 5. státní svátek 8. 5.: D (hotovo) Studijní zdroje FURR: Primární učebnice pro kurz. ◦ Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction. Sage. HOG: Vybrané kapitoly, více diagnostické (povinné na mgr), zejm. normy – lze kombinovat s FURR. ◦ Hogan, T. P. (2013). Psychological Testing: A Practical Introduction. Wiley. URB: Doplňující zdroj v češtině. ◦ Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Portál. SCHULTZ: Praktické, dobrý zdroj k seminářům. ◦ Schultz, K. S., Whitney, D. J., & Zickar, M. J. (2014). Measurement Theory in Action: Case Studies and Excercises (2 ed.). Routledge. Další: U každého tématu jsou specificky uvedené zdroje včetně rozsahu. FB group: Statistika, metodologie, psychometrika. Tutoring: Seminární práce a kurz vůbec konzultujte primárně se svým „konzultantem“ SP. Požadavky k ukončení kurzu 3 průběžné testy (max. 3×10 = 30 bodů). ◦ Minimálně 16 bodů. ◦ Jinak hodnocení „X“. Skupinová seminární práce (max. 30 bodů). ◦ Spodní limit není, nelze přepracovat. Zkouška. ◦ Písemný test (max. 30 bodů). ◦ Pro přístup k ústní části minimálně 16 bodů. ◦ Ústní zkouška (max. 10 bodů). ◦ 5–10 minut, jedna vylosovaná otázka; možnost paušálního F. ◦ V případě neúspěchu u ústní zkoušky je nutné opakovat také písemný test. bodů hodnocení 100–91 A 90–81 B 80–71 C 70–61 D 60–51 E 50 a méně F Požadavky: Průběžné testy Celkem 3 průběžné testy, každý max. 10 bodů. ◦ Celkem maximálně 3×10 = 30 bodů. ◦ 15 bodů a méně → hodnocení „X“. ◦ Oprava výhradně ústně na konci kurzu, a to jen ve výjimečných případech. Cca 3 otevřené položky z povinné literatury + analýza. Open-book, z domova, s použitím libovolných zdrojů. ◦ Časové okno vždy úterý – neděle před konáním další přednášky. ◦ Max. jedno spuštění odpovědníku, zpravidla do 60 minut. Věnujte pozornost pokynům a doporučením v ISu! Požadavky: Průběžné testy Nesdílet otázky ani odpovědi. Pozor na jiné formy spolupráce. Transparentní práce se zdroji. Přiměřený rozsah odpovědí. Dlouhá odpověď ≠ dobrá odpověď. Práce s vlastní nejistotou. Důležité je říct vše podstatné a neříct žádný evidentní nesmysl. Pokud vyjadřujete názor, založte jej na znalostech. Laická odpověď = špatná odpověď. Typické otázky: uvedení do vztahu, posouzení, vyjádření vlastního názoru. Analýza zadaných dat. Požadavky: Zkouška Písemný test: maximálně 30 bodů. ◦ Znalostní test v počítačové učebně. Důležitá je ale schopnost argumentace. ◦ Hodnocení 0–30 bodů, v případě 15 bodů a méně → F (a oprava). Ústní zkouška: maximálně 10 bodů. ◦ Jedna náhodně vylosovaná otázka, krátká rozprava nad obsahem kurzu. ◦ Hodnocení 0–10 bodů, případně hodnocení F. ◦ V případě neúspěchu je nutné opravit písemný test i ústní zkoušku. ◦ Počet opravných termínů (3, resp. 2) se počítají dohromady pro písemný test, případně písemný test a ústní zkoušku. Celkem za kurz alespoň 51 bodů (50 a méně → F). ◦ Při nedosažení 51 bodů je nutné opravit ústní zkoušku i písemný test. Základy psychometriky a trocha historie Zdroje k historii: zejm. Hogan (2013) a Buchanan (2005) Historie „mentálního měření“ Počátky měření psychických vlastností už v předvědeckých dobách. ◦ Čínští úředníci cca 2200 př.n.l., od 13. století první ústní zkoušky na evropských univerzitách. ◦ 16. století: první písemné testy (Jezuité). Základy moderní psychometriky: Francis Galton (1822–1911). ◦ Navázal na předchozí informace o rozložení lidských fyzických charakteristik (Quetelet) či systematické interindividuální rozdíly v astronomických pozorováních (Bessel, 1816). ◦ V 80. letech 19. stol.: řada testů fyzických a psychických charakteristik (síla, paměť). James McK. Cattell (1860–1944): Zkušenost z Wundtových laboratoří. ◦ Zaměřil se na rozdíly, nikoliv obecné charakteristiky (rozdíly → předpoklad měření). ◦ Mentální test, 1890. Do konce 19. století vytvořil velké množství „testů“ (reakční čas, senzorická přesnost) i komplexnější antropometrické nástroje. Charles Spearman, Alfred Binet Přelom 19./20. stol.: Prudký rozmach testování (zejm. didaktického). ◦ Predikce (životní úspěch, školní výkon) ale slabší, než očekávali. ◦ Doporučuji: Rogers, A. L. (1919). Tests of Mathematical ability - their scope and signicicance. The Mathematics Teacher, 11(4), 145–164. Dostupné online. Charles Spearman (1904): oslabení (attenuation) a základ CTT. ◦ Spearman, C. (1904). “General Intelligence,” Objectively Determined and Measured. The American Journal of Psychology, 15(2), 201. doi: 10.2307/1412107 ◦ Spearman, C. (1904). The Proof and Measurement of Association between Two Things. The American Journal of Psychology, 15(1), 72. doi: 10.2307/1412159 Alfred Binet (1905): testy školních předpokladů. ◦ Neměřil kognitivní procesy, prováděl jen screening a predikoval. ◦ Goddard a jiní však index interpretovali jako (dědičnou) inteligenci (g). Binetovský formát + Spearmana teorie = podhoubí pro rozmach. ◦ Masivní nasazení psychodiagnostiky v USA na konci WW1 (Yerkes, 1917) ◦ Army Alfa/Beta: 1,5 milionu rekrutů. Binet-Simon Intelligence Scale (1908) „Which of these two faces is the prettier?“ Army Beta (Yerkes, 1917) „What is missing?“ 1. pol. 20. století, cca 1915–1940 Rozvoj CTT, FA a vznik mnoha „velkých“ testů. Fergusonova komise (Británie, 1932–1940). ◦ Požadavek aditivity, upozornění na nemožnost „sčítání“ (konkrétně „zřetězení“) v sociálních vědách. Závěr: psychologické měření není měření. Reakce: „Operační teorie měření“ a „matching“ (Stevens, 1946, s. 677). ◦ „...measurement, in the broadest sense, is defined as the assignment of numerals to objects and events according to rules.“ ◦ Ale: „Measurement is a method of assigning numbers to magnitudes“ (Helmholtz, 1887). ◦ Jsou čísla nezbytně magnitudami? (Magnitude = „number characteristic of a quantity and forming a basis for comparison with similar quantities, as length“). 1940–1970: Konsolidace Konsolidace předchozích poznatků a restandardizace původních testů. F. M. Lord a M. R. Novick (1968): Statistical Theories of Mental Test scores. (Dokončení CTT). Cronbach, Nageswari a Gleser (1963): Teorie zobecnitelnosti. 50.–60. léta: teorie odpovědi na položku (IRT; zejm. Lord, Rasch, Lazarsfeld). Luce a Tukey (1964): Teorie spojitého měření (CM), vyvrácení závěrů Fergusonovy komise Rozvoj konceptu validity (zejm. konstruktová validita; Cronbach a Meehl, 1955). Statistický vs. klinický úsudek: Meehlovy experimenty (1954). ◦ Groove a kol. (2000): 136 studií, 6 % klinická vs. 47 % statistická. Hlavní limit: výpočetní kapacita. Od r. 1970: Moderní psychometrika 1970–2000: Rozvoj počítačů → vývoj nových postupů a zavádění do praxe. ◦ IRT, FA, SEM, počítačové modelování. ◦ Zavádění pokročilejších postupů (zejm. IRT) do praxe. ◦ Důraz na férovost, rozsáhlé důsledky pro individuální diagnostiku. ◦ Ale: od 60. let silná veřejná kritika psychologického testování v USA. 2000–dnes: Prudký teoretický rozvoj (nejen). ◦ Rozpracovávání starších přístupů, vznik/rozvoj nových (síťové modely). ◦ Ohromné množství nových testů, časté revize, důraz na evidence-based. ◦ Zavádění počítačů do praktického testování (CAT). ◦ Aplikace IT přístupů pro predikci chování: machine learning, neuronové sítě. Měření v psychologii Na fotografii interiér Wundtovy laboratoře v Lipsku. (Pozn.: Pán vlevo má přivázané nohy a pouští do něj elektřinu, ale to se na obrazovku už nevešlo.) Předpoklady měření (v psychologii) 4 klíčové předpoklady (Hogan, 2013): ◦ Měřené objekty (lidé) se liší v měřené charakteristice ◦ (Proměnná, nikoli konstanta...). ◦ Rys či míra odlišnosti může být kvantifikována. ◦ Měřené atributy jsou dostatečně stabilní ◦ (Vzhledem ke způsobu a účelu měření). ◦ Tyto atributy se projevují v pozorovaném chování. Což ale nic neříká o povaze měřeného atributu, ani o postupu samotného měření. Předpoklady měření (v psychologii) Teorie měření: postuluje vztah pozorování s konstrukty. Měření: atribut je na intervalové škále. ◦ Jinak jde o prostou klasifikaci či něco ještě jiného. ◦ Což ale může být rovněž psychometrická výzva. V psychologii občas „jen“ klasifikujeme → psychometrika není vědou výhradě o měření. Co to je měření? Měření: Množství a velikost. ◦ Základní charakteristika měřeného pojmu/konstruktu/veličiny na (spojité?) intervalové či poměrové škále. Už v 18. a 19. století (Kant, Leibniz aj.) definice „intenzity“: ◦ Extensivní velikost – celek se fyzicky skládá z částí (délka); ◦ Směs obsahu dvou nádob vody má objem rovný součtu objemu obou nádob → 𝐴 + 𝐵 = 𝐴 + 𝐵 . ◦ Intensivní velikost – rovněž intervalové, ale projevují se „instantně“ (teplota, barva...). ◦ Směs obsahu dvou nádob o různé teplotě má teplotu rovnou cca průměru → 𝐴 + 𝐵 ≠ 𝐴 + 𝐵 . Co to je měření? Aditivní operace: Základní předpoklad „dobré škály“. Aditivita například umožňuje převést funkci „+“ do „ד. ◦ f(a+b) = f(a)+f(b). Předpokladem aditivity je zejm. „řazení“ a „řetězení“. Hodnoty lze přinejmenším sčítat a provádět běžné matematické operace. Výsledkem je intervalová/poměrová škála se stejně velkými jednotkami a aditivní strukturou. ◦ Nutnost oddělit aditivitu veličiny a aditivitu měření. Co to je měření? Fundamentální měření: ◦ Základní (přímé): Není odvozené z jiného měření, měří se přímo objekt za pomoci stejné veličiny dle své definice. ◦ Délka pravítkem, hmotnost závažím, rychlost dráhou a časem. ◦ Odvozené (nepřímé): Odvozené pomocí aditivních operací z jiných naměřených hodnot (objem, teplota, síla zemětřesení na Richterově stupnici) ◦ Obě tato měření jsou „fundamentální“, jsou to měření v pravém slova smyslu. ◦ Ve fyzice je za fundamentální označováno jen základní měření. Vzdáleně podobné dělení jako extensivní vs. intensivní veličina, ale zde jde o charakteristiku měření, ne veličiny. ◦ Což je výhodnější, protože rozdílné definice mohou vést k jiné „povaze“. Intermezzo 1. Mám vhodnou výšku na hraní basketbalu nebo volejbalu. 2. Když mluvím s jinými dospělými a chci se jim dívat do oči, častěji na ně spíš vzhlížím nahoru. 3. Lidem, kteří na koncertě stojí za mnou, většinou má postava dost brání ve výhledu. 4. Často musím stát na špičkách, abych lépe viděl/a. 5. Když chci někoho obejmout, většinou se musím sklonit. 6. Často potřebuji stoličku, abych dosáhl/a na něco, na co jiní lidé dosáhnou normálně. 7. Jednou z prvních věcí, které si na mně lidé všimnou, je to, jak moc jsem malý/á. 8. Často si musím dávat pozor, abych se neuhodil/a hlavou např. o nízký strop nebo rám dveří. 9. V autobuse mívám dostatek prostoru pro nohy. 10. Slýchávám narážky na to, že jsem vysoký/á. 11. Kvůli mé menší výšce lidé hádají, že jsem mladší, než ve skutečnosti jsem. Škála je skórovaná ano=1, ne=0 (po otočení reverzních položek). Použitou škálou je počet souhlasných odpovědí (rozmezí 0–11). Je měření přímé či nepřímé? ◦ Proč ano? Proč ne? Je výsledná škála aditivní? ◦ Proč ano? ◦ Proč ne? B β intercept 161,2*** výška 1,04*** 0,81 žena -5,3*** -0,25 interakce -0,20*** -0,18 adj. R2 = 0,877, N = 4683 Skór položek 0–3, celkový rozsah 0–33 b.Data: Rečka (2018), dostupné i on-line. Měření v psychologii Měření psychických rysů je výrazně náročnější než v přírodních vědách. ◦ 1. Psychické jevy nelze přímo pozorovat. Měření musí být nepřímé, odvozené. ◦ 2. Měření je zatíženo extrémním množstvím systematického i nesystematického šumu. ◦ 3. Veškeré informace o podstatě měřených jevech máme pouze z tohoto měření. Příslušná teorie měření reifikuje naše představy o měřeném atributu. ◦ 4. Neexistují žádné „psychikální zákony“, které by bylo možné bezchybně matematicky popsat. V psychologii proto zcela oddělujeme latentní proměnné... ◦ Nepozorované, myšlené teoretické konstrukty, které mohou, ale nemusí mít reálnou existenci. ... a manifestní proměnné: ◦ Pozorované chování, které je chápáno jako projev těchto proměnných latentních. Teorie měření: definice vztahu latentní proměnné s proměnnou manifestní a způsobu (a přesnosti) odhadu úrovně latentní proměnné z proměnné manifestní. Různé teorie měření navíc implikují různé kvality či významy latentní proměnné. Povaha psychologického konstruktu Epistemologická východiska. ◦ Antirealismus (zejm. operacionalismus) vs. realismus. ◦ A s tím související otázka existence té konkrétní proměnné. Reflektivní vs. formativní měření. ◦ Kauzální směr vztahu latentní a manifestní proměnné. Úroveň latentní proměnné. ◦ intervalová vs. ordinální vs. nominální Povaha intervalové proměnné ◦ spojitá vs. diskrétní Intermezzo: Dotazník výšky Měřit výšku dotazníkem je samozřejmě nesmysl: 1. Máme lepší nástroje měření. 2. Výšku přece vidíme, není to žádná latentní proměnná? „Participants [...] estimated how many units would fit in a perceived size of body segments and the whole body. [...] The body parts with a smaller actual surface area relative to their volume were underestimated more. There was a tendency for body parts underestimated in volume to be overestimated in length.“ Sadibola, R., Ferrè, E. R., Linkenauger, S. A., & Longoa, M. R. (2019). Distortions of perceived volume and length of body parts. Cortex 111, 74–86. doi: 10.1016/j.cortex.2018.10.016 Teorie měření v psychologii Teorie měření: rozdělení podle Borsbooma (2005): ◦ Klasická testová teorie (CTT). ◦ Modely s latentními rysy (latent trait theories). ◦ Faktorová analýza (FA), teorie odpovědi na položku (IRT). ◦ Fundamentální/reprezentační model měření (spojité měření, CM). Tyto teorie se ale překrývají. ◦ Např. Raschův model může být chápán jako fundamentální měření. ◦ Analogicky faktorová analýza je v praxi těsně propojená s CTT. Borsboom, D. (2005). Measuring the Mind. Cambridge: Cambridge University Press. Existuje vůbec latentní rys? Latentní rys vůbec nemusí existovat. To, co se nám „zdá být“ kvantitativní veličinou, může mít zcela jinou „povahu“. Příklad: depresivita. ◦ Žádný rys „deprese“ nemusí existovat, ve skutečnosti může jít jen o souhrn dílčích symptomů. ◦ Měření „reifikuje“ naše úvahy o konstruktu. ◦ An, M. H., Park, S. S., You, S. C., Park, R. W., Park, B., Woo, H. K., … Son, S. J. (2019). Depressive symptom network associated with comorbid anxiety in late-life depression. Frontiers in Psychiatry, 10. https://doi.org/10.3389/fpsyt.2019.00856 Aplikace psychometriky Kromě teoretických úvah o modelu měření se psychometrika zabývá praktickými aspekty tohoto měření. ◦ Při vývoji i užití diagnostického nástroje. Psychometrika je tedy základem jakékoliv psychologické diagnostiky. Cílem je kontrola chyb, které jsou s měřením spojené. ◦ Jak chyby minimalizovat? ◦ Jak je odhadnout a jak s nimi pracovat? ◦ Náhodná vs. systematická chyba. Odhad a kontrola chyb měření: Vlastnosti psychodiagnostických metod Chyby vztažené k nástroji: validita a reliabilita Chyby vztažené k teorii: konstruktová validita ◦ Cronbach a Meehl vs. Messick. Chyby vztažené k měřené osobě: férovost ◦ Respektive psychometrické pojetí férovosti. Chyby vztažené k pozorovateli: zejména objektivita. ◦ Férovost v psychodiagnostickém pojetí. Chyby interpretační: normalizace, standardizace.