Úvod do psychometriky PSYb2590: Základy psychometriky | Přednáška 1 20. 2. 2024 | Hynek Cígler, Petr Palíšek, Petra Hubatková https://archive.org/details/memoirsofnationa03nati/page/n329/mode/2up 3+1 magické důvody, proč studovat psychometriku. ANEB TŘI ULTIMÁTNÍ PSYCHOMETRICKÁ KOUZLA JIŽ DNES DOPOLEDNE VE VAŠÍ POSLUCHÁRNĚ! Důvod 1 Co chcete dělat po studiu? Důvod 2 Jak jste vysoký/vysoká? HTTP://FSSVM6.FSS.MUNI.CZ/HEIGHT/ Důvod 3 K tomuto kouzlu je potřeba asistent/ka psychometrického kouzelníka FSSVM6.FSS.MUNI.CZ/VYSKA D3: fssvm6.fss.muni.cz/vyska PŘÍPADNĚ ODKAZ VE STUDIJNÍCH MATERIÁLECH Zdroj: https://www.facebook.com/vimzenicnezmerim Výsledky dotazníku zadejte sem: Sem zadejte výsledky: https://forms.gle/v7u8vHCipNaiHAYZ7 Vizualizace výsledků: https://is.muni.cz/go/vysledky-vyska Bonusový důvod 4: Natural History Museum, London Zdraví Standa Ježek (2020)  „Psychometrics is a scientific discipline concerned with the construction of assessment tools, measurement instruments, and formalized models that may serve to connect observable phenomena (e.g., responses to items in an IQ-test) to theoretical attributes (e.g., intelligence). [...] Such models present conceptual, substantive, and statistical problems that psychometricians aim to analyze and solve. Because many of the questions that psychometricians study transcend disciplinary boundaries [...] the boundaries of the discipline are fuzzy; psychometrics is especially closely intertwined with methodology and statistics. Psychometric techniques are widely used across the sciences, and have found applications in educational testing, behavior genetics, sociology, political science, and neuroscience.“ Denny Borsboom (University of Amsterdam) https://www.psychometricsociety.org/content/what-psychometrics „Psychometrics is the approximation of latent psychological processes by means of stochastic analysis at both the individual and population levels.“ Peter Molenaar (Pennsylvania State University) https://www.psychometricsociety.org/content/what-psychometrics Psychometrika Věda o měření psychických jevů (nejen v psychologii). ◦ Pomocná psychologická disciplína – tvorba a hodnocení diagnostických a výzkumných metod. ◦ Teoretický obor i praktické „řemeslo“. Teorie měření v psychologii a příbuzných oborech. ◦ Čerpá zejména z metodologie a matematické statistiky. ◦ Úzce provázaná s psychologií osobnosti, individuálních rozdílů a dalších. Způsob měření často souvisí s tím, jak vnímáme některé psychologické konstrukty, či přímo náš pohled přímo utváří. ◦ Osobnost: Eysenck; Cattel & McCrae... Inteligence: Thurstone, Spearman, Cattel-Horn-Carroll... ◦ Např. extraverze jako osobnostní „typ“ (Jung; MBTIa) vs. kontinuální „míra“ (Eysenck, NEO). ◦ Deprese jako „latentní rys“ vs. deprese jako „dynamický síťový model“. a Tímto srovnáním v žádném případě neuvádím Junga do falešné souvislosti s pseudovědeckými diagnostickými metodami. Proč vás psychometrika zajímá? Využití psychometriky je všude kolem nás: v průběžných testech z psychometriky, státní maturitě, přijímačkách na VŠ, kariérním poradenství... Psychometrické znalosti jsou nezbytné pro praxi psychologické diagnostiky (zejména v klinických a poradenských oborech včetně HR). Pochopení měření v psychologii umožňuje lépe uvažovat o psychických jevech. Měření je základem vědy. Poznatky, se kterými se potkáváte, byly „změřeny“. ◦ A validita těchto výzkumů je jen tak dobrá, jak dobré bylo použité měření. Psychometrika je nezbytná, pokud zvažujete budoucnost ve vědě (i aplikované). ◦ Hlubší psychometrické dovednosti jsou zárukou velmi dobré pracovní pozice (v zahraničí). Psychometrics is exciting!  Cíle kurzu PSYb2590: Základy psychometriky „Psychometrický“ způsob uvažování o psychologických konstruktech. Základní pojmy a koncepty měření v psychologii (a sociálních vědách). Předpoklady pro budoucí psychodiagnostickou praxi. Základy „řemesla“: postupů vývoje psychodiagnostických metod. Statistické postupy nezbytné pro analýzu testu. „Psychometrický“ způsob uvažování o psychologických konstruktech. Co se v PSYb2590 nenaučíte? Základy metodologie a statistiky. ◦ PSYb1170, PSYb2520 (Statistická analýza I a II) ◦ PSYb1120 (Metodologie psychologického výzkumu). Konkrétně: ◦ Sampling, formulace a testování hypotéz, úrovně měření. ◦ Rozdělení proměnné (střední hodnoty a rozptyl). ◦ Kovariance a korelace, testy středních hodnot, kontingenční tabulky a testy. ◦ Lineární, logistická regrese (základní pojmy). Doporučujeme současný zápis PSYb2550 (Individuální rozdíly). „Nebuďte slušnej! Řekněte jméno!“ Zhyněk PetraPetr jeho selfie s Lakensem „Nebuďte slušnej! Řekněte jméno!“ Zhyněk PetraPetr Organizace kurzu Přednášky (nástin, přehled) + semináře (nácvik dovedností) + literatura (znalosti). Vyučují: ◦ Administrativní kontakt: Petr Palíšek. Garant kurzu: Hynek Cígler ◦ Přednášky a semináře: Hynek Cígler (S1), Petr Palíšek (S2), Petra Hubatková (S3). ◦ Seminární práce: Hynek Cígler Petr Palíšek, Petra Hubatková, Karel Rečka, Tomáš Kratochvíl, Jakub Brojáč, Eva Šragová, Hynek Cígler, Ivan Černický. Konzultační hodiny (zřejmě bude ještě upřesněno): ◦ HC: Pondělí cca od 14:00, (kanc. 2.47). Ostatní: po osobní domluvě. Hlavní komunikační kanál: Diskuzní fórum v ISu. ◦ E-mail volte jen pro individuální dotazy (a preferujte Petra), raději se stavte osobně! Orientační harmonogram # P S test SP Téma přednášky Téma semináře 1 20. 2. Úvod do psychometriky, organizační informace. 2 27. 2. Škálování v psychologii 3 5. 3. X T1 A Validita I: Základní koncepty. Tvorba položek. 4 12. 3. Faktorová analýza I. Základní koncepty 5 19. 3. X B Faktorová analýza II. Explorační a konfirmační FA. EFA. 6 26. 3. X Reliabilita I. Klasická testová teorie. CFA. 7 2. 4. T2 Reliabilita II. Postupy odhadu. 8 – čtecí týden 9 16. 4. X C Validita II. Postupy odhadu, epistemologie. Práce s chybou měření. 10 23. 4. X Teorie odpovědi na položku a další teorie měření. Položková analýza. 11 30. 4. T3 Normy a standardizace testu. 12 7. 5. D Etika v psychometrice. 13 14. 5. Co teď frčí? Workshop. P = datum přednášky. S = konání semináře. SP = termíny seminární práce (shodné s datem přednášky). test – termíny průběžných testů, časové okno je vždy středa–neděle v daném týdnu. Studijní zdroje FURR: Primární učebnice pro kurz. ◦ Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction. Sage. HOG: Vybrané kapitoly, více diagnostické (povinné na MGR), zejm. normy – lze kombinovat s FURR. ◦ Hogan, T. P. (2013). Psychological Testing: A Practical Introduction. Wiley. URB: Doplňující zdroj v češtině. ◦ Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Portál. SCHULTZ: Praktické, dobrý zdroj k seminářům. ◦ Schultz, K. S., Whitney, D. J., & Zickar, M. J. (2014). Measurement Theory in Action: Case Studies and Excercises (2 ed.). Routledge. Další: U každého tématu jsou specificky uvedené zdroje včetně rozsahu. FB group: Statistika, metodologie, psychometrika. Tutoring: Seminární práce konzultujte primárně se svým „konzultantem“ SP. Požadavky k ukončení kurzu 3 průběžné testy (max. 3×10 = 30 bodů). ◦ Minimálně 16 bodů. ◦ Jinak hodnocení „X“. Skupinová seminární práce (max. 30 bodů). ◦ Spodní limit není, nelze přepracovat. Zkouška. ◦ Písemný test (max. 30 bodů). ◦ Pro přístup k ústní části minimálně 16 bodů, jinak F. ◦ Ústní zkouška (max. 10 bodů). ◦ 5–10 minut, 1–2 vylosované otázky; možnost paušálního F. bodů hodnocení 100–91 A 90–81 B 80–71 C 70–61 D 60–51 E 50 a méně F Požadavky: Průběžné testy Celkem 3 průběžné testy, každý max. 10 bodů. ◦ Celkem maximálně 3×10 = 30 bodů. ◦ 15 bodů a méně → hodnocení „X“. ◦ Oprava výhradně ústně na konci kurzu, a to jen ve výjimečných případech. Cca 3 otevřené položky z povinné literatury + analýza. Open-book, z domova, s použitím libovolných zdrojů. ◦ Časové okno vždy středa–neděle před konáním další přednášky. ◦ Max. jedno spuštění odpovědníku, limit zpravidla do 30–60 minut. Věnujte pozornost pokynům a doporučením v ISu! Požadavky: Průběžné testy Nesdílet otázky ani odpovědi. Pozor na jiné formy spolupráce. Transparentní práce se zdroji. Přiměřený rozsah odpovědí. Dlouhá odpověď ⇏ dobrá odpověď. Práce s vlastní nejistotou. Důležité je říct vše podstatné a neříct žádný evidentní nesmysl. Pokud vyjadřujete názor, založte jej na znalostech. Laická odpověď = špatná odpověď. Typické otázky: uvedení do vztahu, posouzení, vyjádření vlastního názoru. Analýza zadaných dat. Požadavky: Zkouška Písemný test: maximálně 30 bodů. ◦ Znalostní test v počítačové učebně. Důležitá je ale schopnost argumentace. ◦ Hodnocení 0–30 bodů, v případě 15 bodů a méně → F (a oprava). Ústní zkouška: maximálně 10 bodů. ◦ Jedna náhodně vylosovaná otázka, krátká rozprava nad obsahem kurzu. ◦ Hodnocení 0–10 bodů, případně hodnocení F. ◦ Opravné termíny (3, resp. 2) se počítají tak, že jsou povolena dohromady 2 (resp. 1) neúspěšná hodnocení písemných i ústních testů dohromady. Celkem za kurz alespoň 51 bodů (50 a méně → F). ◦ Při nedosažení 51 bodů je nutné opravit ústní zkoušku i písemný test. JS 2016: JS 2017: JS 2018: JS 2019: JS 2020: JS 2021: JS 2022: JS 2023: Statistikaúspěšnosti Pozorované příčiny neúspěchu Studium pouček bez jejich pochopení. ◦ Nezkoušíme dílčí znalosti, zajímá nás, jak tomu rozumíte. Podcenění průběžných písemek. ◦ Nejde ani tolik o body, jako o to, že na konci se to naráz nenaučíte. ◦ r2019 = 0,73, r2018 = 0,77, r2017 = 0,69, r2016 = 0,71 (před zavedením open book testů). Rezignace na matematiku, přeskakování vzorců při studiu. ◦ Bez matematiky to nejde; není v tom ale nic složitého. Důležité je konceptuální porozumění vzorci. Studium psychometriky zvlášť oproti zbytku psychologie. ◦ Je potřeba si představovat měření ve vztahu ke konkrétním proměnným: „Jak změřím tohle?“ „Tohle tam nebude.“ ◦ Bude. Vzkazy ze záhrobí: Zadání seminární práce NÁVRH POSTUPU TVORBY A VALIDIZACE PSYCHODIAGNOSTICKÉ METODY K MĚŘENÍ ZVOLENÉHO KONSTRUKTU Seminární práce 1: Téma práce Téma práce: Návrh postupu tvorby a validizace psychodiagnostické metody určené k měření zvoleného konstruktu včetně pilotního ověření Cíle seminární práce: ◦ Naučit se tvořit položky jednoduché psychologické škály. ◦ Osvojit si uvažování o obsahové a konstruktové validitě. ◦ Vyzkoušet si příslušné analýzy (FA, položková analýza...). ◦ Vyzkoušet si napsání výzkumného článku v odpovídajícím formátu. Skupiny po 4 osobách (výjimky možné po schválení). Průběžné odevzdání, průběžné konzultace, zpětná vazba spíše ústně. Nelze opravit, není minimální počet bodů. Seminární práce 2: Struktura práce Struktura odpovídá formátu IMRAD. Doporučený rozsah do 15 NS bez příloh a tabulek. Úvod: Podrobný popis měřeného konstruktu a teorie, ze které vychází, související pojmy, účel metody, očekávaná struktura. Operacionalizace konstruktu. Původní i recentní literatura. ◦ Východiska pro ověření konvergentní, divergentní, faktorové validity. Metoda: Popis vzorku a jeho výběru, odhad a zdůvodnění jeho velikosti. ◦ Návrh způsobů ověření validity a reliability (nikoliv všechny musí být realizovány v rámci SP). ◦ Není-li možné zajistit dostatečně velký vzorek z důvodu časově náročného postupu administrace, lze zcela výjimečně data nasimulovat na základě několika málo (alespoň 10) administrací. ◦ Způsob tvorby položek, nepovinně včetně kognitivního interview. Výsledky: deskriptivy, položková analýza, odhad reliability, faktorová analýza, další ověření validity (pokud byly provedeny). ◦ Případné vyřazení nefungujících položek a navržení upravené verze instrumentu. Diskuze: zhodnocení fungování metody a návrh dalších kroků. ◦ Včetně kvalitativního zhodnocení svých zkušeností. Seminární práce 3: Organizace Skupiny: 4 studenti (jiný počet jen výjimečně). ◦ Konzultanti: Petr, Petra, Eva, Jakub, Tomáš, Karel, Ivan, Hynek Zpětná vazba výhradně/spíše ústně. Termín A (5. 3.): Vytvoření témat v ISu ◦ Včetně přihlášení členů týmu. ◦ Stručný popis tématu. Termín B (19. 3.): Teorie ◦ Až po tvorbu položek a sběr dat. ◦ Celý Úvod + návrh částí kapitoly Metoda. ◦ Způsob tvorby vzorku, odhad jeho velikosti, způsoby ověření validity/reliability, očekávaný počet položek. ◦ Návrh tvorby položek a ukázkové položky. Termín C (16. 4.): Schválení sběru dat ◦ Hotová metoda, položky, informovaný souhlas. ◦ Ideálně hotová metoda připravená ke sběru dat. ◦ Přístup do Qualtricsu: Standa Ježek. Termín D (7. 5.): Hotová práce ◦ Finální verze celé SP. ◦ Ve formátu APA manuskriptu. ◦ Kompletní datová matice, skript, metoda. Hodnocen je jen finální text. Poznámka pro přednášejícího  „Co dělat, když si vyberu blbé téma?“ Seminární práce 4: Hodnotící kritéria Je konstrukt dobře operacionalizovaný, aby bylo možné hodnotit kvalitu jeho měření? ◦ Je použita adekvátní teorie pro teoretické zakotvení konstruktu? Má navržený design měřicí metody potenciál k měření zvoleného konstruktu? Je adekvátní návrh způsobu tvorby položek, jsou výsledné položky kvalitní vzhledem k účelu? Jsou postupy ověření validity a reliability vhodné pro daný konstrukt a design metody? Je návrh vzorku vhodný pro pilotní ověření dané metody? ◦ (Nehodnotíme, pokud se sběr dat nepodaří realizovat zcela podle představ, důležitý je záměr.) Jsou statistické analýzy korektně provedené? Jsou výsledky dobře reportované? Je text na dostatečné formální úrovni? ◦ Reportování statistik, odborný jazyk. Přehlednost textu. Stylistika a pravopis. Jsou výsledky dobře reportované? Jsou dostatečně diskutované v návaznosti na teorii? Jaká byla prezentace výsledků na semináři? Seminární práce 5: Technické pokyny 1. Založte si rozpis v IS MU (viz interaktivní osnova). ◦ Můžete do něj rovnou přidat kolegy (jako studenti). ◦ Rozpis pojmenujte názvem týmu nebo něčím, co vystihne vaši metodu. ◦ Do anotace dejte pár slov o plánované metodě. 2. Rozpis bude schválen vyučujícími. ◦ Ke každému rozpisu se automaticky vytvoří odevzdávárna. ◦ Do ní budete vkládat všechny části seminární práce a související soubory. 3. Rozpisy můžete využít i jako „burzu“ témat. ◦ Můžete využít i diskuzi v IS MU. Seminární práce 5: Technické pokyny Formát textu odpovídá APA manuskriptu výzkumného článku. ◦ Formátem, rozsahem i strukturou. ◦ V Osnově je k dispozici šablona v APA formátu. ◦ Tj. obsahuje úvodní stranu, abstrakt, running-head a další náležitosti. ◦ Tabulky a ilustrace nedávejte nakonec, ale na správné místo přímo do textu! Na titulní straně v poznámce autorské podíly. ◦ Nehrají roli při hodnocení, prostě nás to jen (anonymně) zajímá. Nepovinně. ◦ Mohou tedy být „anonymizované“  ◦ „Jeden z nás počítal, jeden sbíral data, ostatní psali.“ Součástí finálního odevzdání jsou: ◦ Text včetně znění položek (např. v příloze). ◦ Data, případně též analytický skript. ◦ Odkaz na dotazník (případně jeho kopie – stačí vytisknout Qualtrics do PDF). ◦ Vzor informovaného souhlasu (pokud byl použit). V odevzdávárně tedy na konci semestru bude: ◦ První verze textu. ◦ Odkaz na dotazník/metoda. ◦ Druhá verze textu, obsahuje i přílohy. ◦ „Supplemental materials“, jsou-li (soubor s daty, skriptem...). Základy psychometriky a trocha historie Zdroje k historii: zejm. Hogan (2013) a Buchanan (2005) Historie „mentálního měření“ Počátky měření psychických vlastností už v předvědeckých dobách. ◦ Čínští úředníci cca 2200 př.n.l., od 13. století první ústní zkoušky na evropských univerzitách. ◦ 16. století: první písemné testy (Jezuité). Základy moderní psychometriky: Francis Galton (1822–1911). ◦ Navázal na předchozí informace o rozložení lidských fyzických charakteristik (Quetelet) či systematické interindividuální rozdíly v astronomických pozorováních (Bessel, 1816). ◦ V 80. letech 19. stol.: řada testů fyzických a psychických charakteristik (síla, paměť). James McK. Cattell (1860–1944): Zkušenost z Wundtových laboratoří. ◦ Zaměřil se na rozdíly, nikoliv obecné charakteristiky (rozdíly → předpoklad měření). ◦ Mentální test, 1890. Do konce 19. století vytvořil velké množství „testů“ (reakční čas, senzorická přesnost) i komplexnější antropometrické nástroje. Alternativní a dnes opuštěné směry Společně s „vědeckou“ psychologií interindividuálních rozdílů se paralelně rozvíjely i jiné, dnes opuštěné směry. Frenologie a kraniometrie. ◦ Apriorní přesvědčení, že interindividuální rozdíly v psychických charakteristikách mají fyziologické koreláty v objemu a tvaru lebky. ◦ Těsné spojení s eugenikou a vědeckým rasismem. ◦ Hledání koordinační funkce, která by charakteristiky lebky provázala s domnělými psychickými charakteristikami (např. rozdíly mezi rasami). Nejlepší čtení na dnešní večer, které máte k dispozici: ◦ Luchetti, M., Love, A. C., Marchionni, C., Redei, M., Williamson, J., & De, M.-B. M. (2022). The quantification of intelligence in nineteenth-century craniology: an epistemology of measurement perspective. European Journal for Philosophy of Science 2022 12:4, 12(4), 1–29. https://doi.org/10.1007/S13194-022-00485-7 Charles Spearman, Alfred Binet Přelom 19./20. stol.: Prudký rozmach testování (zejm. didaktického). ◦ Predikce (životní úspěch, školní výkon) ale slabší, než očekávali. ◦ Doporučuji: Rogers, A. L. (1919). Tests of Mathematical ability - their scope and significance. The Mathematics Teacher, 11(4), 145–164. Dostupné online. Charles Spearman (1904): oslabení (attenuation) a základ CTT. ◦ Spearman, C. (1904). “General Intelligence,” Objectively Determined and Measured. The American Journal of Psychology, 15(2), 201. doi: 10.2307/1412107 ◦ Spearman, C. (1904). The Proof and Measurement of Association between Two Things. The American Journal of Psychology, 15(1), 72. doi: 10.2307/1412159 Alfred Binet (1905): testy školních předpokladů. ◦ Neměřil kognitivní procesy, prováděl jen screening a predikoval. ◦ Goddard a jiní však index interpretovali jako (dědičnou) inteligenci (g). Binetovský formát + Spearmana teorie = podhoubí pro rozmach. ◦ Masivní nasazení psychodiagnostiky v USA na konci WW1 (Yerkes, 1917) ◦ Army Alfa/Beta: 1,5 milionu rekrutů. Binet-Simon Intelligence Scale (1908) „Which of these two faces is the prettier?“ Army Beta (Yerkes, 1917) „What is missing?“ 1. pol. 20. století, cca 1915–1940 Rozvoj CTT, FA a vznik mnoha „velkých“ testů. Fergusonova komise (Británie, 1932–1940). ◦ Požadavek aditivity, upozornění na nemožnost „sčítání“ (konkrétně „zřetězení“) v sociálních vědách. Závěr: psychologické měření není měření. Reakce: „Operační teorie měření“ a „matching“ (Stevens, 1946, s. 677). ◦ „...measurement, in the broadest sense, is defined as the assignment of numerals to objects and events according to rules.“ ◦ Ale: „Measurement is a method of assigning numbers to magnitudes“ (Helmholtz, 1887). ◦ Jsou čísla nezbytně magnitudami? (Magnitude = „number characteristic of a quantity and forming a basis for comparison with similar quantities, as length“). 1940–1970: Konsolidace Konsolidace předchozích poznatků a restandardizace původních testů. F. M. Lord a M. R. Novick (1968): Statistical Theories of Mental Test scores. (Dokončení CTT). Cronbach, Nageswari a Gleser (1963): Teorie zobecnitelnosti. 50.–60. léta: teorie odpovědi na položku (IRT; zejm. Lord, Rasch, Lazarsfeld). Luce a Tukey (1964): Teorie spojitého měření (CM), vyvrácení závěrů Fergusonovy komise Rozvoj konceptu validity (zejm. konstruktová validita; Cronbach a Meehl, 1955). Statistický vs. klinický úsudek: Meehlovy experimenty (1954). ◦ Groove a kol. (2000): 136 studií, 6 % klinická vs. 47 % statistická. Hlavní limit: výpočetní kapacita. Od r. 1970: Moderní psychometrika 1970–2000: Rozvoj počítačů → vývoj nových postupů a zavádění do praxe. ◦ IRT, FA, SEM, počítačové modelování. ◦ Zavádění pokročilejších postupů (zejm. IRT) do praxe. ◦ Důraz na férovost, rozsáhlé důsledky pro individuální diagnostiku. ◦ Ale: od 60. let silná veřejná kritika psychologického testování v USA. 2000–dnes: Prudký teoretický rozvoj (nejen). ◦ Rozpracovávání starších přístupů, vznik/rozvoj nových (síťové modely). ◦ Ohromné množství nových testů, časté revize, důraz na evidence-based. ◦ Zavádění počítačů do praktického testování (CAT). ◦ Aplikace IT přístupů pro predikci chování: machine learning, neuronové sítě.