Další teorie měření PSYB2590: ZÁKLADY PSYCHOM ETRI KY (PŘEDNÁŠKA 6) 4. 5. 2019 I HYNEK CÍGLER Opakování: Teorie měření Teorie měření postuluje model měření. Model měření: vztah pozorovaného a měřeného. Protože měření je v psychologii nepřímé, tato inference zahrnuje zejména: 0 Předpoklady o podstatě měřeného atributu. 0 Způsob tvorby skóru (resp. odhad „parametru") z pozorovaných výsledků. 0 Odhad chyby tohoto odhadu. Modely měření v psychologii Podle Borsbooma (2005): ° Model klasické testové teorie (CTT). ° Operacionalismus. ° Není měřením v pravém slova smyslu. 0 Model latentních proměnných. ° Realismus. Faktorová analýza, teorie odpovědi na položku. 0 Reprezentační model měření. 0 Spojité měření (conjoint measurement). Podle Schmittmanna (2013): ° Reflektivní model 0 Rys způsobuje chování. 0 Formativní model. 0 Rys je konstrukcí na základě chování. 0 Dynamický systém. 0 Jevy spolu souvisejí a rys neexistuje. Tady jde spíše o teorie měření (které mohou obsahovat různé konkrétní modely). Borsboom, D. (2005). Measuring the Mind. Cambridge: Cambridge University Press. Modely měření v psychologii pragmaticky Klasická testová teorie ° CTX classical test theory, (classical/weak) true score theory. ° Rozšíření do faktorové analýzy. Teorie zobecnitelnosti ° GX generalizability theory; rozšíření CTT. Teorie odpovědi na položku / Raschův model ° IRT, item response theory, (modern) latent trait theory, strong true score theory. ° Explanační IRT modely. (Dynamic) Networks Models. Teorie vědomostních prostorů ° KST Knowledge Space Theory. Teorie spojitého měření ° CM, Conjoint Measurement. Kognitivní modelování. ° Stochastické, bayesovské... Řada dalších ad hoc škálovacích postupů. 0 Typicky propojené s formou sběru dat. 0 Q-sort, sociometrie... Tady jde spíše o konkrétní modely (které mohou spadat do stejných či různých teorií). Klasická testová teorie Spearman (1904) Lord & Novick (1968) CTT: Opakování Měřeným atributem je pravý skór. ° Očekávaný skór člověka v daném testu. Klíčovým konceptem je reliabilita. ° Založená na konceptu paralelních testů. Operacionalismus, antirealismus. ° Měřený atribut je definován podobou měření. Pravé skóre je zpravidla definované sumou/průměrem položek. ° Pozorované skóre je proto zpravidla součtem/průměrem pozorovaných odpovědí. V praxi úzké propojení s faktorovou analýzou. Nedostatky CTI CTT založena na operacionalismu. ° Nezabývá se existencí měřených atributů, není vhodná pro výzkum. ° Nechceme měřit pravý skór (v daném testu). Chceme měřit rys (nezávislý na měření). Nejde o model měření v pravém slova smyslu. ° Nelze testovat jeho shodu s daty, lze použít na jakákoli data i neexistující atributy. ° Tohle částečně řeší propojení CTT s faktorovou analýzou. Předpoklad lineárních, homoskedascitních vztahů. ° CTT lze použít k inferenci na úrovni celkového skóre, nikoliv (správně) na úrovni ordinálních položek. (?? ©) Nezvažuje povahu chyby měření. Chybu měření nelze rozdělit na jednotlivé „zdroje". ° Např. ověřuji buďtest-retest, nebo vnitřní konzistenci. Sčítání položek vyžaduje paralelní, intervalové položky. ° Zkresené odhady reliability, suboptimální validita a reliabilita skórů při porušení předpokladu. 1 Teorie zobecnitelnosti Generalizabiliy Theory. Cronbach, L.J., Nageswari, Rv &Gleser,G.C. (1963). I Teorie zobecnitelnosti „Zobecnění" CTT pro všechny případy, kdy se měření skládá z dílčích paralelních testů. Řeší problém „mnoho chyb měření, mnoho odhadů reliability". Univerzální teorie, která umožňuje parcelovat chybu měření na dílčí zdroje chyb. Vychází z CTT: operacionalismus. ° Jde o její rozšíření se všemi neduhy a nevýhodami. GT příklad: 2fasetový design N osob je měřeno 3položkovým testem ve 2 situacích. 2fasetový design p x i x o: 0 rij=3 položky a nQ=2 administrace. Skóre je průměrem všech pozorování. Odpověď na každou jednu položku se skládá z: 3 ^pio @i @o @pxi @pxo @ixo čpxixo Celkový rozptyl v datech: ° Rozptyl těchto jednotlivých pozorování Xpio. ° aXpio °i + OŠ + Opi + Opo + °io + °pio,e 0 Pro připomenutí: sčítání náhodně rozdělených proměnných. Jednotlivé složky jsou nezávislé. TABLE 36^1 C rawed Person X Item X Occasion ti Study of Sclť-Conccpt Scores Person Occasion I S Item I Item 2 Item 3 Item I Item 2 hem 3 1 ■I 2 5 ■I ? 1 2 I 1 ■I 2 3 2 ? 3 2 1 P ■\ S 1 -1 2 A- 1 ■1 1 .1 .i 3 GT příklad: 2fasetový design N osob je měřeno 3položkovým testem ve 2 situacích. 2fasetový design p x i x o: 0 rij=3 položky a nQ=2 administrace. Skóre je průměrem všech pozorování. Jinými slovy - chybami v tomto kontextu jsou: ° Každá situace je jinak obtížná. ° Každá položka je jinak obtížná (to většinou nezvažujeme). ° Výkon respondentů není stabilní (liší se v situacích). ° Obtížnost položek variuje napříč situacemi. ° Každá položka je jinak obtížná pro každého respondenta, systematicky napříč situacemi (korelace není perfektní). ° Zbytek (pro každého respondenta je každá položka v různých situacích různě obtížná. TABLE 36^1 C rawed Person X Item X Occasion ti Study of Sclť-Conccpt Scores Occasion Person Item 1 item 2 hem 3 Item J ítem 2 liem 3 1 2 .1 P A- 2 2 I 5 1 3 2 2 1 3 1 Teorie zobecnitelnosti G-studie (generalizability study) 0 Rozdělení pozorovaného rozptylu na jednotlivé složky. ° Jak velkou část rozptylu měření tvoří rozptyl měřeného atributu, jak velkou část jednotlivé chyby? 0 Zobecňuje z dat na prostor měření. D-studie (decision study) 0 Odhaduje velikost chybového rozptylu pro konkrétní design měření. 0 Případně hledá optimální design s nejlepším poměrem náročnosti měření a chyby měření (reliability). 0 Specifikuje z prostoru měření na testovou situaci. G-studie Původně odhad rozptylových komponent prostřednictvím ANOVA (resp. ANOVA pro opakovaná měření), dnes spíše lineární smíšený model. 0 Jednotlivé zdroje chyb = fasety (v tradiční ANOVA terminologii faktory, v LMM terminologii random efekty). Veškeré identifikovatelné rozdíly mezi pozorováními (respondent, čas, hodnotitel, položka...) jsou použity jako fasety. Celkový pozorovaný rozptyl je „nakrájený" na jednotlivé složky, z nichž některé arbitrárne považujeme za chybové, jiné za rozptyly měřeného atributu. ° Odhad rozptylu random efektů. Software: Lze v SPSS; jednodušeji v R (Ime4 + gtheory nebo hemp). G-studie: Příklad výsledků Tabic 34^-2 Estimated Variance Components in the Example pXi Xo design Source Variance Component Estimate Percent i*f Total Variability Person (p) °2P J.I OS 30 Item (i) °T 0.102 03 Occasion (d) 0.030 0J p x i 0.8 JO 22 px 0 0.230 06 i xo «£ 0.001 00 p x i x o, e a1 L.4J3 D-studie Definuje tzv. „prostor zobecnění" (počtem pozorování, mírou zobecnění atp.), na který budeme zobecňovat pozorování daného respondenta. ° V rámci tohoto prostoru má každý respondent tzv. U skór, universe score. Dva typy zobecnění: ° Relativní (norm-referenced) - pořadí osob v rámci stejné kombinace faset. ° Reliabilita odhadována pomocí koeficient zobecnitelnosti (generalizability). ° Přímo srovnatelný s různými druhy CTT realiability. ° Absolutní (kriteriální) - dosažení určité kriteriální hodnoty universe skóru. ° Reliabilita odhadována pomocí koeficientu spolehlivosti (dependability) Shodný počet, avšak jiných faset (např. 2 pozorovatelé, ale pro každého jiní). ° Zajímá nás absolutní, kriteriální výsledek (např. u znalostních testů), nechceme jen srovnávat s normou. D-studie: Příklad použití 2 LU CO 0.60- 0.55- 0.50 4* 0.45-o % 0.40- w n < 0.35- 0.30-0.25- No. of Raters 2 3 4 1 2 3 Number of Prompts U.ää-0.80-j I 0.75-i 1 0.70- 0 ^0.65^ 1 0.60 I 0.55-J 0.50-1 0.45^ 0.40 No. of Raters 2 3 Number of Prompts FIGURE 1.2. ct(A) and for scenario with p x T x R design. Software Lze použít ANOVA nebo smíšené lineární modely v běžném SW (SPSS, R, JASP...) R: balíčky hamp, gtheory, Ime4 ° Balíček hemp není na CRANu (jde o balíček ke knize Psychometrics in R). Lze nainstalovat pomocí if(!require(devtools)) install.packages("devtools") library(devtools) if(!require(hemp)) install_github("cddesja/hemp") library(hemp) Teorie odpovědi na položku Item Response Theory G. Rasch F. M. Lord P. F. Lazarsfeld a mnoho dalších (1916-1987) Teorie odpovědi na položku Teorie odpovědi na položku (IRT; Item Response Theory) pomocí různých modelů popisuje vztah mezi latentním rysem (latent trait) a odpovědí na položky. Odpovědi na položky jsou realisticky považovány za nominální či ordinální. 0 V případě intervalové odpovědi může být IRT totožná s faktorovou analýzou. IRT modely: popisují pravděpodobnost správné (nějaké) odpovědi respondenta s určitou mírou latentního rysu na položku o určité obtížnosti (a dalších parametrech). Vztah odpovědí a latentního rysu není lineární jako v případě FA. ° Protože samy položky (většinou) nejsou považovány za intervalové. ° Zpravidla je logistický (IRT je vlastně série logistických regresí). Faktorová analýza vs. IRT Technicky vzato je faktorová analýza a IRT velmi podobný model měření. ° Viz Borsboom (2005) a modely s latentními proměnnými. ° Dalším modelem s latentními proměnnými je například analýza latentních tříd (LTA). Faktorová analýza: model pro spojitá intervalová data. ° Vztah faktoru a odpovědi na položku je lineární. ° Odhad faktorového skóru lze provést jako vážený průměr položek. IRT: model pro libovolná, typicky kategorická (nominální, ordinální) data. ° Vztah faktoru a odpovědi na položku je logistický (příp. probitový). Např. tzv. „ordinální/kategorická" CFA je zcela shodná s IRT Graded Response Modelem. Protože data mohou být velmi různá, IRT je vysoce flexibilní nástroj. IRT modely Vznik v 50. a 60. letech, další rozvoj v 80. letech (počítače). Nezávisle na sobě G. Rasch (matematik), F. M. Lord (psycholog) a P. F. Lazarsfeld (sociolog). Jde o stochastickou úpravu původně deterministického Guttmanova modelu. Základní typy modelů podle počtu parametrů: ° 1 - parametr obtížnosti položky ° 2 - diskriminační parametr položky ° 3 - parametr (pseudo)uhádnutelnosti Raschovy modely: ° Řadí se mezi jednoparametrové, ale mají odlišnou logiku. ° (Složitější RM navíc svým způsobem zahrnují i jiné parametry.) Paul Felix Lazarsfeld (1901-1976) Georg Rasch (1901-1980) Louis Guttman (1916-1987) Charakteristická funkce položky Operacionalizace daného IRT modelu. Obtížnost položek a schopnost respondenta jsou na stejné škále. Charakteristická funkce položky: Má přibližně tvar kumulativního normálního rozložení. ° Popisuje vztah mezi schopností probanda a jeho očekávaným výkonem v dané položce. ° Predikuje pravděpodobnost správné/špatné odpovědi v závislosti na obtížnosti položky a probandově schopnosti. Item Characteristic Curve (ICC). Raschův (1PL) model Charakteristická funkce: ee-bt l + ee-bt Přímé rozšíření guttmanovské škály o pravděpodobností usuzování. Parametr obtížnosti položky/je bod na škále schopnosti, v němž je pravděpodobnost správné odpovědi respondenta j se stejnou mírou schopnosti (6j = bj) na danou položku P|(6j) = 0,5. ° Pravděpodobnost správné odpovědi závisí na rozdílu schopnosti respondenta a obtížnosti položky 6 — bt. snadnější položka / nižší úroveň rysu obtížnější položka / vyšší úroveň rysu schopnost Další modely 1PL - technicky shodný s Raschovým modelem. ° (To „PL" značí počet parametrů jedné položky). 2PL- jak dobře model diskriminuje? ° Strmost ICC prostřednictvím diskriminačního parametru. 3PL - jakou pravděpodobnost uhádnutí má respondent s nekonečně malou úrovní daného rysu? 0 Spodní limita funkce pomocí parametru pseudouhádnutelosti. Různé polytomické modely (Likertovy škály, multiple-choice, nucená volba...). ° Partial Credit model, Nominal Response model, Graded Response Model a řada dalších. Multidimenzionální modely. 0 Pro případy, kdy odpověď závisí na více latentních rysech. Charakteristická křivka položky 2PL modelu IRT odhad Charakteristická křivka položky 3PL modelu Př(0) = q + (1 - q) eai(G-bô 1+eai(9-bi) 0 - diskriminační parametr ° Mira náklonu ICC. 0 Cj - parametr pseudouhádnutelnosti Spodní limita ICC Postupnou fixací parametrů 3PL modelu lze dosáhnout jednodušších modelů: ° Cj = 0 - 2PL model 0 a,- = 1 - 1PL model oo o CD (D 5 O T3 O "g CO cg o p o IRT odhad Polytomické modely: Graded Response Model Polytomické modely: Multiple-choice Model Praktické příklady http://fssvm6.fss.muni.cz/ICC/ ° 4PL binární model https://shiny.cs.cas.cz/ShinyltemAnalvsis/ ° 4PL binární model: záložka IRT models -> Training -> Dichotomous model ° Polytomické modely (GRM, GPCM, NRM): záložka ... -> Polytomous model Výhody a aplikace IRT Realistické modelování odpověďového procesu. Měření je velmi nezávislé na konkrétním testu a výzkumném souboru. Chyba měření je specifická pro různé úrovně latentního rysu. Explorační i konfirmační podoba modelů. ° Jako u faktorové analýzy; tzv. item-factor analysis. Chybějící data nejsou problém; IRT se zaměřuje na položku, nikoliv celý test. Poskytuje více informací o fungování testu ve srovnání s FA/CTT. Občas náročnější na velikost vzorku a na výpočetní sílu. Využití IRT Počítačové adaptivní testování: Vybírá položky podle průběhu testování. 0 Zvýšení reliability, resp. zkrácení testu. Vyvažování paralelních verzí testu (large-scale assessment), kalibrace. ° Anchor tests/items, před kalibrované sety položek atd. Různé výhody při konstrukci psychodiagnostických testů. ° Woodcock-Johnson, KIT; nižší závislost skórů na obtížnosti testu. Explanační IRT modely ve výzkumu. ° Výzkum odpověďového procesu. Pro ověřování validity (faktorové struktury) namísto faktorové analýzy. 0 V případě binárních položek realističtější výsledky. Dostupný software R ° Zejm. balíček mirt, případně lavaan, TAM, irtoys, eRm, psychonetrics aj. Winsteps ° Pouze Raschovy modely, zaměřený na praktickou konstrukci testů (WJ-IV aj.). ° Grafické GUI; katedra má licenci (zájemcům poskytne HC). Mplus ° Obecný SW pro modelování s latentními proměnnými. ° Katedra má malý počet licencí. Klasika a tradice: BILOG-MG, flexMIRT, jMetrik, PARSCALE, Xcalibre aj. ShinyltemAnalysis: on-line aplikace, nebo package do R s vlastním GUI. Reprezentační model měření: Spojité měření Měření v sociálních vědách může být měřením. Od ordinality ke kardinalitě. Spojité měření Nezávisle na sobě objevili francouzský ekonom Gérard Debreu (1960) a psycholog Duncan Luce s matematikem Johnem Tukey (1964). Conjoint measurement theory (CM) je postup pro inferenci intervalové proměnné s aditivní strukturou z ordinálních proměnných. 0 A tedy vyvrací závěry Fergusonovy komise. ° Raschův model může být jednou ze stochastických specifikací CM. V současnosti docela rychlý rozvoj v oblasti dalších stochastických aplikací pro různé účely, např. Karabatsos chrlí jeden model za druhým. Zajímavost: Tversky (Nobelova cena Kahneman a Tversky, 1979) se zaměřoval právě na CM (např. 1967) a jejich prospektová teorie je na CM přímo založena. CM: Klíčové pojmy a koncepty Původně byla teorie plně deterministická, stochastické úpravy jsou komplikované. 0 Je tedy problém s aplikací v sociálních vědách, kde hraje velkou roli chyba měření. Typicky máme dvě proměnné, u kterých nevíme, zda jsou nominální či kardinální. 0 V typickém případě v psychologii položky a osoby. Dále máme množinu všech možných seřazení těchto proměnných. ° Může být seřazená (ordinální), nebo číselná (intervalová). CM podle několika pravidel odvodí, zda jsou proměnné intervalové. 0 A my pozorujeme jen jejich konkrétní „instance". ° Jednoduché a dvojité vykráčení, řešitelnost, archimédovská podmínka, posloupnost vykráčení (tranzitivita rozdílů). interakce položky Spojité měření respondenti Délka. ° Položky: m > cm > mm 0 Respondenti: stůl > kniha > tužka Jsou tužka-kniha-stůl kvantitami? Jednoduché vykráčení 0 (tužka, mm) < (kniha, mm) 0 (tužka, mm) > (tužka, cm) Dvojité vykráčení 0 (tužka, cm) < (kniha, mm) ° (kniha, mm)/(tužka, cm) = 300/15 = 20 ° (kniha, m) < (stůl, cm) ° (stůl, cm)/(kniha, m) = 150/0,3= 500 T cm m tužka 150 ^ 15 0,15 kniha 300 30 0,3 stůl 1500 | 150 | (tužka, m) < (stůl, mm) ° (stůl, mm)/(tužka, m) = 1500/0,15 = 10000 tužka+cm+kniha+m < kniha+mm+stůl+cm ° tužka+m < stůl+mm ° 20*500 = 1000 Fundamentální škála: tužka=l, kniha=2, stůl=10 m=l, cm=100, mm=1000 Dynamické síťové modely Dynamic network models Van Der Maas et al., 2006; Borsboom, 2008; Cramer, Waldorp, van der Maas, & Borsboom, 2010; Borsboom, Cramer, Schmittmann, Epskamp, & Waldorp, 2011 o ai Am indifferent to the feelings ol others o A2: Inquire about others' wet-being o A3: Know how to comfort others o A4 Love children o A5: Make people feel at ease Conscientiousness o c 1: Am exacting in my work, o C2: Continue untJ everything is perfect o C3: Do things according to a plan, o C4: Do things in a half-way manner, o C5 Waste my time. Extraversion • El Dont talk a lot. • E2: Find it difficult to approach others. • E3: Know how lo captivate people, o E4: Make friends easily. • E5: Take charge. NeurorJcism • N1: Get angry easily. • N2. Get Irritated easily • N3: Have frequent mood swings, e N4 Often leel blue e NS: Panic easily. Openness o Ol: Am full of ideas. o 02: Avoid difficult reading material. ° 00: Carry the conversation lo a higher level o 04: Spend lime reflecting on things. o OS: Wil not probe deeply Into a subject. Dynamic network model „l/1/e propose that the variables that are typically taken to be indicators of latent variables should be taken to be autonomous causal entities in a network of dynamical systems. Instead of positing a latent variable, one assumes a network of directly related causal entities as a result of which one avoids the three problems discussed above/' 0 Schmittmann, V. Dv Cramer, A. O. Jv Waldorp, L. Jv Epskamp, Sv Kievit, R. Av & Borsboom, D. (2013). Deconstructing the construct: A network perspective on psychological phenomena. New Ideas in Psychology, 31{1). doi: 10.1016/i.newideapsvch.2011.02.007 Zejména v psychopatologii či psychologii osobnosti. V současnosti extrémně rychle se rozvíjející oblast psychometriky; jen pár let staré. s o 2. d CD ba to o TO 02 TO a TO TO Oi 5S. fa i Jd w o 02 o o 3 o 0 5 CD r-r- 1 r+ CD i— CD a j CD 02 02 Agreeableness A1: Am indifferent to the testings of others. A2: Inquire about others' wel-being A3: Know how to comfort others. A4: Love children AS: Make people feel at ease. Conscientiousness o CI Am exacting in my work, o C2: Continue until everything Is ported o C3: Do things according to a plan. o C4: Do things in a half-way manner, o C5: Waste my time. Extroversion El Cent :alk a lot E2: Find it difficult to approach others. E3: Know how to captivate people. E4: Make friends easily. E5: Take charge. Neuroticism Nf: Get angry easily. N2: Get irritated easily. N3: Have frequent mood swings. N4 Often leel Mue. N5: Panic easily. Openness Ol: Am full of ideas. 02: Avoid difficult reading material. 03: Carry the conversation to a higher level 04: Spend time reflecting on things. OS: Wil not probe deeply into a subject. Figure 1.1: Example of a network model estimated the BFI personality dataset from the psych package in R. Nodes represent variables (in this case, personality inventory items) and links between the nodes (also termed edges) represent partial correlation coefficients. Green edges indicate positive partial correlations, red edges indicate negative partial correlations, and the width and saturation of an edge corresponds to the absolute value of the partial correlation. Estimation technique as outlined in Chapter 2 was used. Epskamp, S. (2016). Regularized Gaussian Psychological Networks: Brief Report on the Performance of Extended BIC Model Selection. arXiv preprint, arXiv:1606.05771. Phase 1. Dormant network in stable state Phase 2. Network activation Phase 3. Symptom spread Phase 4. Active network in stable state Figure 3 Phases in the development of mental disorders according to the network theory. After an asymptomatic phase, in which the network is dormant (Phase 1), an external event (Ei) activates some of the symptoms (Phase 2), which in turn activate connected symptoms (Phase 3). If the network is strongly connected, removal of the external event does not lead to recovery: the network is self-sustaining and is stuck in its active state (Phase 4). Borsbom, D. (2017). A network theory of mental disorders. World Psychiatry 16(1), 5-13. doi: 10.1002/wps.20375 https://goo.gl/6cJs6a Wichers, Mv Groot, P. C. (2016). Critical Slowing Down as a Personalized Early Warning Signal for Depression. Psychotherapy and Psychosomatics 85,114-116. doi: 10.1159/000441458 Dynamic network models: Využití Aktuálně je propojován přístup strukturního modelovania dynamických systémů - část modelu je parametrizována jako síť, část jako strukturní model. Time-series modely. ° Bud'zjišťuji „souvýskyt" symptomů v jednom časovém okně (contemporaneous network), nebo sleduji, jak na sebe kauzálně symptomy působí v čase (temporal network). Personalizovaný mixed/random effect network model. ° V případě kauzálního time-series modelu: existují „průměrné" hodnoty kauzálních vztahů mezi symptomy, které ale pro různé lidi různě variují (každý má vztahy trochu jiné). ° Přímé využití v terapii, např. při identifikaci fokálních symptomů. Network modely podporují systemický přístup k diagnózám, umožňují vhodnějším způsobem studovat patologii (aplikace zejm. v oblasti deprese, úzkosti apod.). Blízké sociometrii, analogické k analýze sítí v sociologii. Software JASP R. Balicky: ° psychonetrics ° bootnet ° qgraph Dalsf zdroje: 0 http://psvchosvstems.org/ 0 http://psvchonetrics.org/ Další přístupy Teorie vědomostních prostorů Spojité měření IRT modelování Bayesovské kognitivní modelování Spíše ve výzkumu, neslouží primárně pro škálování a individuální diagnostiku. Al. Beta(l(l) GaiiKsiaii{0, O.S^g^j Uniform(40,S00) Uniform{4, 100) s,; ~ Bernoiilli(0) Beta{/ibAbl (1 - /ib) Ab) Beta(/in, Ani. (1 - fim) AIIL) Binomial(#i. n) bgit/ib - Pd Beta(5, 5) Graphical model for inferring membership of two latent groups, consisting of malingerers and bona fide participants. Teorie vědomostních prostorů Pochází z didaktického a pedagogického testování. Ko Teorie vědomostních prostorů Využívá se při plánování kurikula, výuky. Různé tutorové výukové systémy. Dva způsoby konstrukce/uvažování o vědomostních prostorech: 0 Expertní návrhy. ° Empirický (item-tree analysis, cluster analysis aj.). IRT modelování IRT modeling, item response latent modeling... IRT není v tomto kontextu chápané jako statická teorie, ale jen jako konkrétní specifikace nějakého generalizovaného lineárního modelu (existují ovšem i nelineární aplikace). Tzv. „generál latent variable modeling". Muthén, Muthén & Asparouhov v rámci SW Mplus. Univerzální framework, v rámci něhož výzkumník definuje model, popisující jeho představu o tom, jaké složky se podílejí na vzniku pozorovaných dat... a model na těchto datech ověří. IRTree De Boeck, P., & Partchev, I. (2012). IRTrees: Tree-Based Item Response Models of the GLMM family. Journal of Statistical Software, 48(1), 1-18. Explanační IRT modely IRT modely, které kromě parametrů na straně položek a osob (obtížnosti, diskriminace, schopnosti) predikují odpověď na položku s pomocí dalších externích informací. 0 Např. příslušnost respondenta ke skupině, aspekty na straně položky, o kterých se domníváme, že „způsobují" obtížnost... Umožňují nám lépe a s větší silou testu ověřovat různé hypotézy o respondentech či položkách. Bayesovské kognitivní modelování Velmi moderní přístup, není jasné, kterým směrem se bude ubírat vývoj. ° Umožněno extrémní rozvojem počítačové kapacity - i dnes ale analýzy trvají mnoho dní. Snaží se „modelovat" chování lidí v určité situaci. ° Časté použití v psychiatrickém kontextu u neuropsychologických testů. Jiné zobecnění teorie odpovědi na položku. Na základě teorie je specifikován konkrétní model pro daný test/situaci. Pomocí bayesovského modelování se odhadují parametry pro konkrétního respondenta, výzkumnou skupinu atp. Hlavní použití je zatím ve výzkumu.