MUNI
FSS
Teorie odpovědi na položku
PSY028    JARO 2018    BLOK 6 DIF a multigroup IRT modely Další témata
Počítačové adaptivní testování
Balíček mirtCAT, který používá Shiny rozhraní a MIRT package pro CAT. 0 https://github.com/philchalmers/mirtCAT
0 V případě potřeby lze využít RStudio nainstalované na webu Testfora.
Software Concerto od Cambridge Psychometrics Centre 0 https://www.psychometrics.cam.ac.uk/newconcerto
Multigroup IRT
Stejná logika jako multigroup konfirmační faktorová analýza.
Lze použít pro více různých účelů: 0 DIF analýza, DTF analýza. 0 Testová/faktorová invariance.
Jedna analýza se spustí nad více skupinami najednou.
° Některé parametry mohou být různé, a nebo shodné (omezené na stejnou hodnotu) napříč těmito skupinami.
0 Sleduje se, zda a nakolik se model zhoršuje při omezování parametrů.
IRT invariance: binární položky
	slopes	intercepts	lat. means	lat. variances
konfigurální	free	free	0	1
metrická	constrained	free	0	free*
skalární	constrained	constrained	free*	free*
(striktní)	constrained	constrained	0	free*
(paralelní)	constrained	constrained	^1   0 ^|	^1   1 ^|
* V první skupině fixované, v dalších volně odhadnuté.
Nelze testovat reziduálni invariance jako v CFA, protože chyba měření (informační funkce položky) je přímo funkcí jednotlivých parametrů.
IRT invariance: polytomní položky
Není úplně jednoduché odhadovat zvlášť skalární a metrickou invarianci. ° Metrická invariance vyžaduje „stejný" průběh charakteristické křivky položky.
° Charakteristická funkce položky je definována jak diskriminačním parametrem, tak prahy.
Metrická invariance lze testovat jen u modelů s tradiční IRT parametrizací, které obsahují zvlášť parametr obtížnosti a zvlášť parametry jednotlivých prahů.
° Tedy modified graded response model, případně PCM rodina modelů. 0 Např. gpcmIRT, grsmIRT
IRT invariance: polytomní položky
	a (diskr.)	b (difficulty)	T thresholds	lat. means	lat. variances
konfigurální	free	free	free	0	1
metrická	constrained	free	constrained	0	free*
skalární	constrained	constrained	constrained	free*	free*
(striktní)	constrained	constrained	constrained	0	free*
(paralelní)	constrained	constrained	constrained		
* V první skupině fixované, v dalších volně odhadnuté.
Nelze testovat reziduálni invariance jako v CFA, protože chyba měření (informační funkce položky) je přímo funkcí jednotlivých parametrů.
Difference test functioning
Jak velký vliv má noninvariance na skórování testu - tedy vztah odhadovaných a skutečných latentních rysů/hrubých skórů?
e
DIF: Differential item functioning (analysis)
DIF popisuje situaci, kdy položka „funguje" rozdílně napříč různými skupinami respondentů.
Protože „fungování" položky je definované prostřednictvím charakteristické funkce položky, lze testovat rozdílnost jednotlivých parametrů.
Uniform DIF: položky se liší obtížností.
Non-uniform DIF: položky různě diferencují (liší se diskriminačním parametrem).
DIF: Differential item functioning (analysis)
Item Characteristic Curve: Uniform DIF
ParticipantAbility FocalGroup   ^^—Rrference Group
Item Characteristic Curve: Non-Uniform DIF
ParticipantAbility
FocalGroup   ^^—R Terence Group
Postupy ověření DIF: Raschův model a Winsteps
t-test
0 Prosté srovnání parametrů obtížností položek napříč skupinami.
0 Signifikantní t-test: obtížnosti položek se liší a tedy uniformní DIF.
0 Non-uniformní DIF nedává u Raschova modelu příliš smysl, protože všechny položky a=l.
° Lze nicméně stratifikovat respondenty do skupin podle úrovně latentního rysu a (s pomocí interakce s příslušností ke skupině) testovat non-uniform DIF opět t-testem.
Mantel-Haenszel chi-squared test 0 Postup pro ověřování DIF převzatý z CTT.
0 Respondenti jsou st ratifikován i do více (typicky pěti) skupin podle latentního rysu.
Pomocí testu dobré shody se ověřuje stejná kumulativní distribuce těchto frekvencí.
DIFvIRT
Lordův (1980) Waldův test.
0 Ve dvou skupinách pro n parametrů naráz má chí-kvadrát rozdělení s n stupni volnost a statistikou:
2 = Or ~ Vf)  (Vr ~ Vf)
x ~    (?r + i:f)
0 kde vr a vF jsou vektory maximum likelihood odhady parametrů ve skupině R a F, a ľ,R a EF jsou varianční a kovarianční matice chyb těchto odhadů.
0 Lze testovat omezování, nebo naopak uvolňování parametrů napříč modely. Logistická regrese:
0 Logistická regrese s pozorovanou odpovědi (závislá proměnná) a odhadem latentního rysu, členství ve skupině (uniform) a interakcí (nonuniform) jako p re d i kto ry.
Signifikance skupiny či interakce signalizuje příslušný DIF. Řada dalších.
Odhad v R
DIF funkce v mirt package (Waldův test).
Další, specializované balíčky, jako např.: ° difR
° deltaPlotR 0 řada dalších