Pokud máte pocit, že základy IRT popisované Furrem (2014) již znáte, nečtěte jej znova, a zaměřte se na cokoli z doporučené literatury uvedené níže. Ušetříte svůj čas a dozvíte se něco nového ;-)
Týden 8-9: Teorie odpovědi na položku | 2. 11. a 9. 11. 2021
Přednáška na téma teorie odpovědi na položku (IRT, Item Response Theory) bude rozdělena do dvou setkání. Cílem je představit konceptuální základy IRT, popsat její vztah s faktorovou analýzou i klasickou testovou teorií, a zakotvit celé téma do epistemologického rámce (podrobněji iz poslední dvě přednášky kurzu). Důraz bude kladen na možnosti využití IRT v diagnostické i výzkumné praxi. Předpokládány jsou teoretické znalosti fungování IRT a její východiska, různé druhy modelů a možnosti aplikace.
- Epistemologické základy IRT. Rozdíl oproti CTT, podobnost faktorové analýze.
- Předpoklady IRT, vlastnosti IRT modelů, velikost vzorku.
- Stručný přehled IRT modelů dle počtu parametrů: Raschovy modely (RM) a 1PL, 2PL, 3PL
- Rozdílná východiska Raschova modelu a ostatních IRT modelů.
- Polytomické IRT modely: RSM, PCM, GPCM, GRM, NRM a další.
- Tutzův sekvenční model, IRTree, LLTM modely; IRT jako generalizovaný smíšený lineární model (GLMM).
- Informační funkce položky a testu. Charakteristická funkce položky a testu. Vztah informační funkce a chyby měření.
- Shoda modelu s daty na úrovni položky i celého testu.
- Výhody a nevýhody využití IRT při konstrukci testu.
- Matematická ekvivalence IRT a ordinální faktorové analýzy.
- Rozdíl měřené „veličiny“: vztah hrubého skóre, odhadu faktorového skóru ve FA a v IRT.
- Typické raschovské skóry: W-škála, index relativní výkonnosti (RPI), vývojové skóry (věkové a ročníkové ekvivalenty), zóna proximálního vývoje.
- Multidimenzionální IRT; intercept-slope parametrizace, kompenzatorní a non-kompenzatorní modely.
- Aplikace IRT: Adaptivní testování.
- Aplikace IRT: Škálování založené na IRT.
- Aplikace IRT: Linking a equating.
Průběžná příprava (3.-7. 11.)
Průběžná příprava je společná pro obě části přednášky, a to po prvním setkání. Po druhém setkání je termín odevzdání seminární práce a průběžná příprava je proto vynechaná.
Literatura
Povinná literatura je rozdělena do dvou částí podle dvou setkání. K prvnímu setkání je zadaná povinná literatura v podobě krátkého učebnicového textu. Ke druhému setkání je zadaná pouze rozšiřující literatura. Pokud však máte pocit, že se v úplných základech IRT orientujete (například díky svému bakalářskému studiu), doporučuji zcela přeskočit základní literaturu a pustit se rovnou do rozšiřující.
Povinný zdroj (k 1. setkání):
- Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction. Sage. Strany 385–411.
Rozšiřující zdroje k 2. setkání:
Dle svých znalostí a toho, na kolik si troufáte, si vyberte libovolný z doporučených a rozšiřujících zdrojů a přečtěte si jej. Volte uvážlivě téma, autora i rozsah; volte přiměřeně svým schopnostem a možnostem :-) Každopádně si vyberte něco, co vám dá něco nového. Několik tipů:- Začátečníci: Pokud máte pocit, že se v IRT neorientujete vůbec, doporučuji celou DeMars (2010). Dočtete se znovu to, co ve Furrovi a Bacharachovi, a třeba se vám to bude napodruhé lépe chápat. Jde skutečně jen o 100 stran a celý text je velmi stravitelný.
- Kdokoli: Kdokoli může zvolit Bonda a Foxovou (2015). V takovém případě si projděte cca prvních pět kapitol, můžete ale zabrousit i do některých z pozdějších pasáží dle svého výběru. Nečtěte celou knihu, pokud skutečně nechcete! :-)
- Středně pokročilí: Pokud ovládáte základy a chcete se zaměřit na detaily, vyberte si dle své úvahy pasáž (jednu až dvě kapitoly) z De Ayaly (2009). Vybírejte uvážlivě, aby nešlo o opakování toho, co znáte, a abyste se dozvěděli něco nového. Osobně doporučuji multidimenzionální modely.
- Středně pokročilí s experimentálním zaměřením: Pokud se chcete zaměřovat na experimentální výzkum, jednoznačně doporučuji IRTree modely od De Boecka a Partcheva (2012), případně explanační a LLTM modely od De Boecka a kol. (2012). Obojí je fakt super, naznačí to flexibilitu IRT přístupu! Mně osobně oba tyto zdroje otevřely oči; vyberte si, který vám přijde zajímavější, oba ale spolu úzce souvisejí.
- Pokročilí: Ukradněte si první díl sborníku od van der Lindena (2016) a vyberte si jednu až dvě z pokročilejších kapitol. Doporučuji zejména modely pro odhad času, výběr ale záleží na vás a vašich preferencíh
- Pokročilí se zkušeností s ordinální CFA: Pokud máte už nějaké zkušenosti s ordinální CFA a chcete se dozvědět nějaká konceptuální východiska, doporučuji Wirtha a Edwardse (2007). Jde sice o starší a poněkud překonaný zdroj, koncept se ale nemění :) Jen pozor na terminologii, dnes se používá mírně odlišná.
Pokud vám nevyhovuje žádný z doporučených zdrojů a máte nějaký jiný zdroj o IRT, který byste si chtěli přečíst, nenechte se svazovat a směle do toho!
Užitečné odkazy
Doporučené a rozšiřující zdroje
Z těchto zdrojů si vybírejte povinnou literaturu ke druhému setkání.
- Velmi stručný 100stránkový přehled IRT:
DeMars, C. (2010). Item Response Theory. Oxford University Press. - Komeplexní přehled o Raschovu modelu:
Bond, T. G., & Fox, C. M. (2015). Applying the Rasch Model : Fundamental Measurement in the Human Sciences. Lawrence Erlbaum Associates. - Podrobná a rozsáhlá učebnice IRT:
De Ayala, R. J. (2009). The theory and practice of item response theory. Guilford Press. - Popis a možnosti odhadu 1PL explanačního modelu (například pro využití v experimentálních studiích):
De Boeck, P., Bakker, M., Zwitser, R., Nivard, M., Hofman, A., Tuerlinckx, F., & Partchev, I. (2012). The Estimation of Item Response Models with the lmer Function from the lme4 Package in R. Journal of Statistical Software, 39(12), 1–28. https://www.jstatsoft.org/article/view/v039i12/v39i12.pdf - Popis tzv. IRTree modelů pro výzkumné účely:
De Boeck, P., & Partchev, I. (2012). IRTrees: Tree-Based Item Response Models of the GLMM Family. Journal of Statistical Software, 48(Code Snippet 1), 1–18. https://doi.org/10.18637/jss.v048.c01 - Úvod do ordinální faktorové analýzy (item-factor analysis):
Wirth, R. J., & Edwards, M. C. (2007). Item Factor Analysis: Current Approaches and Future Directions. Psychological Methods 12(1), 58–79. https://doi.org/10.1037/1082-989X.12.1.58 - Kompendium stávající teorie odpovědi na položku.
Pokud byste v blízké budoucnosti potřebovali velmi pokročilé informace, jde o v současnosti nejlepší a nejkomplexnější zdroj. Doporučuji zejména první svazek (modely), případně pak třetí (aplikace). Druhý svazek (statistické nástroje) není pro psychology příliš užitečný, nicméně i zde se najdou skvělé pasáže (např. přehled užitečných distribucí v kap. 2).
van der Linden [eds.] (2016–2018). Handbook of Item Response Theory, vol. 1–3. New York: Taylor & Francis. - Představení Raschova modelu v češtině:
Cígler, H. (2018). Matematické schopnosti: Teoretický přehled a jejich měření, kap. Studie 2: Raschův model, strany 129-161. Masarykova univerzita.
Další doplňující zdroje
Jde o zdroje, které vysvětlují specifické dílčí aspekty, o kterých jsme mluvili na přednášce. Pomohou vám vysvětlit dílčí témata, jsou však "nad rámec" a nevybírejte si z nich povinnou četbu na druhé setkání.
- Interpretace raschovských IRT skórů:
Jaffe, L. E. (2009). Development, interpretation, and application of the W score and the relative proficiency index (Woodcock-Johnson III Assessment Service Bulletin No. 11). Rolling Meadows, IL: Riverside Publishing. - Implementace IRT do Mplus (včetně rovnice; je využitelné i při práci v R s lavaanem a podobně):
Asparouhov, T., & Muthén, B. (2020). IRT in Mplus. Version 3. Technical report. www.statmodel.com. - Srovnání IRT estimátorů (WLSMV v ordinální CFA, ML a Bayesovský odhad):
Muthén, B., Muthén, L., & Asparouhov, T. (2015). Estimator choices with categorical outcomes. Technical report. www.statmodel.com.