Setkání se zaměřuje na teorii zobecnitelnosti (Generalizability Theory, GT) jako rozšíření klasické testové teorie. Očekávána je konceptuální znalost modelu, schopnost sestavit adekvátní design G-studie i D-studie a odhadnout chybu měření/reliabilitu pro konkrétní (jednoduchý) design.

Stručný obsah

• Konceptuální východiska GT. Souvislosti s CTT, předpoklady.
• 1, 2, n-fasetový design. Odlišnosti termínu faseta od jiných oblastí psychometriky :
• Prostor zobecnění (universe of generalization), ideální/obecný skór (universe score).
• G-studie, D-studie. Absolutní vs. relativní design a faseta, smíšený design. 
• Náhodné a pevné efekty v D-studii, souvislost s CTT odhady reliability.
• Využití ANOVA a smíšeného lineárního modelu (linear mixed model, LMM) pro odhad rozptylových komponent. Výhody a nevýhody obou přístupů.
• Absolutní a relativní chyba. Postup jejich odhadu pro různé D-studie.
• Koeficient zobecnitelnosti (generalizability coef.) a spolehlivosti (dependability coef.) a jejich interpretace.
  
• Využití teorie zobecnitelnosti v praxi: vývoj testu, odhad chyby měření, chyba odhadu skupinových skórů, další praktické aplikace. 
• Další předpoklady a omezený: skryté (hidden) a vnořené (nested) fasety. 
• Praktická ukázka: hodnocení bakalářských prací jako přijímací zkouška do NMGR PSY na FSS MU.

Studijní zdroje

Povinné

Vyberte si jeden z následujících dvou zdrojů. Oba se hodně překrývají, ale každý má své výhody a nevýhody. Furr (2018) je rozvleklejší, kostrbatý, místy nejednoznačný, ale možná jednodušší pro porozumění, pokud si nejste moc jistí - neobsahuje moc matematiky. Doporučuji pro začátečníky. Shavelson a Webb (2005) jsou mnohem přímočařejší, lépe anotuje rovnice, ale může být náročnější na čtení - doporučuji spíše pro pokročilé.

1. Shavelson, R. J., & Webb, N. M. (2005). Generalizability theory. In J.L. Green, G. Camilli, G. & P. B. Elmore (Eds.), Complementary Methods for Research in Education (3rd ed., 599–612). Washington, DC: AERA.
   
2. Furr, R. M. (2014). Psychometrics : An Introduction. Sage. Strany 569–608.
   

Doplňující a rozšiřující zdroje

3. Velmi čtivý úvod do GT včetně jednoduchého úvodu s motivy, k čemu to celé je. Může jít o alternativu k povinné literatuře.
   Briesch, A. M., Swaminathan, H., Welsh, M., & Chafouleas, S. M. (2014). Generalizability theory : A practical guide to study design , implementation , and interpretation. Journal of School Psychology, 52(1), 13–35. https://doi.org/10.1016/j.jsp.2013.11.008
   
4. Implementace do R:
   Christopher T. Moore (2016). gtheory: Apply Generalizability Theory with R. R package version 0.1.2. https://CRAN.R-project.org/package=gtheory
   (Tento balíček ale moc nedoporučuji, má určité nevýhody a chyby.)
5. Kompletní přehled GT (doporučuji, pokud chcete s GT v budoucnu pracovat, nejkomplexnější a nejlepší zdroj):
   Brennan, R. L. (c2001). Generalizability theory. Springer. 
   (K vypůjčení v kanc. 2.47. Pozor, knížka je zastaralá po statistické stránce, zcela chybí odhad prostřednictvím maximum-likelihood estimátoru a smíšeného lineárního modelu, jinak je ale perfektní a po konceptuální stránce vyčerpávající. Brennan byl přímým Cronbachovým spolupracovníkem.)
   
6. Úvod do teorie včetně jednoduché implementace do R a řady příkladů:
   Desjardins, C. D., & Bulut, O. (2018). Handbook of educational measurement and psychometrics using R. CRC Press, Taylor & Francis Group. Strany 55–73.
   (Součástí jsou skripty v nepublikovaném balíčku hemp.)
7. Ilustrace GT na hodnocení bakalářských prací pro účely přijímacího řízení na naší fakultě. GT je zmíněna okrajově v on-line appendixu a pro vyvážení přísnosti hodnotitelů byl využit multifasetový Raschův model, jde nicméně o příbuzný model ke GT. Může posloužit jako ilustrace postupu. Podrobněji se o této studii budeme bavit na přednášce o shodě posuzovatelů.
   Cígler, H., Ježek, S., Širůček, J., & Lacinová, L. (2022). Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia: psychometrická kazuistika. Studia paedagogica, 27(1), 93-124. https://dx.doi.org/10.5817/SP2022-1-4 
8. Podrobné srovnání koeficientu alfa (a tedy CTT pojetí reliability tak, jak ji kodifikoval Lord s Novickem) a pojetí zobecnitelnosti v rámci GT. Je to sice těžší čtení, ale pro konceptuální pochopení může být užitečné:
   Ellis, J. L. (2021). A Test Can Have Multiple Reliabilities. Psychometrika, 86(4), 869–876. https://doi.org/10.1007/s11336-021-09800-2 
   

Průběžná příprava: 13.–18. 11. 2024