Setkání se zaměřuje na teorii zobecnitelnosti (Generalizability Theory, GT) jako rozšíření klasické testové teorie. Očekávána je konceptuální znalost modelu, schopnost sestavit adekvátní design G-studie i D-studie a odhadnout chybu měření/reliabilitu pro konkrétní (jednoduchý) design.

Stručný obsah

• Konceptuální východiska GT. Souvislosti s CTT, předpoklady.
• 1, 2, n-fasetový design. Odlišnosti termínu faseta od jiných oblastí psychometriky :-)
• Prostor zobecnění (universe of generalization), ideální skór (universe score).
• G-studie, D-studie. Absolutní vs. relativní design a faseta, smíšený design.
• Využití ANOVA a smíšeného lineárního modelu (linear mixed model, LMM) pro odhad rozptylových komponent. Výhody a nevýhody obou přístupů.
• Absolutní a relativní chyba. Postup jejich odhadu pro různé D-studie.
• Koeficient zobecnitelnosti (generalizability coef.) a spolehlivosti (dependability coef.) a jejich interpretace.
  
• Využití teorie zobecnitelnosti v praxi: vývoj testu, odhad chyby měření, chyba odhadu skupinových skórů, další praktické aplikace. 
• Další předpoklady a omezený: skryté (hidden) a vnořené (nested) fasety. 
• Praktická ukázka: hodnocení bakalářských prací jako přijímací zkouška do NMGR PSY na FSS MU.

Studijní zdroje

Povinné

Jeden z následujících dvou zdrojů. Oba se hodně překrývají, ale každý má své výhody a nevýhody. Vyberte si dle své preference ;-)

1. Shavelson, R. J., & Webb, N. M. (2005). Generalizability theory. In J.L. Green, G. Camilli, G. & P. B. Elmore (Eds.), Complementary Methods for Research in Education (3rd ed., 599–612). Washington, DC: AERA.
   
2. Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction. Sage. Strany 569–608.
   

Doplňující a rozšiřující zdroje

3. Velmi čtivý úvod do GT včetně jednoduchého úvodu s motivy, k čemu to celé je. Může jít o alternativu k povinné literatuře.
   Briesch, A. M., Swaminathan, H., Welsh, M., & Chafouleas, S. M. (2014). Generalizability theory : A practical guide to study design , implementation , and interpretation. Journal of School Psychology, 52(1), 13–35. https://doi.org/10.1016/j.jsp.2013.11.008
   
4. Implementace do R:
   Christopher T. Moore (2016). gtheory: Apply Generalizability Theory with R. R package version 0.1.2. https://CRAN.R-project.org/package=gtheory
   (Tento balíček ale moc nedoporučuji, má určité nevýhody a chyby.)
5. Kompletní přehled GT:
   Brennan, R. L. (c2001). Generalizability theory. Springer. 
   (K vypůjčení v kanc. 2.47. Pozor, knížka je zastaralá po statistické stránce, zcela chybí odhad prostřednictvím maximum-likelihood estimátoru a smíšeného lineárního modelu, jinak je ale perfektní a po konceptuální stránce vyčerpávající. Brennan byl přímým Cronbachovým spolupracovníkem)
   
6. Úvod do teorie včetně jednoduché implementace do R a řady příkladů:
   Desjardins, C. D., & Bulut, O. (2018). Handbook of educational measurement and psychometrics using R. CRC Press, Taylor & Francis Group. Strany 55–73.
   (Součástí jsou skripty v nepublikovaném balíčku hemp.)
7. Ilustrace GT na hodnocení bakalářských prací pro účely přijímacího řízení na naší fakultě. GT je zmíněna okrajově v on-line appendixu a pro vyvážení přísnosti hodnotitelů byl využit multifasetový Raschův model, jde nicméně o příbuzný model ke GT. Může posloužit jako ilustrace postupu.
   Cígler, H., Ježek, S., Širůček, J., & Lacinová, L. (2022). Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia: psychometrická kazuistika. Studia paedagogica, 27(1), 93-124. https://dx.doi.org/10.5817/SP2022-1-4 

Průběžná příprava: 19.–23. 10. 2020

Čeká vás opět jedna otázka na cca 1.000 znaků. Kromě toho je součástí přípravy jedna nepovinná otázka zaměřená na postup výpočtu pro ilustraci toho, jak může vypadat písemný test. Po ukončení průběžné přípravy, tj. od 23. 10., budou v níže uvedené kapitole interaktivní dostupné výsledky a ilustrace tohoto výpočtu. Můžete se pak sám/sama podívat, jaký byl optimální postup.