Základy psychometriky
Přednáška 2: Reliabilita a chyba měření | 15. 3. 2021
Přednáška představí model měření klasické testové koncept reliability jako ústřední základ klasické testové teorie a představí rovněž i model měření klasické testové teorie. Představeny budou základní způsoby odhadu reliability.
Klíčová témata
- Obecná definice reliability, její implikace pro měření. Vztah pravého a pozorovaného skóre, latentní a manifestní proměnné.
- Operacionalizace reliability v CTT, její předpoklady, koncept paralelních testů.
- Odhady reliability: test retest, reliabilita paralelních forem, shoda posuzovatelů, vnitřní konzistence.
- Reliabilita kompozitního a rozdílového skóre.
- Metody odhadu vnitřní konzistence: Split half (Spearmanův Brownův vzorec, Guttmanova λ4), Guttmanovy koeficienty vs. analýza kovarianční matice – Cronbachova alfa. Specifické případy: stratifikovaná a standardizovaná Cronbachova alfa.
- Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox.
- Faktory ovlivňující reliabilitu testu.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/videozaznamy/PSYb2590_2021_P02.mp4
Přednáška 02
Prezentace ze se tkání 15. 3. 2021.
Klasická testová teorie, reliabilita, odhady reliability.
Klasická testová teorie, reliabilita, odhady reliability.
Ilustrace některých postupů CTT
Soubor s příklady, které byly prezentovány v rámci přednášky.
Studijní zdroje
Povinná literatura
- FURR: s. 101–186
Doporučená a rozšiřující literatura
Let's measure your height the way psychologists do!
Ilustrační příklad toho, proč na reliabilitě záleží.
Rozptyl součtové proměnné
Grafická ilustrace rozptylu součtu dvou proměnných.
- Revelle, W., & Condon, D. M. Reliability. Unpublished manuscript.
Retrieved online: https://www.personality-project.org/revelle/publications/reliability-final.pdf
(Poměrně kvalitní konceptuální přehled tématu reliability, může být místy náročnější na pochopení.) - SCHULTZ: s. 55–81.
(Skvělý rozšiřující zdroj. Obsahuje jednoduché praktické příklady, snadnější na pochopení.) - Sijtsma, K. (2009). On the Use, the
Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. doi:10.1007/S11336-008-9101-0.
(Skvělé shrnutí nevýhod Cronbachovy alfy. Poměrně dost náročné na čtení.) - Marko, M. (2016). Využitie a zneužitie
Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. Testfórum, 5(7), 99-107. doi:10.5817/TF2016-7-90
(Vzdáleně podobné článku Sijtsmy, v češtině, výrazně srozumitelnější.) - Cho, E. (2016). Making Reliability Reliable: A Systematic Approach to Reliability Coefficients. Organizational Research Methods, 19(4), 651–682. doi:10.1177/1094428116656239
(Přehled všech možných odhadů reliability. Rovněž nejde o jednoduchý test.) - Raykov, T. (1997). Estimation of Composite Reliability for Congeneric Measures. Applied Psychological Measurement, 21(2), 173–184. doi:10.1177/01466216970212006
(Zobecnění konceptu vnitřní konzistence na kongenerické testy; skvělý článek o rodině o.) - Cronbach, L. J., & Shavelson, R. J. (2004). My Current Thoughts on Coefficient Alpha and Successor Procedures. Educational and Psychological Measurement, 64(3), 391–418. doi:10.1177/0013164404266386
(Jak to Cronbach s alfou vlastně myslel? :-) Článek spoluautorovaný Lee J. Cronbachem na sklonku jeho života k 50. výročí historie koeficientu alfa.)
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/raykov1997.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/schultz2013.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/cho2016.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/revelle2011.pdf
Marko (2016)
Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. TESTFÓRUM, 5(7), 99-107. doi:https://doi.org/10.5817/TF2016-7-90
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/cronbach2004.pdf
Průběžný test (vyplňujte 22.–28. března)
Pro zodpovězení tohoto testu postačuje povinná literatura. Doporučená a rozšiřující literatura však může zlepšit pochopení celého tématu a zjednoduší odpovídání. Test se zaměřuje na obsah přednášky i semináře, primárně se bude zaměřovat na pochopení témat. Součástí budou i praktické výpočty. Nedoporučuji spoléhat se jen na on-line kalkulačky.
Pozor! Čas na vyplnění testu je 60 minut, je časově náročnější než test první!
Průběžný test 2: Zpětná vazba