Základy psychometriky

Přednáška 2: Reliabilita a chyba měření | 27. 2. 2023

Přednáška představí model měření klasické testové koncept reliability jako ústřední základ klasické testové teorie a představí rovněž i model měření klasické testové teorie. Představeny budou základní způsoby odhadu reliability.

Klíčová témata

  1. Obecná definice reliability, její implikace pro měření. Vztah pravého a pozorovaného skóre, latentní a manifestní proměnné.
  2. Operacionalizace reliability v CTT, její předpoklady, koncept paralelních testů. 
  3. Odhady reliability: test retest, reliabilita paralelních forem, shoda posuzovatelů, vnitřní konzistence.
  4. Reliabilita kompozitního a rozdílového skóre.
  5. Metody odhadu vnitřní konzistence: Split half (Spearmanův Brownův vzorec, Guttmanova λ4), Guttmanovy koeficienty vs. analýza kovarianční matice – Cronbachova alfa. Specifické případy: stratifikovaná a standardizovaná Cronbachova alfa.
  6. Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox.
  7. Faktory ovlivňující reliabilitu testu.
Přednáška 2: Reliabilita
Model měření klasické testové teorie, postupy pro odhad reliability testu.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/videozaznamy/2023-02-27_10-07-54.video5


Studijní zdroje

Povinná literatura

  1. FURR: s. 101–186
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/R._Michael_Furr__Verne_R._Bacharach_Psychometrics_An_Introduction.pdf

Další materiály, ilustrační aplikace apod.

Let's measure your height the way psychologists do!
Ilustrační příklad toho, proč na reliabilitě záleží.
Rozptyl součtové proměnné
Grafická ilustrace rozptylu součtu dvou proměnných.

Doporučená a rozšiřující literatura

  1. Revelle, W., & Condon, D. M. Reliability. Unpublished manuscript. Retrieved online: https://www.personality-project.org/revelle/publications/reliability-final.pdf
    (Poměrně kvalitní konceptuální přehled tématu reliability, může být místy náročnější na pochopení.)
  2. SCHULTZ: s. 55–81.
    (Skvělý rozšiřující zdroj. Obsahuje jednoduché praktické příklady, snadnější na pochopení.)
  3. Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. doi:10.1007/S11336-008-9101-0.
    (Skvělé shrnutí nevýhod Cronbachovy alfy. Poměrně dost náročné na čtení.)
  4. Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. Testfórum, 5(7), 99-107. doi:10.5817/TF2016-7-90
    (Vzdáleně podobné článku Sijtsmy, v češtině, výrazně srozumitelnější.)
  5. Cho, E. (2016). Making Reliability Reliable: A Systematic Approach to Reliability Coefficients. Organizational Research Methods, 19(4), 651–682. doi:10.1177/1094428116656239
    (Přehled všech možných odhadů reliability. Rovněž nejde o jednoduchý test.)
  6. Raykov, T. (1997). Estimation of Composite Reliability for Congeneric Measures. Applied Psychological Measurement, 21(2), 173–184. doi:10.1177/01466216970212006
    (Zobecnění konceptu vnitřní konzistence na kongenerické testy; skvělý článek o rodině o.)
  7. Cronbach, L. J., & Shavelson, R. J. (2004). My Current Thoughts on Coefficient Alpha and Successor Procedures. Educational and Psychological Measurement, 64(3), 391–418. doi:10.1177/0013164404266386
    (Jak to Cronbach s alfou vlastně myslel? :-) Článek spoluautorovaný Lee J. Cronbachem na sklonku jeho života k 50. výročí historie koeficientu alfa.)
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/raykov1997.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/schultz2013.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/cho2016.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/revelle2011.pdf
Marko (2016)
Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. TESTFÓRUM, 5(7), 99-107. doi:https://doi.org/10.5817/TF2016-7-90
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2023/PSYb2590/um/knihy/cronbach2004.pdf

Průběžný test (vyplňujte 8.–13. března)

Pro zodpovězení tohoto testu postačuje povinná literatura. Doporučená a rozšiřující literatura však může zlepšit pochopení celého tématu a zjednoduší odpovídání. Test se zaměřuje na obsah přednášky i semináře, primárně se bude zaměřovat na pochopení témat. Součástí budou i praktické výpočty. Nedoporučuji spoléhat se jen na on-line kalkulačky.