Základy psychometriky

Přednáška 2: Reliabilita a chyba měření | 15. 3. 2021

Přednáška představí model měření klasické testové koncept reliability jako ústřední základ klasické testové teorie a představí rovněž i model měření klasické testové teorie. Představeny budou základní způsoby odhadu reliability.

Klíčová témata

  1. Obecná definice reliability, její implikace pro měření. Vztah pravého a pozorovaného skóre, latentní a manifestní proměnné.
  2. Operacionalizace reliability v CTT, její předpoklady, koncept paralelních testů. 
  3. Odhady reliability: test retest, reliabilita paralelních forem, shoda posuzovatelů, vnitřní konzistence.
  4. Reliabilita kompozitního a rozdílového skóre.
  5. Metody odhadu vnitřní konzistence: Split half (Spearmanův Brownův vzorec, Guttmanova λ4), Guttmanovy koeficienty vs. analýza kovarianční matice – Cronbachova alfa. Specifické případy: stratifikovaná a standardizovaná Cronbachova alfa.
  6. Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox.
  7. Faktory ovlivňující reliabilitu testu.
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/videozaznamy/PSYb2590_2021_P02.mp4
Přednáška 02
Prezentace ze se tkání 15. 3. 2021.
Klasická testová teorie, reliabilita, odhady reliability.

Ilustrace některých postupů CTT
Soubor s příklady, které byly prezentovány v rámci přednášky.

Studijní zdroje

Povinná literatura

  1. FURR: s. 101–186

Doporučená a rozšiřující literatura

Let's measure your height the way psychologists do!
Ilustrační příklad toho, proč na reliabilitě záleží.
Rozptyl součtové proměnné
Grafická ilustrace rozptylu součtu dvou proměnných.
  1. Revelle, W., & Condon, D. M. Reliability. Unpublished manuscript. Retrieved online: https://www.personality-project.org/revelle/publications/reliability-final.pdf
    (Poměrně kvalitní konceptuální přehled tématu reliability, může být místy náročnější na pochopení.)
  2. SCHULTZ: s. 55–81.
    (Skvělý rozšiřující zdroj. Obsahuje jednoduché praktické příklady, snadnější na pochopení.)
  3. Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. doi:10.1007/S11336-008-9101-0.
    (Skvělé shrnutí nevýhod Cronbachovy alfy. Poměrně dost náročné na čtení.)
  4. Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. Testfórum, 5(7), 99-107. doi:10.5817/TF2016-7-90
    (Vzdáleně podobné článku Sijtsmy, v češtině, výrazně srozumitelnější.)
  5. Cho, E. (2016). Making Reliability Reliable: A Systematic Approach to Reliability Coefficients. Organizational Research Methods, 19(4), 651–682. doi:10.1177/1094428116656239
    (Přehled všech možných odhadů reliability. Rovněž nejde o jednoduchý test.)
  6. Raykov, T. (1997). Estimation of Composite Reliability for Congeneric Measures. Applied Psychological Measurement, 21(2), 173–184. doi:10.1177/01466216970212006
    (Zobecnění konceptu vnitřní konzistence na kongenerické testy; skvělý článek o rodině o.)
  7. Cronbach, L. J., & Shavelson, R. J. (2004). My Current Thoughts on Coefficient Alpha and Successor Procedures. Educational and Psychological Measurement, 64(3), 391–418. doi:10.1177/0013164404266386
    (Jak to Cronbach s alfou vlastně myslel? :-) Článek spoluautorovaný Lee J. Cronbachem na sklonku jeho života k 50. výročí historie koeficientu alfa.)
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/raykov1997.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/schultz2013.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/cho2016.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/revelle2011.pdf
Marko (2016)
Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. TESTFÓRUM, 5(7), 99-107. doi:https://doi.org/10.5817/TF2016-7-90
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2021/PSYb2590/um/knihy/cronbach2004.pdf

Průběžný test (vyplňujte 22.–28. března)

Pro zodpovězení tohoto testu postačuje povinná literatura. Doporučená a rozšiřující literatura však může zlepšit pochopení celého tématu a zjednoduší odpovídání. Test se zaměřuje na obsah přednášky i semináře, primárně se bude zaměřovat na pochopení témat. Součástí budou i praktické výpočty. Nedoporučuji spoléhat se jen na on-line kalkulačky.

Pozor! Čas na vyplnění testu je 60 minut, je časově náročnější než test první! 

Průběžný test 2: Zpětná vazba