Přednáška se zaměří na vybrané aspekty, které je nutné zvážit při interpretaci testových skórů. Nabídneme metodu hodnocení kvality diagnostických metod podle Lissitze a Samuelsena (2007), hodnocení norem a pokročilou práci s chybou měření.

Stručný obsah

1. Opakování teorií validity: logický pozitivismus (konstruktová Cronbach a Meehl), instrumentalismus (Messick), realismus (Borsboom).
2. Model hodnocení testu podle Lissitze a Samuelsena (2007).
3. Aspekty při hodnocení norem.
4. Jak ovlivňuje výběrová chyba kvalitu norem a jak ji redukovat (kontinuální normování).
5. Regresní model klasické testové teorie, regrese k průměru; odhad pravého skóre.
   
6. Směrodatná odchylka pravého skóre.
7. Standardní chyba měření, standardní chyba odhadu pravého skóre. 
8. Standardní chyba rozdílu, standardní chyba predikce.
9. Pokročilá práce s chybou měření: klinicky významný rozdíl, statisticky významný rozdíl. 

Literatura

Věnujte prosím pozornost povinné literatuře. Pokud se necítíte dostatečně jistý/á a chtěl/a byste si zopakovat postupy odhadu chyby měření a konstrukci intervalů spolehlivosti, projděte si i doporučené zdroje týkající se právě těchto postupů.

Povinné zdroje

Povinným zdrojem je článek od Lissitze a Samuelsena (2007), který představuje model hodnocení testu. Kromě toho si můžete připomenout materiály k recenznímu EFPA modelu (Evers a kol., 2013) uvedených u prvního setkání. 

1. Lissitz, R. W., & Samuelsen, K. (2007). A Suggested Change in Terminology and Emphasis Regarding Validity and Education. Educational Researcher, 36(8), 437–448. http://dx.doi.org/10.3102/0013189x07311286 
   

Doporučené zdroje

Pokud se chcete dozvědět více o konstrukcích intervalů spolehlivosti, můžete se podívat na některý z následujících zdrojů, v případě potřeby i na více. Osobně bych doporučil nicméně začít textem od Harvilla (1991). Tematicky se informace opakují; anglicky psané zdroje se zaměřují spíše na chybu měření z jediného testování (Dudek, 1979), případně poskytují podrobný návod k reportování výsledků (Harvill, 1991). Český zdroj nabízí shrnutí různých přístupů i pro situace, kdy je přítomno více měření, a poskytuje background pro výpočty tak, jak je realizuje diagnostická kalkulačka. 

2. Dudek, F. J. (1979). The Continuing Misinterpretation of the Standard Error of Measurement. Psychological Bulletin 86(2), 335-337. https://doi.org/10.1037/0033-2909.86.2.335 
3. Harvill, L. M. (1991). Standard Error of Measurement. Educational Measurement: Issues and Practice, 10(2), 33–41. https://doi.org/10.1111/j.1745-3992.1991.tb00195.x 
4. Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých postupů Klasické testové teorie. Testfórum 4(6), 67-84. https://doi.org/10.5817/TF2015-6-104 

Možná vám vrtají hlavou některá doporučení z výše uvedené literatury. Na "správný" postup výpočtu neexistuje jednoznačný názor a různí autoři se mohou ve svých doporučeních lišit. Jedním z cílů tohoto kurzu je naučit přemýšlet o psychometrických tématech a nepřebírat bezmyšlenkovitě doporučení či dílčí informace jako neměnná fakta. Pokud vás téma zajímá a nevadí vám si jej zkomplikovat, nahlédněte do následující publikace (děkuji Karlovi Rečkovi, který si jí všiml). Charter i Feldt jsou významní psychometrikové, a ačkoli zrovna v tomto ohledu s jejich doporučeními nemohu souhlasit, rozhodně stojí za to jejich názor znát. 

5. Charter, R. A., & Feldt, L. S. (2001). Confidence intervals for true scores: Is there a correct approach? Journal of Psychoeducational Assessment, 19(4), 350–364. https://doi.org/10.1177/073428290101900404

Doplňující materiály:

Pokud si chcete pohrát s výběrovou chybou u norem, můžete využít následující aplikaci:

Pokud máte pocit, že nechápete "sčítání rozptylů", můžete se zkusit inspirovat v této on-line aplikaci, která graficky znázorňuje kovarianci a rozptyl součtu proměnných: