Přednáška se zabývá reliabilitou ve smyslu shody posuzovatelů na úrovni jednotlivých položek i celkových skórů, a rovněž na kategorické, ordinální i intervalové úrovni měření. Pozornost bude věnována jak shodě posuzovatelů v kontextu psychologické diagnostiky, tak i shodě hodnotitelů z hlediska výzkumných designů (nejen při kvalitativním kódování dat). Důraz bude kladen rovněž na schopnost zužitkovat informace o (ne)shodě posuzovatelů při zadávání, vyhodnocování a interpretaci psychodiagnostických testů v běžné praxi.

Stručný obsah

• Typy ukazatelů shody posuzovatelů podle typu proměnných a účelu.
• Rodina koeficientů kappa pro dva a více hodnotitelů (Cohenovo kappa, Fleissovo kappa).
• Vážené koeficienty kappa pro polytomní proměnné.
• Koeficienty pro intervalové a různé proměnné (vnitrotřídní korelace, Krippendorfovo alfa).
• Postupy pro zvyšování shody posuzovatelů.
• Vztah shody posuzovatelů, validity a objektivity (férovosti) testů.
• Shoda posuzovatelů ve výzkumných designech.
• Interpretace koeficientů pro odhad shody posuzovatelů.
• Reportování shody posuzovatelů.

Studijní příprava

Studijní literatura

Povinný zdroj

Povinnou literaturu tvoří tutoriál od Hallgrena pro odhad inter-rater reliability observačních dat, který je zaměřený zejména pro ověření interní validity výzkumných designů, nikoli pro účely psychologické diagnostiky. Článek na první pohled vypadá strašně dlouhý (dokument má 21 hutných stran), ale reálně text zabírá jen prvních 12 stránek, zbytek jsou přílohy. 

Povinná literatura: Hallgren, K. A. (2012). Computing Inter-Rater reliability for observational data: An overview and Tutorial. Tutorials in Quantitative Methods for Psychology, 8(1), 23–34. doi:10.20982/tqmp.08.1.p023

Rozšiřující zdroje

První z rozšiřujících zdrojů jsou doporučení pro reportování reliability a shodu posuzovatelů ve výzkumných designech i pro účely individuální psychologické diagnostiky. Pokud budete mít byť jen chviličku času, doporučuju do textu nahlédnout a zaměřit se klidně jen na hlavní body/doporučení. Článek je vlastně postaven kolem 15 konkrétních doporučení, z nichž většina by měla být jasná; zbylý text je jen zdůvodňuje.

1. Kottner, J., Audige, L., Brorson, S., Donner, A., Gajewski, B. J., Hróbjartsson, A., … Streiner, D. L. (2011). Guidelines for reporting reliability and agreement studies (GRRAS) were proposed. International Journal of Nursing Studies, 48(6), 661–671. doi:10.1016/j.ijnurstu.2011.01.016
   

Druhý z rozšiřujících zdrojů je celá knížka od Shoukriho. Jde o vyčerpávající přehled celé problematiky. Využijí ho ti z vás, kteří v budoucnu plánují vědeckou kariéru a budou potřebovat oporu při tvorbě konkrétního výzkumného designu, případně budou pravidelně pracovat s observačními daty. Knihu nesdílím on-line, zájemci si ji mohou zapůjčit v kanc. 2.47. 

2. Shoukri, M. M. (2011). Measures of interobserver agreement and reliability (2nd ed). CRC Press.
   

Poslední ze zdrojů je článek o přijímacím řízení do magisterského navazujícího studia psychologie. Článek může být zajímavý proto, že se týká oblasti, která vám může být blízká (a pokud byste do studia nastupovali během covidu, byla by pro vás velmi aktuální). Kromě toho konkrétním způsobem ilustruje způsob uvažování v situaci, kdy zajištění shody (a případně kontrola neshody) je kritická. V článku využíváme běžné postupy pro odhad shody posuzovatelů, teorii zobecnitelnosti a potom IRT techniky pro vyvažování přísnosti hodnotitelů. Některé z těchto postupů jsou popsány pouze v supplemental materials, které doporučuji k nahlédnutí společně s vlastním manuskriptem. Kromě článku je k dispozici i popularizační text.

3. Článek:  Cígler, H., Ježek, S., Širůček, J., & Lacinová, L. (2022). Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia: psychometrická kazuistika. Studia Paedagogica, 27(1), 93–124. https://doi.org/10.5817/SP2022-1-4
4. Supplemental materials (data a další materiály):  Cígler, H., Ježek, S., Širůček, J., & Lacinová, L. (2021, October 14). Hodnocení bakalářských prací jako přijímací kritérium do navazujícího magisterského studia: Psychometrická kazuistika. https://doi.org/10.17605/OSF.IO/QX5U7 
   
5. Popularizační text: Jak jsme hodnotili bakalářské práce? Přijímací řízení do magisterského studia