Na přednášce jsem představil větší množství různých odhadů reliability. Protože to mohlo být poněkud nepřehledné, jejich použití ilustruje následující text. Pro ilustraci využijeme data Rosenbergovovy škály self-esteemu (RSES); pro podrobnosti o datech a metodě viz nepublikovaný manuskript Cígler et al. (2020); používám dataset 9 (Hlaďo et al., 2020). Data a skript v prostředí R jsou dostupné ve studijních materiálech.

Metoda je dvoudimenzionální, s jedním obecným faktorem (který považujeme za vlastní self-esteem) a jedním specifickým, který sytí výhradně inverzní, negativně orientované položky. Tento faktor považujeme za intervenující proměnnou, kterou nelze považovat za self-esteem. Tento model poměrně dobře popsal data, konfirmační faktorový model odhadnutý estimátorem MLR měl shodu s daty χ²(30) = 344.3, p < 0.001, CFI = 0.961, TLI = 0.942, RMSEA = 0.059 s 90% CI = [0.054, 0.064], SRMR = 0.037. Pro účely odhadu reliability byly reverzní položky invertovány přímo v datech, což ale nemá vliv na zde prezentovanou shodu s daty. Strukturní diagram je na obrázku 1, deskriptivy v tabulce 1.

Tabulka 1: Deskriptivy

ID	znění položky	M	SD	r.drop	alfa
rses01	Jsem se sebou vcelku spokojený/á.	2,99	0,79	0,566	0,828
rses02	Občas si myslím, že jsem k ničemu.	2,54	1,04	0,657	0,818
rses03	Cítím, že mám řadu dobrých vlastností.	3,17	0,72	0,439	0,838
rses04	Jsem schopen/na dělat řadu věcí stejně tak dobře jako většina druhých lidí.	3,11	0,72	0,412	0,840
rses05	Cítím, že toho není mnoho, na co bych u sebe mohl/a být hrdý/á.	2,69	0,93	0,561	0,828
rses06	Cítím se někdy zbytečný/á.	2,67	1,06	0,713	0,812
rses07	Myslím si, že jako člověk mám přinejmenším stejnou hodnotu jako druzí.	3,28	0,82	0,338	0,847
rses08	Přeji si, abych si sám/sama sebe mohl/a více vážit.	2,15	1,02	0,385	0,846
rses09	Celkem vzato, mám tendenci si myslet, že jsem zbytečný člověk.	2,98	1,03	0,723	0,811
rses10	Mám k sobě kladný vztah.	3,09	0,84	0,617	0,823

N = 3021. r.drop = korigovaná korelace s celkovým skóre; alfa = Cronbachovo alfa po vyřazení položky

Odhady reliability

Cronbachovo alfa

Cronbachovo alfa vychází α = 0,844, standardizované  α_std = 0,842. Standardizované alfa je odhadem reliability, jaká by byla, pokud bychom před sečtením/zprůměrováním položky standardizovali na z-skóre. V případě výrazného porušení předpokladu tau-ekvivalence je však lepším odhadem skutečné reliability než obyčejné alfa (ale stále horším, než koeficienty omega). 

Oba odhady jsou stále zatíženy předpokladem tau-ekvivalence a jednodimenzionality. Zároveň jde o ateoretický odhad spodní hranice korelace paralelních testů. Skutečná korelace paralelních testů je nezbytně vyšší.

Split-half odhady

Spearmanův-Brownův vzorec poskytuje split-half reliabilitu nad lichými/sudými půlkami testu r_sb = 0,847, Guttmanova λ₄ = 0,843. Interpretace je stejná, jako u Cronbachovy alfy výše.

Zajímavější odhady poskytují nejlepší a nejhorší možná rozdělení na poloviny. Maximalizovaná λ₄, označovaná někdy jako glb, je rovna λ₄ = 0,890 (rozdělení položek je 1-4 a 9 vs. 5-8 a 10). Protože je vzorek relativně velký a škála poměrně krátká, neměl by být zatížený výběrovou chybou. Jde proto stále o spodní hranici reliability ve smyslu korelace paralelních testů. Vidíme, že je přitom výrazně vyšší než Cronbachovo alfa, která reliabilitu podhodnotila, a to zejména kvůli porušení předpokladu jednodimenzionality. 

Naopak Revellova beta poskytuje odhad β = 0,649 (při rozdělení na poloviny 1, 3-4, 7, 10 vs 2, 5-6, 8-9; nikoli náhodou pozitivně vs. negativně formulované položky!). Jde o minimální podíl rozptylu, který je nezbytně vysvětlený jediným společným faktorem (společným pravým skóre).

Model-free omega a glb

McDonaldova hierarchická a celková omega je shodná, pokud je spočítaná pro jediný faktor. V tomto případě ω = 0,858. Interpretace je shodná s Cronbachovou alfou, avšak bez předpokladu tau-ekvivalence. Je proto vždy vyšší než alfa (s výjimkou velmi malých vzorků, což je důsledkem nestability faktorového řešení, použitého pro odhad omegy). 

Revelle doporučuje použít McDonaldovu celkovou omegu nad exploračním faktorovým řešením. V psych balíčku je defaultní počet faktorů tři, ten však nevede k vlastnímu faktorovému řešení. Použil jsem proto dvoufaktorové řešení, kde hierarchická ω_h = 0,631 a celková ω_tot = 0,847. Interpretace hierarchické omegy je v tomto případě obdobná Revellově betě, tedy jako minimální rozptyl vysvětlený jedinou společnou příčinou. Odhad je však oproti betě nižší z toho důvodu, že předpokládáme existenci dvou specifických faktorů (beta je v tomto bez předpokladů a je proto lepším odhadem). Celková omega je pak očekávanou korelací paralelních testů, jde tedy o superiorní odhad oproti alfě či jednodimenzionálnímu koeficientu omega. Interpretace je podobná Cronbachovu alfa.

Posledním model-free koeficientem je Bentlerův koeficient glb. Jeho interpretace je shodná s McDonaldovou celkovou omegou s tím rozdílem, že počet extrahovaných faktorů je definován algoritmem (největší možný počet faktorů, který nevede k nevlastnímu řešení), a nedává proto výzkumníkovi prostor na rybaření v datech. V tomto případě byly extrahovány čtyři faktory, což vedlo k reliabilitě ρ_glb = 0,889. Výsledek je prakticky identický s maximalizovanou λ₄, což není překvapení. Oba koeficienty poskytují totiž tu samou informaci, tj. spodní hranici potenciální korelace paralelních testů. 

Model-based reliabilita

Všechny předchozí odhady zanedbávaly skutečnou, tedy bifaktorovou strukturu škály. Pro odhad model-based omegy proto využijeme konfirmační faktorovou analýzu odhadnutou v balíčku lavaan a funkci reliability z balíčku semTools. Ve všech případech pracuji s McDonaldovou omegou (ve funkci označené jako omega3). Pokud nevíte, kterou omegu zvolit, a váš model sedí na data, volte vždy tuto (a nebo případně Bentlerovu omegu, ve funkci jako omega2). 

Hierarchická omega celkového faktoru byla ω_h = 0,678 a faktoru negativních položek ω_h = 0,452. Jde o odhad toho, jaký podíl rozptylu součtu položek (s nenulovým nábojem na daném faktoru) vysvětlí ten který faktor. Pokud bychom tedy chtěli usuzovat na míru self-esteemu a faktor negativních položek bychom považovali za chybový rozptyl, reliabilita takového měření by byla jen ω_h = 0,678. To je o něco více než Revellova beta. Důvod je ten, že při odhadu hierarchické omegy využíváme naše informace o faktorové struktuře, zatímco beta odhaduje nejnižší možný vysvětlený rozptyl obecným faktorem při jakékoli struktuře.

Celková McDonaldova omega ω_tot = 0,884. Jde o odhad korelace paralelních testů, pokud bychom prostě sečetli všechny položky, a interpretace je tedy analogická Cronbachovu alfa či split-half reliabilitě. Odhad je nepatrně nižší než ρ_glb nebo λ₄, protože pracujeme pouze se dvěma (a nikoli čtyřmi) faktory. Tato restrikce nedovoluje využít pro odhad reliability další (nemodelované) lokální závislosti položek. 

Alternativně můžeme odhadnout reliabilitu s pomocí ordinální CFA nad maticí polychorických korelací s Greenovou-Yangovou korekcí (2009, eq. 21). Tento postup je superiorní, protože nepovažuje položky za intervalové, ale ordinální (v případě binárních položek by byl rozdíl ještě větší). 

V tomto případě ω_h = 0,679 pro faktor self-esteemu, ω_h = 0,444 pro negativní položky a ω_tot = 0,889 pro celou škálu dohromady. Jak ale vidíte, výsledky jsou velmi podobné. Větší rozdíly bychom pozorovali v případě krátké odpověďové škály (ano/ne).

Funkce reliability nad ordinálním CFA model poskytne rovněž i tzv. odhad ordinálního koeficientu alfa (Zumbo et al., 2007): α_ord = 0,875. Vzhledem k vícedimenzionální struktuře a čtyřbodové odpověďové škále není koeficient výrazně nadhodnocen oproti koeficientu omega, nicméně např. u jednodimenzionální škály s binárními položkami by ordinální alfa vedlo k hrubému nadhodnocení reliability. Pro podrobnosti viz Chalmers (2018). 

Factor score determinacy, vážené položky

Všechny dosavadní postupy předpokládaly, že skóre je prostým součtem či průměrem položek. Můžeme však provést vážený součet a tím reliabilitu maximalizovat.

Pro maximalizaci hypotetické korelace paralelních testů celkového skóre škály (analogie glb koeficientu) lze využít balíček semTools a funkci semTools::maximalRelia. Výsledek je r_max = 0,916. Funkce poskytuje i váhy jednotlivých položek, které lze transformací získat z matice faktorových nábojů a kovariance faktorů. 

Analogický výsledek, ale na úrovni jednotlivých faktorů - tedy rozptyl váženého průměru položek, který lze vysvětlit jednotlivými faktory - poskytuje koeficient determinace faktorových skórů (FSD). Ten je nutné spočítat ručně (není jednoduše dostupná funkce), výsledek je FSD = 0,899 pro self-esteem a FSD = 0,850 pro negativní položky. 

Je patrné, že vážení položek a použití odhadů faktorových skórů vede (zejména v případě dílčích faktorů) k podstatnému nárůstu reliability. Bohužel, tyto postupy mají tendenci nadhodnocovat výsledek z důvodu výběrové chyby; velmi podobně, jako je v lineární regresi R² nadhodnocený, a proto se používá adjustovaný _adjR². Hypoteticky by bylo možné využít nějakou analogickou adjustaci, jednodušší je ale použít machine-learningový algoritmus a cross-validaci pro odhad nezkreslených vah položek. V praxi jsem to ale nikdy neviděl použité už proto, že se vážené součtové skóry používají  jen velmi výjimečně. 

Shrnutí

V tabulce 2 je přehled všech koeficientů včetně předpokladů, způsobu výpočtu, a možné interpretace. Zároveň uvádím i typický index používaný pro daný koeficient; nepanuje v tom ale shoda, a tak tomu nelze věřit. Kromě toho poskytuji název daného koeficientu v systematické notaci podle Cho (2016).

Je patrné, že alfa hrubě podhodnocuje skutečnou reliabilitu ve smyslu paralelních testů, a naopak nadhodnocuje reliabilitu odhadu samotných faktorů (reliabilita jako vysvětlený rozptyl).

Závěrečné shrnutí:

1. Jako nejlepším odhadem stability celkového skóre škály se zdají být koeficienty glb, ρ_glb, ω_tot. 
2. Nejvhodnějším ukazatelem model-based reliability jsou hierarchické koeficienty omega. Je ale nutné znát faktorový model.
3. Koeficienty  ρ_glb a Revellova beta poskytují odhad stability skóru a podílu vysvětleného rozptylu jedním faktorem. Výhodou je, že výzkumník nemusí nic volit, a tedy výpočet nelze ovlivnit. Není nutné znát faktorový model.
4. Odhady faktorových skórů poskytují řádově vyšší reliabilitu než prosté součty položek; a to zejména na úrovni jednotlivých faktorů (hierarchická omega).
5. Cronbachova alfa je užitečným deskriptivním ukazatelem u jednodimenzionálních škál s větším množstvím položek. U krátkých nebo vícedimenzionálních škál je nezbytné použít jiný koeficient.

Tabulka 2: Shrnutí

	index	Cho (2016)	hodnota	druh inference	předpoklady	podklad pro výpočet
alfa	α	ρT	0,844	korelace paralelních testů	tau-ekvivalence hrubých položek	kovarianční matice položek
standardizovaná alfa	αstd	ρP	0,842	korelace paralelních testů	tau-ekvivalence standardizovaných položek	korelační matice položek
ordinální alfa	αord		0,875	nelze (pouze deskriptivní informace)	složité, neuvádím :-)	polychorická korelační matice položek
omega (1faktorové řešení)	ω	ρC	0,858	korelace paralelních testů	1dimenzionální struktura	kovarianční matice položek
hierarchická model-free omega (2faktorové řešení)	ωh	ρSOF	0,631	nejmenší možný rozptyl vysvětlitelný společným faktorem	2dimenzionální struktura	kovarianční matice položek
celková model-free omega (2faktorové řešení)	ωtot	ρCF	0,847	korelace paralelních testů	2dimenzionální struktura	kovarianční matice položek
Bentlerovo glb	ρglb		0,889	korelace paralelních testů	-	kovarianční matice položek
Spearman-Brown (sudá-lichá)	rsb	ρSP	0,847	korelace paralelních testů	paralelní poloviny	korelace polovin testu
lambda4 (sudá-lichá)	λ4	ρST	0,843	korelace paralelních testů	tau-ekvivalentní poloviny	kovariance polovin testu
maximalizovaná lambda4	glb, λ4	ρST	0,890	korelace paralelních testů	tau-ekvivalentní poloviny, dostatečně velký vzorek	kovariance polovin testu
Revellova beta	β		0,649	nejmenší možný rozptyl vysvětlitelný společným faktorem	složité, neuvádím :-)	průměrná kovariance položek napříč polovinami testu
hierarchická McDonaldova omega (SE)	ωh	ρC	0,678	rozptyl vysvětlený faktorem self-esteemu	CFA model dobře popisuje data	kovarianční matice položek
hierarchická McDonaldova omega (NEG)	ωh	ρC	0,452	rozptyl vysvětlený faktorem negativních položek	CFA model dobře popisuje data	kovarianční matice položek
celková McDonaldova omega	ωtot	ρBF	0,884	rozptyl vysvětlený všemi faktory (korelace paralelních testů)	CFA model dobře popisuje data	kovarianční matice položek
hierarchická McDonaldova omega (SE; ordinální CFA)	ωh	ρC	0,679	rozptyl vysvětlený faktorem self-esteemu	CFA model dobře popisuje data	polychorická korelační matice položek*
hierarchická McDonaldova omega (NEG; ordinální CFA)	ωh	ρC	0,444	rozptyl vysvětlený faktorem negativních položek	CFA model dobře popisuje data	polychorická korelační matice položek*
celková McDonaldova omega (ordinální CFA)	ωtot	ρBF	0,889	rozptyl vysvětlený všemi faktory (korelace paralelních testů)	CFA model dobře popisuje data	polychorická korelační matice položek*
maximalizovaná reliabilita	rmax		0,916	korelace paralelních testů	CFA model dobře popisuje data, jde o reliabilitu vážených položek	kovarianční matice položek
factor score determinacy (SE)	FSD		0,899	rozptyl vysvětlený faktorem self-esteemu	CFA model dobře popisuje data, jde o reliabilitu vážených položek	kovarianční matice položek
factor score determinacy  (NEG)	FSD		0,850	rozptyl vysvětlený faktorem negativních položek	CFA model dobře popisuje data, jde o rleiabilitu vážených položek	kovarianční matice položek

Poznámka: Pro anotaci dle Cho (2016) viz jeho tab. 4. Pokud index chybí, pak se Cho (2016) daným koeficientem nezabývá. 
* s Green-Yangovou (2009) korekcí.

Zdroje

Chalmers, R. P. (2018). On Misconceptions and the Limited Usefulness of Ordinal Alpha. Educational and Psychological Measurement, 78(6). https://doi.org/10.1177/0013164417727036

Cígler, H., Rudolf, P., Ježek, S., & Macek, P. (2020, October 14). Comparison of the Czech adaptation of Rosenberg Self-Esteem scale. Retrieved from https://osf.io/b46up/?view_only=93cc5ac8cfba4302a53eb47d367b2a0d

Green, S. B., & Yang, Y. (2009). Reliability of Summed Item Scores Using Structural Equation Modeling: An Alternative to Coefficient Alpha. Psychometrika, 74(1), 155–167. https://doi.org/10.1007/s11336-008-9099-3

Hlad′o, P., Kvasková, L., Ježek, S., Hirschi, A., & Macek, P. (2020). Career adaptability and social support of vocational students leaving upper secondary school. Journal of Career Assessment, 28(3), 478–495. https://doi.org/10.1177/1069072719884299

Zumbo, B. D., Gadermann, A. M., & Zeisser, C. (2007). Ordinal versions of coefficients alpha and theta for likert rating scales. Journal of Modern Applied Statistical Methods, 6(1), 21–29. https://doi.org/10.22237/jmasm/1177992180