U|\| T Katedra l\l í psychologie
FSS
Přednáška 3 (samostudium):
Chyba měření a intervaly spolehlivosti
28. 9. 2021 | PSYn4790 | Psychometrika: Měření v psychologii
Katedra psychologie, Fakulta sociálních studií MU
Hynek Cígler
Chyba měření a
intervaly
spolehlivosti
Opakování:
standardní chyba měření standardní chyba predikce standardní chyba rozdílu
Statisticky významný rozdíl
Klinicky významný rozdíl
MEASUREMENT ERROR
https://www.nagwa.com/en/videos/138104137874/
Otázky spojené s chybou měření
Respondentovi naměřím výšku 178 cm. Jaké otázky si mohu položit?
° Kolik měří právě teď?
° Kolik bude měřit příště?
° Kolik mu můžu naměřit příště, pokud se jeho výška nezmění?
° Kolik mu musím naměřit příště, abych mohl konstatovat, že se jeho výška změnila?
Kromě toho naměřím i jeho hmotnost 65 kg. Jaké další otázky si mohu položit? e „vyssi nez tezsi ? 0 Je „vyšší než těžší" oproti jiným respondentům?
Chyba měření
Standardní chyba měření: směrodatná odchylka pozorovaných hodnot okolo skutečné úrovně atributu
Příklad:
° https://www.zoology.ubcxa/"whitlock/Kingfisher/SamplingNormal.htm ° https://www.zoologv.ubcxa/"whitlock/Kingfisher/CLT.htm
Chyba měření a Cl
Rozložení naměřených hodnot je normálně rozložené a definované svým M a SD.
Proto, když konstruujeme Cl, musíme vědět: 0 Okolo čeho? Jaký je průměr rozložení? 0 Jak nepřesné? Jaká je směrodatná odchylka rozložení (SE?)
Tři klíčové vzorce
(z nichž lze vše odvodit)
1. Základní teorém CTT:
X — t -\- e
0 X - pozorované, t - pravé skóre a e - chyba.
2. Reliabilita rxxr je podíl vysvětleného rozptylu:
r , = — =   °^    = i - —
xx'    ol    o} + cre2 ol
° Symbol sigma [o2) označuje rozptyl.
3. Rozptyl součtu dvou náhodných proměnných A+B má rozptyl:
°A+B = °A +°B+ 2°AB = °A + °B ± 2rAB°A°B
0 °ab — cov(A,5) - kovariance, rAB - jejich korelace (grafická ilustrace)
° Protože rTe = 0, pak z 1 a 3 vyplývá     = +
Standardní chyba měření
Když rovnici rxxi = 1 —§ vyřešíme pro oe, získáme vzorec standardní chyby měření:
Standardní chyba měření
0-2
Když rovnici rxxi = 1 —§ vyřešíme pro oe, získáme vzorec standardní chyby měření:
SE = oe= axJl -
reliabilita - podíl vysvětleného rozptylu
1f *y> <y f
Standardní chyba měření
0-2
Když rovnici rxxi = 1 —§ vyřešíme pro oe, získáme vzorec standardní chyby měření:
SE = oe= axJl -
reliabilita - podíl vysvětleného rozptylu „nereliabilita"- podíl nevysvětleného rozptylu
1f *y> <y f
Standardní chyba měření
Když rovnici rxxi = 1 —§ vyřešíme pro oe, získáme vzorec standardní chyby měření:
reliabilita - podíl vysvětleného rozptylu
° „nereliabilita"- podíl nevysvětleného rozptylu
° převod z rozptylu na směrodatnou odchylku ° podíl směrodatné odchylky pravého skóru, která je „způsobena" chybou
Standardní chyba měření
a2
Když rovnici rxxi = 1 —§ vyřešíme pro oe, získáme vzorec standardní chyby měření:
reliabilita - podíl vysvětleného rozptylu ° „nereliabilita"- podíl nevysvětleného rozptylu
° převod z rozptylu na směrodatnou odchylku
° podíl směrodatné odchylky pravého skóru, která je „způsobena" chybou ° převod z podílu (z-skóre) přímo na škálu směrodatné odchylky
Standardní chyba měření
Když rovnici rxxi = 1 —§ vyřešíme pro oe, získáme vzorec standardní chyby měření:
reliabilita - podíl vysvětleného rozptylu ° „nereliabilita"- podíl nevysvětleného rozptylu
° převod z rozptylu na směrodatnou odchylku
° podíl směrodatné odchylky pravého skóru, která je „způsobena" chybou ° převod z podílu (z-skóre) přímo na škálu směrodatné odchylky ° směrodatná odchylka chyby měření
Standardní chyba měření
Když rovnici rxxi = 1 —§ vyřešíme pro oe, získáme vzorec standardní chyby měření:
Ve vzorci je rxxr vysvětlený rozptyl; viz koeficient determinace (PSYbllľO).
° Tedy rozptyl měření vysvětlený pravým skórem. Na rozdíl od koeficientu determinace tam není mocnina, protože reliabilita je už přímo „umocněná".
0 txt = Vrxx' a tec|y txt = rxx>
Středová hodnota
Chyba se nepohybuje kolem pozorovaného, ale kolem pravého skóre. Jaká je nejpravděpodobnější hodnota pravého skóre při určitém pozorovaném skóre x? O trochu blíže k průměru (protože pravé skóry mají menší rozptyl než pozorované skóry). Regresní model CTT:
E(T\x) = rxx-x + (1 - rxx-)Mx
0 E(7|x) : očekávané (expected), nejpravděpodobnější pravé skóre.
° rxx-: reliabilita; „směrnice".
0 Mx : průměrné skóre; (1 — rxx-)Mx je „průsečík".
° Čím větší reliabilita, tím větší vliv pozorovaného skóre a menší vliv průměru (a naopak). Směrodatná odchylka pravého skóre: oT = ->Jrxxtax
Chyba měření (v CTT)
Takto spočítanou chybu měření mohu použít pro konstrukci intervalu spolehlivosti.
Ch = E(X) ± Ziae
0 E(X) = očekávaná hodnota, okolo které interval konstruuji.
0 ae = chyba měření
° zi = kvantil normálního rozdělení
Kvantily normálního rozdělení:
95% Cl:	z95%	= 1,96
90% Cl:	z90%	= 1,64
° 80% Cl:	z80%	= 1,28
° 68% Cl:	z68%	= 1,00
Shrnutí: Důležité prvky práce s SE
Co je očekávanou hodnotou, okolo které interval konstruuji? ° Pozorované skóre? 0 Odhad pravého skóre? 0 Nula (pro rozdíl dvou skórů)?
Jak spočítám chybu pro daný účel/diagnostickou otázku? Jaký odhad reliability nejlépe použijú pro daný účel?
Scénář 1: Standardní chyba měření
Pokud jsme naměřili pozorované skóre X, jaké jiné alternativní X jsme mohli rovněž naměřit?
Slouží pro popis chyby měření a intervalu spolehlivosti jednoho jediného měření.
Velikost chyby:
Středová hodnota: odhad pravého skóre
E(7» = rxx>x + (1 - rxx-)M
X
Scénář 2: Chyba odhadu pravého skóre
Pokud jsme naměřili pozorované skóre X, jaká je chyba odhadu pravého skóre i?
Vzorec je stejný, jen namísto SD pozorovaného skóre použijeme odhad SD pravého skóre:
Velikost chyby: Středová hodnota:
E(T\x) = rxx-x + (1 - rxx-)Mx Někteří autoři tento postup doporučují, ale potíž s interpretací.
° Zajímá nás chyba na škále použité při konstrukci norem. Zpravidla tedy nepoužitelné. ° Nicméně např. WISC-5UK - pro standardizaci na IQ použil právě oT
°  Standardizace IQ = 15 + 100 namísto běžného IQ = 15 + 10o
Scénář 3: Standardní chyba predikce
Naměřil jsem X. V jakém rozsahu bude ležet příští měření, pokud se úroveň atributu nezmění?
Zlepšil se klient v terapii?"„Je účinný výukový program?"
o
Velikost chyby:
Opřed ~ <7xA/1 Vxx'
„2
rxxl - druhá mocnina (test-retest) reliability. 0 jde o úpravu opred = ^|cr| + <re2(T), tedy rozdíl chyby odhadu pravého skóru a chyby měření
Středová hodnota = očekávaný skór při retestu: odhad pravého skóre:
E(T\x) = rxx-x + (1 - rxx-)Mx
Scénář 4: Statisticky významný rozdíl
Standardní chyba rozdílu. Rozdíl dvou nezávislých testů jedné osoby; případně rozdíl dvou osob.
Jaká je očekávaná odlišnost v měření dvěma testy? 0 „Dosáhla vyššího skóru Anežka nebo Bedřich?" „Je Cyril vyšší nebo těžší?" ° Musí být ve stejných jednotkách.
Velikost chyby:
Středová hodnota:
° Jde o rozdíl a očekávaný rozdíl je zpravidla žádný rozdíl, proto zpravidla 0.
° To není úplně pravda; pokud raa, ^ rhhl, pak je střední hodnotou E(r'A — t'b) = y/rAA'(A — M) — y]rBBi(B — M), ale výsledek bude velmi podobný. Zanedbejte.
° Pokud jde o měření jediným testem (dvěma testy se stejnou reliabilitou), lze zjednodušit:
Scénář 5: Klinicky významný rozdíl
Liší se dva skóry téhož respondenta více či méně než u „běžných" respondentů?
0 To, že se skóry liší, neznamená, že se liší více, než bychom čekali u náhodně vybraného člověka.
° Klinické hypotézy: „Rozkolísaný profil schopností...", „Je rozdíl,klinicky' významný?" atd.
Příklad:
0 Statisticky významný rozdíl: „Člověk má vyšší váhu než výšku (ve standardních jednotkách, např. IQ skórech)".
0 Klinicky významný rozdíl: „Člověk má vyšší váhu, než by odpovídalo jeho výšce, je tedy obézní."
Scénář 5: Klinicky významný rozdíl
Více postupů. Nejjednodušší používá pouze korelaci a je zcela shodný s postupem pro chybu predikce.
Odhad chyby:
°A-B — GAB^ ~ rAB
0 rAB je korelace testů A a B, oAB je směrodatná odchylka obou testů (musí být shodná)
Středová hodnota:
E(B\A)=rABA + (l-rAB)MAB
Scénář 6: Více měření
Lze testovat, zda má klient celkově „rozkolísaný profil".
0 Např.: „Lišíse subtesty ve WAIS-III od celkového IQ více, než bychom čekali?" 0 Analogie F-testu u lineární regrese s více prediktory.
Poskytují jen některé diagnostické metody, není pravidlem.
Technicky vzato není ideální interpretovat „profil", pokud test celkového rozdílu není signifikantní na zvolené p-hladině.
Ruční výpočet je příliš náročný.
Studijní zdroje
Viz interaktivní osnova.
Pracovní verze Diagnostické kalkulačky (bez záruky).