Výběrová validita
Psychologické škálování
PSYb2590: Základy psychometriky | Seminář 1
8. 3. 2021 | Hynek Cígler s přispěním Standy Ježka
Ferguson, L. W. (1941). A Study of the Likert Technique of Attitude Scale Construction. Journal of Social Psychology, 1941(13), 51-57. doi: 10.1080/00224545.1941.9714060 .
Obsahová validita
racionální posuzování validity
Odpovídá obsah testu měřenému konstruktu a účelu měření?
◦ Můžeme odpovědi na položky (v zamýšlené populaci) považovat za projevy, znaky, symptomy různých
úrovní měřeného konstruktu?
◦ Zachycují položky všechny důležité druhy projevů (symptomy, znaky..)?
◦ Je vliv příbuzných, podobných či souvisejících konstruktů minimální?
◦ Operacionalismus: Konstrukt je definován metodou.
Někdy též výběrová validita: jsou položky dobře vybrané z univerza možných položek?
Důkazy obsahové validity:
◦ Posouzení metody/položek experty.
◦ Racionální argumentace: Design tvorby položek. Soulad s teorií v plné šíři.
Obsahová validita vs. „face validity“:
◦ Zjevná validita: shodu konstruktu s metodou posoudí i laik správně.
◦ Zdánlivá validita: metoda ve skutečnosti měří něco jiného, než si laik myslí.
Položka – indikátor konstruktu
Pozorovatelný projev vysoké/nízké úrovně měřeného konstruktu
◦ Pozorovatelný druhými – pozorování chování (i pomocí přístrojů, pravítek)
◦ Pozorovatelný subjektem – výpovědi, odpovědi na otázky
Když je projev pozorován, je to jednoznačně známkou přítomnosti
určité úrovně měřeného konstruktu
Protože to „jednoznačně“ v psychologii zřídka platí, snažíme se měřit
opakovaně (tím víc, čím méně jsme si jednoznačností jistí)
◦ více různými položkami
◦ v různých časech, podmínkách (omezeno stabilitou samotného konstruktu)
Validita položek
Každá položka obsahuje dvě hlavní rozptylové složky
◦ =příčiny rozdílů mezi lidmi v pozorování/odpovědích
První je společná - týká se měřeného konstruktu.
◦ Pozorování/Odpověď je způsobena měřenou latentní proměnnou.
Druhá složka je specifická pro danou položku.
◦ Náhodné vlivy na pozorování/odpovědi v daném čase.
◦ Další systematické vlivy/důvody na pozorování/odpovědi
◦ Specifické faktory
Položky by se měly „překrývat“ ve společném rozptylu a dobře
pokrývat celé významové spektrum měřeného konstruktu a
zároveň co nejméně „překrývat“ ve specifických složkách.
Validita položek
Reliabilita testu: podíl společného a celkového r.:
+ + + + +
Specifický, ale nesdílený rozptyl snižuje pouze reliabilitu.
Specifický, ale sdílený rozptyl může reliabilitu nadhodnocovat.
◦ Např. Cronbachovo alfa, split-half atp. Nelze dost dobře odlišit od .
Sdílený specifický rozptyl navíc snižuje validitu.
◦ Systematické zkreslení, které nelze oddělit od společného rozptylu .
Společný rozptyl (konstrukt) může být tvořen více fasetami: a .
Validitu snižuje i to, pokud část společného rozptylu není v položkách
obsažena.
Tvorba položek
Dobré položky
◦ Jsme si jistí společným faktorem – Opravdu měřený konstrukt způsobuje tohle?
◦ Známe i specifické faktory (může jich být hodně) a nejlépe je i kontrolujeme.
◦ Máme představu o tom, jakými náhodnými vlivy může být odpověď zasažena.
Položky dohromady v jedné metodě.
◦ Měří všechny společný faktor (nebo známe jejich „faktorovou strukturu“).
◦ Pokrývají celou paletu možných projevů (a různých úrovní) konstruktu.
◦ Specifické faktory nesdílí.
◦ Nechybí jim žádný z „aspektů“ konstruktu.
Teorie faset:
Dekompozice obsahového univerza
(= všech možných projevů konstruktu, teorie)
Teorie faset
(Guttman; Shye & al.)
◦ Základem dekompozice
univerza určité teorie.
◦ Mapping definitions –
zobrazující definice.
◦ Série definic obsahu
nějakého chování podle
tendence, příležitosti a
odpovědi…
◦ (O – (T <=> S) – R)
Obsahové univerzum.
◦ Množina všech možných položek a „vážených
významů“ daného konstruktu.
Položková banka.
◦ Množina reálně vytvořených položek.
Pilotní verze metody.
◦ Položky vybrané z položkové banky pro ověření.
Další pilotní verze metody.
...
Finální verze metody.
◦ Revize metody...
Teorie faset:
Dekompozice obsahového univerza
(= všech možných projevů konstruktu, teorie)
Teorie faset
(Guttman; Shye & al.)
◦ Základem dekompozice
univerza určité teorie.
◦ Mapping definitions –
zobrazující definice.
◦ Série definic obsahu
nějakého chování podle
tendence, příležitosti a
odpovědi…
◦ (O – (T <=> S) – R)
Obsahové univerzum.
◦ Množina všech možných položek a „vážených
významů“ daného konstruktu.
Položková banka.
◦ Množina reálně vytvořených položek.
Pilotní verze metody.
◦ Položky vybrané z položkové banky pro ověření.
Další pilotní verze metody.
...
Finální verze metody.
◦ Revize metody...
Podoba a kvalita
metody ovlivňují naše
úvahy o měřeném
konstruktu a tedy
i obsahovém univerzu.
Dekompozice obsahového univerza:
fasety modelového zadání – studijní styl
Zadání: „Tendence
k úzkosti ve výkonové
situaci“.
Situace:
◦ Typy výkonových situací
◦ Zkouška
◦ Seminárka
◦ Průběžné studium
Čas:
◦ dlouhodobost/krátkodobost
◦ před – v průběhu – po
Složka postoje:
◦ Kognitivní
◦ Afektivní
◦ Behaviorální
Chování
◦ Odklon
◦ Ruminace
◦ Prokrastinace
◦ Řešení úkolu
◦ Perseverace…
Afektivní
◦ Útlum / agitace
◦ Konkrétní emoce…
Kognitivní
◦ Dispozice
◦ Realizace
◦ Znalost
◦ Rychlost…
A tak dále…
3×5×3(×5×2×4...)
Teorie faset:
Dekompozice obsahového univerza
Pomyslná matice 3×5×3(×5×2×4...) kombinací formulací položek.
◦ Odtud pojem „multifasetový konstrukt“
◦ Při přípravě na zkoušku se zaměřuji na především na získání obecné orientace v látce.
◦ Před zkouškou trpím silnými pocity úzkosti.
◦ Během zkoušení mívám problémy s vybavováním.
◦ Po zkoušce se obvykle odreaguji ve společnosti.
◦ Položka je tedy tvořena vždy výběrem prvků z příslušné kombinace faset.
◦ Některé kombinace mohou být „nepoužity“.
◦ Fasety jsou více či méně univerzální – např. složky postoje jsou pro psychologii
obecné, ale další fasety závisí na konkrétní teorii, jsou z teorie odvozené.
Více faset neimplikuje více dimenzí/faktorů.
Struktura položky
Položka jako „kognitivní experiment“.
Item stem = podnět = jádro položky = stimul.
Response = odpověď = kvantifikace = …kde co.
Distraktory = možnosti k výběru (ne vždy).
Skóre = bodová hodnota odpovědi.
Jedna položka může implikovat více odpovědí.
Vztah odpovědi a skóru nemusí být přímý.
◦ Vážené odpovědi, interpretované odpovědi...
◦ Projektivní metody (ROR, TAT, MMPI...).
Odpověď na položku není totožná se skórem položky!
◦ Přiřazení čísel jevům...
Typy a formáty položek 1
Konstrukt vždy implikuje formát položek
(a formát ovlivňuje měřený konstrukt).
Z hlediska typů metody:
◦ Testy schopností
◦ Osobnostní dotazníky
◦ Silové, rychlostí vs. kapacitní testy
◦ Výkonové vs. introspektivní
◦ Objektivní testy
◦ Projektivní testy
◦ V principu: existuje „správná“ či „diagnostická“
odpověď?
Z hlediska formátu odpovědi:
◦ Implikuje použité statistiky.
◦ Položky s volnou kvantifikací (čas, x-bodové
škály) lze obvykle zpracovat pod CTT s
předpokladem normálního rozdělení.
◦ Položky se „správnou“, „diagnostickou“ odpovědí
je nutno v konečném zpracování brát jako
dichotomické.
◦ Dichotomizace ex-post omezuje variabilitu –
rozlišovací účinnost!
Z hlediska úrovně měření:
◦ Nominální – ordinální – intervalové – poměrové
◦ (Nemusí být shodné s úrovní výsledné škály.)
Typy a formáty položek 2
Doplňování odpovědi: 7+2=…; Co mají společného obraz a socha?; Za dvacet let budu…
◦ Odpovědi je nutné skórovat: dichotomické, škála, vícenásobná volba...
Posuzovací škály, někdy též uspořádané kategorie, „stejně se jevící intervaly“ atd.
◦ Nikdy–zřídka–občas–často–vždy. Souhlasím–spíše souhlasím–spíše nesouhlasím–nesouhlasím.
Vícenásobná volba (multiple-choice): Více než 3 varianty s 1 správnou odpovědí a X distraktory.
Dichotomická položka: Výběr 2 variant (ano/ne, souhlasím/nesouhlasím).
Nucená volba (ipsativní): Jste spíše: tolerantní, nebo náročný?
Mnohonásobná volba: Vlastně série dichotomií…
Spojování (párování).
Řazení: Seřaďte výroky podle výstižnosti: Jsem energický… nezávislý … důvěřivý…
Pozorovací schémata, měření reakčního času, velmi mnoho dalších formátů.
Typické „škály“ v psychologii
Vizuální analogová škála (Hayes and Paterson, 1921)
Thurstonova škála (1928): 3 typy, např. „metoda stejně se jevících intervalů“.
Likertova škála (1932): Metoda sigma vs. zjednodušená metoda
Guttmanova škála (40. léta)
◦ Rozšíření původní Bogardovy (1925) škály sociální distance.
◦ Původně deterministický model později rozšířen na stochastický model, základ IRT.
Osgoodův semantický diferenciál (1957)
Doporučujeme kap. 5: Price, L. R. (2016). Psychometric Methods: Theory into Practice. New York: Guilford Press.
Terminologické shrnutí
Atribut: „elementární měřitelný zástupce reálného světa“a. Měřitelná a měřená vlastnost.
Konstrukt: atribut postulovaný teorií s určitými charakteristickými vlastnostmi a vztahy.
◦ Může, ale nemusí být vícedimenzionální.
Faktor: Myšlená latentní proměnná, která kauzálně ovlivňuje... něco (třeba odpovědi v dotazníku).
◦ Úzce spojená s faktorovou analýzou jako nástrojem pro identifikaci různých faktorů v mnohodimenzionálních
datech. Může jít ale i o statistický artefakt bez konkrétního významu.
Dimenze: Synonymum faktoru, matematičtější terminologie.
Faseta: V tomto kontextu myšlená charakteristika konstruktu, která může, ale nemusí být faktorem.
◦ Faseta může být sycena i jiným „specifickým faktorem“, který není součástí konstruktu/jiným konstruktem.
Škála/subškála: Vyhodnocovaná součást diagnostické metody, opatřená vlastním skóre a
instrumentálně spjatá s touto metodou.
◦ Pokud není zároveň odhadem určitého faktoru, bude mít zřejmě nízkou validitu.
Viz diskuzi na Facebooku 
a https://cs.wikipedia.org/wiki/Atribut