a) Zadání seminární práce
b) Výběrová validita
c) Psychologické škálování
PSYb2590: Základy psychometriky | Seminář 1
14. 2. / 21. 2. 2022 | Hynek Cígler, Petr Palíšek a Edita Chvojková
(s přispěním Standy Ježka a Adama Ťápala)
Seminární práce 1: Téma práce
Téma práce: Návrh postupu tvorby, validizace a standardizace
psychodiagnostické metody určené k měření zvoleného konstruktu včetně
pilotního ověření
Cíle seminární práce:
◦ Naučit se tvořit položky jednoduché psychologické škály.
◦ Osvojit si uvažování o obsahové a konstruktové validitě.
◦ Vyzkoušet si příslušné analýzy (FA, položková analýza...).
Skupiny po 4–5 osobách.
Průběžné odevzdání, průběžné konzultace, zpětná vazba výhradně ústně.
Nelze opravit, není minimální počet bodů.
Seminární práce 2: Struktura práce
Struktura odpovídá formátu IMRAD. Doporučený rozsah do 15 NS bez příloh a tabulek.
Úvod: Podrobný popis měřeného konstruktu, použité teorie, související pojmy, účel metody, způsob
konstrukce.
◦ Východiska pro ověření konvergentní i divergentní, případně faktorové validity.
Metoda: Popis vzorku a jeho výběru, odhad a zdůvodnění jeho velikosti.
◦ Návrh způsobů ověření validity a reliability (nikoliv všechny musí být realizovány v rámci SP).
◦ Ve výjimečných případech (časová náročnost) lze data nasimulovat na základě několika málo administrací.
◦ Způsob tvorby položek, nepovinně včetně kognitivního interview.
Výsledky: deskriptivy, položková analýza, odhad reliability, faktorová analýza, další ověření validity
(pokud byly provedeny).
◦ Případné vyřazení nefungujících položek a navržení upravené verze instrumentu.
Diskuze: zhodnocení fungování metody a návrh dalších kroků.
◦ Včetně kvalitativního zhodnocení svých zkušeností.
Seminární práce 3: Organizace
Skupiny: 4–5 studentů.
◦ Ideálně v rámci seminárních skupin.
◦ Konzultanti: Hynek, Edita, Petr.
Zpětná vazba výhradně ústně.
◦ Konzultace možné (a doporučené!) kdykoli.
Termín A (S1: 27. 2.; S2/S3: 6. 3.):
Vytvoření témat v ISu
◦ Včetně přihlášení členů týmu.
◦ Stručný popis tématu.
◦ Prezentace tématu (max. 5 min.) na S2.
Termín B (S1: 27. 3.; S2/S3: 3. 4.):
Odevzdání první části
◦ Až po tvorbu položek a sběr dat.
◦ Celý Úvod + část kapitoly Metoda.
◦ Tvorba vzorku, odhad jeho velikosti, způsoby ověření
validity/reliability, očekávaný počet položek.
◦ Návrh tvorby položek a ukázkové položky.
Termín C (9. 5): Ústní prezentace
◦ Společný seminář, cca 8+4 minuty.
Termín D (15. 5.): Odevzdání finální
verze
◦ Text + kompletní data a skript.
◦ Hodnocen je jen finální text a prezentace.
Seminární práce 4: Hodnotící kritéria
Je konstrukt dobře operacionalizovaný, aby bylo možné hodnotit kvalitu jeho měření?
◦ Je použita adekvátní teorie pro teoretické zakotvení konstruktu?
Má navržený design měřicí metody potenciál k měření zvoleného konstruktu?
Je adekvátní návrh způsobu tvorby položek, jsou výsledné položky kvalitní vzhledem k účelu?
Jsou postupy ověření validity a reliability vhodné pro daný konstrukt a design metody?
Je návrh vzorku vhodný pro pilotní ověření dané metody?
◦ (Nehodnotíme, pokud se sběr dat nepodaří realizovat zcela podle představ, důležitý je záměr.)
Jsou statistické analýzy korektně provedené? Jsou výsledky dobře reportované?
Je text na dostatečné formální úrovni?
◦ Reportování statistik, odborný jazyk. Přehlednost textu. Stylistika a pravopis.
Jsou výsledky dobře reportované? Jsou dostatečně diskutované v návaznosti na teorii?
Jaká byla prezentace výsledků na semináři?
Seminární práce 5: Technické
Založte si rozpis v IS MU (odkaz viz interaktivní osnova).
◦ Můžete do něj rovnou přidat kolegy.
◦ Rozpis pojmenujte názvem týmu nebo něčím, co vystihne vaši metodu.
◦ Do anotace dejte pár slov o plánované metodě.
Rozpis bude schválen vyučujícím.
◦ Ke každému rozpisu se automaticky vytvoří odevzdávárna.
◦ Do ní budete vkládat obě části seminární práce a související soubory.
Rozpisy můžete využít i jako „burzu“ témat.
◦ Můžete využít i diskuzi v IS MU.
Seminární práce 5: Technické
Formát textu odpovídá APA manuskriptu
výzkumného článku.
◦ Formátem, rozsahem i strukturou.
◦ APA šablona v interaktivní osnově.
◦ Tj. obsahuje úvodní stranu, abstrakt, running-head a další
náležitosti.
◦ Tabulky a ilustrace nedávejte nakonec, ale na
správné místo přímo do textu!
Doporučujeme šablonu používat pro psaní
textu už od začátku.
Součástí finálního odevzdání jsou:
◦ Text včetně znění položek (např. v příloze).
◦ Data, případně též analytický skript.
◦ Odkaz na dotazník (případně jeho kopie).
◦ Vzor informovaného souhlasu (pokud byl použit).
V odevzdávárně na konci semestru bude:
◦ První verze textu.
◦ Prezentace ze semináře.
◦ Druhá verze textu, obsahuje i přílohy.
◦ „Supplemental materials“, jsou-li (soubor s daty,
skriptem...).
Ferguson, L. W. (1941). A Study of the Likert Technique of Attitude Scale Construction. Journal of Social Psychology, 1941(13), 51-57. doi: 10.1080/00224545.1941.9714060 .
Obsahová validita
racionální posuzování validity
Odpovídá obsah testu měřenému konstruktu a účelu měření?
◦ Můžeme odpovědi na položky (v zamýšlené populaci) považovat za projevy, znaky, symptomy různých
úrovní měřeného konstruktu?
◦ Zachycují položky všechny důležité druhy projevů (symptomy, znaky..)?
◦ Je vliv příbuzných, podobných či souvisejících konstruktů minimální?
◦ Operacionalismus: Konstrukt je definován metodou.
Někdy též výběrová validita: jsou položky dobře vybrané z univerza možných položek?
Důkazy obsahové validity:
◦ Posouzení metody/položek experty.
◦ Racionální argumentace: Design tvorby položek. Soulad s teorií v plné šíři.
Obsahová validita vs. „face validity“:
◦ Zjevná validita: shodu konstruktu s metodou posoudí i laik správně.
◦ Zdánlivá validita: metoda ve skutečnosti měří něco jiného, než si laik myslí.
Položka – indikátor konstruktu
Pozorovatelný projev vysoké/nízké úrovně měřeného konstruktu
◦ Pozorovatelný druhými – pozorování chování (i pomocí přístrojů, pravítek)
◦ Pozorovatelný subjektem – výpovědi, odpovědi na otázky
Když je projev pozorován, je to jednoznačně známkou přítomnosti
určité úrovně měřeného konstruktu
Protože to „jednoznačně“ v psychologii zřídka platí, snažíme se měřit
opakovaně (tím víc, čím méně jsme si jednoznačností jistí).
◦ více různými položkami
◦ v různých časech, podmínkách (omezeno stabilitou samotného konstruktu)
Validita položek
Každá položka obsahuje dvě hlavní rozptylové složky
◦ =příčiny rozdílů mezi lidmi v pozorování/odpovědích
První je společná - týká se měřeného konstruktu.
◦ Pozorování/Odpověď je způsobena měřenou latentní proměnnou.
Druhá složka je specifická pro danou položku.
◦ Náhodné vlivy na pozorování/odpovědi v daném čase.
◦ Další systematické vlivy/důvody na pozorování/odpovědi
◦ Specifické faktory
Položky by se měly „překrývat“ ve společném rozptylu a dobře
pokrývat celé významové spektrum měřeného konstruktu a
zároveň co nejméně „překrývat“ ve specifických složkách.
Validita položek
Reliabilita testu: podíl společného a celkového r.:
+ + + + +
Specifický, ale nesdílený rozptyl snižuje pouze reliabilitu.
Specifický, ale sdílený rozptyl může reliabilitu nadhodnocovat.
◦ Např. Cronbachovo alfa, split-half atp. Nelze dost dobře odlišit od .
Sdílený specifický rozptyl navíc snižuje validitu.
◦ Systematické zkreslení, které nelze oddělit od společného rozptylu .
Společný rozptyl (konstrukt) může být tvořen více fasetami: a .
Validitu snižuje i to, pokud část společného rozptylu není v položkách
obsažena.
Tvorba položek
Dobré položky
◦ Jsme si jistí společným faktorem – Opravdu měřený konstrukt způsobuje tohle?
◦ Známe i specifické faktory (může jich být hodně) a nejlépe je i kontrolujeme.
◦ Máme představu o tom, jakými náhodnými vlivy může být odpověď zasažena.
Položky dohromady v jedné metodě.
◦ Měří všechny společný faktor (nebo známe jejich „faktorovou strukturu“).
◦ Pokrývají celou paletu možných projevů (a různých úrovní) konstruktu.
◦ Specifické faktory nesdílí.
◦ Nechybí jim žádný z „aspektů“ konstruktu.
Teorie faset:
Dekompozice obsahového univerza
(= všech možných projevů konstruktu, teorie)
Teorie faset
(Guttman; Shye & al.)
◦ Základem dekompozice
univerza určité teorie.
◦ Mapping definitions –
zobrazující definice.
◦ Série definic obsahu
nějakého chování podle
tendence, příležitosti a
odpovědi…
Obsahové univerzum.
◦ Množina všech možných položek a „vážených
významů“ daného konstruktu.
Položková banka.
◦ Množina reálně vytvořených položek.
Pilotní verze metody.
◦ Položky vybrané z položkové banky pro ověření.
Další pilotní verze metody.
...
Finální verze metody.
◦ Revize metody...
Teorie faset:
Dekompozice obsahového univerza
(= všech možných projevů konstruktu, teorie)
Teorie faset
(Guttman; Shye & al.)
◦ Základem dekompozice
univerza určité teorie.
◦ Mapping definitions –
zobrazující definice.
◦ Série definic obsahu
nějakého chování podle
tendence, příležitosti a
odpovědi…
Obsahové univerzum.
◦ Množina všech možných položek a „vážených
významů“ daného konstruktu.
Položková banka.
◦ Množina reálně vytvořených položek.
Pilotní verze metody.
◦ Položky vybrané z položkové banky pro ověření.
Další pilotní verze metody.
...
Finální verze metody.
◦ Revize metody...
Podoba a kvalita
metody ovlivňují naše
úvahy o měřeném
konstruktu a tedy
i obsahovém univerzu.
Dekompozice obsahového univerza:
fasety modelového zadání – studijní styl
Zadání: „Tendence
k úzkosti ve výkonové
situaci“.
Situace:
◦ Typy výkonových situací
◦ Zkouška
◦ Seminárka
◦ Průběžné studium
Čas:
◦ dlouhodobost/krátkodobost
◦ před – v průběhu – po
Složka postoje:
◦ Kognitivní
◦ Afektivní
◦ Behaviorální
Chování
◦ Odklon
◦ Ruminace
◦ Prokrastinace
◦ Řešení úkolu
◦ Perseverace…
Afektivní
◦ Útlum / agitace
◦ Konkrétní emoce…
Kognitivní
◦ Dispozice
◦ Realizace
◦ Znalost
◦ Rychlost…
A tak dále…
3×5×3(×5×2×4...)
Teorie faset:
Dekompozice obsahového univerza
Pomyslná matice 3×5×3(×5×2×4...) kombinací formulací položek.
◦ Odtud pojem „multifasetový konstrukt“
◦ Při přípravě na zkoušku se zaměřuji na především na získání obecné orientace v látce.
◦ Před zkouškou trpím silnými pocity úzkosti.
◦ Během zkoušení mívám problémy s vybavováním.
◦ Po zkoušce se obvykle odreaguji ve společnosti.
◦ Položka je tedy tvořena vždy výběrem prvků z příslušné kombinace faset.
◦ Některé kombinace mohou být „nepoužity“.
◦ Fasety jsou více či méně univerzální – např. složky postoje jsou pro psychologii
obecné, ale další fasety závisí na konkrétní teorii, jsou z teorie odvozené.
Více faset neimplikuje více dimenzí/faktorů.
Struktura položky
Položka jako „kognitivní experiment“.
◦ Item stem = podnět = kořen/jádro položky =
stimulus.
◦ Response = odpověď = kvantifikace = konkrétní
pozorování.
◦ Distraktory = možnosti k výběru (nikoli nutně).
◦ Skóre = bodová hodnota odpovědi.
Jedna položka může implikovat více odpovědí.
Jeden kořen se může dále dělit.
◦ Instrukce vs. podnětový materiál.
Vztah odpovědi a skóru nemusí být přímý.
◦ Vážené odpovědi, interpretované odpovědi...
◦ Projektivní metody (ROR, TAT, MMPI...).
Odpověď na položku není totožná se skórem
položky!
◦ Přiřazení čísel jevům...
Typy a formáty položek 1
Konstrukt vždy implikuje formát položek
(a formát ovlivňuje měřený konstrukt).
Z hlediska typů metody:
◦ Testy schopností
◦ Osobnostní dotazníky
◦ Silové, rychlostí vs. kapacitní testy
◦ Výkonové vs. introspektivní
◦ Objektivní testy
◦ Projektivní testy
◦ V principu: existuje „správná“ či „diagnostická“
odpověď?
Z hlediska formátu odpovědi:
◦ Implikuje použité statistiky.
◦ Položky s volnou kvantifikací (čas, x-bodové
škály) lze obvykle zpracovat pod CTT s
předpokladem normálního rozdělení.
◦ Položky se „správnou“, „diagnostickou“ odpovědí
je nutno v konečném zpracování brát jako
dichotomické.
◦ Dichotomizace ex-post omezuje variabilitu –
rozlišovací účinnost!
Z hlediska úrovně měření:
◦ Nominální – ordinální – intervalové – poměrové
◦ (Nemusí být shodné s úrovní výsledné škály.)
Typy a formáty položek 2
Doplňování odpovědi: 7+2=…; Co mají společného obraz a socha?; Za dvacet let budu…
◦ Odpovědi je nutné skórovat: dichotomické, škála, vícenásobná volba...
Posuzovací škály, někdy též uspořádané kategorie, „stejně se jevící intervaly“ atd.
◦ Nikdy–zřídka–občas–často–vždy. Souhlasím–spíše souhlasím–spíše nesouhlasím–nesouhlasím.
Vícenásobná volba (multiple-choice): Více než 3 varianty s 1 správnou odpovědí a X distraktory.
Dichotomická položka: Výběr 2 variant (ano/ne, souhlasím/nesouhlasím).
Nucená volba (ipsativní): Jste spíše: tolerantní, nebo náročný?
Mnohonásobná volba: Vlastně série dichotomií…
Spojování (párování).
Řazení: Seřaďte výroky podle výstižnosti: Jsem energický… nezávislý … důvěřivý…
Pozorovací schémata, měření reakčního času, velmi mnoho dalších formátů.
Typické „škály“ v psychologii
Vizuální analogová škála (Hayes and Paterson, 1921)
Thurstonova škála (1928): 3 typy, např. „metoda stejně se jevících intervalů“.
Likertova škála (1932): Metoda sigma vs. zjednodušená metoda
Guttmanova škála (40. léta)
◦ Rozšíření původní Bogardovy (1925) škály sociální distance.
◦ Původně deterministický model později rozšířen na stochastický model, základ IRT.
Osgoodův semantický diferenciál (1957)
Doporučujeme kap. 5: Price, L. R. (2016). Psychometric Methods: Theory into Practice. New York: Guilford Press.
Terminologické shrnutí
Atribut: „elementární měřitelný zástupce reálného světa“a. Měřitelná a měřená vlastnost.
Konstrukt: atribut postulovaný teorií s určitými charakteristickými vlastnostmi a vztahy.
◦ Může, ale nemusí být vícedimenzionální.
Faktor: Myšlená latentní proměnná, která kauzálně ovlivňuje... něco (třeba odpovědi v dotazníku).
◦ Úzce spojená s faktorovou analýzou jako nástrojem pro identifikaci různých faktorů v mnohodimenzionálních
datech. Může jít ale i o statistický artefakt bez konkrétního významu.
Dimenze: Synonymum faktoru, matematičtější terminologie.
Faseta: V tomto kontextu myšlená charakteristika konstruktu, která může, ale nemusí být faktorem.
◦ Faseta může být sycena i jiným „specifickým faktorem“, který není součástí konstruktu/jiným konstruktem.
Škála/subškála: Vyhodnocovaná součást diagnostické metody, opatřená vlastním skóre a
instrumentálně spjatá s touto metodou.
◦ Pokud není zároveň odhadem určitého faktoru, bude mít zřejmě nízkou validitu.
Viz diskuzi na Facebooku 
a https://cs.wikipedia.org/wiki/Atribut
Seminární úkol: dotazník výšky
Jste ve světě, kde nefungují pravítka.
Potřebujete měřit výšku lidí a jste odkázáni jen na psychodiagnostické metody.
◦ 4–5členné „výzkumné týmy“.
Jaký konstrukt má dotazník měřit?
Jaké jsou možné fasety obsahového univerza takového konstruktu?
Jaké konstrukty budou do měření intervenovat? Jak jejich vliv minimalizovat?
Jaký formát položek je pro měření vhodný?
K několika fasetám vytvořte několik položek.
Jaký konstrukt má dotazník měřit?
Jaké jsou možné fasety obsahového univerza takového konstruktu?
(a.k.a projevy výšky)
Př. Fyzická konfrontace se standardně velkými objekty.
Ke dvěma fasetám vytvořte 1 položku.
Př. Při nástupu do šaliny musím sklopit hlavu. Ano-Ne
Jaké konstrukty budou do měření v jednotlivých facetách
intervenovat? Jak jejich vliv minimalizovat?
Jaký jiný formát položky je myslitelný?
Př. Pozorování nástupu – změna osy hlavy o více než 15st. od vertikály = 1