Úvodní informace
Shrnutí předpokladů pro studium
Přednáška 1 | 18. 9. 2023
PSYn4790 | Psychometrika: Měření v psychologii
Katedra psychologie, Fakulta sociálních studií MU
Hynek Cígler & Petr Palíšek
Záměr kurzu PSYn4790
Poskytnout psychometrické a epistemologické zázemí
k validnímu zkoumání člověka.
◦ A to pro kontext individuální diagnostiky i výzkumu.
◦ Epistemologická východiska a krize zobecnitelnosti (týden 2–4).
◦ Replikovatelnost (2), epistemologie (3–4).
◦ Vybrané modely měření v psychometrice (týden 5–8).
◦ CTT (5), GT (6), IRT (7–8)
◦ Specifická témata (týden 9-13).
◦ Interpretace testových skórů (9), férovost v testování (11) a shoda posuzovatelů (12).
◦ Síťové modely (10) a psychometrický workshop (13).
K čemu vám kurz bude?
Problémy s měřením jsou jedním z příčin krize důvěryhodnosti.
Lepší orientace v modelech měřeních.
Přehled pokročilejších psychometrických postupů pro případné
pozdější využití.
Propojení teorie měření a výzkumu.
Kritické hodnocení výzkumu, výzkumná „scestí“.
Aplikace psychometrických postupů do praktické diagnostiky, využití
znalostí z bakalářského studia v praxi.
Stručný harmonogram
# datum téma přednáší úkol
1. 18. 9. Úvod, zadání seminární práce, opakování BC studia HC P1
2. 25. 9. Meta-analýza, zobecnitelnost, replikační krize, open science HC P2
3. 2. 10. Epistemologie 1 HŠ P3
4. 9. 10. Epistemologie 2 HŠ test 1 (od 11. 10.)
5. 16. 10. Model měření klasické testové teorie HC P4
6. 23. 10. Teorie zobecnitelnosti HC P5
7. 30. 10. Teorie odpovědi na položku 1 HC P6
8. 6. 11. Teorie odpovědi na položku 2 HC test 2 (od 8. 11.)
9. 13. 11. Interpretace testových skórů HC P7
10. 20. 11. Síťové modely HC P8
11. 27. 11. Férovost v testování HC P9
12. 4. 12. Shoda posuzovatelů HC test 3 (od 6. 12.)
13. 11. 12. Psychometrický workshop HC SP (11. 12.)
Požadavky na ukončení kurzu
3 písemné testy: (3-1) × 10 = 20 bodů
◦ Na konci každého bloku, termíny v ISu (od 11. 10., 8. 11., 6. 12.).
◦ Minimum 11 b., nejhorší pokus se nepočítá (jinak X).
Seminární práce: 30 bodů.
◦ 15 a méně bodů → možnost přepracovat (−5 bodů, max. 20).
Písemná zkouška: 40 bodů.
◦ Minimálně 21 b., jinak F.
Ústní zkouška: 10 bodů.
◦ Možnost udělit F (0 bodů) bez ohledu na zbytek bodů.
Nebodované přípravy.
◦ Alespoň 7 z 9 (jinak X).
A: 100–91
B: 90–81
C: 80–71
D: 70–61
E: 60–51
F: 50–0
Požadavky na ukončení kurzu
Průběžné písemné testy
◦ Open-book, otevřené otázky.
◦ On-line odkudkoli.
◦ Lze využít libovolné materiály.
◦ Ty ale nestačí, je potřeba se orientovat.
◦ Jednodenní časové okno (pátek?).
◦ Na konci každého bloku.
◦ Pozor na formát a férovost.
◦ Pro podrobné informace viz Interaktivní
osnovu.
Průběžné přípravy
◦ Slouží pro vás.
◦ Nebodováno, bez individuální
zpětné vazby.
◦ Nepište ale pitomosti, čteme to 
◦ Není potřeba se nic učit.
◦ Stačí přečíst literaturu.
◦ Delší časové okno (st–ne).
◦ Mimo týdny s testem nebo seminární prací.
◦ Nečíst detailně, není to beletrie.
◦ Pokyny ke čtení v Interaktivní osnově!
◦ Prostor pro diskuzi v ISu.
Studijní zdroje
Interaktivní osnova a IS MU, předmětová diskuze.
◦ Povinná a rozšiřující literatura vždy ke každému tématu.
FB: Psychologické testování
◦ Odborná diskuze o psychodiagnostice a metodách
FB: Statistika, metodologie, psychometrika
◦ Prostor pro řešení běžných problémů, dotazy ke studiu.
FB: Kvantitativní kroužek
◦ Advanced skupina o statistice a metodologii v sociálních vědách.
Časopis Testfórum.
Konzultace
Najdete u každého vyučujícího v IS MU.
Organizační záležitosti: Petr Palíšek.
Pro osobní konzultace: Hynek Cígler – kanc. 2.47, pondělí odpoledne
(cca 14.00–16.00).
◦ Bez garance 
◦ Možnost on-line konzultace bez předchozího ohlášení (stejný čas, MS Teams).
◦ (S ještě menší garancí )
Vaši předchůdci „vzkazují“:
Jde to zvládnout! 
Obtížné, pokud jste neabsolvovali bakalářskou psychometriku.
Nezbytné studovat průběžně.
Nestačí přednášky, bez literatury to nepůjde.
◦ Nespoléhejte, že na přednáškách zazní všechna témata.
◦ Bez přednášek chybí kontext.
◦ Podívejte se na tipy v interaktivní osnově ke čtení literatury.
Věnujte pozornost zadání SP (struktura recenze).
Věnujte přípravě adekvátní čas (ani moc, ani málo).
Předmětová anketa (někdy)
A: „Magisterská psychometrika se mi moc líbila [...] Zároveň bych
chtěla ocenit, že nebyla tak náročná, jak bakalářská psychometrika.
Myslím si, že to bylo především nebodovanými průběžnými úkoly,
které mi moc vyhovovaly.“
B: „Psychometrika pro mě byla časově nejnáročnějším předmětem,
ale časovou zátěž bych určitě neměnila. Je to těžký předmět a bez
průběžných příprav by to moc nešlo. [...] “
Předmětová anketa (někdy)
C: „PRŮBĚŽNÉ PŘÍPRAVY - neplánuji v budoucnu jít psychometrickou ani vědeckou dráhou, proto
jsem byla ze začátku otrávená z toho, že musím tomuto kurzu věnovat tolik energie a času (na
čtení), ale nakonec uznávám, že to bylo k něčemu dobré: 1) přinutilo mě to fakt číst literaturu,
kterou bych pravděpodobně, jako psychometrický nenadšenec jinak spíš nečetla, popřípadě měla
malou motivaci ji procházet 2) byl to pro mě trénink "efektivního čtení"... asi první polovinu
příprav jsem brala možná až zbytečně vážně, fakt četla všechno poctivě, pozorně a s
porozuměním (takže POMALU!) a byla jsem sama ze sebe frustrovaná, že věnuju jednomu kurzu
tolik času (nemyslím to nijak osobně), ale postupně s dalšími přípravami a mým uvědoměním, že
nechci (a asi ani nezvládnu) celý semestr věnovat polovinu času Psychometrice, jsem se učila číst
rychleji, efektivněji a hlavně zvládat své "strachy" z toho, že mi něco ušlo, že něco důležitého
minu.. [...] Takže mám pro Vás tip, možná tuhle část smysluplnosti příprav příští rok více
zdůraznit, myslím, že by to mohlo psychometrické nenadšence (kteří předmět berou spíš jako
nutné zlo s možnými zajímavými informacemi, ale skoro nulovým překryvem se svojí budoucí
praxí) namotivovat a vidět v průběžných přípravách smysl.“
Předmětová anketa (někdy)
D: „Tento předmět považuju za přínosný a ačkoliv nemám k psychometrice
zdaleka blízko, tak svým způsobem i zajímavý. Jenom tedy opravdu náročný.
Během semestru jsem strávila dlouho se čtením příprav [...] ale nejsem si jistá,
nakolik mi četba pomohla pochopit látku. Ale to je dáno možná tím, že jsem si
nedělala kvalitní výpisky a nešlo o předmět, pro který bych byla nadchnutá.
Pokud jde o další požadavky kurzu, tak seminárka mi přišla úplně v pohodě. Testy
byly za mě taky v pohodě [...] Přesto jsem z testů měla pocit, že psychometrice
relativně rozumím a s tímto pocitem pak trochu podcenila zkoušku, která byla
podle mě náročnější, než testy. [...] Co bych ocenila - zdůraznění u příprav, že
skutečně nezáleží příliš na tom, co píšeme. Občas jsem se stresovala i z příprav a
měla pocit, že to, co píšu, zkrátka nestačí. Sice jste to říkal, avšak bylo pro mě
těžké plnit něco jen "napůl", snažila jsem se i přípravy mít dobré.“
Předmětová anketa (někdy)
E: „Nejprve velmi krátké video k celkovému hodnocení kurzu:
https://www.youtube.com/watch?v=QJHUbtR0yI8 [...]“
Předmětová anketa (PS 2022)
Jak jednoduše dostat Ačko z psychometricky: Povinné četbě jsem dal 5-7 hodin každý
týden. (3 hodiny, jak bylo doporučováno, jsou nereálné :D) Před testem jsem se koukl
znovu na všechny relevantní přednášky s 1,5x rychlostí (zrychlený Hynek je celkem síla),
vypsal si poznámky z četby, porovnal je s poznámkami ostatních a naučil se z toho
mišmaše. Příprava na každý test tak 10-15h. Na zkoušku jsem si znovu projel všechny
přednášky 1,5x rychlostí. Upřímně, až na třetí poslech mi došli nějaké věci a opravdu
jsem se cítil, že tématu rozumím. Příprava na zkoušku 25-30 hodin. Seminárka zabrala 2
full dny napsat, plus všechno okolo, celkem tak 30 hodin se vším všudy. Pohoda. Předmět
mě vlastně bavil a přišel mi přínosný, ani nevím jak ho udělat méně časově náročný,
témata navazují a podle mě ani není co vyhodit. [...] Nahrané přenášky jsou top.
Revoluční praktika. Bez nich bych neměl šanci rozumět tématům bez dalších 100h
samostudia.
Průběžné přípravy ještě jednou
Přípravy jsou pro vás. Není podstatné, zda odpovíte „správně“, ale že se o to pokusíte.
◦ Cílem je podpořit průběžnou přípravu.
◦ Pokud se alespoň minimálně připravíte a „nevyjde to“, nevadí. Mise splněna!
Ideální postup (ideálně vše během jediného odpoledne):
◦ 1. Přečíst zadanou literaturu (viz pokyny pro čtení literatury v ISu).
◦ 2. Pokusit se zadané četbě porozumět.
◦ 3. Otevřít si odpovědník a odpovědět na zadanou otázku.
Když odpovíte „kvalitně“ – dobře vy! 
Když zjistíte, že nevíte, co napsat... nedá se nic dělat, nic se neděje 
◦ Reflektujte své mezery, zkuste napsat, čemu nerozumíte a proč.
◦ Zeptejte se v diskuzi v ISu.
◦ Zkuste to pochopit dodatečně – může se hodit v testu či u zkoušky!
Zadání seminární práce
Recenze zvolené psychodiagnostické metody
Zadání seminární práce
Analýza odpověďových procesů u vybrané psychologické metody
◦ Formát by měl odpovídat „manuskriptu“ výzkumného článku.
◦ Preferujeme stručnost a informační hutnost, není nutné zabíhat do detailů
Cíle SP
o upozornit na zásadní roli odpověďových procesů
o prohloubit dovednosti spojené s vedením rozhovoru a kvalitativní analýzou
o ukázat, že psychometrika není jen počítání :)
Výstupem je:
o Formulace očekávaných odpověďových procesů
o Jejich ověření rozhovorem
o Úprava znění položek -> další ověření
o Formulace doporučení pro další vývoj / používání metody
Postup tvorby SP
Struktura seminární práce:
•krátký úvod (1) definující měřený konstrukt a (2) specifikující očekávané odpověďové procesy (v případě že
nejsou v literatuře explicitně popsány, můžete uvést svůj kvalifikovaný odhad) a (3) stručně popisující
zvolený nástroj.
•metoda (1) krátce představující postup kognitivního interview a (2) zdůvodňující volbu participantů
vzhledem k relevantní populaci
•výsledky shrnující a interpretující data získaná z rozhovorů
•diskuse, která zejména formuluje doporučení pro další vývoj / používání zkoumaného nástroje
Doporučený harmonogram:
Propojení psychometriky a diagnostiky
První měsíc: Zamyslete se, jaká metoda vás zajímá.
16. 10.: Termín pro výběr metody do PSYn4790 (Psychometrika).
◦ Počkejte na náš souhlas, pak můžete začít psát úvod
◦ Až poté proveďte rozhovor
20. 10.: Termín 1 v PSYn4020 (Psychodiagnostika): Téma & metody
◦ Lze vybrat stejnou metodu seminární práce z obou kurzů.
◦ K tomuto termínu byste měli do metod již nahlédnout.
11. 12.: Termín pro odevzdání SP do PSYn4790 (Psychometrika)..
Důležité zdroje a inspirace
Tourangeau (The Psychology of Survey Response)
Borsboom: Measuring the Mind
Ukázka: https://www.ncbi.nlm.nih.gov/pmc/articles/PMC7437554/
Seminární práce: Tipy
Využívejte empirické zdroje.
V případě chudé literatury přicházejte s vlastními kvalifikovanými úvahami.
Volte metody
◦ dostupné v KDM
◦ Které vás formulací položek štvou
◦ výkonové (např. měřící indukci dle C-H-C)
Můžete zkusit pracovat i s metodami ze systému Invenio. V takovém případě kontaktujte Petra
Palíška, který vám řekne víc a zpřístupní vám je.
Psychometrika
BACH: Vývoj Testů školních dovedností
Psychometrika
Co to je psychometrika:
◦ Pomocná disciplína všech základních psychologických věd.
◦ Na pomezí psychologie (zejm. interindividuálních rozdílů),
kognitivní psychologie (psychologie dotazování) a matematické
statistiky.
Cíle a oblasti použití psychometriky:
◦ Praktická činnost, tedy ověřování a konstrukce testů.
◦ Teorie: vývoj statistických postupů k lepšímu měření člověka.
◦ Nedílná součást praktické psychologické diagnostiky.
„Psychometrics is the approximation of latent
psychological processes by means of stochastic
analysis at both the individual and population levels.“
Peter Molenaar (Pennsylvania State University)
https://www.psychometricsociety.org/content/what-psychometrics
Psychometrika studuje...
... vztah manifestních a latentních proměnných.
... podstatu a charakteristiku latentních psychických procesů.
... možnosti a chybovost usuzování na latentní proměnné z manifestních.
... a statisticky vysvětluje a predikuje chování lidí.
Za tímto účelem pracuje s různými teoriemi, které postulují statistické modely.
Manifestní proměnná: pozorované chování.
Latentní proměnná/proces: Měřený atribut / jev.
Latentní procesy a proměnné
Způsob definice závisí na teorii měření.
◦ Pravý skór (operacionalismus, CTT, GT).
◦ Latentní rys (realismus, IRT, FA, LCA).
◦ Symptomatologická síť (network modely).
◦ Spojitá, „kvantitativní“ (FA, IRT) vs. nominální, „kvalitativní“ (LCA, network) povaha.
Tradiční psychodiagnostický pohled:
Latentní proměnná je interpretace testových výsledků v širším kontextu.
◦ Konstrukcionismus, antirealismus.
◦ Messickovo pojetí validity, Lissitzův model pro hodnocení testu.
Více viz blok přednášek z epistemologie.
Základní psychometrické činnosti
Řemeslo: Vývoj nových testů pro praxi i výzkum, adaptace stávajících.
Popis (modelování) psychických jevů pomocí statistického modelu.
Odvození skórů a indexů z pozorovaného chování.
◦ Včetně odhadu chyby.
Vlastní měření(?) psychických charakteristik.
◦ Je to možné? Existují? Jsou měřitelné (kvantitativní, ideálně spojitá povaha)?
Vývoj psychometrických modelů pro tyto účely.
◦ Nikoliv výhradně jen modelů měření.
Interpretace testových skórů a indexů.
◦ Včetně konstrukce norem.
Dvě tradice:
Psychometrika vs. matematická psychologie
PSYCHOMETRIKA
Inspirace v „mentálních testech“.
◦ Galton, Cattell, Spearman, Binet, Thurstone
Škálování jednotlivců, spíše interindividuální
rozdíly a between-subject.
Vývoj postupů a hlavně praktických nástrojů
pro rozlišení lidí.
◦ Faktorová analýza, reliabilita, délka testu.
◦ Thurstonovo škálování
◦ Vlastní diagnostické metody.
MATEMATICKÁ PSYCHOLOGIE
Inspirace v psychofyzice.
◦ Weber, Fechner, Müller, Wundt, Cattell, Thurstone.
Modelování kognitivních procesů, spíše
intraindividuální procesy a within-subject.
Vývoj postupů pro stabilní měření
psychofyzikálních vlastností osob.
◦ Nejmenší rozlišitelný rozdíl.
◦ Pravděpodobnost.
◦ Párová srovnání (law of comparative judgement)
Vývoj obou linií probíhal zpočátku společně, ale s nárůstem poznatků došlo ke specializaci.
V roce 1964 se z Psychometrické společnosti (zal. 1935) vyčlenila Society for Mathematical Psychology.
Základní
koncepty
psychometriky
Opakování z bakaláře:
nezbytné statistické pojmy
práce s rozptylem
validita a související pojmy
reliabilita, způsoby odhadu
chyba měření a intervaly spolehlivosti
Credit: https://www.facebook.com/vimzenicnezmerim/posts/158401765712038
Základní statistické pojmy
Úrovně měření.
◦ Stevensonova definice, fundamentalita měření...
◦ Nominální, ordinální/pořadová, metrická (intervalová vs. poměrová).
Míry centrální tendence, rozptyl, kovariance a korelace, rozložení proměnných.
Statistické analýzy: korelace, parciální korelace
ANOVA, lineární a logistická regrese, neparametrické statistiky.
Explorační a konfirmační faktorová analýza, logika strukturních modelů.
Práce s rozptylem, zejm. sčítání rozptylových komponent.
◦ Jak z kovarianční matice položek odhadneme rozptyl součtového skór?
Položky, konstrukce položek
Tvorba položek
◦ teorie faset, dekompozice obsahového
univerza
◦ rozdíl faseta vs. dimenze/faktor
◦ složení položky: podnět vs. odpověď
(stimulus vs. response)
◦ druhy položek: doplňování, dichotomické,
multiple-choice, řazení, volná odpověď
(plus její skórování), mnohonásobná volba...
◦ odpověďové škály (Likertova, sémantický
diferenciál, Guttmanovo škálování...)
Podoba metody/testu:
◦ druhy škál: typologie/ipsativní, ordinální,
intervalové...
◦ druhy metod: testy schopností, osobnostní
dotazníky, silové vs. rychlostní vs. kapacitní,
introspektivní vs. výkonové, objektivní,
projektivní...
Skórování:
◦ princip tvorby skórů a indexů pro různé
testy v rámci CTT
Položková analýza, faktorová analýza
POLOŽKOVÁ ANALÝZA V CTT
Popularita, obtížnost
Korigovaná korelace položky s celkovým skóre
Cronbachova alfa po vyřazení položky
ULI (upper-lower index)
deskriptivy...
FAKTOROVÁ ANALÝZA
Explorační faktorová analýza
◦ Metody odhadu počtu faktorů – paralelní
analýza, Kaiserovo pravidlo, Cattelův scree-plot
◦ Metody extrakce, eigenvalue
◦ Metody rotace (šikmé a ortogonální)
◦ Faktorový náboj, komunalita, unicita
◦ Heywoodův případ
Konfirmační faktorová analýza
◦ Shody modelu s daty, χ2, SRMR, RMSEA,
CFI/TLI..., inspekce reziduí, M.I.
◦ Definice a odhad modelu.
Předpoklady faktorové analýzy.
Reliabilita: Metody odhadu v CTT
Paralelní formy: korelace, ICC.
Test-retest: korelace, ICC.
Shoda posuzovatelů: řada ukazatelů, samostatná přednáška.
Vnitřní konzistence:
◦ Split-half: Spearman-Brownův vzorec, Guttmanova λ4...
◦ „Kovarianční matice“: Cronbachovo alfa (= KR-20), omega...
Reliabilita
𝑟 𝑥𝑥′ =
𝜎𝜏
2
𝜎𝑥
2 =
𝜎𝜏
2
𝜎𝜏
2 + 𝜎𝑒
2 = 1 −
𝜎𝑒
2
𝜎𝑥
2
Podíl vysvětleného rozptylu měřicího nástrojem měřeným atributem.
◦ A tedy odmocnina z korelace manifestní a latentní proměnné.
Očekávaná korelace paralelních testů.
(Reliabilitě se více budeme věnovat v 5. týdnu kurzu v rámci modelu
měření CTT.)
Normy
Způsob tvorby standardizačního vzorku a výběru respondentů, typy norem.
◦ Lokální, národní, institucionální...
Kriteriální, ipsativní, normativní skóry a normy.
◦ diskrétní (tradiční) vs. kontinuální (vyhlazená) normalizace.
Typy standardních skórů běžně používaných v psychologii a vzájemný převod.
◦ z-skóry, T-skóry, IQ-skóry, steny, staniny, percentily, percentilové pořadí...
Problémy ze zešikmením, normalizace rozložení.
◦ McCallova plošná transformace, rozdělení podle mediánu, vertikální vyhlazení.
Kontinuální normy (vertikální a horizontální normy).
Validita
Realismus vs. antirealismus
Konstruktová validita podle
Cronbacha a Meehla
Messickovo pojetí validity
Borsboomovo pojetí validity
Validita
Unifikovaná konstruktová validita (Messick)
Ontologické pojetí (Borsboom)
Tradiční pojetí: obsahová, empirická, konstruktová (Cronbach a Meehl)
Klíčové pojmy z tradičního uvažování o validitě:
◦ Výběrová v., face-validity (zjevná, zdánlivá), faktorová.
◦ prediktivní vs. postdiktivní, inkrementální
◦ souběžná, konvergentní, divergentní/diferenciální, kriteriální
◦ Cronbach a Meehl (1955): Construct Validity in Psychological Tests, nomologická síť.
◦ Campbell a Fiske (1959): Multitrait-multimethod matrix (MTMM).
Definice konceptu validity
Messick (1989, s. 20): „... an integrated evaluative judgment of the
degree to which empirical evidence and theoretical rationales
support the adequacy and appropriateness of inferences and actions
based on test scores or other modes of assessment.“
◦ Konstrukcionismus, operacionalismus.
Borsboom (2004): „A test is valid for measuring an attribute if (a) the
attribute exists and (b) variations in the attribute causally produce
variation in the measurement outcomes.“
◦ Validita je vlastnost testu, kterou hodnotíme.
◦ Realismus, ontologické pojetí.
Unifikovaná konstruktová validita
Důraz na hodnocení a použití testu v diagnostice.
◦ Validita je jediným, multifasetovým konstruktem.
◦ Validita je integrativním shrnutím dílčích důkazů.
◦ Integrována ve Standardech pro pedagogické a psychologické
testování (AERA, 2014).
Zdroje důkazů:
◦ Obsah testu
◦ Vnitřní struktura testu
◦ Odpověďové procesy
◦ Souvislost s kritériem
◦ Konsekvence testování
Samuel Messick
Messick (1995)
AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing. American Educational Research Association.
Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction. Sage.
První příprava...
... je atypická, dopředu totiž znáte dva úkoly. Jeden si vyberte:
Pro méně pokročilé: opakování.
◦ Projděte se materiály bakalářského kurzu PSYb2590 Základy psychometriky.
◦ Zamyslete se nad tím, co víte a kde máte naopak mezery.
◦ Naplánujte si, jak tyto mezery doženete během prvních čtyř týdnů semestru.
◦ Výsledek svého zamyšlení reflektujte 
Pro více pokročilé: Quantitude podcast.
◦ Vyberte si minimálně jeden díl podcastu Quantitude. Vybírejte epizody s tématem měření.
◦ Poslechněte si jej a zreflektujte hlavní teze epizody.
◦ Doporučuji letní speciál 2021: díly jedna a dva.