Přednáška 1: Úvod
17. 9. 2019 | PSYn4790 | Psychometrika: Měření v psychologii
Katedra psychologie, Fakulta sociálních studií MU
Hynek Cígler, Jan Širůček
Richard Feynman: „May be some day they will...“
Záměr kurzu PSYn4790
Poskytnout psychometrické, metodologické i epistemologické zázemí
k validnímu zkoumání člověka v jeho prostředí.
3 hlavní témata kurzu:
◦ Vybraná psychometrická témata (setkání 1–7)
◦ předpokládáme znalosti z PSY259 (Základy psychometriky), které budou součástí hodnocení
◦ Hynek Cígler a Adam Ťápal
◦ Metodologie se zaměřením na mixed-design a replikovatelnost výzkumu
(setkání 8–11)
◦ Honza Širůček a Vít Gabrhel
◦ Epistemologie (setkání 12–13)
◦ Honza Šerek
K čemu vám kurz bude?
Znalosti a dovednosti spojené s konstrukcí psychologických testů jsou nezbytným
předpokladem psychologické diagnostiky v praxi.
◦ (Klinické, poradenské, PPP, školní, personální, forenzní...)
Přímé využití psychometrických dovedností v případě, že budete pokračovat ve
výzkumu.
◦ (Teoretickém, aplikovaném, na univerzitě, v privátní sféře...)
Psychometrické znalosti jsou výhodou na trhu práce i na pozicích, které
primárně nejsou zaměřeny na výzkum.
◦ (Podpora „dobré praxe“ na pracovišti, výzkum spojený s řešením projektů atd.)
V psychometrice jsou peníze 
K čemu vám kurz bude?
Psychometrika: Představení vybraných modelů měření v psychologii.
◦ CTT, GT, modely s latentními proměnnými (IRT, FA), síťové modely.
◦ Přesah do diagnostiky: práce s chybou měření, férovost.
◦ „Jak převést pozorované chování na měřicí škálu?“
Mixed-design: Propojení základních přístupů k výzkumu v psychologii.
◦ Propojení kvantitativního a kvalitativního přístupu dle výzkumných otázek.
◦ „Jak designovat výzkum podle jeho záměru?“
Epistemologie: Základní přístupy k vědeckému zkoumání jako takovému.
◦ Modely poznání, přehled epistemologických směrů.
◦ „Jak uvažovat o získávání informací o lidech?“
Stručný harmonogram
datum téma přednášející
1 17. 9.
Úvod, zadání seminární práce. Základní pojmy: validita, reliabilita, objektivita,
standardizace. Model měření CTT.
Cígler,
Širůček
2 26. 9. Chyba měření a reliabilita, další koncepty Cígler
3 3. 10. Teorie odpovědi na položku a Raschův model I. Cígler
4 10. 10. Teorie odpovědi na položku a Raschův model II. Cígler
5 17. 10. Teorie zobecnitelnosti, další psychometrické modely Cígler
6 24. 10. Férovost v testování, test a response bias Cígler
7 31. 11. Shoda posuzovatelů Cígler, Ťápal
8 7. 11. Meta-analýza, replikační krize a důsledky pro výzkum Gabrhel
9 14. 11. Mixed-methods research I. (základní pojmy) Širůček
10 21. 11. Mixed-methods research II. (validita a důvěryhodnost) Širůček
11 28. 11. Mixed-methods research III. Širůček
12 5. 12. Epistemologie I. Šerek
13 12. 12. Epistemologie II. Šerek
Požadavky na ukončení kurzu
2 písemné testy: 2 × 20 bodů
◦ V polovině semestru a ve zkouškovém.
◦ Termíny v ISu.
◦ Minimum 10 (F). Opravné termíny ve zkouškovém.
Seminární práce: 20 bodů.
◦ Minimum není. 10 a méně bodů → možnost
přepracovat (-5 bodů).
Ústní zkouška: 10 bodů.
◦ Minimum 1.
A: 64–70
B: 57–63
C: 50–56
D: 43–49
E: 35–42
F: 34 a méně
◦ Oprava jen ústní.
2% 2%
26%
33%
21%
5%
12%
7%
13%
17%
24%
19%
4%
17%
11%
8%
26%
30%
11%
2%
11%
3%
21% 21%
15%
18%
5%
16%
0%
5%
10%
15%
20%
25%
30%
35%
A B C D E F - / x
PS 2015 (N = 43) PS 2016 (N = 54) PS 2017 (N = 53) PS 2018 (N = 61)
Interaktivní osnovy
Aneb terénní experiment:
https://is.muni.cz/auth/el/fss/podzim2019/PSY479/index.qwarp
Užitečné odkazy
FB: Psychologické testování
https://www.facebook.com/groups/303285283018849/
◦ Odborná diskuze o psychodiagnostice a metodách
FB: Statistika, metodologie, psychometrika
https://www.facebook.com/groups/461796387316423/
◦ Prostor pro řešení běžných problémů, dotazy ke studiu.
FB: Kvantitativní kroužek
https://www.facebook.com/groups/433938776716307/
◦ Advanced skupina o statistice a metodologii v sociálních vědách.
Časopis Testfórum: www.testforum.cz
Povinná literatura
Literatura vždy k danému tématu.
◦ články
◦ rozsah stran z knih
FURR: Furr, R. M., & Bacharach, V. R.
(2014). Psychometrics. Los Angeles,
CA: Sage.
HOG: Hogan, T. P.
(2013). Psychological Testing. New
York: Wiley.
◦ (Tuto knihu využijete i v diagnostice.)
Konzultační hodiny
Hynek Cígler, Jan Širůček: středa 14:00–15:30 v kanc. 2.47.
◦ hynek.cigler@mail.muni.cz (primární kontakt)
◦ jan.sirucek@mail.muni.cz
◦ Prosím, zkuste dodržovat konzultační hodiny 
Jan Šerek: po domluvě e-mailem v kanc. 2.51.
◦ serek@fss.muni.cz
Vít Gabrhel, Adam Ťápal: po domluvě e-mailem „někde“
◦ vit.gabrhel@mail.muni.cz
◦ adam.tapal@mail.muni.cz
Zadání seminární práce
Recenze zvolené psychodiagnostické metody
Cíle SP
Projít si a ujasnit si, jaké všechny vlastnosti testů nás zajímají.
Zkusit tyto vlastnosti objektivně popsat a zhodnotit.
A to v kontextu nějakého konkrétního testu, který vás zajímá a jehož konkrétní
použití si dovedete představit.
Integrovat tyto soudy.
A vypracovat text, který by si mohl vzít do ruky uživatel testu – prakticky
orientovaný psycholog – jako podklad pro výběr vhodného testu pro nějaký účel.
◦ Možnost publikace v Testfóru.
Postup tvorby SP
Výběr vhodné metody (ideálně do 6. 10.).
◦ Doporučujeme využít rezervační systém kvůli možnosti vypůjčení metody.
Důsledné prostudování manuálu, podnětového materiálu a dalších součástí
metody.
Doplnění pomocí relevantních empirických zdrojů (existují-li).
Vypracování EFPA formuláře.
Převedení formuláře do souvislého textu.
Odevzdání formuláře i textu (do 1. 12.).
◦ text: „jméno příjmení_recenze.docx“
◦ formulář: „jméno příjmení_formulář.docx“
Důležité zdroje a inspirace
Urbánek, T. (2010). Stav české psychologické diagnostiky a evropský model
recenze testu. TESTFÓRUM, 1(1), 2-5. doi:http://dx.doi.org/10.5817/TF2010-1-1
◦ Představení recenzního modelu českému publiku.
Testfórum: https://testforum.cz/about/editorialPolicies#sectionPolicies
◦ Informace o recenzích v Testfóru, formulář recenzního modelu EFPA (verze CZ 3.42)
https://testforum.cz/pages/view/recenze
◦ Dosud publikované recenze v Testfóru pro inspiraci.
Evers a kol. (2013): článek o EFPA modelu, doi: 10.7334/psicothema2013.97
Burosovy ročenky, dostupné v knihovně (D2-732; D2-732a)
◦ Inspirace ohledně struktury a obsahu samotného textu.
EFPA manuál
POPIS (NEHODNOTÍCÍ)
obecný popis
klasifikace
skórování
generované zprávy
dodavatel a náklady
ZHODNOCENÍ METODY
kvalita osvětlení teoretických východisek
kvalita materiálů
psychometrické parametry
◦ normy
◦ reliabilita
◦ validita
◦ kvalita generovaných zpráv
závěrečné zhodnocení a doporučení
literatura
Vlastní text: struktura
Řiďte se (nezávazně) strukturou Burosových ročenek.
Záhlaví (vybrané důležité informace, autoři, distributor aj.).
Popis testu, jeho určení, cílové populace atp. (nehodnotící, vychází z informací autora).
Vývoj metody a kvalita technických materiálů (popis s hodnotícím komentářem).
Technické parametry (kritické zhodnocení na úrovni faktů, mělo by obsahovat i další studie
v manuálu neobsažené).
◦ zejm. validita, reliabilita, normy, počítačové zprávy (existují-li)
Komentář (zhodnocení faktů uvedených výše).
Shrnutí a závěr s konkrétním doporučením.
Literatura, zdroje
Doporučení
Otevřená pole formuláře mohou obsahovat identický (copy-past) text s vlastní
recenzí.
Doporučujeme pracovat se stejnou metodou, jako v Psychodiagnostice.
◦ Zvážení psychometrických parametrů → výhoda v diagnostice.
◦ Zkušenost s administrací → výhoda v recenzi (nejen hodnocení testového materiálu).
Nevybírejte metodu na první dobrou.
◦ Některé metody je snadnější recenzovat než jiné.
◦ Hodně špatná metoda → velmi náročné hodnocení.
Nevybírejte příliš velké metody.
Chcete-li vybrat metodu, která není v KDM, domluvte se osobně.
Alternativní zadání 1
Recenze testu vypracovaná ve dvojici v publikační kvalitě.
◦ Musí jít o recenzi metody využívané v české praxi.
◦ Je nutný individuální souhlas a konzultace s HC (cca do 14 dnů).
Datum odevzdání: Co nejdříve (nejpozději 1. 12.), protože:
◦ 20 bodů: práce odevzdána v kvalitě manuskriptu recenze a text je (po
případných revizích) přijat k publikaci v Testfóru do konce zkouškového
období.
◦ 10 bodů: práce splnila požadavky na individuální SP, nedosáhla však publikační
úrovně.
◦ 0 bodů: práce nesplnila požadavky na individuální SP. Studenti mají následně 1
pokus na vypracování individuální SP za běžných podmínek.
Alternativní zadání 2
Překlad EFPA manuálu verze 4.2.6.
◦ Možno ve dvojici (max. jedna dvojice).
◦ Cílem je přechod časopisu Testfórum na novější verzi recenzního modelu.
Před zahájením kontaktujte (cca do 14 dní) HC pro osobní domluvu.
Hodnocení podle stavu recenze po konzultacích a revizích:
◦ 20 bodů: úspěšný překlad, použitelný pro recenzní praxi.
◦ 10 bodů: překlad, který dává smysl, ale není publikovatelný.
◦ 0 bodů: nepovedlo se to. Možnost 1 pokusu na individuální SP dle běžných
podmínek.
Psychometrika
Cíle bloku psychometrického bloku
přednášek
Připomenutí základních pojmů
Validita dle Messicka
Model měření
CTT model měření
Reliabilita v rámci CTT
Cíle psychometrického bloku přednášek
Předpokládáme znalost:
◦ základních psychometrických pojmů
◦ hodnocených vlastností testů
◦ klíčových analýz.
Cílem bloku je poskytnout lepší představu o parametrizaci měření v psychologii.
◦ „Co děláme, když měříme v psychologii?“
A podpořit propojení těchto znalostí s diagnostickou praxí.
A poskytnout odrazový můstek pro ty, kdo chtějí pokračovat ve výzkumu a
akademickém prostředí.
Psychometrika
Co to je psychometrika:
◦ Pomocná disciplína všech základních psychologických věd.
◦ Na pomezí psychologie (zejm. interindividuálních rozdílů),
kognitivní psychologie (psychologie dotazování) a matematické
statistiky.
Cíle a oblasti použití psychometriky:
◦ Praktická činnost, tedy ověřování a konstrukce testů.
◦ Teorie: vývoj statistických postupů k lepšímu měření člověka.
◦ Nedílná součást praktické psychologické diagnostiky.
Základní statistické pojmy
Úrovně měření.
◦ Stevensonova definice, fundamentalita měření...
◦ Nominální, ordinální/pořadová, metrická (intervalová vs. poměrová).
Míry centrální tendence, rozptyl, kovariance a korelace, rozložení proměnných.
Statistické analýzy: korelace, parciální korelace
ANOVA, lineární a logistická regrese, neparametrické statistiky.
Explorační a konfirmační faktorová analýza, logika strukturních modelů.
Sčítání rozptylových komponent (𝜎𝐴+𝐵
2
= 𝜎𝐴
2
+ 𝜎 𝐵
2
+ 2𝜎𝐴𝐵
2
= 𝜎𝐴
2
+ 𝜎 𝐵
2
+ 2𝑟𝐴𝐵 𝜎𝐴 𝜎 𝐵
◦ 𝜎𝐴𝐵
2
– kovariance; 𝑟𝐴𝐵 – korelace proměnných A a B.
Chyba měření a interpretace
Zdroje chyby měření.
◦ nástroj, pozorovatel, okolnosti, měřený objekt, měřená veličina, samotný fakt
měření...
Odhad a kontrola chyb.
◦ nástroj (validita a reliabilita, test-fairness)
◦ pozorovatel (objektivita, férovost)
◦ chyby vztažené k teorii (konstruktová validita)
◦ chyby interpretace (normalizace, standardizace)
Položky, konstrukce položek
Tvorba položek
◦ teorie faset, dekompozice obsahového
univerza
◦ rozdíl faseta vs. dimenze/faktor
◦ složení položky: podnět vs. odpověď
(stimulus vs. response)
◦ druhy položek: doplňování, dichotomické,
multiple-choice, řazení, volná odpověď
(plus její skórování), mnohonásobná volba...
◦ odpověďové škály (Likertova, sémantický
diferenciál, Guttmanovo škálování...)
Podoba metody/testu:
◦ druhy škál: typologie/ipsativní, ordinální,
intervalové...
◦ druhy metod: testy schopností, osobnostní
dotazníky, silové vs. rychlostní vs. kapacitní,
introspektivní vs. výkonové, objektivní,
projektivní...
Položková analýza, faktorová analýza
POLOŽKOVÁ ANALÝZA V CTT
Popularita, obtížnost
Korigovaná korelace položky s celkovým skóre
Cronbachova alfa po vyřazení položky
ULI (upper-lower index)
deskriptivy...
FAKTOROVÁ ANALÝZA
Explorační faktorová analýza
◦ Metody odhadu počtu faktorů – paralelní
analýza, Kaiserovo pravidlo, Cattelův scree-plot
◦ Metody extrakce, eigenvalue
◦ Metody rotace (šikmé a ortogonální)
◦ Faktorový náboj, komunalita, unicita
◦ Heywoodův případ
Konfirmační faktorová analýza
◦ Shody modelu s daty, chi2, SRMR, RMSEA, TLI...
◦ Definice a odhad modelu
Předpoklady faktorové analýzy
Normy
Způsob tvorby standardizačního vzorku a výběru respondentů, typy norem.
◦ Lokální, národní, institucionální...
Kriteriální, ipsativní, normativní skóry a normy.
◦ klasická vs. kontinuální (vyhlazená) normalizace.
Typy standardních skórů běžně používaných v psychologii a vzájemný převod.
◦ z-skóry, T-skóry, IQ-skóry, steny, staniny, percentily, percentilové pořadí...
Problémy ze zešikmením, normalizace rozložení (McCallova plošná transformace,
rozdělení podle mediánu...).
Validita: Tradiční pojetí
Obsahová validita
◦ Výběrová, face-validity (zjevná, zdánlivá), faktorová.
Empirická validita
◦ prediktivní (postdiktivní)
◦ souběžná (konvergentní/paralelní, divergentní/diferenciální), kriteriální
◦ inkrementální
Konstruktová validita
◦ Cronbach a Meehl (1955): Construct Validity in Psychological Tests, nomologická síť.
◦ Campbell a Fiske (1959): Multitrait-multimethod matrix (MTMM).
◦ Důraz na latentní proměnné (CFA, SEM) a vnitřní (faktorovou) strukturu metody.
Validita: Moderní pojetí
Unifikovaná konstruktová validita
Vychází z tzv. Messickova (např. 1995)
„sjednoceného pojetí konstruktové validity“.
◦ Validita je jediným, multifasetovým konstruktem.
◦ Důraz na hodnocení a použití testu.
Validita je integrativním shrnutím dílčích
důkazů.
Toto pojetí se vyskytuje v moderních
učebnicích psychometriky.
◦ FURR (s. 202–220)
◦ Standardy pro pedagogické a psychologické
testování
Zdroje důkazů podle Messicka:
◦ Obsah testu
◦ Vnitřní struktura testu
◦ Odpověďové procesy
◦ Souvislost s kritériem
◦ Konsekvence testování
◦ (Zobecnitelnost a „šíře významů“.)
Validita: Moderní pojetí
Unifikovaná vs. realistická validita
Messick (1989, s. 20): „... an integrated evaluative judgment of the degree to
which empirical evidence and theoretical rationales support the adequacy and
appropriateness of inferences and actions based on test scores or other modes
of assessment.“
◦ Validita je hodnocení testu včetně jeho důsledků (proto i např. konsekvenční validita).
◦ „Psychodiagnostické pojetí“, konstruktivismus.
Borsboom (2004): „A test is valid for measuring an attribute if (a) the attribute
exists and (b) variations in the attribute causally produce variation in the
measurement outcomes.“
◦ Validita je vlastnost testu (shoda nástroje a měřeného atributu), kterou hodnotíme.
◦ „Ontologické pojetí“, realismus.
Reliabilita, CTT:
Metody odhadu a základní pojmy
Reliabilita paralelních forem (korelace, ICC).
Test-retest (korelace, ICC).
Shoda posuzovatelů (řada ukazatelů, samostatná přednáška).
Vnitřní konzistence.
◦ Split-half: Spearman-Brownův vzorec, Guttmanova λ4...
◦ item-based: Cronbachovo alfa (= KR-20)...
Regrese k průměru, konstrukce CI, odhad SE.
Paralelní testy (kongenerické, tau-ekvivalentní, paralelní, striktně paralelní).
Reliabilita: Co to je?
Doporučuji: Bentler P. M. (2009). Alpha, Dimension-Free, and Model-Based Internal Consistency
Reliability. Psychometrika, 74(1), 137–143. doi:10.1007/s11336-008-9100-1
𝑟 𝑥𝑥′ =
𝜎𝜏
2
𝜎 𝑥
2 =
𝜎𝜏
2
𝜎𝜏
2 + 𝜎𝑒
2 = 1 −
𝜎𝑒
2
𝜎 𝑥
2
Dvě klíčová pojetí reliability jako vnitřní konzistence podle toho, co považují za 𝜎𝜏
2
:
1. Dimension free reliability
◦ Odhad vztahu (korelace) dvou paralelních měření týmž testem bez ohledu na to, co test měří.
◦ split-half, alfa, Revellova omega
2. Model based reliability
◦ Odhad vztahu (vysvětleného rozptylu) měřeného atributu a pozorovaného skóru.
◦ Rodina koeficientů omega (McDonaldova omega, hierarchická omega, celková omega).
http://fssvm6.fss.muni.cz/vyska/