strana 1
PSY259 Základy psychometriky (jaro 2016)
Kurz seznamuje studenty se základy psychometriky jako aplikované psychologické disciplíny, jejíž
zvládnutí je podmínkou pro další rozvíjení dovedností jak v oblastech psychologické praxe (zejména
psychologická diagnostika), tak teoretického výzkumu včetně aplikovaného (např. ověřování metod
v personalistickém kontextu). Cílem je poskytnout absolventům základní teoretické poznatky oboru
a posílit schopnost adekvátně je uplatňovat, v budoucnu například při posuzování a volbě
psychodiagnostických metod, aplikaci psychometrických postupů při vyhodnocování testových výsledků,
a konečně také při samostatné konstrukci vlastních metod pro konkrétní aplikační účely.
Kurz je primárně zaměřen na oblast klasické testové teorie, další přístupy k měření v psychologii
budou pouze zmíněny a budou obsahem navazujících kurzů v magisterském stupni studia.
Vyučují
Jan Širůček: sirucek@fss.muni.cz; místnost 2.47
Hynek Cígler: hynek.cigler@mail.muni.cz; místnost 2.47
Požadavky k úspěšnému ukončení předmětu
Kreditová hodnota zkoušky činí 5 ECTS. Základním požadavkem přístupu ke zkoušce je splnění
studijních povinností během semestru. Ty zahrnují (1.) vypracování skupinové seminární práce a její
průběžné odevzdání v předem stanovených termínech a (2.) absolvování nejméně dvou písemných
testů v průběhu semestru. Zkoušku (s písemnou a ústní částí) je nutné úspěšně složit ve zkouškovém
období příslušného semestru.
Vzdělávací cíle kurzu jsou stanoveny v návaznosti na Bloomovu taxonomii (velmi jednoduše
popsána např. zde). Pro úspěšné zvládnutí kurzu tedy nestačí pouze pasivní osvojení přednášených
pojmů; je nezbytné aktivně pracovat s povinnou literaturou a osvojit si schopnost s psychometrickými
pojmy prakticky pracovat. Praktické dovednosti a kritičnost při práci s daty budou v rámci kurzu též
testovány. Snazší průchod kurzem lze čekat u těch studujících, kteří si dobře osvojili základy psychologie
osobnosti, metodologie a základů statistické analýzy dat v rozsahu povinných kurzů přednášených na
Katedře psychologie FSS MU ve studijním programu jednooborové psychologie.
strana 2
Harmonogram kurzu
Upřesnění a povinná literatura k jednotlivým tématům jsou uvedeny níže.
Pořadí Datum Téma Vyučuje Poznámka
1 22. 2. 2016 Úvodní informace o kurzu, psychometrika jako
pomocná psychologická disciplína. Měření
v psychologii a příbuzných oborech, úvod do
klasické testové teorie (CTT).
Cígler &
Širůček
2 29. 2. 2016 Reliabilita I: Teoretický úvod a způsoby odhadu. Širůček
3 7. 3. 2016 Reliabilita II: Způsoby odhadu, práce s chybou
měření.
Cígler &
Širůček
SP1: Anotace
seminární práce,
nástin teorie.
4 14. 3. 2016 Validita I: Základní koncepty. Širůček
5 21. 3. 2016 Tvorba položek, druhy položek. Položková analýza
v rámci CTT.
Cígler Test 1: témata 1–3.
– 28. 3. 2016 Velikonoční pondělí –
6 4. 4. 2016 Konfirmační faktorová analýza a její použití pro
ověření validity.
Cígler &
Širůček
Výuka proběhne
v PC25 v časech 9:45–
11:15 a 11:30–13:15.
7 11. 4. 2016 Validita II: Validita diagnostického závěru (ROC
analýza, klasifikační tabulka).
Cígler &
Širůček
SP2: Teorie a metody.
8 18. 4. 2016 Konstrukce norem a standardizace testu, design
standardizační studie. Standardní a odvozené skóry.
Cígler Test 2: témata 4–7.
9 25. 4. 2016 Sociometrie. Širůček
10 2. 5. 2016 Q-sort a Q-metodologie. Širůček
11 9. 5. 2015 Alternativní metody škálování v psychologii Širůček Test 3: témata 8–10.
12 16. 5. 2015 Další teorie měření: úvod do teorie odpovědi na
položku (IRT), vědomostních prostorů (KST),
zobecnitelnosti (GT) a spojitého měření (CMT).
Cígler SP3: Finální verze.
Souhrn důležitých termínů:
1. 7. 3. – ústní prezentace tématu seminární práce na přednášce
2. 13. 3. – písemná anotace tématu seminární práce
3. 21. 3. – písemný test 1
4. 11. 4. – první polovina seminární práce
5. 18. 4. – písemný test 2
6. 9. 5. – písemný test 3
7. 16. 5. – finální verze seminární práce
strana 3
Tematický přehled
Tento přehled představuje optimální sumu teoretických znalostí, které by absolvent měl získat
k tomu, aby byl schopen absolvovat úspěšně předmět a uplatnit poznatky v praxi. Vzhledem k omezené
době trvání kurzu jsou na přednáškách probírány pouze nejpodstatnější problematiky – předpokládáme
průběžné prostudování povinné literatury k jednotlivým tématům a zběžné prolistování alespoň
některých doporučených publikací.
Téma 1: Úvodní informace o kurzu, psychometrika jako pomocná psychologická disciplína. Měření
v psychologii a příbuzných oborech, úvod do klasické testové teorie (CTT).
a) Vymezení psychometriky v systému psychologických věd a její smysl, různé definice měření
v psychologii a příbuzných oborech.
b) Historie měření v psychologii, metodologické a etické aspekty: měření rozumových schopností
a psychometricky založený přístup v psychologii osobnosti.
c) Základní pojmy z oblasti matematické analýzy dat (míry centrální tendence, analýza rozptylu,
kovariance a korelace, úrovně měření a typy rozložení proměnných).
d) Princip a základní pojmy klasické testové teorie (pravé skóre, hrubé skóre, chyba měření, latentní a
manifestní proměnná). Motivace CTT: paralela s jednoduchým měřením v přírodních vědách.
Povinná literatura:
 HOG: strany 3–42.
 URB: strany 13–71 a 78–93.
Téma 2–3: Reliabilita
a) Vztah mezi pravým a hrubým skóre, manifestní a latentní proměnnou.
b) Obecná definice reliability, její implikace pro měření.
c) Operacionalizace reliability v CTT, její předpoklady. Předpoklady CTT, paralelní, tau-ekvivalentní
a kongenerické měření.
d) Techniky k odhadu reliability, jejich předpoklady a specifická využití (vnitřní konzistence, test-retest,
paralelní formy, shoda posuzovatelů a další).
e) Chyba měření. Konstrukce intervaly spolehlivosti hrubého a pravého skóre. Chyba rozdílu, predikce.
f) Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení
latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci;
nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický
paradox.
Povinná literatura:
 HOG: strany 107–148.
 REV: s. 205–212 a 236–239 (kapitola 7).
 Dudek, F. J. (1979). The Continuing Misinterpretation of the Standard Error of Measurement.
Psychological Bulletin 86(2), 335-337. doi: 10.1037/0033-2909.86.2.335
Doporučená literatura:
strana 4
 REV: s. 213–236 (celá kapitola 7).
 URB: strany 94–131.
 Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness Of Cronbach’s
Alpha. Psychometrika, 74(1), 107-120. doi: 10.1007/S11336-008-9101-0.
 Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých
postupů Klasické testové teorie. Testfórum, 4(6), 67-84. doi:10.5817/TF2015-6-104
Téma 5: Tvorba položek, druhy položek. Položková analýza v CTT
a) Různé druhy položek a formátu odpovědí. Různé druhy metod. Náležitosti metod.
b) Způsob konstrukce testové metody, požadavky na položky při tvorbě metody.
c) Základní parametry položek: diskriminační schopnost položky, popularita resp. obtížnost, reliabilita
škály a její úpravy; požadavky na reliabilitu a předpoklady reliability.
d) Elementární položková CTT analýza (korelace), globální analýza (faktorová analýza).
e) Výpočet ukazatelů položkové analýzy v CTT: obtížnost, rozptyl, korigovaná korelace, koeficient ULI,
diskriminační účinnost položky a další.
Povinná literatura:
 HOG: strany 195–230.
 SCHULTZ: strany 171–190.
Doporučená literatura:
 URB: strany 204–235.
 Prohlédněte si manuál některých (nejlépe zahraničních) metod dostupných v Kabinetu
diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod). Zaměřte se na
způsob tvorby položek a koncepci testu jako takového. Srovnejte si různé typy testů.
Témata 4, 6–7: Validita a konfirmační faktorová analýza
a) Validita, způsoby uvažování o validitě (obsahová, empirická, konstruktová validita). Inkrementální
validita. Průzkum validity položek faktorovou analýzou.
b) Způsob výběru položek. Teorie faset, dekompozice obsahového univerza.
c) Odhad konstruktové validity pomocí strukturního modelu a konfirmační faktorové analýzy.
d) Typy proměnných z hlediska strukturálního modelování (manifestní, latentní, reziduální, endogenní,
exogenní). Metody odhadu modelu; předpoklady o proměnných (rozložení, linearita vztahů).
e) Problémy a svody konfirmační faktorové analýzy: problémy spojené s konstrukcí a interpretací
modelu, hierarchické a aditivní modely, chyba reifikace.
f) Validita diagnostického závěru, prediktivní validita.
g) Specificita, senzitivita, ROC analýza. Klasifikační tabulka.
h) Praktické aspekty ověření validity, designy validizačních studií.
i) Odhad konfirmační faktorové analýzy v programu Amos (dobrovolně program R, doporučujeme
balíky Lavaan, semTools a semPlots).
strana 5
Povinná literatura:
 HOG: strany 149–194.
 SCHULTZ: strany 287–300 (pozn.: CFA).
 Kenny, D. A. (2015). Measuring Model fit. Dostupné online: http://davidakenny.net/cm/fit.htm
 Software Amos (nainstalovaný v PC25), případně příslušné balíky softwaru R.
Doporučená literatura:
 URB: strany 132–151.
 Urbánek, T. (2000): Strukturální modelování v psychologii. Brno: Psychologický Ústav AV ČR.
 Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl.
Journal of Clinical Psychology, 61(10), 1233–1243. doi: 10.1002/jclp.20179.
 Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles:
Sage. Strany 331–353.
 McDonald, R.P. (1991): Faktorová analýza a příbuzné metody v psychologii. Praha: Academia.
Téma 8: Normy a standardizace testu, design standardizační studie. Standardní a odvozené skóry.
a) Standardní skóry. Různé druhy standardních skórů, jejich interpretace.
b) Odvozené skóry. Různé druhy odvozených skórů, jejich interpretace.
c) Ipsativní a interaktivní skóry. Vývojové normy.
d) Vliv chyby měření na interpretaci testových skórů.
e) Způsob konstrukce norem, předpoklady jejich konstrukce.
f) Design standardizační studie, způsob výběru standardizačního vzorku.
g) Intervenující proměnné při standardizaci.
Povinná literatura:
 HOG: strany 61–106.
 Prohlédněte si manuál některé zahraniční metody dostupné v Kabinetu diagnostických metod
(http://psych.fss.muni.cz/kabinet-diagnostickych-metod), doporučujeme test WoodcockJohnson
III. Zaměřte se na způsob výběru standardizačního vzorku.
Doporučená literatura:
 URB: strany 236–254.
 Abstrakt technického manuálu W-J III se zkráceným popisem tvorby norem je dostupný on-line:
Schrank, F. A., McGrew, K. S., & Woodcock, R. W. (2001). Woodcock-Johnson® III : Assessment
Service Bulletin Number 2. Rolling Meadows, IL: Riverside. Dostupné online:
http://www.riverpub.com/clinical/pdf/WJIII_ASB2.pdf.
strana 6
Téma 9–11: Sociometrie a další postupy k získávání dat.
Téma je předvedeno formou praktických workshopů ve třech termínech. Studujícím doporučujeme
přinést vlastní notebooky a aktivně sledovat prováděné analýzy. Ve všech případech postačí MS Excel a
statistické balíky dostupné studujícím FSS MU (SPSS, STATISTICA).
 Sociometrie a nominační technika.
 Q-sort, repertoárové mřížky.
 Psychosémantika a kreativní alternativy psychologického škálování.
Téma 12: Další teorie měření: úvod do teorie odpovědi na položku (IRT), vědomostních prostorů (KST),
zobecnitelnosti (GT) a spojitého měření (CMT).
a) Stručné představení dalších teorií měření, používaných v psychologii a příbuzných oborech. Jejich
vzájemné srovnání. Kritika klasické testové teorie z pohledu jiných teorií.
b) Teorie zobecnitelnosti jako rozšíření CTT – fasetová struktura chyby měření, zdroje chyby měření.
c) Teorie odpovědi na položku – základní koncept a principy (chyba měření v IRT, informační funkce
položky). Srovnání Raschova (konfirmačního) a klasického IRT (exploračního/deskriptivního)
přístupu.
d) Příklady využití IRT: počítačové adaptivní testování, kognitivní modelování, vyvažování testů (testequating),
pilotáž položek.
e) Další teorie (zejm. teorie vědomostních prostorů a „conjoint measurement“).
Povinná literatura:
 URB: strany 112–120, 152–181 (ano, včetně prvních dvou stran teorie vědomostního prostoru),
255–265.
Doporučená literatura:
 DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press. (Cca 100 stran).
 Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the
Human Sciences (2 ed). Mahwaw (NJ): Lawrence Erlbaum Associates. Strany xiii–49.
 Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles:
Sage. Strany 355–411.
strana 7
Studijní zdroje:
Souhrn povinné literatury (rozdělení k jednotlivým blokům viz výše):
 URB: Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha:
Portál. Celá kniha.
 HOG: Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ :
John Wiley & Sons. Strany 3–243.
 REV: Revelle, W. (under development). An introduction to psychometric theory with applications
in R. Kapitola 7, strany 205–212 a 236–239 (jako doporučená celá kapitola 7).
Dostupné on-line: http://www.personality-project.org/r/book/.
 SCHULTZ: Schultz, K. S., Whitney, D. J., & Zickar, M. J. (2014). Measurement Theory in Action:
Case Studies and Excercises (2 ed.). London: Routledge. Strany 171–190 a 287–300.
[Pozor, v prvním vydání dostupném v knihovně FSS MU je odlišné stránkování!]
Základní literatura (předpokládáme její znalost z předchozích kurzů):
 Goodwin, C. J. (2008). Research in Psychology: Methods and Design, 5. ed. New Jersey: Wiley
& Sons Inc.
 Hendl, J. (2004). Přehled statistických metod zpracování dat. Analýza a metaanalýza dat.
Praha: Portál.
Doporučená a rozšiřující literatura je uvedena vždy u jednotlivých témat. Dále pak doporučujeme
prolistovat alespoň jednu z následujících knih:
 Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the
Human Sciences (2 ed., příp. 3 ed.). Mahwaw (NJ): Lawrence Erlbaum Associates.
Pozn.: doporučujeme předmluvu 2. vydání s praktickým vhledem do Raschových modelů.
 Borsboom, D. (2005). Measuring the mind: Conceptual issues in contemporary psychometrics.
Cambridge: Cambridge University Press.
 DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press. Pozn.: Extrémně
krátký (cca 100 stran) přehled současné teorie odpovědi na položku.
 EFPA (2005). Model recenze podle EFPA pro popis a hodnocení psychologických testů. Dostupné
on-line: www.efpa.eu/download/505cd9db4144ecb16174087909c9cd6d.
 Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles:
Sage. Pozn.: Velmi jednoduchý, komplexní přehled psychometriky bez nadbytečné statistiky.
 Markus, K. A., & Borsboom, D. (2013). Frontiers of Test Validity Theory : Measurement,
Causation, and Meaning. New York: Routledge.
 Kline, P. (1998). The New Psychometrics : Science, Psychology and Measurement. New York:
Routledge.
 Raykov, T., & Marcoulides, G. A. (2011). Introduction to Psychometric Theory. New York:
Routledge. Pozn.: Podrobný a srozumitelný přehled většiny psychometrických témat včetně
statistického aparátu.
 Rust, J., & Golombok, S. (2009). Modern Psychometric : The Science of Psychological Assessment
3 ed. New York: Routledge.
strana 8
Požadavky na ukončení kurzu
1. Maximálně 2 neomluvené absence.
2. Absolvování alespoň dvou ze tří písemných testů. Každý je hodnocen maximálně 10 body, do
závěrečného hodnocení jsou započítány dva lepší bodové výsledky.
3. Společná seminární práce (skupiny maximálně po 4 studentech): Podrobné zadání viz níže.
Návrh postupu tvorby, validace a standardizace psychodiagnostické metody určené k měření
zvoleného konstruktu, sběr pilotních dat a jejich zpracování.
Skupině bude udělen 20násobek bodů, než je počet členů, které si mezi sebou rozdělí dle svého
uvážení; za rozdělení zodpovídá osoba nahlášená na 3. setkání (max. 20 bodů/osoba). Nelze
přepracovat.
Zájemci mohou místo seminární práce zpracovat náhradní praktický úkol – více informací na
přednáškách.
4. Závěrečná zkouška s písemnou (20 bodů) a ústní (10 bodů) částí. V případě méně než 10 bodů za
písemnou část student k ústní zkoušce nepostupuje.
Celkem lze tedy v předmětu získat 70 bodů. Závěrečné hodnocení proběhne podle následujícího klíče:
A: 64–70 b B: 57–63 b C: 50–56 b D: 43–49 b E: 36–42 b F: 35 b a méně
strana 9
Zadání skupinové seminární práce
Téma práce: Návrh postupu tvorby, validizace a standardizace psychodiagnostické metody určené
k měření zvoleného konstruktu včetně pilotního ověření
Vyberte vhodný pojem/konstrukt z psychologie individuálních rozdílů. Cílem seminární práce je
navrhnout způsob konstrukce a ověření psychodiagnostické metody, která jej bude měřit. Doporučujeme
volit jednodušší, dobře definované konstrukty, u kterých nenarazíte na zbytečné metodologické potíže
při tvorbě. Doporučujeme též volit spíše jednodimenzionální konstrukty. Neomezujte se jen na dotazníky
a „osobnostní“ konstrukty, můžete volit i výkonové testy, pozorovací schémata atp.
V prvé řadě definujte problém a specifikujte, jaký konstrukt měříte. Opřete se při tom o relevantní
literaturu, definujte související pojmy – uveďte, proč pro tento konstrukt navrhujete zavést/upravit
novou metodu namísto využití metod stávajících. Popište způsob tvorby položek, odhadněte počet
položek nutných ve finální verzi a položky vytvořte. V případě, že je vaše metoda vícedimenzionální,
můžete vytvořit položky jen pro část dimenzí.
Navrhněte způsoby ověření validity a reliability metody; zvolte adekvátní teoretický přístup dle
povahy měřeného konstruktu. Odhadněte adekvátní velikost vzorku potřebného k těmto krokům a
způsob výběr respondentů. Zamyslete nad limity a potenciálními omezeními takto vytvořené metody.
Závěrem pak administrujte metodu adekvátně velkému pilotnímu vzorku respondentů a proveďte
pilotní ověření položek. To zahrnuje popis pilotního vzorku, deskriptivy, položkovou analýzu, v případě
nutnosti explorační či konfirmační faktorovou analýzu. Samozřejmostí je i kvalitativní zhodnocení
zkušeností s administrací metody.
Preferovány jsou práce se zajímavým technickým řešením a vhodně zvoleným konstruktem;
jednoduché „dotazníkové“ metody nejsou doporučeny.
Očekávaný celkový rozsah je do 10 normostran. Vyhněte se konstatování obecně platných
pravidel (zejména u způsobů ověření reliability/validity) a zaměřte se na to, co je pro vaši metodu
jedinečné a podstatné.
Pozn.: V případě, že je požadovaný pilotní vzorek příliš velký a není možné jej vzhledem
k charakteru metody zajistit, je možné zaslat vyučujícím malé množství dat (cca 10 respondentů), na
jejichž základě vygenerují datový soubor o požadovaném rozsahu, který bude pro provedení statistických
analýz adekvátní. Počítejte s dostatečnou časovou rezervou (cca 1 týden) na generování dat.
Hlavní hodnotící kritéria:
1. Je konstrukt dobře operacionalizovaný, aby jej bylo možné měřit?
2. Má navržený design metody potenciál k měření zvoleného konstruktu?
3. Je adekvátně popsán způsob tvorby položek? Jak kvalitní se zdají být vytvořené položky?
4. Odpovídají navržené postupy ověření validity a reliability zvolenému konstruktu a designu
metody?
5. Bylo pilotní ověření provedeno a popsáno vhodným způsobem? Jsou provedené statistické
analýzy korektní?
6. Je práce na pravopisně a stylisticky adekvátní úrovni?
strana 10
Harmonogram odevzdávání seminární práce a její hodnocení
Seminární práce bude odevzdána po částech do příslušných odevzdáváren předmětu. Jednotlivé
dokumenty prosím pojmenujte „nazevtymu_prijmeni1_prijmeni2_prijmeni3_prijmeni4“.
1. Na 3. setkání (7. 3.) studenti nahlásí týmy (maximálně po čtyřech osobách) a v krátkosti
budou ústně prezentovat zvolený konstrukt a hrubou podobu metody (cca 2 minuty).
PowerPointová prezentace se neočekává. Zároveň si každá skupina zvolí „vedoucího
týmu“, který bude zodpovědný za přidělení získaných bodů na konci semestru.
2. Do konce stejného týdne (13. 3.) pak anotaci včetně nastínění teoretického úvodu (např.
v podobě odkazů na relevantní zdroje) odevzdají písemně do odevzdávárny.
3. Do 11. 4. studenti odevzdají do odevzdávárny první část seminární práce, která bude
obsahovat teoretický úvod, způsob standardizace, návrh ověření, způsob tvorby položek.
Součástí nebude znění položek a zpracování dat.
4. Do 16. 5. bude odezvána druhá část v novém dokumentu (která bude obsahovat i
předchozí text včetně případných úprav) včetně dat (ve formátu MS Excel, CSV či SPSS).
Tato část bude obsahovat znění pilotních položek a popis pilotní studie včetně
vyhodnocení.
Za práci bude uděleno 0–20 bodů, které budou vynásobeny počtem členů v týmu. Tyto body si tým
může rozdělit mezi jednotlivé členy dle vlastního uvážení (maximálně 20 bodů každé osobě). Způsob
jejich rozdělení oznámí „vedoucí týmu“ na konci semestru.