strana 1 PSY259 Základy psychometriky (jaro 2017) Kurz seznamuje studenty se základy psychometriky jako aplikované psychologické disciplíny, jejíž zvládnutí je podmínkou pro další rozvíjení dovedností jak v oblastech psychologické praxe (zejména psychologická diagnostika), tak teoretického výzkumu včetně aplikovaného (např. ověřování metod v personalistickém kontextu). Cílem je poskytnout absolventům základní teoretické poznatky oboru a posílit schopnost adekvátně je uplatňovat, v budoucnu například při posuzování a volbě psychodiagnostických metod, aplikaci psychometrických postupů při vyhodnocování testových výsledků, a konečně také při samostatné konstrukci vlastních metod pro konkrétní aplikační účely. Kurz je primárně zaměřen na oblast klasické testové teorie, další přístupy k měření v psychologii budou pouze zmíněny a budou obsahem navazujících kurzů v magisterském stupni studia. Vyučují Jan Širůček: sirucek@fss.muni.cz; místnost 2.47 Hynek Cígler: hynek.cigler@mail.muni.cz; místnost 2.47 Adam Ťápal: adam.tapal@mail.muni.cz; místnost 2.47 Požadavky k úspěšnému ukončení předmětu Kreditová hodnota zkoušky činí 5 ECTS. Základním požadavkem přístupu ke zkoušce je splnění studijních povinností během semestru. Ty zahrnují (1.) vypracování skupinové seminární práce a její průběžné odevzdání v předem stanovených termínech a (2.) absolvování nejméně dvou písemných testů v průběhu semestru. Zkoušku (s písemnou a ústní částí) je nutné úspěšně složit ve zkouškovém období příslušného semestru. Individuální výjimky z tohoto pravidla lze vyjednávat pouze u těch studujících, kteří v příslušném semestru absolvují plnohodnotnou studijní stáž. Vzdělávací cíle kurzu jsou stanoveny v návaznosti na Bloomovu taxonomii (velmi jednoduše popsána např. zde). Pro úspěšné zvládnutí kurzu tedy nestačí pouze pasivní osvojení přednášených pojmů; je nezbytné aktivně pracovat s povinnou literaturou a osvojit si schopnost zacházet s pojmy oboru adekvátním způsobem. Praktické dovednosti a kritičnost při práci s daty budou v rámci kurzu též testovány. Snazší průchod kurzem lze čekat u těch studujících, kteří si dobře osvojili základy psychologie osobnosti, metodologie a základů statistické analýzy dat v rozsahu povinných kurzů přednášených na Katedře psychologie FSS MU ve studijním programu jednooborové psychologie. Informace pro studující, kteří předmět opakují pro neúspěch V případě, že je předmět opakován pro neúspěch, mohou si studující „ponechat“ body získané v minulém semestru. V takovém případě je však velmi vhodné zvážit, zda A. je při daném počtu bodů realistické splnit podmínku zisku nejméně 36 bodů (hodnocení E) a současně B. zda pro to budou stačit pouze dva termíny zkoušky, jež lze při opakování kurzu zapsat. Pokud tyto dvě podmínky nemohou být s jistotou splněny, je vhodné opakovat všechny studijní povinnosti znovu a pokusit se získat vyšší počet bodů. Body však nelze sčítat mezi semestry. strana 2 Harmonogram kurzu Upřesnění a povinná literatura k jednotlivým tématům jsou uvedeny níže. Pořadí Datum Téma Vyučuje Poznámka 1 20. 2. 2016 Úvodní informace o kurzu, psychometrika jako pomocná psychologická disciplína. Měření v psychologii a příbuzných oborech, úvod do klasické testové teorie (CTT). Cígler & Širůček Zadání vstupního „testu“ 2 27. 2. 2016 Škálování v psychologii: jak měříme „neměřitelné“? Cígler Zadání seminární práce 3 6. 3. 2016 Reliabilita I: Teoretický úvod a způsoby odhadu. Širůček 4 13. 3. 2016 Reliabilita II: Způsoby odhadu, práce s chybou měření. Cígler & Širůček SP1: Anotace seminární práce, nástin teorie. 5 20. 3. 2016 Validita I: Základní koncepty. Širůček Test 1: témata 1–4. 6 27. 3. 2016 Tvorba položek, druhy položek. Položková analýza v rámci CTT. Cígler 7 3. 4. 2016 Konfirmační faktorová analýza a její použití pro ověření validity. Cígler & Širůček Výuka proběhne v počítačové učebně. 8 10. 4. 2016 Validita II: Validita diagnostického závěru (ROC analýza, klasifikační tabulka). Cígler & Širůček SP2: Teorie a metody. – 17. 4. 2016 Velikonoční pondělí 9 24. 4. 2016 Konstrukce norem a standardizace testu, design standardizační studie. Standardní a odvozené skóry. Cígler Test 2: témata 5–8. - 1. 5. 2016 Státní svátek - 8. 5. 2015 Státní svátek 10 15. 5. 2015 Další teorie měření: úvod do teorie odpovědi na položku (IRT), vědomostních prostorů (KST), zobecnitelnosti (GT) a spojitého měření (CMT). Cígler SP3: Finální verze. Souhrn důležitých termínů: 1. 6. 3. – ústní prezentace tématu seminární práce na přednášce 2. 13. 3. – písemná anotace tématu seminární práce 3. 20. 3. – písemný test 1 4. 10. 4. – první polovina seminární práce 5. 24. 4. – písemný test 2 6. 15. 5 – písemný test 3 7. 15. 5. – finální verze seminární práce strana 3 Tematický přehled Tento přehled představuje optimální sumu teoretických znalostí, které by absolvent měl získat k tomu, aby byl schopen absolvovat úspěšně předmět a uplatnit poznatky v praxi. Vzhledem k omezené době trvání kurzu jsou na přednáškách probírány pouze nejpodstatnější problematiky – předpokládáme průběžné prostudování povinné literatury k jednotlivým tématům a zběžné prolistování alespoň některých doporučených publikací. Téma 1: Úvodní informace o kurzu, psychometrika jako pomocná psychologická disciplína. Měření v psychologii a příbuzných oborech, úvod do klasické testové teorie (CTT). a) Vymezení psychometriky v systému psychologických věd a její smysl, různé definice měření v psychologii a příbuzných oborech. b) Historie měření v psychologii, metodologické a etické aspekty: měření rozumových schopností a psychometricky založený přístup v psychologii osobnosti. c) Základní pojmy z oblasti matematické analýzy dat (míry centrální tendence, analýza rozptylu, kovariance a korelace, úrovně měření a typy rozložení proměnných). d) Princip a základní pojmy klasické testové teorie (pravé skóre, hrubé skóre, chyba měření, latentní a manifestní proměnná). Motivace CTT: paralela s jednoduchým měřením v přírodních vědách. Povinná literatura:  HOG: strany 3–42.  URB: strany 13–71 a 78–93. Téma 2–4: Reliabilita a) Vztah mezi pravým a hrubým skóre, manifestní a latentní proměnnou. b) Obecná definice reliability, její implikace pro měření. c) Operacionalizace reliability v CTT, její předpoklady. Předpoklady CTT, (striktně) paralelní, tau-ekvivalentní a kongenerické položky/testy. d) Techniky k odhadu reliability, jejich předpoklady a specifická využití (vnitřní konzistence, test-retest, paralelní formy, shoda posuzovatelů a další). e) Chyba měření. Konstrukce intervaly spolehlivosti hrubého a pravého skóre. Chyba rozdílu, predikce. f) Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox. Povinná literatura:  HOG: strany 107–148.  REV: s. 205–212 a 236–239 (kapitola 7).  Dudek, F. J. (1979). The Continuing Misinterpretation of the Standard Error of Measurement. Psychological Bulletin 86(2), 335-337. doi: 10.1037/0033-2909.86.2.335 Doporučená literatura:  REV: s. 213–236 (celá kapitola 7).  URB: strany 94–131.  Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. doi: 10.1007/S11336-008-9101-0. strana 4  Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých postupů Klasické testové teorie. Testfórum, 4(6), 67-84. doi:10.5817/TF2015-6-104 Téma 7: Tvorba položek, druhy položek. Položková analýza v CTT a) Různé druhy položek a formátu odpovědí. Různé druhy metod. Náležitosti metod. b) Způsob konstrukce testové metody, požadavky na položky při tvorbě metody. c) Základní parametry položek: diskriminační schopnost položky, popularita resp. obtížnost, reliabilita škály a její úpravy; požadavky na reliabilitu a předpoklady reliability. d) Elementární položková CTT analýza (korelace), globální analýza (faktorová analýza). e) Výpočet ukazatelů položkové analýzy v CTT: obtížnost, rozptyl, korigovaná korelace, koeficient ULI, diskriminační účinnost položky a další. Povinná literatura:  HOG: strany 195–230.  SCHULTZ: strany 171–190. Doporučená literatura:  URB: strany 204–235.  Prohlédněte si manuál některých (nejlépe zahraničních) metod dostupných v Kabinetu diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod). Zaměřte se na způsob tvorby položek a koncepci testu jako takového. Srovnejte si různé typy testů. Témata 5-8: Validita a konfirmační faktorová analýza a) Validita, způsoby uvažování o validitě (obsahová, empirická, konstruktová validita). Inkrementální validita. Průzkum validity položek faktorovou analýzou. b) Způsob výběru položek. Teorie faset, dekompozice obsahového univerza. c) Odhad konstruktové validity pomocí strukturního modelu a konfirmační faktorové analýzy. d) Typy proměnných z hlediska strukturálního modelování (manifestní, latentní, reziduální, endogenní, exogenní). Metody odhadu modelu; předpoklady o proměnných (rozložení, linearita vztahů). e) Problémy a svody konfirmační faktorové analýzy: problémy spojené s konstrukcí a interpretací modelu, hierarchické a aditivní modely, chyba reifikace. f) Validita diagnostického závěru, prediktivní validita. g) Specificita, senzitivita, ROC analýza. Klasifikační tabulka. h) Praktické aspekty ověření validity, designy validizačních studií. i) Odhad konfirmační faktorové analýzy v programu Amos (dobrovolně program R, doporučujeme balíky Lavaan, semTools a semPlots). Povinná literatura:  HOG: strany 149–194.  SCHULTZ: strany 287–300 (pozn.: CFA).  Kenny, D. A. (2015). Measuring Model fit. Dostupné online: http://davidakenny.net/cm/fit.htm  Software Amos (nainstalovaný v PC25), případně příslušné balíky softwaru R. Doporučená literatura:  URB: strany 132–151. strana 5  Urbánek, T. (2000): Strukturální modelování v psychologii. Brno: Psychologický Ústav AV ČR.  Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl. Journal of Clinical Psychology, 61(10), 1233–1243. doi: 10.1002/jclp.20179.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 331– 353.  McDonald, R.P. (1991): Faktorová analýza a příbuzné metody v psychologii. Praha: Academia. Téma 9: Normy a standardizace testu, design standardizační studie. Standardní a odvozené skóry. a) Standardní skóry. Různé druhy standardních skórů, jejich interpretace. b) Odvozené skóry. Různé druhy odvozených skórů, jejich interpretace. c) Ipsativní a interaktivní skóry. Vývojové normy. d) Vliv chyby měření na interpretaci testových skórů. e) Způsob konstrukce norem, předpoklady jejich konstrukce. f) Design standardizační studie, způsob výběru standardizačního vzorku. g) Intervenující proměnné při standardizaci. Povinná literatura:  HOG: strany 61–106.  Prohlédněte si manuál některé zahraniční metody dostupné v Kabinetu diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod), doporučujeme test Woodcock-Johnson III. Zaměřte se na způsob výběru standardizačního vzorku.  Doplněno 3. 5. 2017: International Test Commission (2010). Guidelines for Translating and Adapting Tests, version 2010. Dostupné on-line: http://www.psyktestbarn.no/cms/ptb_mm.nsf/lupgraphics/ITC%20guidelines.pdf/$file/ITC%20guidelines.pdf  Doplněno 3. 5. 2017: International Test Commission (2012). International Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. Dostupné on-line: https://www.intestcom.org/files/guideline_quality_control.pdf o Případně totéž v časopise: International Test Comission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), pp.195-217. doi: 10.1080/15305058.2014.918040  Doplněno 3. 5. 2017: International Test Commission (2014). ITC Statement On the Use of Tests and Other Assessment Instruments for Research Purposes. Dostupné on-line: https://www.intestcom.org/files/statement_using_tests_for_research.pdf Doporučená literatura:  Doplněno 3. 5. 2017: Urbánek, T. (2010). Stav české psychologické diagnostiky a evropský model recenze testu. TESTFÓRUM, 1(1), 2-5. doi:10.5817/TF2010-1-1  URB: strany 236–254.  Abstrakt technického manuálu W-J IV se zkráceným popisem tvorby norem je dostupný on-line: LaForte, E. M., McGrew, K. S., & Schrank, F. A. (2014). WJ IV Technical Abstract (Woodcock-Johnson IV Assessment Service Bulletin No. 2). Rolling Meadows, IL: Riverside. Dostupné online: http://www.riverpub.com/clinical/pdf/WJIII_ASB2.pdf. Zájemci mohou nahlédnout do celého manuálu: McGrew, K. S., LaForte, E. M., & Schrank, F. A. (2014). Technical Manual. Woodcock-Johnson IV. Rolling Meadows, IL: Riverside. Lze nalézt na Googlu. strana 6 Téma 10: Další teorie měření: úvod do teorie odpovědi na položku (IRT), vědomostních prostorů (KST), zobecnitelnosti (GT) a spojitého měření (CMT). a) Stručné představení dalších teorií měření, používaných v psychologii a příbuzných oborech. Jejich vzájemné srovnání. Kritika klasické testové teorie z pohledu jiných teorií. b) Teorie zobecnitelnosti jako rozšíření CTT – fasetová struktura chyby měření, zdroje chyby měření. c) Teorie odpovědi na položku – základní koncept a principy (chyba měření v IRT, informační funkce položky). Srovnání Raschova (konfirmačního) a klasického IRT (exploračního/deskriptivního) přístupu. d) Příklady využití IRT: počítačové adaptivní testování, kognitivní modelování, vyvažování testů (test-equating), pilotáž položek. e) Další teorie (zejm. teorie vědomostních prostorů a „conjoint measurement“). Povinná literatura:  URB: strany 112–120, 152–181 (ano, včetně prvních dvou stran teorie vědomostního prostoru), 255–265. Doporučená literatura:  DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press. (Cca 100 stran).  Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed). Mahwaw (NJ): Lawrence Erlbaum Associates. Strany xiii–49.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 355– 411. strana 7 Studijní zdroje: Souhrn povinné literatury (rozdělení k jednotlivým blokům viz výše):  URB: Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Celá kniha.  HOG: Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 3–243.  REV: Revelle, W. (under development). An introduction to psychometric theory with applications in R. Kapitola 7, strany 205–212 a 236–239 (jako doporučená celá kapitola 7). Dostupné on-line: http://www.personality-project.org/r/book/.  SCHULTZ: Schultz, K. S., Whitney, D. J., & Zickar, M. J. (2014). Measurement Theory in Action: Case Studies and Excercises (2 ed.). London: Routledge. Strany 171–190 a 287–300. [Pozor, v prvním vydání dostupném v knihovně FSS MU je odlišné stránkování!] Základní literatura (předpokládáme její znalost z předchozích kurzů):  Goodwin, C. J. (2008). Research in Psychology: Methods and Design, 5. ed. New Jersey: Wiley & Sons Inc.  Hendl, J. (2004). Přehled statistických metod zpracování dat. Analýza a metaanalýza dat. Praha: Portál. Doporučená a rozšiřující literatura je uvedena vždy u jednotlivých témat. Dále pak doporučujeme prolistovat alespoň jednu z následujících knih:  Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed., příp. 3 ed.). Mahwaw (NJ): Lawrence Erlbaum Associates. Pozn.: doporučujeme předmluvu 1. vydání s praktickým vhledem do Raschových modelů.  Borsboom, D. (2005). Measuring the mind: Conceptual issues in contemporary psychometrics. Cambridge: Cambridge University Press.  DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press. Pozn.: Extrémně krátký (cca 100 stran) přehled současné teorie odpovědi na položku.  EFPA (2005). Model recenze podle EFPA pro popis a hodnocení psychologických testů. Dostupné on-line: www.efpa.eu/download/505cd9db4144ecb16174087909c9cd6d.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Pozn.: Velmi jednoduchý, komplexní přehled psychometriky bez nadbytečné statistiky.  Markus, K. A., & Borsboom, D. (2013). Frontiers of Test Validity Theory : Measurement, Causation, and Meaning. New York: Routledge.  Kline, P. (1998). The New Psychometrics : Science, Psychology and Measurement. New York: Routledge.  Raykov, T., & Marcoulides, G. A. (2011). Introduction to Psychometric Theory. New York: Routledge. Pozn.: Podrobný a srozumitelný přehled většiny psychometrických témat včetně statistického aparátu.  Rust, J., & Golombok, S. (2009). Modern Psychometric : The Science of Psychological Assessment 3 ed. New York: Routledge. Požadavky na ukončení kurzu 1. Maximálně 2 neomluvené absence. 2. Absolvování alespoň dvou ze tří písemných testů. Každý je hodnocen maximálně 10 body, do závěrečného hodnocení jsou započítány dva lepší bodové výsledky. Pro přístup ke zkoušce je nezbytné získat alespoň 10 bodů dohromady ze dvou nejlepších testů. strana 8 3. Společná seminární práce (skupiny maximálně po 4 studentech): Podrobné zadání viz níže. Návrh postupu tvorby, validizace a standardizace psychodiagnostické metody určené k měření zvoleného konstruktu, sběr pilotních dat a jejich zpracování. Skupině bude udělen 20násobek bodů, než je počet členů, které si mezi sebou rozdělí dle svého uvážení; za rozdělení zodpovídá osoba nahlášená na 3. setkání (max. 20 bodů/osoba). Práci nelze přepracovat, minimální bodová hranice stanovená pro přístup ke zkoušce není stanovena. Rozdělení bodů musí být nahlášeno e-mailem nejpozději před zkušebním termínem prvního člena týmu; v opačném případě budou body rozděleny rovným dílem. Zájemci mohou místo seminární práce individuálně zpracovat náhradní praktický úkol – více informací na přednáškách. 4. Závěrečná zkouška s písemnou (20 bodů) a ústní (10 bodů) částí. V případě méně než 10 bodů za písemnou část student k ústní zkoušce nepostupuje. Z ústní části je nutné získat alespoň 1 bod, jinak je zkouška považována za neúspěšnou. V případě neúspěchu u ústní části zkoušky nebo nezískání minimálního počtu bodů k absolvování předmětu je nutné opakovat celou zkoušku včetně písemné části. Celkem lze tedy v předmětu získat 70 bodů. Závěrečné hodnocení proběhne podle následujícího klíče: A: 64–70 b B: 57–63 b C: 50–56 b D: 43–49 b E: 36–42 b F: 35 b a méně