Sylabus PSY582: Psychometrické praktikum PSY582 Psychometrické praktikum: Sylabus semestr: 2017 podzim počet kreditů: 4 přednášející: Hynek Cígler (hynek.cigler@mail.muni.cz) rozsah: 1,5 hodiny každých 14 dní (seminář) / domácí příprava / osobní konzultace rozvrh: úterý 18:45-20:15 v učebně U34 ukončení: zápočet Cíle kurzu Cílem kurzu je rozvinout psychometrické dovednosti spojené s analýzou psychodiagnostických metod. Kurz je koncipován jako projektová výuka se společnými konzultacemi, které jsou doplněny teoretickými přednáškami a praktickými cvičeními na vybraná témata. Studenti si během prvních týdnů semestru zvolí vlastní cíle kurzu, jejichž plnění budou moci konzultovat v rámci seminářů. Na závěr semestru pak předloží hotové analýzy v podobě draftu příslušných částí vědeckého článku (zejm. kapitoly metody a výsledky, případně nástin kapitoly diskuze); alternativně představí teoretické řešení vybraného psychometrického problému na základě studia odborné literatury. Ve výjimečných případech je možné dohodnout ukončení jiným způsobem. Publikační návaznost v kurzu vytvořených prací je maximálně podporována - vhodnými médii jsou zejména české časopisy Testfórum a též E-psychologie či Československá psychologie. Student si sám zajistí data ke zpracování kurzu, preferovány jsou metody reálně používané v české psychologické praxi. Vyučující mohou zprostředkovat kontakty pro zajištění dat, zodpovědnost však leží na studentovi. Zvoleným cílem je pak vybraná psychometrická analýza těchto dat, a to na úrovni převyšující znalosti povinných kurzů. Kurz probíhá na vlastních noteboocích. Předpokládá se domácí instalace příslušných programů. Upozornění: Tento kurz není doplňkem povinného kurzu PSY479 Psychometrika, neslouží k upevnění znalostí vyučovaných v tomto kurzu. Je určen studentům se zájmem o psychometriku, kteří chtějí rozšířit své znalosti a dovednosti o témata, která nejsou obsahem povinných kurzů, a zároveň si vyzkoušet analýzy v praxi. Návaznosti a předpoklady kurzu Kurz nemá žádné prerekvizity. Doporučený je nicméně předchozí či souběžný zápis PSY479 Psychometrika (imatrikulační ročník 2015/2016 a pozdější). Psychometrické praktikum dále tematicky navazuje na kurzy PSY259 Základy psychometriky, PSY117 Statistická analýza dat, PSY252 Statistická analýza dat II a též jednotlivé metodologické předměty. Předpokládány jsou také běžné znalosti psychologie individuálních rozdílů na úrovni bakalářského studia (např. PSY255). Kurz dále souvisí s obsahem předmětu PSY232/PSY532 R101: Praktický úvod pro používání statistického programu R. Předchozí zkušenosti se statistickou analýzou v prostředí R jsou výhodou, nejsou však zcela nezbytné. 1 Sylabus PSY582: Psychometrické praktikum Harmonogram Jde o předběžný, rámcový harmonogram; konkrétní náplně jednotlivých setkání budou aktualizovány na základě vzájemné domluvy setkání datum téma pozn. 1. 19. 9. úvodní setkání II. 26. 9. pokročilé odhady reliability, práce s chybou měření (R, SPSS) III. 3. 10. pokročilé odhady reliability, práce s chybou měření (R, SPSS) IV. 10. 10. stanovení individuálních cílů kurzu cíle ústně V. 17. 10. konzultační hodina do 16.10. cíle písemně VI. 24. 10. faktorová analýza (R) VII. 31. 10. faktorová analýza (R) VIII. 7. 11. konzultační hodina IX. 14. 11. IRT (R, Winsteps) X. 21. 11. IRT (R, Winsteps) XI. 28. 11. konzultační hodina XII. 5. 12. prezentace studentů XIII. 12. 12. prezentace výsledků analýz Struktura kurzu Struktura kurzu se může v průběhu semestru upravovat podle aktuálních potřeb projektově koncipované výuky. Následující osnova podává pouze obecný rámec kurzu, který je možné po vzájemné dohodě libovolně upravovat. Těžiště kurzu neleží v teoretických přednáškách ani ve workshopech, ale v individuální analýze dat a s ní spojenými konzultacemi. 1. setkání: Úvod • Požadavky na splnění kurzu, návod ke stanovení cílů kurzu. • Základní přehled vybraných softwarových nástrojů pro psychometrické analýzy, dostupné bud' studentům FSS MU nebo alespoň studentům kurzu, a to zejm. SPSS s příslušnými pluginy, Amos, R a vhodné knihovny (pro IRT, CTT a SEM analýzy), Winsteps. • Rychlý přehled základních psychometrických přístupů k ověření metod (konfirmační vs. explorační, CTT vs. IRT atp.). • Možnosti profesního uplatnění psychometriky a psychometrika (zejména) v ČR. 2. -3. setkání: odhady CTT reliability a pokročilá práce s chybou měření (R, SPSS) Cílem těchto přibližně dvou setkání bude představit a vyzkoušet si alternativní, méně používané odhady reliability. Budeme pracovat s SPSS (včetně některých pluginů) a programem R (knihovna psych). Na prvním setkání budeme spíše pracovat v SPSS, na druhém spíše v R. Součástí budou i základy R nutné pro jeho spuštění a načtení dat. • Vnitřní konzistence (aneb alfa je pro sraby): Cronbachova alfa vs. Armorova theta. Gutmanovy lambdy. GLB. Rodina koeficientů omega. • Shoda posuzovatelů (aneb pryč od Pearsonovy korelace): Intraclass korelace, různé typy. Cohenovo kappa, vážené Cohenovo kappa, Fleishovo kappa. Různá použití. 2 Sylabus PSY582: Psychometrické praktikum • Předpoklady různých odhadů, předpoklady CTT, jejich ověření v SPSS. 4. setkání: Stanovení individuálních cílů kurzu Na tomto setkání každý student představí svůj individuální cíl kurzu. Viz podmínky ukončení níže. 5., 8. a 11. setkání: Konzultace Společné konzultace nad probíhající prací, případně společné analýzy vlastních dat. 6. a 7. setkání: Faktorová analýza Běžná explorační faktorová analýza v SPSS je značně nedokonalá. Vyzkoušíme si proto explorační faktorovou analýzu v prostředí R. • Různé druhy korelací: Pearsonova, biseriální, polyseriální, tetrachorická, polychorická. Ordinální faktorová analýza. • Různé druhy estimátorů a přístupů k EFA. • Exaktní odhady počtu faktorů (akcelerační faktor, paralelní analýza, optimální souřadnice, comparison data, Velicerovo MAP). • Pokročilejší rotace. • Shoda exploračního modelu s daty (RMSEA, SRMR, test dobré shody, CFI aj.). • Tipy do R: strukturní modely (lavaan) a full-information FA = multidimenzionální IRT (mIRT). Výuka konfirmační faktorové analýzy a strukturních modelů v R proběhne v rámci kurzu PSY232/PSY532 (R101: Praktický úvod pro používání statistického programu R) zřejmě 28. 11. a 5. 12. Doporučuji se zúčastnit. Faktorové analýze bude rovněž věnován celý kurz vyučovaný Adamem Ťápalem. 9. a 10. setkání: Item Response Theory Výuka proběhne v prostředí R, případně v programu Winsteps (s praktickými doporučeními pro analýzy v R). Teoretické znalosti IRT přístupu jsou předpokládány z předchozích kurzů, zaměříme se proto zejména na jednotlivé analýzy: • Vícedimenzionální full-information factor analysis (mIRT). • DIF analýza dostupná ve Winsteps, základy dalších DIF přístupů (logistická regrese aj.) • test equating (rescale, item/person anchoring, joint estimation) • shoda s daty na úrovni modelu a položky • odhad reliability • lokální (ne)závislosti položek 12. setkání: Prezentace vlastních témat Ukončení kurzu pro studenty s teoretickým zakončením. 13. závěrečné setkání: Prezentace vlastních analýz Prezentace studentů s praktickou analýzou. V případě, že analýzy nebudou hotové, představí studenti aktuální stav práce. 3 Sylabus PSY582: Psychometrické praktikum Podmínky ukončení kurzu Kurz je ukončen zápočtem. Podmínky ukončení kurzu jsou následující: 1. Přiměřená účast na setkáních. 2. Specifikování individuálního cíle kurzu (data, způsob analýz, cca 50-100 stran četby): a. Ústní prezentace vybraných cílů na setkání 10.10. b. Písemná specifikace do odevzdávárny 16.10. c. Podmínky splnění budou specifikovány na úvodním setkání. 3. Obhajoba výsledků analýzy na jednom ze závěrečných setkání závěrečném setkání 13. 12. V případě, že analýza nebude dokončena v rámci semestru, je možné prezentovat aktuální stav práce a plán dalšího postupu a obhajoba proběhne individuálně po písemném odevzdání. 4. Závěrečná analýza v textové podobě pro studenty, kteří si zvolí praktickou analýzu dat (do 15. 1. 2018). Specifikace individuálních cílů kurzu proběhne ústně, student následně odevzdá dohodnutou specifikaci i písemně. Se zadáním literatury a možnými doporučeními pomůže vyučující. Požadavky na individuální cíle kurzu budou prezentovány na prvním setkání a budou též písemně v ISu. Potřebný software Ne všechen software je nezbytně nutný; s některým budeme pracovat jen okrajově. Instalujte tedy průběžně před setkáním, na kterém se využití toho kterého programu očekává. Na druhou stranu, hodí se všechny:-) • SPSS - doporučuji verzi 24. Lze stáhnout z Inetu (https://inet.muni.cz/app/soft/licence). • Integration Plug-in for R - slouží k propojení SPSS s programem R. Je potřeba provést následující kroky: o Stáhnout si a nainstalovat příslušnou verzi R (verzi lze zjistit v nápovědě k SPSS v sekci Help/Working with R/ How to get the IBM SPSS Statistics - Integration Plug-in for R). SPSS 23 pracuje s verzí R 3.1.0, kterou lze stáhnout na https://cran.r-proiect.org/bin/windows/base/old/3.1.0/R-3.1.0-win.exe. (Pokud verzi R pro SPSS instalujete až po aktuální verzi R, zrušte při instalaci volbu „zavést do registrů".) o Nainstalovat si Integration Plug-in for R, který lze stáhnout (po registraci) na portále IBM: https://www-01.ibm.com/marketing/iwm/iwm/web/reg/pick.do?source=swg-tspssp&lang=en US . Vyberte si správnou verzi podle verze SPSS. Doporučuji využít pro stažení „Download using http", které zpravidla funguje výrazně lépe. o Řadu pluginů lze následně stáhnout z SPSS menu Utilities/Extension Bundles/Download and Install Extension Bundles. Většina balíčků potřebuje určité R knihovny - ty se zpravidla instalují automaticky. Pokud ne, jejich seznam je vypsaný v příslušném novém R menu v SPSS a lze je instalovat z R. Po otevření příslušné verze R zadejte do příkazového řádku install.packages("nazevpluginu"), případně install.packages(c("nazevpluginul","nazevpluginu2",...)) • Plugin SPSS Rfactor: Je potřeba stáhnout nejnovější verzi Rfactoru na https://sourceforge.net/proiects/spssrmenu/files/. Následně lze nainstalovat z SPSS menu prostřednictvím Utilities/Extension Bundles/lnstall Local Extension Bundle. • Winsteps: verze 3.91.0 je včetně hesla k dispozici ve studijních materiálech. • R protředí o Doporučuji pro běžnou práci stáhnout nejnovější verzi a neopoužívat verzi pro SPSS. Nejnovější verze lze stáhnout na https://cran.r-project.org . 4 Sylabus PSY582: Psychometrické praktikum o Pro pohodlnější práci doporučuji dále stáhnout R studio z https://www.rstudio.com/products/rstudio/download2/, konkrétně verze „RStudio Desktop (Free License)". • Excel:-) 5