strana 1 PSY259 Základy psychometriky (jaro 2018) Kurz seznamuje studenty se základy psychometriky jako aplikované psychologické disciplíny, jejíž zvládnutí je podmínkou pro další rozvíjení dovedností jak v oblastech psychologické praxe (zejména psychologická diagnostika), tak teoretického výzkumu včetně aplikovaného (např. ověřování metod v personalistickém kontextu). Cílem je poskytnout absolventům základní teoretické poznatky oboru a posílit schopnost adekvátně je uplatňovat, v budoucnu například při posuzování a volbě psychodiagnostických metod, aplikaci psychometrických postupů při vyhodnocování testových výsledků, a konečně také při samostatné konstrukci vlastních metod pro konkrétní aplikační účely. Kurz je primárně zaměřen na oblast klasické testové teorie, další přístupy k měření v psychologii budou pouze zmíněny a budou obsahem navazujících kurzů v magisterském stupni studia. Vyučují Jan Širůček: sirucek@fss.muni.cz; místnost 2.47 Hynek Cígler: hynek.cigler@mail.muni.cz; místnost 2.47 Adam Ťápal: adam.tapal@mail.muni.cz; místnost 2.47 (po domluvě) Jaroslav Gottfried: 393127@mail.muni.cz; místnost 2.47 (po domluvě) Požadavky k úspěšnému ukončení předmětu Kreditová hodnota zkoušky činí 5 ECTS. Základním požadavkem přístupu ke zkoušce je splnění studijních povinností během semestru. Ty zahrnují (1.) vypracování skupinové seminární práce a její průběžné odevzdání v předem stanovených termínech a (2.) absolvování nejméně dvou písemných testů a zisk minimálního počtu bodů v průběhu semestru. Zkoušku (s písemnou a ústní částí) je nutné úspěšně složit ve zkouškovém období příslušného semestru. Individuální výjimky z tohoto pravidla lze vyjednávat pouze u těch studujících, kteří v příslušném semestru absolvují plnohodnotnou studijní stáž. Vzdělávací cíle kurzu jsou stanoveny v návaznosti na Bloomovu taxonomii (velmi jednoduše popsána např. zde). Pro úspěšné zvládnutí kurzu tedy nestačí pouze pasivní osvojení přednášených pojmů; je nezbytné aktivně pracovat s povinnou literaturou a osvojit si schopnost zacházet s pojmy oboru adekvátním způsobem. Praktické dovednosti a kritičnost při práci s daty budou v rámci kurzu též testovány. Snazší průchod kurzem lze čekat u těch studujících, kteří si dobře osvojili základy psychologie osobnosti, metodologie a základů statistické analýzy dat v rozsahu povinných kurzů přednášených na Katedře psychologie FSS MU ve studijním programu jednooborové psychologie. Adekvátní práce s pojmy probíranými v kurzech PSY117 a PSY259 je nezbytnou (avšak ne postačující) podmínkou pro úspěšné zvládnutí předmětu. Informace pro studující, kteří předmět opakují pro neúspěch V případě, že je předmět opakován pro neúspěch, mohou si studující „ponechat“ body získané v minulém semestru. Lze si ponechat body za seminární práci a/nebo průběžné testy (všechny dohromady). V každém případě je však velmi vhodné zvážit, zda A. je při daném počtu bodů realistické splnit podmínku zisku nejméně 36 bodů (hodnocení E) a současně B. zda pro to budou stačit pouze dva termíny zkoušky, jež lze při opakování kurzu zapsat. strana 2 Pokud tyto dvě podmínky nemohou být s jistotou splněny, je vhodné opakovat všechny studijní povinnosti znovu a pokusit se získat vyšší počet bodů. V případě, že si chcete nechat body „převést“, kontaktujte vyučující e-mailem v prvních dvou týdnech semestru. Harmonogram kurzu Upřesnění a povinná literatura k jednotlivým tématům jsou uvedeny níže. Pořadí Datum Téma Vyučuje Poznámka 1 19. 2. 2018 Úvodní informace o kurzu. Psychometrika jako pomocná psychologická disciplína. Měření v psychologii a příbuzných oborech. Širůček + Cígler Zadání seminární práce 2 26. 2. 2018 Škálování v psychologii, model měření, obsahová a výběrová validita. Tvorba a druhy položek. Cígler 3 5. 3. 2018 Reliabilita I: Teoretický úvod a epistemologické základy CTT. Způsoby odhadu. Širůček + Cígler SP1: Anotace seminární práce 4 12. 3. 2018 Reliabilita II: Způsoby odhadu, práce s chybou měření. Cígler + Širůček 5 19. 3. 2018 Položková analýza v rámci CTT. Cígler test 1: témata 1–4 6 26. 3. 2018 Validita I: Základní koncepty. Empirická validita. Širůček – 2. 4. 2018 Velikonoční pondělí SP2: Teorie a metody 7 9. 4. 2018 Explorační faktorová analýza I Ťápal test 2: témata 5–6 10 16. 4. 2018 Validita II: Konstruktová validita. Praktické postupy pro ověření validity. Cígler + Širůček 8 23. 4. 2018 Explorační faktorová analýza II Ťápal 9 30. 4. 2018 Konfirmační faktorová analýza Ťápal 11 7. 5. 2018 Konstrukce norem a standardizace testu, design standardizační studie. Standardní a odvozené skóry. test 3: témata 7–10 12 14. 5. 2018 Další teorie měření: úvod do teorie odpovědi na položku (IRT), vědomostních prostorů (KST), zobecnitelnosti (GT) a spojitého měření (CMT). Cígler SP3: Finální verze Důležité termíny pro odevzdání seminární práce:  5. 3. 2018: Anotace  2. 4. 2018: Teorie a metody  14. 5. 2018: Finální verze strana 3 Tematický přehled Tento přehled představuje optimální sumu teoretických znalostí, které by absolvent měl získat k tomu, aby byl schopen absolvovat úspěšně předmět a uplatnit poznatky v praxi. Vzhledem k omezené době trvání kurzu jsou na přednáškách probírány pouze nejpodstatnější problematiky – předpokládáme průběžné prostudování povinné literatury k jednotlivým tématům a zběžné prolistování alespoň některých doporučených publikací. Téma 1: Úvodní informace o kurzu. Psychometrika jako pomocná psychologická disciplína. Měření v psychologii a příbuzných oborech, úvod do klasické testové teorie (CTT). a) Vymezení psychometriky v systému psychologických věd a její smysl, různé definice měření v psychologii a příbuzných oborech. b) Historie měření v psychologii, metodologické a etické aspekty: měření rozumových schopností a psychometricky založený přístup v psychologii osobnosti. c) Základní pojmy z oblasti matematické analýzy dat (míry centrální tendence, analýza rozptylu, kovariance a korelace, úrovně měření a typy rozložení proměnných). d) Princip a základní pojmy klasické testové teorie (pravé skóre, hrubé skóre, chyba měření, latentní a manifestní proměnná). Motivace CTT: paralela s jednoduchým měřením v přírodních vědách. Povinná literatura:  HOG: strany 3–42.  URB: strany 13–71 a 78–93. Téma 2: Škálování v psychologii, model měření, obsahová a výběrová validita. Tvorba a druhy položek. a) Model měření, teorie měření. b) Obsahová validita (výběrová, zjevná, zdánlivá). c) Různé druhy položek a formátu odpovědí. Různé druhy metod. Náležitosti metod. d) Způsob konstrukce testové metody, požadavky na položky při tvorbě metody. e) Obsahové univerzum, doména, dekompozice obsahového univerza, fasetový model. Povinná literatura:  SCHULTZ: strany 31–53, 83–94.  URB: strany 204–217, 230–235. Doporučená a rozšiřující literatura:  HOG: strany 195–212  SCHULTZ: strany 153–170, 217–233. Téma 3–4: Reliabilita a) Vztah mezi pravým a hrubým skóre, manifestní a latentní proměnnou. b) Obecná definice reliability, její implikace pro měření. c) Operacionalizace reliability v CTT, její předpoklady. Koncept paralelních testů. d) Techniky k odhadu reliability, jejich předpoklady a specifická využití (vnitřní konzistence, test-retest, paralelní formy, shoda posuzovatelů a další). e) Chyba měření. Konstrukce intervaly spolehlivosti hrubého a pravého skóre. Chyba rozdílu, predikce. strana 4 f) Slabiny CTT: předpoklad intervalových škál pro analýzu rozptylu, závislost výsledků na rozložení latentních proměnných resp. na vyšetřované populaci, obtížnost položky jako závislost na populaci; nerealističnost předpokladu lineárního vztahu hrubých skórů a latentní proměnné. Psychometrický paradox. Povinná literatura:  HOG: strany 107–148.  REV: s. 205–212 a 236–239 (kapitola 7).  SCHULTZ: s. 55–81.  Dudek, F. J. (1979). The Continuing Misinterpretation of the Standard Error of Measurement. Psychological Bulletin 86(2), 335-337. doi: 10.1037/0033-2909.86.2.335 Doporučená a rozšiřující literatura:  REV: s. 213–236 (celá kapitola 7).  URB: strany 94–131.  Sijtsma, K. (2009). On the Use, the Misuse, and the Very Limited Usefulness Of Cronbach’s Alpha. Psychometrika, 74(1), 107-120. doi: 10.1007/S11336-008-9101-0.  Marko, M. (2016). Využitie a zneužitie Cronbachovej alfy pri hodnotení psychodiagnostických nástrojov. Testfórum, 5(7), 99-107. doi:10.5817/TF2016-7-90  Cígler, H., & Šmíra, M. (2015). Chyba měření a odhad pravého skóru: Připomenutí některých postupů Klasické testové teorie. Testfórum, 4(6), 67-84. doi:10.5817/TF2015-6-104 Téma 5: Položková analýza v CTT prakticky a) Základní parametry položek: diskriminační schopnost položky, popularita resp. obtížnost, reliabilita škály a její úpravy; požadavky na reliabilitu a předpoklady reliability. b) Elementární položková CTT analýza (korelace). c) Výpočet ukazatelů položkové analýzy v CTT: obtížnost/popularita, rozptyl, korigovaná korelace, koeficient ULI, diskriminační účinnost položky a další. d) Praktická schopnost provést položkovou analýzu ve zvoleném programu. Povinná literatura:  HOG: strany 212–230.  SCHULTZ: strany 171–193. Doporučená a rozšiřující literatura:  URB: strany 217–230.  Prohlédněte si manuál některých (nejlépe zahraničních) metod dostupných v Kabinetu diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod). Zaměřte se na způsob tvorby položek a koncepci testu jako takového. Srovnejte si různé typy testů. Téma 6: Validita I a) Připomenutí přednášky č. 2 (obsahová a výběrová validita). b) Teoretický koncept validity, způsoby uvažování o validitě (obsahová, empirická, konstruktová validita). c) Obsahová validita: zjevná, zdánlivá, výběrová. d) Empirická validita: souběžná, konvergentní, divergentní, kriteriální, prediktivní, inkrementální atd. strana 5 Povinná literatura:  HOG: strany 150–182.  SCHULTZ: strany 83–110 Doporučená literatura:  URB: strany 132–143.  Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl. Journal of Clinical Psychology, 61(10), 1233–1243. doi: 10.1002/jclp.20179. Témata 7–9: Faktorová analýza a) Modely s latentní proměnnou, explorační faktorová analýza (EFA), konfirmační faktorová analýza (CFA). b) Analýza hlavních komponent, rozdíly oproti EFA. c) Odhad konstruktové validity pomocí strukturního modelu a konfirmační faktorové analýzy. d) Typy proměnných z hlediska strukturálního modelování (manifestní, latentní, reziduální, endogenní, exogenní). Metody odhadu modelu; předpoklady o proměnných (rozložení, linearita vztahů). e) Problémy a svody konfirmační faktorové analýzy: problémy spojené s konstrukcí a interpretací modelu, hierarchické a aditivní modely, chyba reifikace. f) Odhad explorační i konfirmační faktorové analýzy prakticky v programu dle svého výběru (SPSS, AMOS, JAMOVI, R). Povinná literatura (pozor, bude ještě upřesněno!):  SCHULTZ: strany 269–300  Kenny, D. A. (2015). Measuring Model fit. Dostupné online: http://davidakenny.net/cm/fit.htm Doporučená literatura:  Urbánek, T. (2000): Strukturální modelování v psychologii. Brno: Psychologický Ústav AV ČR.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 331– 353.  McDonald, R.P. (1991): Faktorová analýza a příbuzné metody v psychologii. Praha: Academia.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 331– 353. Téma 10: Validita II a) Odhad konstruktové validity pomocí strukturního modelu a konfirmační faktorové analýzy. b) Typy proměnných z hlediska strukturálního modelování (manifestní, latentní, reziduální, endogenní, exogenní). Metody odhadu modelu; předpoklady o proměnných (rozložení, linearita vztahů). c) Validita diagnostického závěru, prediktivní validita. d) Specificita, senzitivita, ROC analýza. Klasifikační tabulka. e) Praktické aspekty ověření validity, designy validizačních studií. Povinná literatura:  SCHULTZ: strany 111–122.  URB: strany 143–151. Doporučená literatura:  SCHULTZ: strany 123–136. strana 6  Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl. Journal of Clinical Psychology, 61(10), 1233–1243. doi: 10.1002/jclp.20179.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 331– 353. Téma 11: Normy a standardizace testu, design standardizační studie. Standardní a odvozené skóry. a) Standardní skóry. Různé druhy standardních skórů, jejich interpretace. b) Odvozené skóry. Různé druhy odvozených skórů, jejich interpretace. c) Ipsativní a interaktivní skóry. Vývojové normy. d) Vliv chyby měření na interpretaci testových skórů. e) Způsob konstrukce norem, předpoklady jejich konstrukce. f) Design standardizační studie, způsob výběru standardizačního vzorku. g) Různé druhy norem pro různá použití. h) Intervenující proměnné při standardizaci. Povinná literatura:  HOG: strany 61–106.  URB: strany 236–254.  Urbánek, T. (2010). Stav české psychologické diagnostiky a evropský model recenze testu. Testfórum, 1(1), 2-5. doi:10.5817/TF2010-1-1 Doporučená literatura:  SCHULTZ: strany 195–216  Prohlédněte si manuál některé zahraniční metody dostupné v Kabinetu diagnostických metod (http://psych.fss.muni.cz/kabinet-diagnostickych-metod), doporučujeme test Woodcock-Johnson III. Zaměřte se na způsob výběru standardizačního vzorku.  International Test Commission (2010). Guidelines for Translating and Adapting Tests, version 2010. Dostupné on-line: http://www.psyktestbarn.no/cms/ptb_mm.nsf/lupgraphics/ITC%20guidelines.pdf/$file/ITC%20guidelines.pdf  International Test Commission (2012). International Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. Dostupné on-line: https://www.intestcom.org/files/guideline_quality_control.pdf o Případně totéž v časopise: International Test Comission (2014). ITC Guidelines on Quality Control in Scoring, Test Analysis, and Reporting of Test Scores. International Journal of Testing, 14(3), pp.195-217. doi: 10.1080/15305058.2014.918040  International Test Commission (2014). ITC Statement On the Use of Tests and Other Assessment Instruments for Research Purposes. Dostupné on-line: https://www.intestcom.org/files/statement_using_tests_for_research.pdf Téma 10: Další teorie měření: úvod do teorie odpovědi na položku (IRT), vědomostních prostorů (KST), zobecnitelnosti (GT) a spojitého měření (CMT). a) Stručné představení dalších teorií měření, používaných v psychologii a příbuzných oborech. Jejich vzájemné srovnání. Kritika klasické testové teorie z pohledu jiných teorií. b) Teorie zobecnitelnosti jako rozšíření CTT – fasetová struktura chyby měření, zdroje chyby měření. c) Teorie odpovědi na položku – základní koncept a principy. strana 7 d) Příklady využití IRT: počítačové adaptivní testování, kognitivní modelování, vyvažování testů (test-equating), pilotáž položek. e) Další teorie (zejm. teorie vědomostních prostorů a spojité měření). f) „(Dynamické) síťové modely“ ([dynamic] network models). g) Q-sort, sociometrie. Povinná literatura:  URB: strany 112–120, 152–181 (ano, včetně prvních dvou stran teorie vědomostního prostoru), 255–265. Doporučená literatura:  DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press. (Cca 100 stran).  Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed). Mahwaw (NJ): Lawrence Erlbaum Associates. Strany xiii–49.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Strany 355– 411. strana 8 Studijní zdroje: Souhrn povinné literatury (rozdělení k jednotlivým blokům viz výše):  URB: Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika: Měření v psychologii. Praha: Portál. Celá kniha.  HOG: Hogan, T. P. (2015). Psychological Testing : A Practical Introduction, 3ed. Hoboken, NJ : John Wiley & Sons. Strany 3–243.  REV: Revelle, W. (under development). An introduction to psychometric theory with applications in R. Kapitola 7, strany 205–212 a 236–239 (jako doporučená celá kapitola 7). Dostupné on-line: http://www.personality-project.org/r/book/.  SCHULTZ: Schultz, K. S., Whitney, D. J., & Zickar, M. J. (2014). Measurement Theory in Action: Case Studies and Excercises (2 ed.). London: Routledge. [Pozor, v prvním vydání dostupném v knihovně FSS MU je odlišné stránkování!] Základní literatura (předpokládáme její znalost z předchozích kurzů):  Goodwin, C. J. (2008). Research in Psychology: Methods and Design, 5. ed. New Jersey: Wiley & Sons Inc.  Hendl, J. (2004). Přehled statistických metod zpracování dat. Analýza a metaanalýza dat. Praha: Portál. Další doporučená a rozšiřující literatura:  Bond, T. G., & Fox, C. M. (2007). Applying The Rasch Model : Fundamental Measurement in the Human Sciences (2 ed., příp. 3 ed.). Mahwaw (NJ): Lawrence Erlbaum Associates. Pozn.: doporučujeme předmluvu 1. vydání s praktickým vhledem do Raschových modelů.  Borsboom, D. (2005). Measuring the mind: Conceptual issues in contemporary psychometrics. Cambridge: Cambridge University Press.  DeMars, C. (2010). Item Response Theory. Oxford: Oxford University Press. Pozn.: Extrémně krátký (cca 100 stran) přehled současné teorie odpovědi na položku.  EFPA (2005). Model recenze podle EFPA pro popis a hodnocení psychologických testů. Dostupné on-line: www.efpa.eu/download/505cd9db4144ecb16174087909c9cd6d.  Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction, 2nd ed. Los Angeles: Sage. Pozn.: Velmi jednoduchý, komplexní přehled psychometriky bez nadbytečné statistiky.  Markus, K. A., & Borsboom, D. (2013). Frontiers of Test Validity Theory : Measurement, Causation, and Meaning. New York: Routledge.  Kline, P. (1998). The New Psychometrics : Science, Psychology and Measurement. New York: Routledge.  Raykov, T., & Marcoulides, G. A. (2011). Introduction to Psychometric Theory. New York: Routledge. Pozn.: Podrobný a srozumitelný přehled většiny psychometrických témat včetně statistického aparátu.  Rust, J., & Golombok, S. (2009). Modern Psychometric : The Science of Psychological Assessment 3 ed. New York: Routledge. Požadavky na ukončení kurzu 1. Zisk alespoň 10 bodů z průběžných testů. Každý ze tří testů je hodnocen maximálně 0–10 body, do závěrečného hodnocení jsou započítány dva nejlepší bodové výsledky. Pro přístup ke zkoušce je nezbytné získat alespoň 10 bodů dohromady z těchto dvou nejlepších testů. 2. Přijatá seminární práce. Seminární práce je skupinová (skupiny maximálně po 4 studentech), podrobné zadání je součástí první přednášky v kurzu (a příslušné prezentaci). Hodnocení práce probíhá ve dvou krocích: v první řadě strana 9 je zkontrolováno splnění požadavků seminárního úkolu jako celku; práce je hodnocena jako přijata/nepřijata. V případě, že je práce přijata, získává každý člen skupiny 0–20 bodů. Studenti získávají průběžnou zpětnou vazbu po každé odevzdané části seminární práce; závěrečné hodnocení je rovněž předáno ústně při skupinovém setkání. Vzhledem k možnosti průběžných konzultací (viz níže) není možné práci přepracovat. 3. Závěrečná zkouška s písemnou (20 bodů) a ústní (10 bodů) částí. V případě méně než 10 bodů za písemnou část student k ústní zkoušce nepostupuje a je hodnocen známkou F. Z ústní části je nutné získat alespoň 1 bod, jinak je zkouška považována za neúspěšnou (hodnocení F). V případě neúspěchu u ústní části zkoušky nebo nezískání minimálního počtu bodů k absolvování předmětu je nutné opakovat celou zkoušku včetně písemné části. Celkem lze tedy v předmětu získat 70 bodů. Závěrečné hodnocení proběhne podle následujícího klíče: A: 64–70 b B: 57–63 b C: 50–56 b D: 43–49 b E: 36–42 b F: 35 b a méně X: Méně než 10 bodů z průběžných testů; nepřijatá seminární práce. Zadání skupinové seminární práce Téma práce: Návrh postupu tvorby, validizace a standardizace psychodiagnostické metody určené k měření zvoleného konstruktu včetně pilotního ověření Vyberte vhodný pojem/konstrukt z psychologie individuálních rozdílů. Cílem seminární práce je navrhnout způsob konstrukce a ověření psychodiagnostické metody, která jej bude měřit. Doporučujeme volit jednodušší, dobře definované konstrukty, u kterých nenarazíte na zbytečné metodologické potíže při tvorbě metody. Doporučujeme též volit spíše jednodimenzionální konstrukty. V prvé řadě definujte problém a specifikujte, jaký konstrukt měříte. Opřete se při tom o relevantní literaturu, definujte související pojmy – uveďte, proč pro tento konstrukt navrhujete zavést/upravit novou metodu namísto využití metod stávajících. Popište způsob tvorby položek, odhadněte počet položek nutných ve finální verzi a položky vytvořte. Navrhněte způsoby ověření validity a reliability metody; zvolte adekvátní teoretický přístup dle povahy měřeného konstruktu. Odhadněte adekvátní velikost vzorku potřebného k těmto krokům a způsob výběr respondentů. Zamyslete nad limity a potenciálními omezeními takto vytvořené metody. Závěrem pak administrujte metodu adekvátně velkému pilotnímu vzorku respondentů a proveďte pilotní ověření položek. To zahrnuje popis pilotního vzorku, deskriptivy, položkovou analýzu, v případě nutnosti explorační či konfirmační faktorovou analýzu. Součástí administrace mohou být i jiné metody, sloužící pro ověření validity. Samozřejmostí je i kvalitativní zhodnocení zkušeností s administrací metody. Doporučujeme volit jednodušší „dotazníkové“ metody či výkonové testy! Očekávaný celkový rozsah je do 10 normostran textu. Vyhněte se konstatování obecně platných pravidel (zejména u způsobů ověření reliability/validity) a zaměřte se na to, co je pro vaši metodu jedinečné a podstatné. Pozn.: V případě, že je požadovaný pilotní vzorek příliš velký a není možné jej vzhledem k charakteru metody zajistit, je možné zaslat vyučujícím malé množství dat (cca 10 respondentů), na jejichž základě vygenerují datový soubor o požadovaném rozsahu, který bude pro provedení statistických analýz adekvátní. Počítejte s dostatečnou časovou rezervou (cca 1 týden) na generování dat. Hlavní hodnotící kritéria: 1. Je konstrukt dobře operacionalizovaný, aby jej bylo možné měřit? 2. Má navržený design metody potenciál k měření zvoleného konstruktu? 3. Je adekvátně popsán způsob tvorby položek? Jak kvalitní se zdají být vytvořené položky? 4. Odpovídají navržené postupy ověření validity a reliability zvolenému konstruktu a designu metody? strana 10 5. Bylo pilotní ověření provedeno a popsáno vhodným způsobem? Jsou provedené statistické analýzy korektní? 6. Je práce na pravopisně a stylisticky adekvátní úrovni? Harmonogram odevzdávání seminární práce a její hodnocení Na seminární práci pracují studenti ve skupinách po maximálně čtyřech osobách, každému týmu pak bude přidělen jeden vyučující – ten bude poskytovat průběžné konzultace a provede i závěrečné hodnocení. Evidence průběžně odevzdávaných částí SP, členů týmu a vyučujících probíhá prostřednictvím agendy Rozpisy v IS MU. Agendu lze využít i k inzerci vlastního tématu ostatním studentům. 1. Anotace a přihlášení k tématu – do 5. 3. si každý tým studentů vytvoří vlastní téma v příslušném rozpisu v ISu (maximálně po 4 osobách) a všichni členové týmu se k danému rozpisu přihlásí (ostatní studenty může přihlásit i zakládající student). Každému tématu je automaticky založena odevzdávárna, do které ke stejnému datu tým nahraje stručnou anotaci o rozsahu max. 1 NS, která bude obsahovat název měřeného konstruktu, stručný návrh měřící metody a několik zdrojů v podobě teoretických východisek. Anotace budou zkontrolovány vyučujícími předmětu a prostřednictvím agendy Rozpisy schváleny. V případě, že anotace nebude přijata, je nutné založit nové téma a vložit novou anotaci nejpozději do 1 týdne od doručení zpětné vazby. 2. Do 2. 4. studenti odevzdají do odevzdávárny první část seminární práce, která bude obsahovat teoretický úvod, způsob standardizace, návrh ověření, způsob tvorby položek. Součástí nebude samotné znění položek a zpracování dat. 3. Do 14. 5. bude odezvána druhá část v novém dokumentu (která bude obsahovat i předchozí text včetně případných úprav) včetně dat (ve formátu MS Excel, CSV či SPSS). Tato část bude obsahovat znění pilotních položek a popis pilotní studie včetně vyhodnocení. Po každé průběžně odevzdané části studenti mají možnost získat ústní zpětnou vazbu od příslušného vyučujícího, zároveň jsou očekávány individuální konzultace v průběhu semestru. Práce bude hodnocena jako přijata/nepřijata. V případě nepřijetí jsou všichni členové týmu hodnoceni známkou „X“; v případě přijetí práce bude každému studentovi uděleno 0–20 bodů.