Základy psychometriky

Přednáška 3: Validita | 23. 3. 2020

Aktuální informace související s "koronavirem"

Přednáška se v důsledku šíření koronaviru nebude konat. 

Přednáška bude živě streamována v běžném čase, tj. v pondělí 23. 3. v 10:00.

On-line stream přednášky
Na této adrese se bude konat 23. 3. 2020 od 10:00 živý přenos přednášky. Pro připojení je nutné stáhnout (cca 30 MB) a nainstalovat Adobe Connect Add-In. Připojit se do místnosti bude možné nejdříve 10 minut před začátkem přednášky.
Validita podle Messicka

Součástí přednášky prakticky nejsou jednotlivé zdroje důkazů validity podle Messicka, přesto však jde o klíčovou součást kurzu, jejíž znalost je nezbytná a proto bude součástí testů. Očekáváme, že tuto oblast nastudujete z povinné literatury; doporučujeme buď originální Messickovy texty (např. 1995, viz rozšiřující literatura), nebo pěkné shrnutí v rámci Furrovy učebnice (viz povinná literatura). 

Jako doplňkový zdroj lze využít i Standardy pro pedagogické a psychologické testování, a to jak ve starším českém vydání, nebo lépe v nejnovějším americkém.

Přednáška se zaměřuje na koncept validity měřícího nástroje, zejména pak psychodiagnostické metody pro účely praktické psychologické diagnostiky i výzkumu v sociálních vědách. Představeno bude tradiční způsob uvažování o validitě, ale hlavním tématem bude moderní, tzv. Messickovo pojetí validity, které poslouží jako konceptuální rámec pro zbytek kurzu.

Klíčová témata

  • Tradiční pojetí validity: obsahová, empirická, konstruktová. Pojetí konstruktové validity podle Cronbacha a Meehla (1955).
  • Moderní pojetí validity: Messickova (1989) sjednocená konstruktová validita. Zdroje důkazů konstruktové validity podle Messicka: vnitřní struktura testu, souběžná validita, validita procesu odpovídání, obsahová validita, důsledky využití testu. 
  • Kritika Messickova pojetí (např. Borsboom), přínosy Messickova pojetí pro praktickou psychodiagnostiku.
  • Tradiční pojmy související s empirickou validitou: kriteriální, prediktivní, konvergentní, divergentní, inkrementální, diferenciální atd.
  • Tradiční pojmy související s obsahovou validitou: face validity, zjevná a zdánlivá validita. Barnumský (Forerův) efekt. Faktorová validita.
  • Tradiční nástroje konstruktové validity: multi-trait multi-method matrix
  • Vztah validity a reliability, dopady nereliability na validitu měřícího nástroje i interní validitu výzkumu: attenuation formula, psychometrický paradox, nereliabilní kontrolní proměnné.
  • Omezení empirické validity: efekt stropu, podlahy, kompenzatorní efekt, Simpsonův paradox.
  • Klinická vs. statistická predikce; Meehlovy experimenty (Grove, 2005).
Přednáška 3
Validita. Záznam z on-line přednášky.
Přednáška 3: Validita
Tradiční a moderní pojetí validity. Související pojmy. Faktory ovlivňující souvislost testů.

Studijní zdroje

Povinná literatura

Doporučená a rozšiřující literatura

  • SCHULTZ: strany 123–136.
  • URB: strany 143–151.
  • Cronbach, L. J., & Meehl, P. E. (1955). Construct validity in psychological tests. Psychological Bulletin, 52(4), 281–302. https://doi.org/10.1037/h0040957
  • Grove, W. M. (2005). Clinical Versus Statistical Prediction: The Contribution of Paul E. Meehl. Journal of Clinical Psychology, 61(10), 1233–1243. https://doi.org/10.1002/jclp.20179
  • Messick, S. (1995). Validity of psychological assessment: Validation of inferences from persons’ responses and performances as scientific inquiry into score meaning. American Psychologist, 50(9), 741–749. https://doi.org/10.1037/0003-066x.50.9.741
  • Campbell, D. T., & Fiske, D. W. (1959). Convergent and discriminant validation by the multitrait-multimethod matrix. Psychological Bulletin, 56(2), 81-105. http://dx.doi.org/10.1037/h0046016
  • Lissitz, R. W., & Samuelsen, K. (2007). A Suggested Change in Terminology and Emphasis Regarding Validity and Education. Educational Researcher, 36(8), 437–448. http://dx.doi.org/10.3102/0013189x07311286
  • Zimmermann, S., Klusmann, D., & Hampe, W. (2017). Correcting the predictive validity of a selection test for the effect of indirect range restriction. BMC Medical Education, 17(1). http://dx.doi.org/10.1186/s12909-017-1070-5

Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2020/PSYb2590/um/knihy/messick1995.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2020/PSYb2590/um/knihy/grove2005.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2020/PSYb2590/um/knihy/cronbach1955.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2020/PSYb2590/um/knihy/borsboom2004.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2020/PSYb2590/um/knihy/lissitz2007.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2020/PSYb2590/um/knihy/zimmermann2017.pdf
Chyba: Odkazovaný objekt neexistuje nebo nemáte právo jej číst.
https://is.muni.cz/el/fss/jaro2020/PSYb2590/um/knihy/Campbell1959.pdf

3. průběžný test: vyplňujte 30. 3.–5. 4. 2020

Položková analýza

Jednoduchá CTT položková analýza je součástí testu!

Test se bude skládat z validity (3. přednáška) a CTT položkové analýzy (3. seminář). Pro zodpovězení tohoto testu je nezbytná povinná literatura; jednotlivé typy validity podle Messicka nebyly v rámci přednášky probrány a je nutné je nastudovat. Pro tyto účely postačuje Furr postačuje, jako rozšíření lze využít i originální prameny (např. Messick, 1995). Nevynechejte prosím výběrovou validitu, která byla obsahem 1. semináře, a je součástí tohoto tématu. 

Rovněž se ujistěte, že budete schopni provést jednoduchou položkovou analýzu na zadaných datech: že máte na počítači k dispozici příslušný software a že jej umíte ovládat.

Průběžný test 3: zpětná vazba
Učitel doporučuje studovat od 8. 4. 2020 do 12. 4. 2020.