Úvodní informace Shrnutí předpokladů pro studium Přednáška 1 | 24. 9. 2024 PSYn4790 | Psychometrika: Měření v psychologii Katedra psychologie, Fakulta sociálních studií MU Hynek Cígler https://youtu.be/DOKKiiAzjdg (1981) Záměr kurzu PSYn4790 Poskytnout psychometrické a epistemologické zázemí k validnímu zkoumání člověka. ◦ A to pro kontext individuální diagnostiky i výzkumu. ◦ Epistemologická východiska a krize zobecnitelnosti (týdny 2–6). ◦ Replikovatelnost (2), epistemologie (3–5). ◦ Meta-analýza (6) ◦ Vybrané modely měření v psychometrice (týdny 7–11). ◦ CTT (7), GT (8), IRT (9–10), NET (11). ◦ Specifická témata (týdny 12–13). ◦ Férovost v testování (12) a shoda posuzovatelů (13). K čemu vám kurz bude? Problémy s měřením jsou jedním z příčin krize důvěryhodnosti. ◦ Formalizace modelů měření (a psychologických teorií obecně) je proto jedním z předpokladů zvyšování kvality psychologického poznání. Postupy zkoumání a měření lidských rozdílů v sociálních vědách. Přehled hlavních modelů měření v psychologii. ◦ Epistemologická východiska, formální definice modelů. ◦ Způsob jejich využití v praxi. Pokud míříte do praxe: Základy pro konstrukci poznání a další studium ve vašem oboru. Pokud míříte do výzkumu: Základy pro další rozvoj metodologických a psychometrických kompetencí. Stručný harmonogram # datum téma přednáší úkol 1. 24. 9. Úvod, zadání seminární práce, opakování BC studia HC P1 2. 1. 10. Replikovatelnost psychologického výzkumu HC P2 3. 8. 10. Epistemologie 1 HŠ P3 4. 15. 10. Epistemologie 2 HŠ P4 + S1 (do 16. 10.) 5. 22. 10. Moderní postupy tvorby poznání PH P5 6. 29. 10. Systematická review a meta-analýza TV P6 7. 05. 11. Klasická testová teorie a reliabilita HC P7 8. 12. 11. Teorie zobecnitelnosti HC P8 9. 19. 11. Teorie odpovědi na položku 1 HC P9 10. 26. 11. Teorie odpovědi na položku 2 HC S2 (do 3. 12.) 11. 03. 12. Síťové modely HC P10 12. 10. 12. Férovost v testování HC P11 13. 17. 12. Shoda posuzovatelů HC P12 Požadavky na ukončení kurzu Nebodované písemné přípravy. ◦ Alespoň 10 z 12 (jinak X). Seminární práce: 30 bodů. ◦ 15 a méně bodů → X. ◦ Možnost jednou přepracovat (−5 bodů, tedy max. 25). Písemná zkouška: 70 bodů. ◦ Minimálně 35 b., jinak F. Ústní zkouška: ano/F (nejsou udělovány body). ◦ V případě neúspěchu → F (oprava písemné i ústní zkoušky). ◦ V případě úspěchu → viz tabulka vpravo nebo o jeden stupeň výše. A: 100–91 B: 90–81 C: 80–71 D: 70–61 E: 60–51 F: 50–0 Žádné strachy! Hodnocení z minulého roku (PS2023): VÝSLEDNÁ ZNÁMKA VŠECHNY POKUSY Požadavky na ukončení kurzu Průběžné přípravy ◦ Slouží pro vás. ◦ Nebodováno, bez individuální zpětné vazby. ◦ Nepište ale pitomosti, čteme to  ◦ Zkusíme zajistit kolektivní zpětnou vazbu. ◦ Není potřeba se nic učit. ◦ Stačí přečíst literaturu. ◦ Delší časové okno (st–ne). ◦ Nečíst detailně, není to beletrie. ◦ Pokyny ke čtení v Interaktivní osnově! ◦ Můžete (klidně v průběhu!) diskutovat přípravy v diskuzním fóru. Písemný test ◦ Směs otevřených (long-response) a uzavřených otázek. ◦ Počítačová učebna. ◦ Primárně zaměřená na literaturu a pochopení. ◦ Bližší popis zkoušky bude ke konci semestru. Ústní zkouška Průběžné testy jsou letos zrušeny! Průběžné přípravy ještě jednou Přípravy jsou pro vás. Není podstatné, zda odpovíte „správně“, ale že se o to pokusíte. ◦ Cílem je podpořit průběžnou přípravu. ◦ Pokud se alespoň minimálně připravíte a „nevyjde to“, nevadí. Mise splněna! Ideální postup (ideálně vše během jediného odpoledne): ◦ 1. Přečíst zadanou literaturu (viz pokyny pro čtení literatury v ISu). ◦ 2. Pokusit se zadané četbě porozumět. ◦ 3. Otevřít si odpovědník a odpovědět na zadanou otázku. Když odpovíte „kvalitně“ – dobře vy!  Když zjistíte, že nevíte, co napsat... nedá se nic dělat, nic se neděje  ◦ Reflektujte své mezery, zkuste napsat, čemu nerozumíte a proč. ◦ Zeptejte se v diskuzi v ISu. ◦ Zkuste to pochopit dodatečně – může se hodit v testu či u zkoušky! Studijní zdroje Interaktivní osnova a IS MU, předmětová diskuze. ◦ Povinná a rozšiřující literatura vždy ke každému tématu. ◦ Používejte interaktivní osnovu, nepřistupujte k materiálům skrze aplikaci soubory! FB: Statistika, metodologie, psychometrika ◦ Prostor pro řešení běžných problémů, dotazy ke studiu. FB: Kvantitativní kroužek ◦ Advanced skupina o statistice a metodologii v sociálních vědách. Konzultace Primární kanál: Diskuzní fórum. Osobní konzultace (Hynek Cígler): Ideálně po přednášce případně kanc. 2.47, pondělí odpoledne (cca 14.00–16.00) ◦ Bez garance  Termín se může změnit. E-mail není preferovaný způsob! ◦ (Spíš pro osobní záležitosti.) Vaši předchůdci „vzkazují“: Jde to zvládnout!  Obtížné, pokud jste neabsolvovali bakalářskou psychometriku. Nezbytné studovat průběžně. Nestačí přednášky, bez literatury to nepůjde. ◦ Nespoléhejte, že na přednáškách zazní všechna témata. ◦ Bez přednášek chybí kontext. ◦ Podívejte se na tipy v interaktivní osnově ke čtení literatury. Věnujte pozornost zadání SP (struktura recenze). Věnujte přípravě adekvátní čas (ani moc, ani málo). Předmětová anketa (někdy) A: „Magisterská psychometrika se mi moc líbila [...] Zároveň bych chtěla ocenit, že nebyla tak náročná, jak bakalářská psychometrika. Myslím si, že to bylo především nebodovanými průběžnými úkoly, které mi moc vyhovovaly.“ B: „Psychometrika pro mě byla časově nejnáročnějším předmětem, ale časovou zátěž bych určitě neměnila. Je to těžký předmět a bez průběžných příprav by to moc nešlo. [...] “ Předmětová anketa (někdy) C: „PRŮBĚŽNÉ PŘÍPRAVY - neplánuji v budoucnu jít psychometrickou ani vědeckou dráhou, proto jsem byla ze začátku otrávená z toho, že musím tomuto kurzu věnovat tolik energie a času (na čtení), ale nakonec uznávám, že to bylo k něčemu dobré: 1) přinutilo mě to fakt číst literaturu, kterou bych pravděpodobně, jako psychometrický nenadšenec jinak spíš nečetla, popřípadě měla malou motivaci ji procházet 2) byl to pro mě trénink "efektivního čtení"... asi první polovinu příprav jsem brala možná až zbytečně vážně, fakt četla všechno poctivě, pozorně a s porozuměním (takže POMALU!) a byla jsem sama ze sebe frustrovaná, že věnuju jednomu kurzu tolik času (nemyslím to nijak osobně), ale postupně s dalšími přípravami a mým uvědoměním, že nechci (a asi ani nezvládnu) celý semestr věnovat polovinu času Psychometrice, jsem se učila číst rychleji, efektivněji a hlavně zvládat své "strachy" z toho, že mi něco ušlo, že něco důležitého minu.. [...] Takže mám pro Vás tip, možná tuhle část smysluplnosti příprav příští rok více zdůraznit, myslím, že by to mohlo psychometrické nenadšence (kteří předmět berou spíš jako nutné zlo s možnými zajímavými informacemi, ale skoro nulovým překryvem se svojí budoucí praxí) namotivovat a vidět v průběžných přípravách smysl.“ Předmětová anketa (někdy) D: „Nejprve velmi krátké video k celkovému hodnocení kurzu: https://www.youtub e.com/watch?v=QJH UbtR0yI8 [...]“ Předmětová anketa (PS 2022) E. Jak jednoduše dostat Ačko z psychometricky: Povinné četbě jsem dal 5-7 hodin každý týden. (3 hodiny, jak bylo doporučováno, jsou nereálné :D) Před testem jsem se koukl znovu na všechny relevantní přednášky s 1,5x rychlostí (zrychlený Hynek je celkem síla), vypsal si poznámky z četby, porovnal je s poznámkami ostatních a naučil se z toho mišmaše. Příprava na každý test tak 10-15h. Na zkoušku jsem si znovu projel všechny přednášky 1,5x rychlostí. Upřímně, až na třetí poslech mi došli nějaké věci a opravdu jsem se cítil, že tématu rozumím. Příprava na zkoušku 25-30 hodin. Seminárka zabrala 2 full dny napsat, plus všechno okolo, celkem tak 30 hodin se vším všudy. Pohoda. Předmět mě vlastně bavil a přišel mi přínosný, ani nevím jak ho udělat méně časově náročný, témata navazují a podle mě ani není co vyhodit. [...] Nahrané přenášky jsou top. Revoluční praktika. Bez nich bych neměl šanci rozumět tématům bez dalších 100h samostudia. Předmětová anketa (někdy) F. „Vyučujúci si podľa mňa myslí, že psychometrika je jediný predmet, ktorí študenti majú. Záťaž predmetu je obrovská a vôbec neodpovedá kreditovej záťaži predmetu. Povinností do predmetu je strašne veľa a je náročné to všetko plniť.“ G. „...Jako student, který bakaláře absolvoval na FF MUNI, jsem se tohoto předmětu obával. Ve výsledku jsem zdárně a bez komplikací předmět absolvoval. [...] Nicméně [...] jsme pociťovali zvýšené obavy právě z tohoto předmětu. Zároveň předmět působí jako strašák i pro studenty z FSS. Do předmětu jsme investovali nemalé množství času a zvažujeme, kde se nám tato investice vykompenzuje. [...] část z nás již pracuje v nějaké oblasti aplikované psychologie a to zužitkování nevidíme. Já narazil na to, že potřebnější než hluboké znalosti jsou vědomosti a dovednosti jak předat vlastnosti metody, omezení a potřeby metody a dané administrace osobě, která dané znalosti nemá a se kterou psycholog spolupracuje na denní bázi [...] Domnívám se, že vhodnou alternativou by bylo vytvoření čtvrté specializace a to takové, která by se zaměřovala tímto směrem. ...“ Zadání seminární práce Recenze zvolené psychodiagnostické metody Zadání seminární práce Analýza odpověďových procesů u vybrané psychologické metody ◦ Formát by měl odpovídat „manuskriptu“ výzkumného článku (velmi krátký brief-report). ◦ Preferujeme stručnost a informační hutnost, není nutné zabíhat do detailů Podrobné zadání je v interaktivní osnově. Cíle práce Upozornit na zásadní roli odpověďových procesů Prohloubit dovednosti spojené s vedením rozhovoru a kvalitativní analýzou Ukázat, že psychometrika není jen počítání :) Výstupem je: ◦ Formulace očekávaných odpověďových procesů. ◦ Jejich ověření rozhovorem. ◦ Úprava znění položek → další ověření. ◦ Formulace doporučení pro další vývoj / používání metody. Struktura a formát Krátký úvod (1.) definující měřený konstrukt, (2.) specifikující očekávané odpověďové procesy (v případě že nejsou v literatuře explicitně popsány, můžete uvést svůj kvalifikovaný odhad) a (3.) stručně popisující zvolený nástroj. Metoda (1.) krátce představující postup kognitivního interview a (2.) zdůvodňující volbu participantů vzhledem k relevantní populaci. Výsledky shrnující a interpretující data získaná z rozhovorů. Diskuse, která zejména (1.) formuluje doporučení pro další vývoj / používání zkoumaného nástroje a (2.) vyjadřuje se k (ne)souladu očekávaných a pozorovaných odpověďových procesů. Doporučený harmonogram: Propojení psychometriky a diagnostiky První měsíc: Zamyslete se, jaká metoda vás zajímá. 16. 10.: Termín pro výběr metody. ◦ Počkejte na náš souhlas, pak můžete začít psát úvod. ◦ Až poté proveďte rozhovor. 3. 12.: Termín pro odevzdání SP. Důležité zdroje a inspirace Jak dělat kognitivní interview? ◦ Gordon B. Willis. (2015). Analysis of the Cognitive Interview in Questionnaire Design. Oxford University Press. Zaměřte se na kapitolu 3, která popisuje výhody a nevýhody různých přístupů ke kognitivnímu interview. ◦ Zumbo, B. D., & Hubley, A. M. (2017). Understanding and Investigating Response Processes in Validation Research. Springer. Zaměřte se na kapitoly 7 a 12. Jak může vypadat výsledek? ◦ Boness, C. L., & Sher, K. J. (2020). The Case for Cognitive Interviewing in Survey Item Validation: A Useful Approach for Improving the Measurement and Assessment of Substance Use Disorders. Journal of studies on alcohol and drugs, 81(4), 401–404. https://doi.org/10.15288/jsad.2020.81.401 Seminární práce: Tipy Využívejte empirické zdroje. V případě chudé literatury přicházejte s vlastními kvalifikovanými úvahami. Volte metody ◦ Dostupné v KDM! ◦ Které vás formulací položek štvou. ◦ Zajímavé jsou politicko-psychologické škály jako RWA nebo SDO (obvykle totiž vyvolávají nevoli respondentů a máte bohaté interview). ◦ Výkonové (např. měřící indukci dle C-H-C). Můžete zkusit pracovat i s metodami ze systému Invenio. ◦ Kontaktujte Petra Palíška, který vám řekne víc a zpřístupní vám je. Psychometrika BACH: Vývoj Testů školních dovedností „Psychometrics is the approximation of latent psychological processes by means of stochastic analysis at both the individual and population levels.“ Peter Molenaar (Pennsylvania State University) https://www.psychometricsociety.org/content/what-psychometrics Co to je psychometrika? ◦ Pomocná disciplína (nejen) psychologických věd. ◦ Na pomezí psychologie (zejm. individuálních rozdílů), kognitivní psychologie a matematické statistiky. Cíle a oblasti použití psychometriky: ◦ Praktická činnost, tedy ověřování a konstrukce testů. ◦ Teorie: vývoj statistických postupů k lepšímu měření člověka. ◦ Nedílná součást praktické psychologické diagnostiky. Psychometrika studuje... ... vztah manifestních a latentních proměnných. ... podstatu a charakteristiku latentních psychických procesů. ... možnosti a chybovost usuzování na latentní proměnné z manifestních. ... a statisticky vysvětluje a predikuje chování lidí. Za tímto účelem pracuje s různými teoriemi, které postulují statistické modely. Manifestní proměnná: pozorované chování. Latentní proměnná/proces: Měřený atribut / jev. Latentní procesy a proměnné Způsob definice závisí na teorii měření. ◦ Pravý skór (operacionalismus, CTT, GT). ◦ Latentní rys (realismus, IRT, FA, LCA). ◦ Symptomatologická síť (network modely). ◦ Spojitá, „kvantitativní“ (FA, IRT) vs. nominální, „kvalitativní“ (LCA, network) povaha. Tradiční psychodiagnostický pohled: Latentní proměnná je interpretace testových výsledků v širším kontextu. ◦ Konstrukcionismus, antirealismus. ◦ Messickovo pojetí validity, Lissitzův model pro hodnocení testu. Více viz blok přednášek z epistemologie. Základní psychometrické činnosti Řemeslo: Vývoj nových testů pro praxi i výzkum, adaptace stávajících. Popis (modelování) psychických jevů pomocí statistického modelu. Odvození skórů a indexů z pozorovaného chování. ◦ Včetně odhadu chyby. Vlastní měření(?) psychických charakteristik. ◦ Je to možné? Existují? Jsou měřitelné (kvantitativní, ideálně spojitá povaha)? Vývoj psychometrických modelů pro tyto účely. ◦ Nikoliv výhradně jen modelů měření. Interpretace testových skórů a indexů. ◦ Včetně konstrukce norem. Dvě tradice: Psychometrika vs. matematická psychologie PSYCHOMETRIKA Inspirace v „mentálních testech“. ◦ Galton, Cattell, Spearman, Binet, Thurstone Škálování jednotlivců, spíše interindividuální rozdíly a between-subject. Vývoj postupů a hlavně praktických nástrojů pro rozlišení lidí. ◦ Faktorová analýza, reliabilita, délka testu. ◦ Thurstonovo škálování ◦ Vlastní diagnostické metody. MATEMATICKÁ PSYCHOLOGIE Inspirace v psychofyzice. ◦ Weber, Fechner, Müller, Wundt, Cattell, Thurstone. Modelování kognitivních procesů, spíše intraindividuální procesy a within-subject. Vývoj postupů pro stabilní měření psychofyzikálních vlastností osob. ◦ Nejmenší rozlišitelný rozdíl. ◦ Pravděpodobnost. ◦ Párová srovnání (law of comparative judgement) Vývoj obou linií probíhal zpočátku společně, ale s nárůstem poznatků došlo ke specializaci. V roce 1964 se z Psychometrické společnosti (zal. 1935) vyčlenila Society for Mathematical Psychology. Základní koncepty psychometriky Opakování z bakaláře: nezbytné statistické pojmy práce s rozptylem validita a související pojmy reliabilita, způsoby odhadu chyba měření a intervaly spolehlivosti Credit: https://www.facebook.com/vimzenicnezmerim/posts/158401765712038 Základní statistické pojmy Úrovně měření. ◦ Stevensonova definice, fundamentalita měření... ◦ Nominální, ordinální/pořadová, metrická (intervalová vs. poměrová). Míry centrální tendence, rozptyl, kovariance a korelace, rozložení proměnných. Statistické analýzy: korelace, parciální korelace ANOVA, lineární a logistická regrese, neparametrické statistiky. Explorační a konfirmační faktorová analýza, logika strukturních modelů. Práce s rozptylem, zejm. sčítání rozptylových komponent. ◦ Jak z kovarianční matice položek odhadneme rozptyl součtového skór? Položky, konstrukce položek Tvorba položek ◦ teorie faset, dekompozice obsahového univerza ◦ rozdíl faseta vs. dimenze/faktor ◦ složení položky: podnět vs. odpověď (stimulus vs. response) ◦ druhy položek: doplňování, dichotomické, multiple-choice, řazení, volná odpověď (plus její skórování), mnohonásobná volba... ◦ odpověďové škály (Likertova, sémantický diferenciál, Guttmanovo škálování...) Podoba metody/testu: ◦ druhy škál: typologie/ipsativní, ordinální, intervalové... ◦ druhy metod: testy schopností, osobnostní dotazníky, silové vs. rychlostní vs. kapacitní, introspektivní vs. výkonové, objektivní, projektivní... Skórování: ◦ princip tvorby skórů a indexů pro různé testy v rámci CTT Položková analýza, faktorová analýza POLOŽKOVÁ ANALÝZA V CTT Popularita, obtížnost Korigovaná korelace položky s celkovým skóre Cronbachova alfa po vyřazení položky ULI (upper-lower index) deskriptivy... FAKTOROVÁ ANALÝZA Explorační faktorová analýza ◦ Metody odhadu počtu faktorů – paralelní analýza, Kaiserovo pravidlo, Cattelův scree-plot ◦ Metody extrakce, eigenvalue ◦ Metody rotace (šikmé a ortogonální) ◦ Faktorový náboj, komunalita, unicita ◦ Heywoodův případ Konfirmační faktorová analýza ◦ Shody modelu s daty, χ2, SRMR, RMSEA, CFI/TLI..., inspekce reziduí, M.I. ◦ Definice a odhad modelu. Předpoklady faktorové analýzy. Reliabilita: Metody odhadu v CTT Paralelní formy: korelace, ICC. Test-retest: korelace, ICC. Shoda posuzovatelů: řada ukazatelů, samostatná přednáška. Vnitřní konzistence: ◦ Split-half: Spearman-Brownův vzorec, Guttmanova λ4... ◦ „Kovarianční matice“: Cronbachovo alfa (KR-20), omega... Reliabilita 𝑟 𝑥𝑥′ = 𝜎𝜏 2 𝜎𝑥 2 = 𝜎𝜏 2 𝜎𝜏 2 + 𝜎𝑒 2 = 1 − 𝜎𝑒 2 𝜎𝑥 2 Podíl vysvětleného rozptylu měřicího nástrojem měřeným atributem. ◦ A tedy odmocnina z korelace manifestní a latentní proměnné. Očekávaná korelace paralelních testů. ◦ Reliabilitě se budeme věnovat podrobněji v rámci modelu měření CTT. Normy Způsob tvorby standardizačního vzorku a výběru respondentů, typy norem. ◦ Lokální, národní, institucionální... Kriteriální, ipsativní, normativní skóry a normy. ◦ diskrétní (tradiční) vs. kontinuální (vyhlazená) normalizace. Typy standardních skórů běžně používaných v psychologii a vzájemný převod. ◦ z-skóry, T-skóry, IQ-skóry, steny, staniny, percentily, percentilové pořadí... Problémy ze zešikmením, normalizace rozložení. ◦ McCallova plošná transformace, rozdělení podle mediánu, vertikální vyhlazení. Kontinuální normy (vertikální a horizontální normy). Validita Realismus vs. antirealismus Konstruktová validita podle Cronbacha a Meehla Messickovo pojetí validity Borsboomovo pojetí validity Validita Unifikovaná konstruktová validita (Messick) Ontologické pojetí (Borsboom) Tradiční pojetí: obsahová, empirická, konstruktová (Cronbach a Meehl) Klíčové pojmy z tradičního uvažování o validitě: ◦ Výběrová v., face-validity (zjevná, zdánlivá), faktorová. ◦ prediktivní vs. postdiktivní, inkrementální ◦ souběžná, konvergentní, divergentní/diferenciální, kriteriální ◦ Cronbach a Meehl (1955): Construct Validity in Psychological Tests, nomologická síť. ◦ Campbell a Fiske (1959): Multitrait-multimethod matrix (MTMM). Definice konceptu validity Messick (1989, s. 20): „... an integrated evaluative judgment of the degree to which empirical evidence and theoretical rationales support the adequacy and appropriateness of inferences and actions based on test scores or other modes of assessment.“ ◦ Konstrukcionismus, operacionalismus. Borsboom (2004): „A test is valid for measuring an attribute if (a) the attribute exists and (b) variations in the attribute causally produce variation in the measurement outcomes.“ ◦ Validita je vlastnost testu, kterou hodnotíme. ◦ Realismus, ontologické pojetí. Unifikovaná konstruktová validita Důraz na hodnocení a použití testu v diagnostice. ◦ Validita je jediným, multifasetovým konstruktem. ◦ Validita je integrativním shrnutím dílčích důkazů. ◦ Integrována ve Standardech pro pedagogické a psychologické testování (AERA, 2014). Zdroje důkazů: ◦ Obsah testu ◦ Vnitřní struktura testu ◦ Odpověďové procesy ◦ Souvislost s kritériem ◦ Konsekvence testování Samuel Messick Messick (1995) AERA, APA, & NCME. (2014). Standards for Educational and Psychological Testing. American Educational Research Association. Furr, R. M., & Bacharach, V. R. (2014). Psychometrics : An Introduction. Sage. První příprava... ... je atypická, dopředu totiž znáte dva úkoly. Jeden si vyberte: Pro méně pokročilé: opakování. ◦ Projděte se materiály bakalářského kurzu PSYb2590 Základy psychometriky. ◦ Zamyslete se nad tím, co víte a kde máte naopak mezery. ◦ Naplánujte si, jak tyto mezery doženete během prvních čtyř týdnů semestru. ◦ Výsledek svého zamyšlení reflektujte  Pro více pokročilé: Quantitude podcast. ◦ Vyberte si minimálně jeden díl podcastu Quantitude. Vybírejte epizody s tématem měření. ◦ Poslechněte si jej a zreflektujte hlavní teze epizody. ◦ Doporučuji letní speciál 2021: díly jedna a dva. Otázky spojené s Messickovým pojetím validity (Lissitz & Samuelsen, 2007) Znamenají nízké korelace s kritériem skutečně nízkou validitu měření? Jak v diagnostické praxi zhodnotit „globální užitečnost“ nástroje? Jsou skutečně všechny aspekty důležité při hodnocení metody součástí validity? Mají všechny atributy metody při hodnocení stejnou váhu? Jak souvisí teorie a specifikace konstruktu při konkrétním měření? Pokud je reliabilita podmínkou či součástí validity, proč ji Messick explicitně nezmiňuje? Termín „validita“ by měl být vyhrazen pro schopnost metody zachytit určitý „rys“. ◦ Otázka „obsahové validity“ a reliability. Validita jako hodnocení testu Lissitz, R. W., & Samuelsen, K. (2007). A Suggested Change in Terminology and Emphasis Regarding Validity and Education. Educational Researcher, 36(8), 437–448. doi:10.3102/0013189x07311286