Zadání seminární práce Výběrová validita Psychologické škálování PSYb2590: Základy psychometriky | Seminář 1 24. 2. / 2. 3. 2020 Seminární práce 1: Téma práce Téma práce: Návrh postupu tvorby, validizace a standardizace psychodiagnostické metody určené k měření zvoleného konstruktu včetně pilotního ověření Cíle seminární práce: ◦Naučit se tvořit položky jednoduché psychologické škály. ◦Osvojit si uvažování o obsahové a konstruktové validitě. ◦Vyzkoušet si příslušné analýzy (FA, položková analýza...). Skupiny po 4 osobách (výjimky možné po schválení). Průběžné odevzdání, průběžné konzultace, zpětná vazba výhradně ústně. Nelze opravit, není minimální počet bodů. Seminární práce 2: Struktura práce (IMRAD) [CO?] Teoretický úvod (max 2 NS): ◦Měřený konstrukt – jeho teorie (pl.) a vztahy k blízkým konstruktům ◦Možné a existující způsoby měření – přímé i méně přímé manifestace, způsoby jejich zachycení ◦Účel metody, způsob její konstrukce, způsob tvorby položek (vč. nepovinného Cogni Int.), fazety. ◦Metoda samotná v plném konečném znění i empiricky testovaných průběžných zněních bude tvořit přílohu. [JAK?] Metoda (max 2 NS): ◦Popis vzorku/ů a jejich výběru, odhad a zdůvodnění velikosti. ◦Identifikace verze/verzí metody (s odkazem na přílohu) ◦Návrh realizovatelných způsobů ověření validity a reliability (některé mohou být i realizovány v rámci SP). ◦Není-li možné zajistit dostatečně velký vzorek z důvodu časově náročné administrace, lze data nasimulovat na základě několika málo (alespoň 10) administrací. [JAK TO DOPADLO?] Výsledky (dle potřeby): deskriptivy, položková analýza, odhad reliability, faktorová analýza, další ověření validity (pokud byly provedeny). ◦Případné vyřazení nefungujících položek a navržení upravené verze instrumentu. [CO TO ZNAMENÁ?] Diskuze (max 2 NS): zhodnocení fungování metody a návrh dalších kroků. ◦Včetně kvalitativního zhodnocení svých zkušeností. Seminární práce 3: Organizace Skupiny: 4 studenti (jiný počet jen výjimečně). ◦V rámci seminárních skupin (napříč jen ve výjimečných případech). ◦Konzultanti: Hynek, Standa, Adam Zpětná vazba výhradně ústně. ◦Konzultace možné (a doporučené) po domluvě kdykoli! Termín 1 (8./15. 3.): Vytvoření témat v ISu ◦Včetně přihlášení členů týmu. ◦Stručný popis tématu. ◦Prezentace tématu (max. 5 min.) na 2. semináři. Termín 2 (10. 4.): Odevzdání A ◦Až po tvorbu položek a sběr dat (tj. kompletní plán pro sběr). ◦Celý Úvod + část kapitoly Metoda. ◦Tvorba vzorku, odhad jeho velikosti, způsoby ověření validity/reliability, očekávaný počet položek. ◦Návrh tvorby položek a ukázkové položky. Termín 3 (1./8. 5.): Odevzdání B ◦Finální verze celé SP. ◦Kompletní datová matice, skript, metoda. ◦Prezentace na 6. semináři (4./11. 5.). ◦Ve výjimečných případech lze termín posunout a prezentovat předběžnou verzi. Hodnocen je jen finální text a prezentace. Seminární práce 4: Hodnotící kritéria Je konstrukt dobře definovaný, aby bylo možné hodnotit kvalitu měření? Odpovídá způsob tvorby položek teorii, nemají položky zjevné technické chyby? Odpovídá výsledná podoba metody účelu, pro který byla konstruována (předpokládáme-li validitu)? Jsou postupy ověření validity a reliability vhodné pro daný konstrukt, design metody a populaci? Je návrh vzorku vhodný pro pilotní ověření dané metody? ◦(Nehodnotíme, zda se sběr dat zdařilo realizovat zcela podle představ, důležitý je záměr.) Jsou statistické analýzy korektně provedené? Jsou výsledky dobře reportované a závěry nich plynoucí? Je text na dostatečné formální úrovni? ◦Reportování statistik, odborný jazyk. Přehlednost textu. Stylistika a pravopis. Jak byly výsledky prezentovány? Nehodnotíme výslednou validitu, ale postup, který k ní směřuje! Seminární práce 5: Technické Založte si rozpis v IS MU (viz interaktivní osnova). ◦Můžete do něj rovnou přidat kolegy. ◦Rozpis pojmenujte názvem týmu nebo něčím, co vystihne vaši metodu. ◦Do anotace dejte pár slov o plánované metodě. Prezentujte rozpis na semináři. Rozpis bude schválen vyučujícím (podle seminárních skupin). ◦Ke každému rozpisu se automaticky vytvoří odevzdávárna. ◦Do ní budete vkládat obě části seminární práce a související soubory. Rozpisy můžete využít i jako „burzu“ témat. Položka – indikátor konstruktu Pozorovatelný projev vysoké/nízké úrovně měřeného konstruktu ◦Pozorovatelný druhými – pozorování chování (i pomocí přístrojů - pravítek) ◦Pozorovatelný subjektem – výpovědi, odpovědi na otázky Když je projev pozorován, je to jednoznačně známkou přítomnosti určité úrovně měřeného konstruktu Protože to „jednoznačně“ v psychologii zřídka platí, snažíme se měřit opakovaně (tím víc, čím méně jsme si jednoznačností jistí) ◦více různými položkami ◦v různých časech, podmínkách (omezeno stabilitou samotného konstruktu) Obsahová validita Odpovídá obsah testu účelu metody, resp. měřenému konstruktu? ◦Jeden z mnoha způsobů uvažování o validitě testu (viz [FURR]). ◦Odpovídá metoda právě měřenému konstruktu, a ne jinému? ◦Reprezentuje metoda daný konstrukt v celé jeho šíři? ◦Operacionalismus: Konstrukt je definován metodou. Někdy též výběrová validita: jsou položky dobře vybrané z univerza možných položek? Důkazy obsahové validity: ◦Posouzení metody experty. ◦Logická argumentace: Design tvorby položek. Soulad s teorií v plné šíři. Obsahová validita vs. „face validity“: ◦Co se zdá metoda měřit při posouzení laikem? Odpovídá metoda konstruktu při posouzení laikem? ◦Zjevná validita: shodu konstruktu s metodou posoudí i laik správně. ◦Zdánlivá validita: metoda ve skutečnosti měří něco jiného, než si laik myslí. Zmatený obličej bez výplně Validita položek Každá položka obsahuje dvě hlavní rozptylové složky ◦= příčiny rozdílů mezi lidmi při pozorování / odpovídání První je společná všem položkám - týká se měřeného konstruktu. ◦Pozorování/Odpověď je způsobena měřenou latentní proměnnou. Druhá složka je specifická pro danou položku. ◦Náhodné vlivy na pozorování/odpovědi v daném čase. ◦Další systematické vlivy/důvody na pozorování/odpovědi ◦Specifické faktory Položky by se měly „překrývat“ ve společném rozptylu a dobře pokrývat celé významové spektrum měřeného konstruktu a zároveň co nejméně „překrývat“ ve specifických složkách. Validita položek Tvorba položek Dobré položky ◦Jsme si jistí společným faktorem – Opravdu měřený konstrukt způsobuje tohle? ◦Známe i specifické faktory (může jich být hodně) ◦Máme představu o tom, jakými náhodnými vlivy může být odpověď zasažena Položky dohromady v jedné metodě ◦Měří všechny společný faktor (nebo faktory) ◦Pokrývají celou paletu možných projevů (různých úrovní) konstruktu ◦Specifické faktory nesdílí ◦ Teorie faset: Dekompozice obsahového univerza (=všech možných projevů konstruktu, teorie) Teorie faset (Guttman; Shye & al.) ◦Základem dekompozice univerza určité teorie. ◦Mapping definitions – zobrazující definice. ◦Série definic obsahu nějakého chování podle tendence, příležitosti a odpovědi… Obsahové univerzum. ◦Množina všech možných položek a „vážených významů“ daného konstruktu. Položková banka. ◦Množina reálně vytvořených položek. Pilotní verze metody. ◦Položky vybrané z položkové banky pro ověření. Další pilotní verze metody. ... Finální verze metody. ◦Revize metody... Dekompozice obsahového univerza: fasety modelového zadání – studijní styl Zadání: „Tendence k chování ve výkonové situaci“. Situace: ◦Typy výkonových situací ◦Zkouška ◦Seminárka ◦Průběžné studium Čas: ◦dlouhodobost/krátkodobost ◦před – v průběhu – po Složka postoje: ◦Kognitivní ◦Afektivní ◦Behaviorální Chování ◦Odklon ◦Ruminace ◦Prokrastinace ◦Řešení úkolu ◦Perseverace… Afektivní ◦Útlum / agitace ◦Konkrétní emoce… Kognitivní ◦Dispozice ◦Realizace ◦Znalost ◦Rychlost… A tak dále… 3×5×3(×5×2×4...) Teorie faset: Dekompozice obsahového univerza Pomyslná matice 3×5×3(×5×2×4...) kombinací formulací položek. ◦Odtud pojem „multifasetový konstrukt“ ◦Při přípravě na zkoušku se zaměřuji na především na získání obecné orientace v látce. ◦Před zkouškou trpím silnými pocity úzkosti. ◦Během zkoušení mívám problémy s vybavováním. ◦Po zkoušce se obvykle odreaguji ve společnosti. ◦Položka je tedy tvořena vždy výběrem z příslušné kombinace faset ◦Některé kombinace mohou být „nepoužity“. ◦Fasety jsou více či méně univerzální – např. složky postoje jsou pro psychologii obecné, ale další fasety závisí na konkrétní teorii, jsou z teorie odvozené. Více faset neimplikuje více dimenzí/faktorů. ◦ ◦ Struktura položky Položka jako „kognitivní experiment“. Item stem = podnět = jádro položky = stimul. Response = odpověď = kvantifikace = …kde co. Distraktory = možnosti k výběru (ne vždy). Jedna položka může implikovat více odpovědí. Vztah odpovědi a skóru nemusí být přímý. ◦Vážené odpovědi, interpretované odpovědi... ◦Projektivní metody (ROR, TAT, MMPI...). Odpověď na položku není totožná se skórem položky! ◦Přiřazení čísel jevům... ◦ Typy a formáty položek 1 Konstrukt vždy implikuje formát položek (a formát ovlivňuje měřený konstrukt). Z hlediska typů metody: ◦Testy schopností ◦Osobnostní dotazníky ◦Silové, rychlostí vs. kapacitní testy ◦Výkonové vs. introspektivní ◦Objektivní testy ◦Projektivní testy ◦V principu: existuje „správná“ či „diagnostická“ odpověď? Z hlediska formátu odpovědi: ◦Implikuje použité statistiky. ◦Položky s volnou kvantifikací (čas, x-bodové škály) lze obvykle zpracovat pod CTT s předpokladem normálního rozdělení. ◦Položky se „správnou“, „diagnostickou“ odpovědí je nutno v konečném zpracování brát jako dichotomické. ◦Dichotomizace ex-post omezuje variabilitu – rozlišovací účinnost! Z hlediska úrovně měření: ◦Nominální – ordinální – intervalové – poměrové ◦(Nemusí být shodné s úrovní výsledné škály.) Typy a formáty položek 2 Doplňování odpovědi: 7+2=…; Co mají společného obraz a socha?; Za dvacet let budu… ◦Odpovědi je nutné skórovat: dichotomické, škála, vícenásobná volba... Škály, někdy též uspořádané kategorie, „stejně se jevící intervaly“ atd. ◦Nikdy–zřídka–občas–často–vždy. Souhlasím–spíše souhlasím–spíše nesouhlasím–nesouhlasím. Vícenásobná volba (multiple-choice): Více než 3 varianty s 1 správnou odpovědí a X distraktory. Dichotomická položka: Výběr 2 variant (ano/ne, souhlasím/nesouhlasím). Nucená volba (ipsativní): Jste spíše: tolerantní, nebo náročný? Mnohonásobná volba: Vlastně série dichotomií… Spojování (párování). Řazení: Seřaďte výroky podle výstižnosti: Jsem energický… nezávislý … důvěřivý… Pozorovací schémata, měření reakčního času, velmi mnoho dalších formátů. Typické „škály“ v psychologii Vizuální analogová škála (Hayes and Paterson, 1921) Thurstonova škála (1928): 3 typy, např. „metoda stejně se jevících intervalů“. Likertova škála (1932): Metoda sigma vs. zjednodušená metoda Guttmanova škála (40. léta) ◦Rozšíření původní Bogardovy (1925) škály sociální distance. ◦Původně deterministický model později rozšířen na stochastický model, základ IRT. Osgoodův semantický diferenciál (1957) Doporučujeme kap. 5: Price, L. R. (2016). Psychometric Methods: Theory into Practice. New York: Guilford Press. Seminární úkol: dotazník výšky Jste ve světě, kde nefungují pravítka. Potřebujete měřit výšku lidí a jste odkázáni jen na psychodiagnostické metody. ◦4–5členné „výzkumné týmy“. Jaký konstrukt má dotazník měřit? Jde skutečně o „fyzikální“ výšku? Jaké jsou možné fasety obsahového univerza takového konstruktu? Jaké konstrukty budou do měření intervenovat? Jak jejich vliv minimalizovat? Jaký formát položek je pro měření vhodný? Vytvořte příklad položky ke každé fasetě. Jaký konstrukt má dotazník měřit? Jde skutečně o „fyzikální“ výšku? Jaké jsou možné fasety obsahového univerza takového konstruktu? Jaké konstrukty budou do měření intervenovat? Jak jejich vliv minimalizovat? Jaký formát položek je pro měření vhodný? Vytvořte příklad položky ke každé fasetě.