Metodologické aspekty vytváření a adaptace psychodiagnostických metod Martin Jelínek 1 Nový nástroj nebo adaptovat existující?  Více než 58.000 záznamů v PsychTESTS (APA)  existuje nástroj pro každý psychologický konstrukt?  např. Statistics Anxiety Rating Scale Baloglu, M. (2002). Psychometric Properties of the Statistics Anxiety Rating Scale. Psychological Reports, 90(1), 315-325.  Adaptace nebo nový nástroj?  efektivita a náročnost tvorby  porovnatelnost výsledků  uplatnitelnost výstupů  Důraz na adaptaci než na vytváření autorských nástrojů 2 Průvodce procesem adaptace  Zvyšující se důraz na kvalitu nástrojů (tedy i adaptací)  International Test Commission  Dave Bartram, Nicola Hayes a další světové osobnosti  gold standard pro adaptace psychologických testů  soubor pravidel pro korektní provedení adaptace 3 Překlad ≠ adaptace a) Přípravná fáze b) Vývoj testu (překlad) c) Ověřovací fáze d) Dokumentační fáze 4 a) Přípravná fáze  Vyhodnocení vhodnosti adaptace  posouzení překryvu definice a obsahu konstruktu v originální a cílové populaci  posouzení přenositelnosti formálních (neobsahových) charakteristik administrace  Svolení autora (resp. držitele práv) nástroje  záleží na kontextu situace  komerční vs. nekomerční testy  „That's totally fine. Thanks for asking and good luck with your research! John“  některé časopisy explicitně vyžadují formální souhlas autora  5 Request for Permission to Publish Content under Creative Commons Attribution Licence b) Vývoj testu  Design procesu překladu  metoda zpětného překladu (back-translation)  metoda dvojitého překladu s expertním vyhodnocením (double translation and reconciliation by experts)  Ověření překladu  porozumění překladu na cílové populaci  Pilotní studie 6  ověření základních psychometrických charakteristik c) Ověřovací fáze  Výběr vhodného vzorku z cílové populace  velikost („Collect as large a sample as reasonable.“)  složení („Choose representative samples of respondents whenever possible.“)  relevance vzhledem k empirickým analýzám  Ekvivalence  konstruktová (faktorově analytický přístup)  položková (odlišné fungování položek)  invariance měření (pro definované skupiny)  Reliabilita, validita, normy 7 Metodologicko-statistické postupy v ověřovací fázi  Evaluace faktorové struktury  povaha dat (ordinální vs. kardinální)  explorační vs. konfirmační přístup 8 Evaluace faktorové struktury STRUKTURA NÁSTROJE  EFA nebo CFA? PODLOŽENÁ A OVĚŘENÁ SPORNÁ CFA úspěšná STRUKTURA POTVRZENA 9 neúspěšná EFA (+CFA) NÁVRH ALTERNATIVNÍ STRUKTURY Evaluace faktorové struktury: Příklad z praxe  Sebeposuzovací škála depresivity pro děti (CDI)  často využívaný nástroj ve výzkumu i v praxi  autor metodu navrhl na základě klinických zkušeností  5 dimenzí (špatná nálada, interpersonální potíže, nevýkonnost, anhedonie, snížené sebehodnocení), celkem 27 položek  položkový formát: 3 verbálně zakotvené úrovně vlastnosti (skórováno 0 až 2)  Nikdo mě nemá doopravdy rád.  Nevím, jestli mě má někdo doopravdy rád.  Někdo mě má opravdu rád.  adaptace do 23 jazykových variant  10 empiricky odvozená struktura se značně lišila Evaluace faktorové struktury: Příklad z praxe  N = 1515 adolescentů  Soubor náhodně rozdělen do dvou podsouborů  N1 = 515 (pro potřeby EFA)  N2 = 1000 (pro potřeby CFA) 11 Evaluace faktorové struktury: Příklad z praxe  EFA  počet faktorů? Courtney (2013)  korelované či nekorelované faktory?  výsledek na českých datech; pravděpodobně 4 faktory:     Jádrové depresivní symptomy (Pořád jsem smutný.) Self-esteem (Vypadám hrozně.) Nevýkonnost (Ve škole mi to nejde.) Sociální anhedonie (Vůbec nechci být mezi lidmi.)  CFA  volba indexů shody s daty (nejčastěji používán CFI, RMSEA)  struktura potvrzena 12 Invariance měření  Soubor statistických postupů sloužících k ověření psychometrické ekvivalence konstruktu napříč skupinami  Víceskupinová konfirmatorní faktorová analýza  Série kroků:  konfigurální invariance  metrická invariance  skalární invariance 13 Konfigurální (non)invariance 14 Metrická (non)invariance 15 Skalární (non)invariance 16 Odlišné fungování položek  DIF (differential item functioning)  zejména v oblasti výkonových testů  k odlišnému fungování položek dochází tehdy, pokud odlišné skupiny osob (definované na základě např. pohlaví či etnicity) mají různou pravděpodobnost správné či diagnostické odpovědi při kontrole úrovně měřeného rysu 17