Posuzování validity odpověďových procesů je klíčovou součástí moderního hodnocení validity měřicích nástrojů v psychologii. Nestačí jen vytvořit nomologickou síť a dovozovat validitu z korelací nástroje s jinými proměnnými – je důležité ujistit se, že respondenti o položkách přemýšlí tak, jak by odpovídalo teoretickým očekáváním.

V seminární práci si proto zkusíte sbírat důkazy týkající se validity odpověďových procesů vámi vybrané metody.

Seminární práci píše každý studující sám, ale můžete si vzájemně pomáhat, pokud tím neporušíte předpisy regulující plagiátorství. Výstupem práce bude:

• Formulace očekávaných odpověďových procesů.
  
• Provedení rozhovoru s participantem*tkou z cílové populace zaměřený na odpověďové procesy spojené s odpovídání na vybraný nástroj.
• Přeformulování položek dle výsledků předchozího kroku a provedení nového rozhovoru s novým participantem*tkou ze stejné populace. Není-li nutné položky upravovat, proveďte prosím další rozhovor se stejnými položkami a konfrontujte výsledky obou rozhovorů.
• Specifikace doporučení pro další používání nástroje.

Cíle práce

• Upozornit na zásadní roli odpověďových procesů.
• Prohloubit dovednosti spojené s vedením rozhovoru a kvalitativní analýzou.
• Ukázat, že psychometrika není jen počítání! :)

Struktura a formát seminární práce

Struktura práce odpovídá struktuře IMRAD. Tedy:

• Krátký úvod (1.) definující měřený konstrukt, (2.) specifikující očekávané odpověďové procesy (v případě že nejsou v literatuře explicitně popsány, můžete uvést svůj kvalifikovaný odhad) a (3.) stručně popisující zvolený nástroj. 
• Metoda (1.) krátce představující postup kognitivního interview a (2.) zdůvodňující volbu participantů vzhledem k relevantní populaci.
• Výsledky shrnující a interpretující data získaná z rozhovorů.
• Diskuse, která zejména (1.) formuluje doporučení pro další vývoj / používání zkoumaného nástroje a (2.) vyjadřuje se k (ne)souladu očekávaných a pozorovaných odpověďových procesů.

Rozsah: max. 4 NS (v případě, že máte nutkání uvádět větší přepisy rozhovorů, použijte přílohy).

Termín: Volba tématu: 16. 10. Odevzdání: 3. 12.

Bodování: 0-30 b., při zisku < 15 b. je možná oprava s penalizací - 5 b.

Volba metody: ve sdíleném excelu vyplňte název metody a počkejte na náš souhlas (díky tomu se nestane, že byste si vybrali nepoužitelnou metodu!). Max. počet studujících na jednu metodu je 3.

Doporučení k výběru metod

• Vybírejte si metody z Kabinetu diagnostických metod (KDM). Můžete také využít možnosti propojit se seminární prací v diagnostice.
• Zajímavé jsou politicko-psychologické škály jako RWA nebo SDO (obvykle totiž vyvolávají nevoli respondentů a máte bohaté interview).
• Výkonové testy např. typu ravenovských matic.
• Testy ze systému Invenio.

Tipy pro psaní práce

• Jde o odborný text, u kterého se očekává práce s literaturou! ;-)
• Snažte se očekávané odpověďové procesy specifikovat co nejexplicitněji. V diskusi se poté k této specifikaci vracejte a vyjadřujte.
• Nebojte se opírat o vlastní názory! Už máte spoustu zkušeností a budeme rádi, když se do práce promítnou. Jen dbejte na to, ať jsou vaše názory vždy identifikovatelné (a příp. jsou reflektovány jejich limity).
• I vzhledem k rozsahu práce nám nejde o používání kvalitativně-analytických metod, je proto například v pořádku psát stručně a vyhnout se používání konkrétní kvalitativní metodologie.

Pokyny pro případ, že administrujete metodu dětem

Administrace diagnostických metod dětem (zejména dětem mladším 15 let) se řídí zvláštními etickými nároky. Protože dítě nemusí být schopno dostatečně spolehlivě samo rozhodnout, že se chce výzkumu účastnit, je nezbytné získat informovaný souhlas rodiče. Podle běžných etických požadavků by měl být písemný. Pokud chcete administrovat metodu dětem, je nezbytné realizovat následující kroky:

1. Zkonzultujte konkrétní záměr s vyučujícími kurzu. Teprve v případě jejich souhlasu postupujte dále. 
2. Stáhněte si informovaný souhlas. Pokud je vyšetření napojeno na nějaký výzkumný projekt, je možné (pravděpodobné), že příslušný výzkumný tým disponuje vlastními informovanými souhlasy. V takovém případě můžete (pravděpodobně po určitých úpravách) použít tyto.
3. Informovaný souhlas upravte podle specifik vašeho záměru; zejména je nutné popsat konkrétní metodu. V poskytnuté šabloně jsou tato místa označena komentářem.
4. Upravené znění souhlasu nahrejte do odevzdávárny a nechte si je schválit vyučujícími. 
5. Schválený souhlas dvakrát vytiskněte a zajistěte jeho podpis zákonným zástupcem. Jednu kopii ponechte zákonnému zástupci, druhou doručte garantovi kurzu.
6. Pokud chcete poskytovat zpětnou vazbu z vyšetření rodiči (tedy výsledky vyšetření), zkonzultujte vaše závěry s vyučujícími.
7. Jakékoli materiály (výsledky vyšetření, vaše seminární práce apod.) rodiči poskytujete až po přijetí a schválení práce vyučujícími!

Doporučená literatura

Pro sepsání seminární práce budete potřebovat zdroje týkající se přímo vámi vybrané metody. Kromě toho ale využijete i literaturu zaměřenou na kognitivní pilotáže, validitu odpověďových procesů a podobně. V tomto ohledu doporučujeme zejména následující dva zdroje:

• Gordon B. Willis. (2015). Analysis of the Cognitive Interview in Questionnaire Design. Oxford University Press.
  Zaměřte se na kapitolu 3, která popisuje výhody a nevýhody různých přístupů ke kognitivnímu interview.
  
• Zumbo, B. D., & Hubley, A. M. (2017). Understanding and Investigating Response Processes in Validation Research. Springer. Zaměřte se na kapitoly 7 a 12.

Rozšiřující literatura (příklad krátkého textu popisující kognitivní interview):

• Boness, C. L., & Sher, K. J. (2020). The Case for Cognitive Interviewing in Survey Item Validation: A Useful Approach for Improving the Measurement and Assessment of Substance Use Disorders. Journal of studies on alcohol and drugs, 81(4), 401–404. https://doi.org/10.15288/jsad.2020.81.401