ZURN6311 DOTAZNÍKOVÝ VÝZKUM: KOGNITIVNÍ TESTOVÁNÍ, PILOTÁŽ Marie Bedrošová Lenka Dědková ÚKOLY 5 •Každá skupinka: shrňte nám, jak to šlo •S jakými problémy jste při překládání nejvíce bojovali? •2 dokumenty – „pracovní“ excel (pro vás) + „report“ (pro cizího čtenáře – přehledně a jasně, s úvodem a vysvětlením procesu) •Někdy je lepší trochu se vzdálit od původního znění, ale „znít lépe“ přirozeněji v češtině/slovenštině •Pokud pouhý překlad nestačí, může být vhodné přidat k položce příklady •Excel s finálními překlady všech skupin ve studijních materiálech • • Television content rating system - Wikiwand Horror Movie News: Suspiria Gets a Rating – And It's Extreme – The Scariest Things 1. NEBO 3. OSOBA? FC3: Make use of various media environments to reach information. Vie sa v mediálnom prostredí pohybovať tak, aby získal/a chcené informácie. Je pro mě snadné používat různá mediální prostředí, abych našel/našla potřebné informace. Využívám různá mediální prostředí k dosažení informací •Instrukce! •(…) Please indicate how you feel about your knowledge and skills for each of the following statements •1 Strongly disagree, 2 Disagree, 3 Neither agree nor disagree, 4 Agree, 5 Strongly agree • •Instrukce směřuje na 1. osobu (SK skupinka před kognitivním testováním ještě přepíše) •Obecně je to lepší – respondent si snadněji vztáhne tvrzení přímo na sebe •Mohou být případy, kdy je vhodnější 3. osoba (ale specifické, např. škály, ke kterým se snadněji přiznává ve třetí osobě: Jak moc se považujete za člověka, který: •…nechodí pro ránu daleko •…v naštvání hází věcmi •… Bez instrukce a odpovědí se položky komentují obtížněJ NEBO INFITIV! FC3: Make use of various media environments to reach information. Vie sa v mediálnom prostredí pohybovať tak, aby získal/a chcené informácie. Je pro mě snadné používat různá mediální prostředí, abych našel/našla potřebné informace. Využívám různá mediální prostředí k dosažení informací •Ptáme se na schopnosti, dovednosti, lze tím pádem přeložit ve formě infinitivu •Využívat různá mediální prostředí… •Zaznamenávat mediální obsahy… •Rozlišovat různé funkce… • •Odpovědi: Naprosto nesouhlasím až Naprosto souhlasím •Jak by pak měla (mohla) znít instrukce? Takto je to myšleno v článku PŘIDÁVAT SLOVA NEBO NE? FC3: Make use of various media environments to reach information. Vie sa v mediálnom prostredí pohybovať tak, aby získal/a chcené informácie. Je pro mě snadné používat různá mediální prostředí, abych našel/našla potřebné informace. Využívám různá mediální prostředí k dosažení informací •V čem jsou tyto položky jiné? Co měří? •„je pro mě snadné využívat….“ •„využívám…“ • •Instrukce! •(…) Please indicate how you feel about your knowledge and skills for each of the following statements •1 Strongly disagree, 2 Disagree, 3 Neither agree nor disagree, 4 Agree, 5 Strongly agree •Chceme se ptát na to, co dokáží/umí/zvládnou/vědí/jsou schopní/poznají, ne na frekvenci toho, jak často to dělají PŘIDÁVAT SLOVA NEBO NE? FC3: Make use of various media environments to reach information. Vie sa v mediálnom prostredí pohybovať tak, aby získal/a chcené informácie. Je pro mě snadné používat různá mediální prostředí, abych našel/našla potřebné informace. Využívám různá mediální prostředí k dosažení informací •2 možné způsoby: •Nechat to jen v hlavní otázce (slajd 4) •Funguje obvykle celkem hezky, protože to krátí počet slov (šetříme respondentovi čas) •Respondent je obvykle schopen hlavní otázku udržet (zvláště v kratším dotazníku) •Můžeme mu případně pomoci tím, že se připomeneme formulací v odpověďovce •Namísto souhlasím-nesouhlasím např. „vůbec nedokážu“ – „určitě dokážu“, „je pro mě velmi snadné“ – „velmi obtížné“ apod. •Mít dovednost nějak podchycenou v každé položce (dělala zelená skupina) •Funguje dobře, když nám jazyk dává dost slov, aby to nevedlo k očividné repetici • • CO MŮŽE POMOCI? •Zkuste si na položku sami odpovědět – jde to? Jde to snadno? • •Všimněte si: • • • • • •Článek z Turecka – sice nezmiňuje jazyk originálu (to je chyba), ale je možné, že AJ položky jsou ve skutečnosti překladem tureckých položek •Aj položky mohou být už posunuté od tureckého originálu – o to víc je důležité zamýšlet se nad jejich významem spíš než nad čistým překladem Výřez obrazovky PROCES DOTAZNÍKOVÉHO ŠETŘENÍ VO a tvorba dotazníku Výběr respondentů a poslání pozvánky Odeslání dotazníku, zpracování dat Tvorba odpovědí Unit non-response Item non-response JAK OVĚŘIT, ŽE DOTAZNÍK FUNGUJE PŘED OSTRÝM SBĚREM •Proč je potřeba? Duh! •Pre-testing, piloting •Řada aspektů • •Kontrola technické funkčnosti dotazníku – specificky důležité v online sběrech •Správné zobrazení otázek (ideálně na různých zařízeních, prohlížečích) •Správné ukládání dat •Funkčnost filtrů •Funkčnost možností „nechci odpovědět,“ zvláště v baterii položek • • • Zvládnete sami, nebo s pomocí kamaráda JAK OVĚŘIT, ŽE DOTAZNÍK FUNGUJE PŘED OSTRÝM SBĚREM •Kontrola funkčnosti dotazníku pro cílovou populaci •Srozumitelnost a adekvátní odpovědi •Flow v dotazníku, snadnost vyplnění •Sociální žádoucnost, přijatelnost otázek •Pokud hypotetické otázky - jak snadno se na ně odpovídá •Délka vyplňování dotazníku • •Kontrola funkčnosti z hlediska analytických potřeb •Jak vypadají odpovědi na otázky - rozptyl •Chybějící hodnoty •(funkčnost škál) • • • • Potřebujete lidi z cílové populace, kteří dotazník předtím neviděli JAK OVĚŘIT, ŽE DOTAZNÍK FUNGUJE PŘED OSTRÝM SBĚREM •Před využitím cílových respondentů: •Hodnocení expertů •Question appraisal system (QAS) – budeme řešit v dalších hodinách •S využitím cílových respondentů: •Kognitivní testování •Individuální •Fokusky •Pilotáž • •Pretesting je hodně flexibilní postup •Je potřeba ho přizpůsobit konkrétnímu výzkumu •Ne pro všechny studie je nezbytné všechno, pro každou může být vhodné jiné pořadí •Často iterativní postup – pilotáž může ukázat, že některé položky nefungují, přestože prošly kognitivním testování à tvorba nových položek à nové kognitivní testování apod. • HODNOCENÍ EXPERTŮ •Dotazník by mě vidět alespoň 1 odborník, který se vyzná v survey methodology a ve zkoumaném tématu •Pokud není v jedné osobě, potřebujete lidi alespoň dva •Pro DP: typicky vedoucí práce, ale před ním např. i spolužáci • •Pro adekvátní zhodnocení odborník potřebuje: •Znát váš výzkumný cíl („pozice“ proměnných), cílovou populaci a mód sběru •Vědět, jak chcete data analyzovat •Vědět, jaké položky mají měřit jaké konstrukty •Vidět „finální“ podobu – tj. pořadí položek, úvodní instrukce, odpověďové škály • • HODNOCENÍ EXPERTŮ •Je důležité – dokáže výrazně zlepšit výzkum a pomoci identifikovat problematické položky/instrukce, navrhnout řešení a identifikovat položky, na které je vhodné se zaměřit během kognitivního testování •Některé výzkumy ukazují, že odborníci identifikují víc problémů než jiné metody •Ale často mezi odborníky nízká shoda v identifikování problematických položek • •Není dostatečné spoléhat jen na něj •Odborníci už znají všechny termíny, často nejsou ani členy cílové populace, chápou celkovou logiku dotazníků a nemají problém vyznat se v různých formátech odpovědí •Takže snadno přehlédnou něco, co jim i vám může připadat jasné a srozumitelné, ale cílovce ne • • • • • KOGNITIVNÍ TESTOVÁNÍ •Jaký problém mohly mít děti (9-17 let) s následující otázkou o šikaně? •Když se k tobě takto na internetu nebo mobilním zařízení zachoval, udělal to některým z následujících způsobů? ZAŠKRTNI VŠE, CO PLATÍ • • KOGNITIVNÍ TESTOVÁNÍ •Co je to kognitivní testování a proč ho potřebujeme? •Hloubkové nebo polostrukturované rozhovory, případně focus groups •Dotazník „testujeme“ s představiteli naší cílové populace •Cílem je odhalit problémy související s kognitivními procesy: myšlení, paměť, vzpomínání, posuzování, rozhodování, … •Rozumí respondenti našim položkám? Dokáží na ně odpovědět? Jaké problémy s dotazníkem mají a proč? •Chceme otestovat dotazník pro děti a dospívající (11-17 let) v České republice. S kým bychom provedli kognitivní rozhovory? •Např. bychom si vybrali chlapce a dívky z každé věkové kategorie: 11-12, 13-15, 16-17 •Důležité je testovat s nejmladšími i nejstaršími •A vybrat z různých rodin – s nízkým i vysokým SES, a z různých škol (gymnázia vs. učiliště), abychom měli i variabilitu v tom, jaké zkušenosti s internetem pravděpodobně mají •Kde bychom je hledali? •A co kdybychom chtěli otestovat dotazník o zkušenostech s diskriminací na univerzitě? PROCES ODPOVÍDÁNÍ Komponenta Specifické procesy Pochopení •Věnujeme pozornost otázce a instrukcím •Rozumíme významu otázky •Dokážeme určit, na jakou informaci se nás otázka ptá Vybavení si a paměť •Jsme schopní si požadovanou vzpomínku vybavit, odpovědět na otázku •Dokážeme doplnit chybějící detaily Posouzení •Zhodnotíme celistvost a relevanci vzpomínky/informace •Rozhodneme se, jestli se nám chce si na danou věc vzpomínat nebo na otázku odpovídat Zodpovězení •Vybíráme z nabízených odpověďových možností •„Upravujeme“ a dáváme naši odpověď (e.g., social desirability) Components of the Response Process (Tourangeau, Rips, & Rasinski, 2000) V každé „komponentě“/ fázi odpovídání mohou nastat různé problémy, které ovlivní to, jak odpovíme nebo neodpovíme Woman lift her hand with confused face Premium Vector TECHNIKY KOGNITIVNÍHO TESTOVÁNÍ •„Think aloud“ technika •Respondent si prochází dotazník a popisuje nám svůj kognitivní proces – sám říká, co ho napadá, jakým způsobem o otázkách přemýšlí apod. •Tazatel se ho pořád může ptát, ale spíše nechává mluvit respondenta •ALE: pro mnohé respondenty může být tato technika příliš náročná a nevyhovující; je složité popsat, jak přemýšlíme •„Active probing“ technika •Tazatel se respondenta aktivně ptá a vybízí ho k odpovědím •Např. po každé otázce nebo po sekci otázek, kterou si respondent přečte se zastaví a tazatel se jej doptává •Může být více či méně strukturované dotazování (např. tušíme, že některé položky mohou být problematické, tak si připravíme doplňující otázky přímo k nim) •„Něco mezi“ •Každý respondent je jiný a může být vhodnější zvolit pro něj jinou metodu dotazování JAK TO PROBÍHÁ? •Máme respondenty, kteří reprezentují populaci, na které budeme dotazník testovat •Snažíme se o variabilitu a o testování s lidmi, kteří mohou mít více problémů s porozuměním dotazníku (např. 9ti leté dítě vs 16ti leté) •Jako u jiných rozhovorů, i tady potřebujeme informovaný souhlas od respondenta •Domluvíme rozhovor (nebo focus group), připravíme si materiály pro respondenta i pro tazatele •Např. vytištěný dotazník, který bude respondent moci číst + jeden dotazník pro tazatele, kam si bude psát poznámky •Doporučujeme rozhovory (se souhlasem respondenta) nahrávat •Tazatel pak může jen označovat problematické části v dotazníku a konkrétní útržky z kognitivního rozhovoru, návrhy respondenta na přidání odpovědí apod., pak najít na nahrávce a přepsat Job Interview Vector Art & Graphics | freevector.com JAK TO PROBÍHÁ? •Jako u jiných výzkumných rozhovorů je třeba představit výzkum, na konci nabídnout debriefing •Zvažujeme etiku – dáme možnost respondentovi neodpovědět nebo nekomentovat danou otázku, pokud nechce; rozhovor zbytečně neprotahujeme; apod. •Můžeme mít odměny i pro respondenty v rámci kognitivního testování •Kognitivní rozhovor obvykle trvá cca 30-60 min •Není třeba testovat celý dotazník •Můžeme se zaměřit jen na některé části (např. nové položky) •Můžeme dotazník rozdělit na více sekcí a s každým respondentem testovat jen jednu z nich Job Interview Vector Art & Graphics | freevector.com JAZYK PROCES ODPOVÍDÁNÍ Komponenta Specifické procesy Pochopení •Věnujeme pozornost otázce a instrukcím •Rozumíme významu otázky •Dokážeme určit, na jakou informaci se nás otázka ptá Vybavení si a paměť •Jsme schopní si požadovanou vzpomínku vybavit, odpovědět na otázku •Dokážeme doplnit chybějící detaily Posouzení •Zhodnotíme celistvost a relevanci vzpomínky/informace •Rozhodneme se, jestli se nám chce si na danou věc vzpomínat nebo na otázku odpovídat Zodpovězení •Vybíráme z nabízených odpověďových možností •„Upravujeme“ a dáváme naši odpověď (e.g., social desirability) Components of the Response Process (Tourangeau, Rips, & Rasinski, 2000) V každé „komponentě“/ fázi odpovídání mohou nastat různé problémy, které ovlivní to, jak odpovíme nebo neodpovíme Woman lift her hand with confused face Premium Vector PROBLÉMY S POCHOPENÍM •Nepochopíme význam otázky, odpovídáme na něco jiného •Nepochopíme výzkumníkem zamýšlený význam, odpovídáme doslovně •Chat room – jaký význam může mít pojem pro děti? •Nepochopíme nebo špatně interpretujeme nabízenou odpověďovou škálu •Neznáme některé výrazy a slovíčka a nerozumíme jim •Otázka nebo instrukce je příliš dlouhá nebo komplikovaná a ztratíme se v ní •V otázce jsou ambivalentní pojmy • INTERVIEW PROBES •Mohl byste mi vlastními slovy říci, na co se podle vás otázka ptá? •Co pro vás výraz „veřejnoprávní médium“ znamená? Jaké příklady „veřejnoprávních médií“ vás napadají? •Co všechno se vám vybaví pod pojmem „informační a komunikační technologie“? •Když jste odpovídal na otázku, jaké zkušenosti nebo situace jste si vybavil? •Myslíte, že lidé budou mít problémy s odpovídáním na tuto otázku? Jaké problémy a proč? • • https://img.freepik.com/free-vector/job-interview-conversation_74855-7566.jpg?size=626&ext=jpg PROBLÉMY S VYBAVENÍM SI A PAMĚTÍ •Nedokážeme si vzpomenout na informaci, na kterou se nás otázka ptá •(a) není to pro nás dostatečně důležitá informace, (b) stalo se to příliš dávno, (c) děje se to příliš často •Nechceme si na danou věc vzpomínat •Může být kognitivně příliš náročné, si na to vzpomenout •Jaké známky jste měl na vysvědčení v páté třídě? •Může být nepříjemné si na to vzpomenout (např. traumatické události) • INTERVIEW PROBES •Jak jste si vzpomněl na to, kolikrát jste byl letos v kině? •Na jaké situace jste myslel, když jste odpovídal na tuto otázku? •Když jste odpovídal na tuto otázku, myslel jste specificky na poslední měsíc nebo jste zprůměroval vaši zkušenost za několik měsíců? Nebo jste o tom přemýšlel jinak? • PROBLÉMY S POSOUZENÍM INTERVIEW PROBES •Proč si myslíte, že jste závislý na internetu? •Srovnával jste se při odpovídání s jinými lidmi? Jak? •Je to něco, o čem jste přemýšlel už předtím, než jste odpovídal na naši otázku? •Jak jistý jste si vaší odpovědí na otázku ohledně koronavirové krize v Laosu? • PROBLÉMY SOUVISEJÍCÍ S ODPOVĚĎOVÝMI ŠKÁLAMI •Různé interpretace škál •Nenabízí relevantní odpovědi pro respondenty •Nějaká odpověď tam respondentům chybí •Příliš dlouhé a složité si vybavit, jaké hodnoty škála má •Např. máme škálu vysvětlenou pouze v instrukci ke dlouhé baterii otázek What did you feel when you saw the [hateful] messages, comments, or pictures? a) Hatred b) Shame c) Anger d) Humiliation e) Fear f) Sadness g) Fun/excitement h) Nothing j) I don’t know • The respondents would prefer if they could choose and tick more response options, not just one. • Two of the children also missed an option which would represent ‘a desire to avoid people’. INTERVIEW PROBES •Odpovídalo by se vám lépe, kdybychom vám nabídli jiný formát odpovědí? •Chybí vám v nabízených odpovědích nějaká možnost? Jaká? •Jak chápete v kontextu otázky odpověď „párkrát“? Co pro vás u této otázky znamená „ani souhlasím, ani nesouhlasím“? • • • PROBLÉMY S „UPRAVOVÁNÍM ODPOVĚDÍ“ •Sociální desirabilita a sebe-prezentace •Vliv raportu mezi respondentem a tazatelem •Obavy ohledně anonymity a soukromí •Co s tím? •Trénování a zkušení tazatelé •Při kognitivním testování můžeme respondenta ujistit, že nám jde o testování dotazníku a nemusí nám pravdivě odpovídat •Můžeme ho vybídnout, aby si představil ostatní lidi, vyplňující dotazník a zamyslel se nad tím, jaké problémy by s porozuměním dotazníku mohli mít •Myslíte si, že se jedná o citlivou otázku na kterou by lidé záměrně odpovídali nepravdivě? Mohla by podle vás být tato otázka pro odpovídající trapná nebo citlivá? Jak bychom mohli otázku položit, aby se vám na ni odpovídalo lépe? • CO PO SKONČENÍ ROZHOVORU •Sepíšeme poznámky ze všech kognitivních testování •Můžeme využít přepisu celých rozhovorů •Nebo můžeme pouze přepsat části rozhovorů, které se týkají problematických položek •Zesumarizujeme naše poznámky – ke každé položce v dotazníku napíšeme, jestli byla bez problémů nebo problematická •U problematických položek specifikujeme, co bylo problematické a případně také, jak respondenti navrhli položku změnit •Důležité je poznamenat i údaje o respondentovi (např. věk, pohlaví, SES) a na výsledné poznámky se díváme i optikou toho, jaké věci byly problematické např. jen pro mladší děti nebo jen pro muže •Kolik rozhovorů stačí? •Princip saturace dat + naše časové a finanční možnosti •Už nezískáváme nové informace, odpovědi se opakují https://static.vecteezy.com/system/resources/thumbnails/001/214/805/small/hands-taking-notes-during -online-course.jpg LIMITY KOGNITIVNÍHO TESTOVÁNÍ •Závisí na respondentech a jejich schopnosti zprostředkovat nám jejich kognitivní procesy – může být velmi složité •Situace rozhovoru je jiná než situace při vyplňování dotazníku •Respondent o otázkách a odpovědích záměrně více přemýšlí a snaží se nalézt nějaké problémy •Kvalitativní přístup, nedá nám kvantitativní informace o možných problémech a jejich rozsahu •Není třeba revidovat náš dotazník podle všech komentářů, které dostaneme – je na našem zvážení, co je vhodné měnit a co ne! • PILOTÁŽ – CO TO JE •Administrování dotazníku cílovým respondentům s využití stejného módu sběru •Nestačí k tomu hypermotivovaní kamarádi – budou se chovat jinak než normální respondent •Celý dotazník nebo jen část •I zde etika: nezatěžujeme respondenty otázkami, které pro pilotáž nepotřebujeme •Pro DP: typicky krátké dotazníky - je možné pilotovat celé • •Ujasnit si, co chci pilotáží zjistit a tomu ji přizpůsobit •Ověření funkčnosti škály vyžaduje větší množství respondentů (záleží, čím a co chcete ověřovat) •Pro „základ“ a DP stačí pár desítek lidí (od +- 30) – záleží na obtížnosti položek, komplikovanosti tématu a heterogenitě cílové populace •Pro velké sběry řádově stovky respondentů • • • PILOTÁŽ •Různé typy dotazníkového šetření mají různě silnou „potřebu“ pilotáže • •Zcela nový dotazník s novými měřeními, položkami náročnými na přemýšlení, neověřený na cílové populaci •Pilotáž důležitá •(Někdy může stačit kognitivní testování) • • •Dotazník s využitím už v daném jazyce a na dané populaci ověřených měření a módu sběru •Pilotáž spíš zbytečná • • • • PILOTÁŽ •Dva typy informací •O procesu sběru – jak fungoval dotazník po stránce formátu, jak dlouho trvalo vyplnění apod. •Data! – basic info o tom, jak fungují položky •I malá pilotáž může ukázat na velké problémy – např. efekt stropu, výrazný podíl missings u některých položek • •Lze využít i v případě, kdy se testují dvě formulace položky nebo odpovědí •Náhodné rozdělení vzorku na dva a porovnání PILOTÁŽ •(typicky) obsahuje otázky navíc – aktivní požadování feedbacku podle potřeby pilotáže •Vytipujte si položky, které jsou pro vás specificky důležité, jsou citlivé nebo náchylné na sociální žádoucnost nebo si nejste zcela jistí jejich srozumitelností •Na ty se ptejte konkrétně, ale nechte možnost vyjádřit se k jakékoliv položce • • • • • NA CO SE LZE PTÁT •Uzavřené otázky na konkrétní položky •Mohou být na konci dotazníku nebo ihned poté, co na položku měli odpovědět •Pokud je jich málo, nechte na konec, ať vyplní celý dotazník ideálně tak, jak ho bude vyplňovat reálný respondent •Jak se vám odpovídalo na XYZ? Velmi snadno - - - Velmi obtížně •Do jaké míry pro vás bylo jednoduché či obtížné přiznat závistivé pocity/ odpovědět na otázky ohledně frekvence sledování pornografie/ …? Velmi snadné - - - Velmi obtížné •Jak jistí si jste přesností svojí odpovědi na otázku „Kolik hodin obvykle trávíte na internetu během víkendu“? Zcela jistý/á - - - Zcela nejistý/á •Jak snadné nebo obtížné bylo vybavit si, kdy jste naposled viděl/a XYZ? •Zadali jste u některé otázky úmyslně lživou odpověď? (doplněno o identifikaci položky v follow up otázce) •Váhali jste u některé položky, zda na ní chcete odpovídat, např. proto, že se ptala na věci, o kterých neradi mluvíte nebo přemýšlíte? (doplněno o identifikaci položky v follow up otázce) • • • • • Jen ukázky rozsahu, co může být zajímavé (neznamená to, že na vše se vždy musíte ptát) Pilotáž vždy přizpůsobte potřebám konkrétního výzkumu! NA CO SE LZE PTÁT •Otázky na celý průběh vyplňování •Jaké pro vás bylo vyplňování dotazníku? •Snadné / obtížné •Zajímavé / nezajímavé •Jak hodnotíte délku dotazníku / formát dotazníku •Dělal/a jste během vyplňování jiné věci, např. mluvila/ s někým nebo se díval/a na jiné webové stránky? •Na jakém zařízení jste dotazník vyplnil/a? • •Otevřené otázky •Měli jste s odpovědí na některou otázku potíže? Prosím, napište, o jakou otázku/otázky šlo a popište, co bylo na ní pro vás obtížné… •Nebo otevřená ke konkrétní položce •Otevřené jsou fajn, když jich není moc • • PODNĚTOVÉ MATERIÁLY •Fotky •Videa •Hypotetické scénáře •Vytvořené FB profily •Fiktivní reklamy •… • •Pokud má daný podnětový materiál v respondentech vyvolat určitou reakci nebo je potřeba, aby jej hodnotili jako realistický, … •V pilotáži ověříte, že funguje, jak má – pilotáž je tady zcela zásadní •Na správném „fungování“ podnětu typicky stojí celý výzkum • PODNĚTOVÉ MATERIÁLY •Tento popis/profil.. jsme vytvořili jen pro účely tohoto výzkumu. Naší snahou bylo vytvořit jej tak, aby lidé nepoznali, že je fiktivní. Prosím, ohodnoťte, zda podle vás tento popis/profil… byl: • • Realistický x x x x x Nerealistický Snadno představitelný x x x x x Obtížně představitelný Uvěřitelný x x x x x Očividně fiktivní Takto se lidé chovají x x x x x Takto se lidé nechovají Mohlo by se to stát x x x x x Nemohlo by se to stát Relevantní x x x x x Nerelevantní Věrohodný x x x x x Nevěrohodný Podobné profily vídám x x x x x Podobné profily jsem nikdy neviděl/a Jen příklady, na co by se dalo ptát v případě, že by to bylo relevantní pro daný podnětový materiál PODNĚTOVÉ MATERIÁLY •Pomozte nám ohodnotit zobrazenou fotografii. Do jaké míry ve vás budí následující emoce? •Radost •Smutek •Vztek •Spokojenost •Lítost •Soucit •Lhostejnost •… • • PODNĚTOVÉ MATERIÁLY •Často potřebujeme jednoznačný efekt podnětového materiálu •Chceme, aby všichni respondenti vnímali podnětový materiál podobně •A aby do toho nelezly i jiné věci • •Př. vytvoříte článek o léčbě covid a rámujete ho podle žánru – vaše hypotéza je, že žánr ovlivní míru důvěryhodnosti informací •Potřebujete, aby každý jednotlivý podnětový materiál implikoval nejsilněji jen jeden žánr •Ptejte se proto i na jiné žánry: pokud se v pilotáži zeptáte jen na jeden, nedozvíte se, zda a do jaké míry implikuje i jiný (a to vám ztíží interpretaci) • • • • NA CO SE DÍVAT V DATECH? •Typická kontrola po jednotlivých položkách: •Jak vypadá rozložení položek? Je u všech položek nějaký rozptyl? Mrkněte se na histogram •Etika: respondenti musí mít možnost neodpovědět na jakoukoliv otázku (žádné forced answers) – podívejte se na missing values •Je jich u některé položky nezvykle hodně? •Je to citlivá položka? Zvažte úpravu instrukce, abyste podpořili odpovídání •Je to nesrozumitelná položka? Přeformulujte •Chybí tam respondentům relevantní možnost odpovědi? Přidejte ji •„Na svém tabletu mám nainstalovaný antivir,“ odpovědi – ano – ne. Co když dotyčný nemá tablet? •Mohli ji jen častěji přehlédnout? Zvažte úpravu vizuálu nebo zadejte forced odpovědi, ale dejte „nechci odpovědět“ jako jednu z odpovědí •Mají různé skupiny respondentů stejný podíl missings? (např. chybí odpovědi jen u žen? Jaký důvod to může mít?) • (kromě toho, že se díváte na odpovědi na otázky navíc J) NA CO SE DÍVAT V DATECH? •Konzistence v odpovědích •Pokud jsou položky, kde platí, že pokud odpoví jednou tak, v další položce by měl odpovědět tak, kontrolujte, zda to v datech je •Kontingenční tabulka • •U položek v baterii (škále): podívejte se na korelace •Jsou smysluplné? Ve správném směru? •Příliš silná korelace (> 0.9) znamená, že jedna z položek je zbytečná – podívejte se na jejich formulace, nejsou si příliš podobné? •Ale u malé pilotáže nepřeceňujte výsledky (korelace mají široké konfidenční intervaly) •Informačně se můžete podívat i na Cronbachovu alfu nebo na faktorku, ale platí totéž: u malých vzorků nestabilní výsledky • • NA CO SE DÍVAT V DATECH? •Metadata •Jak dlouho trvalo celé vyplnění dotazníku •Pokud je k dispozici – jak dlouho trvalo vyplnění jednotlivých položek (nebo stránek dotazníku) •Pokud systém měří čas po stránkách a v pilotáži není moc položek, můžete zvážit dát jednu položku na jednu stránku •Dlouhá doba může indikovat obtížnou srozumitelnost (ale u online sběrů bez administrátora také multitaskingJ) •Příliš krátká doba může značit nekvalitní vyplňování • •Co naopak nedělat: neřešte testování hypotéz a neupravujte hypotézy na základě pilotážeJ (leda byste zcela mazali měření nějakého konstruktu), počkejte s tím až na ostrá data PILOTÁŽ •Poskytuje spoustu informací, ale i ty je potřeba interpretovat s ohledem na to, koho v pilotáži mám •Často to nebude odpovídat přesně ostrému vzorku •Respondenti často odpovídají i na otázky, kterým nerozumí – malé množství missing values nemusí znamenat, že otázka byla srozumitelná •V pilotáži může být dobré zvážit přidání dalších možností odpovědí („nerozumím otázce“, „nedokážu odpovědět“ apod.) •Není nezbytné upravovat každou drobnost, která se nelíbí jednomu člověku •Osobní preference… •Ale nad každou drobností se zamyslete než ji budete ignorovat • •Když se bude zdát, že něco moc nefunguje, ale vy to potřebujete ve výzkumu použít •Někdy se může stát, že v ostrém sběru fungovat bude (různé chyby měření se ve větším vzorku mohou vzájemně vynulovat) •Nicméně lepší strategie je najít/vytvořit jiné měření • ÚKOL 6 •Vyzkoušejte si kognitivní testování škály, kterou jste překládali minule •Cílovka: VŠ studenti (ale pro účely úkolu sneseme jakékoliv mladé dospělé, pokud by pro vás bylo těžké najít VŠ studenty) •NESMÍ to být studenti tohoto kurzu – musí to být někdo, kdo položky ještě neviděl! •Každý jednotlivě: udělat alespoň 2 kognitivní interview celé škály •Ve stejné skupině jako předtím: sejít se, probrat identifikované problematické položky, sepsat a odevzdat jeden souhrnný report a celé znění dotazníku LITERATURA •Beatty, P. C., Collins, D., Kaye, L., Padilla, J. L., Willis, G. B., & Wilmot, A. (Eds.). (2019). Advances in Questionnaire Design, Development, Evaluation and Testing. John Wiley & Sons. •Collins, D. (2003). Pretesting survey instruments: An overview of cognitive methods. Quality of Life Research, 12, 229–238. •Miller, K., Chepp, V., Willson, S., & Padilla, J. L. (Eds.). (2014). Cognitive interviewing methodology. John Wiley & Sons. •Tourangeau, R., Ripps, L. J., Rasinski, K. (2000). The psychology of survey response. Cambridge University Press. •