ZURN6311 DOTAZNÍKOVÝ VÝZKUM: PRAKTICKÉ RADY Lenka Dědková TOTAL SURVEY ERROR • •Total Survey Error = Sampling error + Coverage error + Nonresponse Error + Measurement Error VO a tvorba dotazníku Výběr respondentů a poslání pozvánky Odeslání dotazníku, zpracování dat Tvorba odpovědí JAK TVOŘIT NOVÉ POLOŽKY A ŠKÁLY •„Jednopoložkové“ měření – jedna položka = jedna proměnná v analýze •Typicky sociodemografické proměnné •Ale i mnoho dalších: frekvence sdílení fotek, čas strávený online, … •Konstrukty s jasnými indikátory, kde jedna položka stačí • •„Vícepoložkové“ měření – jedna proměnná v analýze vyjadřuje skór napříč více položkami •Komplexnější konstrukty, obecnější konstrukty – jedna položka na ně nestačí •„Neviditelné“ charakteristiky: vlastnosti, postoje… •Předpokládáme, že respondent má nějakou charakteristiku a ta se nějak projevuje v řadě dílčích situací/chování/hodnocení •I postoje jsou komplexní •Vzorce zkušeností nebo událostí, které dohromady ovlivňují něco dalšího •Předpokládáme, že čím víc zažijeme jednotlivé formy kyberšikany, tím víc se to projeví na sebehodnocení • TVORBA NOVÝCH POLOŽEK •Koncepty à Konstrukty à operacionalizace (někdy „empirical concept“) à konkrétní položky •Idea data • •Rodičovská mediace používání internetu à Monitoring à míra sledování online aktivit dítěte •Jak často děláte následující věci? •Sleduji množství času, které dítě strávilo používáním internetu •Kontroluji, koho sleduje na Instagramu •Prohlížím si historii v prohlížeči potom, co bylo na internetu •… •V různých studiích může být rodičovská mediace pojímaná jinak (aktivní mediace, restriktivní..), monitoring může mít širší/užší definici a může být měřen jinými položkami •Záleží na VO a teorii • TVORBA NOVÝCH POLOŽEK •Koncepty à Konstrukty à operacionalizace (někdy „empirical concept“) à konkrétní položky •Idea data • • •Při tvorbě nových položek si ujasněte: •Definici konstruktu – co přesně vlastně potřebujete měřit? •Je to jednoduché chování/událost/zkušenost? Stačí mi jedna položka, aby zachytila cele konstrukt? •Jak to budete analyzovat? Bude z toho v analýze jedna proměnná nebo víc? •Důvody, proč lidé sledují reality show – jak to bude vypadat v analýze? •Aktivity občanské angažovanosti - jak to bude vypadat v analýze? •Je smysluplné z nich dělat souhrnný skór? • TVORBA NOVÝCH POLOŽEK •Důvody, motivy, aktivity •Lze v analýze použít jednotlivě po položkách •Proč jste se naposledy díval/a na Real housewives of Beverly Hills..: •Chtěl/a jsem se zabavit •Chtěl/a jsem vidět, jak se žije v BH •Pustil/a jsem si na pozadí, aby nebylo ticho •Abych si cvičil/a angličtinu •Abych se inspiroval/a •… •Někdy je smysluplné spojovat některé z nich do obecnějších motivů/vzorců chování nebo dělat souhrnný skór napříč všemi – zdaleka ne vždy •Motivy - Entertainment, Education, Inspiraton,… •Důvody zaměřené na sebe (dobrovolničím, protože z toho mám dobrý pocit), důvody zaměřené na jiné (dobrovolničím, protože tím pomáhám druhým) •Aktivity spadající pod občanskou angažovanost – online, offline; pasivní, aktivní,… • • Teorie! TVORBA NOVÝCH POLOŽEK •„Neviditelné“ charakteristiky •Komplexnější konstrukty, méně jasně ohraničené •Vlastnosti, postoje, hodnocení •Jedna položka typicky nezachytí dobře celý konstrukt (ohrožení obsahové validity) •Ale i takové existují – global well-being item a mohou být ok, pokud jsou to existující položky a existují důkazy o tom, že fungují (validizační studie) •Pokud byste tvořili nové měření, pak jednopoložkové měření může být ok v případě, kdy: •Je dotazník příliš dlouhý •A kdy daný konstrukt není pro analýzu ústřední – tzn. není to závislá proměnná ani hlavní explanační proměnná/é, je to „jen“ kontrolní proměnná (kovariát) • • • • • TVORBA NOVÉ ŠKÁLY PRO DP •Jak sestavit seznam aktivit, důvodů •Vyjít z teorie a existující literatury – z existujících měření, z existujících kvalitativních studií, z pečlivé definice a porozumění obsahu konstruktu •Pokud není nebo nestačí, lze využít: •Panel expertů – lidí, kteří rozumí obsahu konstruktu, brainstorming •Focus groups s cílovkou, případně otevřená otázka v dotazníku – „Jaké důvody by lidé mohli mít pro sledování Real housewives…?,“ „Co vás vede ke sledování…?,“ „V jakých situacích typicky zapnete…“ •Ne vždy je potřeba vyčerpávající seznam, zaměřte se spíš na to, co je významné z hlediska VO (a umožněte v dotazníku odpověď „else“) •Jak sestavit škálu měřící neviditelné charakteristiky? •Totéž, ale bez dat od cílovkyJ • •Pro DP není potřeba a priori validizace, ale měla by být jasná obsahová validita a zjevná validita •Pokud budete tvořit jeden skór z víc položek – měly by mít stejnou odpověďovou škálu • JAK SE PTÁT: ANO VS NE •Ano VS ne jako odpovědi na chování, zkušenosti, postoje, vlastnosti… •Někdy ok (Hlasovali jste v poslední studentské anketě?) •ALE! Za ANO x NE je ve skutečnosti často škála odpovědí – jak často se mi věci dějí, jak moc na mě platí, jak moc s něčím souhlasím, s jakou pravděpodobností půjdu k volbám a budu volit konkrétní stranu •Respondent si musí svoji odpověď, která je někde mezi oběma póly, překódovat do ANO nebo NE •Lidé často implicitně (i když někdy mylně) chápou, že se ptáme spíš na typické chování a ne na supervzácné chování •U mnoha jevů vede k vyšší prevalenci „ne“ odpovědi než kdybychom na stejnou otázku dali jako možnost odpovědí škálu •U řídkých jevů, které jsou zároveň výrazné, funguje lépe • JAK SE PTÁT: ANO VS NE •Občas se ano vs ne otázka používá pro filtrování – identifikaci lidí s nějakou zkušeností •Doporučujeme i pro takový způsob dát frekvenční škálu, typicky díky ní identifikujete víc lidí, kteří zkušenost zažili • •Obecně – ANO vs NE otázky, které „pod sebou“ mají škálu, je potřeba řešit vyprecizováním formulace a vyhýbáním se vágních pojmů, např: •Poskytnout explicitní cut off point •„Stalo se vám během posledního měsíce alespoň jednou, že ….“ (vs. „Stalo se vám, že…“) •„Prosím, označte „ano“ i pokud se vám daná věc stala pouze jednou“ •Zahrnout i méně závažné jevy/události, na které by člověk jinak nemyslel •„Vyhráli jste někdy při sázení? Započítejte i takové případy, kdy jste vyhráli jen drobnou částku.“ •„Pili jste během posledního měsíce alkohol? Berte v potaz prosím opravdu všechno pití alkoholu – i takové, kdy jste třeba jen ochutnali z alkoholového nápoje někoho jiného.“ JAK SE PTÁT: ANO VS NE NEBO RATING SCALE •Když používáš internet, jak často dělá tvůj rodič / opatrovník následující věci? •[Mluví se mnou o tom, co dělám na internetu] VERZE A n = 525 n = 423 VERZE B Nikdy 31.8 63.6 Ne Téměř nikdy 28.2 36.4 Ano Občas 25.9 Často 9.7 Velmi často 4.4 SUBJEKTIVITA NEBO „OBJEKTIVITA“? •Vágní kvantifikátory mohou mít jiný význam pro různé aktivity •Co je „často“ pro frekvenci vkládání fotek na IG? •Co je „často“ pro jízdu na černo v mhd? •Co je „často“ pro zlomení si nohy? • •A pro různé lidi •Co je „často“ pro cvičení pro průměrného studenta FSS? •Co je „často“ pro cvičení pro průměrného studenta FSpS? • • • Záleží na VO a teorii! Jde nám spíš o vlastní pocit, jaký z chování člověk má? Jde nám spíš o „objektivní“ fakta? SUBJEKTIVITA NEBO „OBJEKTIVITA“? •Jak často se ti staly následující věci v posledních 12 měsících? •[Nejedl/a jsem nebo nespal/a kvůli internetu ] VERZE A n = 536 n = 482 VERZE B Nikdy 74.4 74.9 Nikdy nebo téměř nikdy Nanejvýš párkrát 17 19.3 Občas Alespoň jednou měsíčně 3 3.9 Často Alespoň jednou týdně 3.9 1.9 Velmi často Denně nebo téměř denně 1.7 •Už jsme řešili při cvičení u počtu fotek na SNS: záleží na tom, co potřebujete vzhledem k VO, ale mějte na paměti: •„Objektivní“ frekvence je často stejně jen subjektivní odhad •„Objektivní“ frekvence může být náročnější (musíte vědět zhruba realistickou frekvenci daného chování) •Ale obvykle to výrazně nemění vztahy s jinými proměnnými KOLIK BODŮ V RATING SCALE? •3-bodové odpověďové škály jsou nejproblematičtější z hlediska analýzy, doporučujeme je nepoužívat •5-bodové se doporučují, pokud škála měří jen jeden směr nebo jeden konstrukt •Frekvence, míra nepříjemných pocitů • 7-bodové se doporučují, pokud jsou v odpovědi oba směry •Od Naprosto souhlasím po Naprosto nesouhlasím • •Slovní kotvy u odpovědí – je lepší mít slovně popsané všechny body škály a v dotazníku u nich nemít čísla •Tj. „naprosto souhlasím,“ „souhlasím“.. a ne „1 – naprosto souhlasím,“ „2 – souhlasím“.. • RATING SCALES •Napříč dotazníkem je dobré být konzistentní v pořadí odpovědí •Všechny frekvenční škály od nízké frekvence k vysoké (nebo naopak) •Všechny hodnotící škály od nesouhlasu k souhlasu (nebo naopak) CO JE A NENÍ LIKERTOVKA •30. léta - Rensis Likert vytvořil nové měření pro postoje •Několik tvrzení, obsahujících jak pozitivní tak negativní (reverzní položky), ke kterým respondent vyjadřoval míru souhlasu na 5-bodové škále (Strongly Agree, Agree, Neither Agree nor Disagree, Disagree,Strongly Disagree) •Reverzní položky se otočí a skóry sečtou •To je Likertova škála: BATERIE položek, které měří stejný konstrukt • •Pokud měříme jednopoložkově, je to rating scale, hodnotící škála POLOŽKA A ODPOVĚĎ •Frekvenční odpovědi •Jednou, dvakrát,.. •Nikdy, málokdy.. •Vůbec, trochu, málo, hodně • •„Hodnotící“ odpovědi •Naprosto platí, spíše platí,… •Silně souhlasím,… •Zcela snadné,… •Naprosto pravděpodobné… •Frekvenční formulace tvrzení •Často chodím do lesa •Málokdy se naštvu •Někdy mi trvá než.. • •„Hodnotící“ formulace tvrzení •Dokážu rozpoznat… •Je pro mě snadné najít… • Pozor na to, ať se nebijí àNa frekvenční tvrzení nedávejte frekvenční odpovědi JAK SE PTÁT: ODPOVĚĎOVÉ ŠKÁLY •Pokud se bojíme o rozptyl •Škála mediální gramotnosti pro VŠ – hodně lidí patrně bude mít vysokou mediální gramotnost •Možnosti: •Nabídnout větší šířku odpovědí (přidat extrémy) •(1) velmi obtížné, (2) obtížné, (3) ani obtížné, ani snadné, (4) snadné, (5) velmi snadné •(1) opravdu velmi obtížné, (2) poměrně obtížné, (3) spíše obtížné, (4) ani obtížné, ani snadné, (5) spíše snadné, (6) poměrně snadné, (7) opravdu velmi snadné •Je potřeba, aby formát dotazníku umožňoval vizuálně hezkou škálu •V rating scales nemá valný význam jít výš než na 7-bodovou škálu •Zostřit položku samotnou •Je pro mě snadné používat různá mediální prostředí... (1) rozhodně nesouhlasím, (2) spíše nesouhlasím, (3) ani tak, ani tak, (4) spíše souhlasím, (5) rozhodně souhlasím •Je pro mě opravdu velmi snadné používat… •Lze udělat i v případě adaptace existující škály! (ale je to potřeba popsat a odůvodnit) • JAK SE PTÁT: KATEGORICKÉ PROMĚNNÉ •Při větším počtu kategorií dva efekty (jeden z efektů pořadí): •Primacy effect – vyšší pravděpodobnost, že respondenti zvolí jednu z prvních možností •Hodně kategorií snižuje motivaci nad každou pečlivě přemýšlet a povzbuzuje heuristické odpovídání – respondent zvolí první „good-enough“ odpověď a zbytek přeskočí •Recency effect - vyšší pravděpodobnost, že respondenti zvolí jednu z posledních možností •Typicky u dotazování s tazatelem, kde tazatel nejprve čte všechny kategorie – respondent si víc pamatuje ty na posledních místech, proto volí častěji mezi nimi •Při self-completion – někteří lidé čtou dotazníky od konce • •Co s tím: •Pečlivě zvážit a zredukovat množství kategorií •Pokud je jich hodně, povzbudit respondenta, ať se je opravdu všechny přečte („Možností odpovědí je tady hodně, je ale důležité vybrat skutečně tu, která na vás sedí nejlépe“) •Randomizovat pořadí kategorií MULTIPLE CHOICE POLOŽKY •Multiple choice je vlastně série single-choice otázek •Jaká zařízení s připojením na internet používáte? Vyberte vše, co pro vás platí: •Chytrý telefon •Tablet •TV •Stolní počítač •Notebook •… •Reálně se ptáme: •Používáte chytrý telefon? Ano – ne •Používáte tablet? Ano – ne •… •V online dotazníku je lepší multiple choice i reálně dělat jako single choice – abyste měli jistotu, že respondenti otázku nepřeskočili TVORBA NOVÝCH POLOŽEK: PRETESTING! •Před využitím cílových respondentů: •Hodnocení expertů •Question appraisal system (QAS) nebo jiné self-check systémy pro kontrolu položek •S využitím cílových respondentů: •Kognitivní testování •Individuální •Fokusky •Pilotáž • •Vždy si zkuste sami celý dotazník vyplnit (jako respondent)! •Často na to zapomínáme, ale dělejte to – odhalíte tím snadněji potíže v instrukcích, ve flow, sami si víc uvědomíte, co po respondentech chcete a jestli to není příliš náročné… • QUESTION APPRAISAL SYSTEM (QAS) •Nejen QAS, existují i jiné – self-check seznamy typických problémů, které položka může mít a návrhy typických řešení •Systematické hodnocení jednotlivých položek • •QAS-99: Willis & Lessler (ve studijních materiálech) – základní okruhy, 26 problémů: •READING: Determine if it is difficult for the interviewers to read the question uniformly to all respondents. (jen ve výzkumech s tazateli) •INSTRUCTIONS: Look for problems with any introductions, instructions, or explanations from the respondent’s point of view. •CLARITY: Identify problems related to communicating the intent or meaning of the question to the respondent. •ASSUMPTIONS: Determine if there are problems with assumptions made or the underlying logic. •KNOWLEDGE/MEMORY: Check whether respondents are likely to not know or have trouble remembering information. •SENSITIVITY/BIAS: Assess questions for sensitive nature or wording, and for bias. •RESPONSE CATEGORIES: Assess the adequacy of the range of responses to be recorded. •OTHER: Look for problems not identified in Steps 1 - 7. • QUESTION APPRAISAL SYSTEM (QAS) •Identifikuje řadu potenciálních problémů •Cílem je vědět o nich a snažit se je minimalizovat – ve fázi hodnocení být striktní a nemávat rovnou nad malým problémem rukou •Mít to zaznamenané •Ale žádná položka není dokonalá pro všechny respondenty za všech okolností •I když už jste v položkách zběhlí, nezanedbávat pečlivou kontrolu •Problémy nám často uniknou, vám budou položky vždy jasné víc komukoliv jinému •Můžete použít sami na své položky nebo požádat o hodnocení i někoho dalšího •Udělat před tím, než položky hodnotí cíloví respondenti (tj. před kognitivním testováním nebo pilotáží) Obsah obrázku stůl Popis byl vytvořen automaticky Formulář samotný Obsah obrázku text Popis byl vytvořen automaticky Konkrétní problémy, příklady, komentáře CELKOVĚ K TVORBĚ DOTAZNÍKU •Proces sběru dat v dotazníku je pořád procesem komunikace •A to i když není tazatel • •Bez tazatele všechnu komunikaci musí zprostředkovat jen dotazník •Např. i neverbální (tazatel v položení otázky může zdůraznit důležité slovo) •Kolikrát jste v posledních 12 měsících NA INTERNETU viděl/a reklamu na ponožky? •Kolikrát jste v posledních 12 měsících na internetu viděl/a reklamu NA PONOŽKY? • •Proto se nebojte s respondentem prostřednictvím dotazníku komunikovat •Vysvětlovat vaše motivy, když je to potřeba •Povzbuzovat ho na vhodných místech •Ujišťovat ho na vhodných místech • •Dobrý dotazník není jen série neprovázaných sekcí/položek – má nějakou vnitřní logiku, má mít flow, i když je flow někdy zprostředkované jen spojovací větou „A teď se zeptáme na něco zcela jiného“ J • ZKRESLENÍ •U jednotlivých položek nám jde o největší přesnost a nejmenší zkreslení daná tím, jak se ptáme •Systematická zkreslení - zásadní problém pro deskriptivní cíle •Pokud se týkají stejně všech lidí, pak pro analytické cíle jsou zásadní méně •Pokud si všichni systematicky uberou z věku 5 let, pak: •Ovlivní to průměr, medián a modus •Neovlivní to rozptyl a SD •A nijak to neovlivní sílu vztahu mezi věkem a jinými proměnnými •Pokud si někdo ubere, někdo přidá (a nesystematicky) – už to ovlivní i vztahy •Částečně to řeší proměnná jako kovariát (např. parciální korelace, prediktor v regresi) • ZKRESLENÍ: DEMAND CHARACTERISTICS •Když respondent odhalí účel výzkumu a odpovídá (nebo se chová) jinak než normálně •Dotazník u výběrového řízení! •Nemusí to být nijak uvědomované •Účel výzkumu může „odhalit“ špatný (mýlit se) •Největší problém v experimentálních výzkumech s tazatelem/administrátorem •Vodítka pro interpretaci účelu výzkumu jsou různá •Pozvánka a sponzor •Konkrétní položky a jejich pořadí •Celá situace (laboratoř, škola..) Změna odpovídání v různých směrech: -„dobrý respondent“ – odpovídá tak, aby vám vyšly hypotézy -„ošklivý respondent“ – odpovídá tak, aby vám to nevyšlo ZKRESLENÍ: DEMAND CHARACTERISTICS •Pozor specificky u studií hodnotících efektivitu (čehokoli) na stejných respondentech (within subject design) •Mohou si snadno domyslet, že pokud právě prošli školením o tom, jak poznat fake news, očekáváte od nich, že v následném dotazníku budou skórovat výš na položkách ptajících se na jejich dovednosti ohledně rozpoznání fake news • •Co s tím: •Pokud by problém mohl vzniknout v pozvánce: neuvádět (ale v rámci etiky) •Lze zvážit zastírací účel •V surveys zvážit přidání pro vaši VO nerelevantních položek na rozptýlení respondenta •U konkrétních položek nebo settingu lze přidat instrukci typu „Jde nám teď o reálné zhodnocení školení tak, jak jste ho vnímal/a – ať už pozitivně nebo negativně. Jen upřímné odpovědi nám pomohou ho dobře zhodnotit a případně upravit.“ POSITIVITY BIAS •Především u hodnotících obousměrných škál •Tendence hodnotit věci (a ještě více ostatní lidi) spíše pozitivně •Zmírněná, pokud střední hodnota škály je popsaná slovně a explicitně vyjadřuje neutrální možnost •Silnější, pokud jsou body škály číslované a jdou do mínusu (tj. pokud namísto 1-7 jsou označené -3 – 3) EFEKT KONTEXTU •Víc aspektů survey ovlivňuje naše odpovědi •Pozvánka a účel výzkumu, sponzor •Tazatel a celý setting (laboratoř, čas výzkumu, počasí) •Vizuální stránka (formát dotazníku) •… • •Kontext ovlivňuje všechny kroku procesu odpovídání na položku • • Výřez obrazovky Výřez obrazovky Tourangeau, s. 218-219 „Target“ – položka, co nás zajímá „Context“ – vše kontextové, vč. položek předcházejících target položce „Context“ ovlivňuje odpověď na „target“ „Assimilation“ – odpověď na target je podobná odpovědi na „context“ položku „Contrast“ – odpověď na target protichůdná KONTEXT: SPONZOR EFEKT POŘADÍ •Efekt pořadí: Odpovědi na otázky ovlivňují instrukce, otázky i odpovědi předcházející •2 možnosti dopadu: •Pokud při jiném pořadí otázek dojde k posunu v rozložení odpovědí à directional context effect •Pokud dojde k posunu vztahu mezi proměnnými (tj. efekt pořadí vede u jedněch respondentů k posunu k jednomu pólu odpovědí a u jiných k posunu k druhému pólu odpovědi) à correlational context effect • •Obecně platí, že pokud jsou u sebe otázky, které spolu souvisí (byť někdy jen celkovým tématem a ne konkrétním obsahem), budou se odpovědi ovlivňovat EFEKT POŘADÍ •Pozor na situace, kdy měříme chování a jeho hodnocení •Setkali jste se v posledním roce s někým z internetu? •A jak bezpečné nebo nebezpečné podle vás je takto se s někým setkat? •Co může nastat? • •Pozor, pokud měříme sebehodnocení a sociálně žádoucí chování •Kolikrát za poslední měsíc jste udělali něco nezištně pro druhé, např. přispěli na charitu? •Do jaké míry souhlasíte nebo nesouhlasíte s tvrzením „Jsem dobrý člověk“? •Co může nastat? • • EFEKT POŘADÍ: CO S NÍM •Identifikujte potenciální problém: přemýšlejte o tom, jak se asi bude odpovídat lidem, kteří na předchozí otázku dali jeden i druhý extrém, jak spolu otázky v dotazníku souvisejí • •Otázky, které by se mohly ovlivňovat: •Oddělit – vložit mezi ně blok jiných otázek, dát na jiné místo v dotazníku •Někdy je jediné řešení do dotazníku dát položky, které reálně do výzkumu nepotřebujete, ale slouží jen k tomuto účelu •Oddělit instrukcí – „To, zda něco děláme nebo neděláme, nemusí nijak souviset s tím, co si o dané činnosti myslíme. Ať už jste na předchozí otázku odpověděl/a jakkoliv, myslíte si, že…“ • DALŠÍ LITERATURA •https://www.aapor.org/AAPOR_Main/media/MainSiteFiles/AAPOR_Reassessing_Survey_Methods_Report_Final .pdf •Baker et al. (2016). AAPOR report: Evaluating survey quality in today's complex environment. • •Fajn pro zamyšlení nad celým výzkumem – popisuje lidsky základní problémy v survey metodologii Obsah obrázku text Popis byl vytvořen automaticky LITERATURA •Gideon, L. (Ed.). (2012). Handbook of survey methodology for the social sciences. New York: Springer. •Groves, R. M., Fowler Jr, F. J., Couper, M. P., Lepkowski, J. M., Singer, E., & Tourangeau, R. (2009). Survey Methodology (Vol. 561). John Wiley & Sons. •Tourangeau, R., Ripps, L. J., Rasinski, K. (2000). The psychology of survey response. Cambridge University Press. •Willis, G.B. and Lessler, J.T. (1999). Questionnaire Appraisal System: QAS-99. Rockville, MD: Research Triangle Institute. https://www.researchgate.net/publication/267938670_Question_Appraisal_System_QAS-99_By •