Tvorba online dotazníkov POLn6012 Moderní informační technologie  v politologii Michal Tóth Jaro 2022 Online survey | História • 1890 – sčítanie obyvateľov v USA • nárast populácie vplyvom masovej migrácie • odhad trvania spracovania dát – 8 rokov (!) • Herman Hollerith – riešenie –> počítací stroj (záznam dát na papierové kartičky s dierkami) • spracovanie dát sa skrátilo na 3 mesiace • prvé hromadné dotazníkové šetrenie realizované s pomocou „počítačovej techniky“ (analýza) • Hollerith neskôr založil firmu Computing‐Tabulating‐Recording Company (CTR), ktorá sa v 1924 premenovala na  International Business Machines (IBM) Online survey | História II. • druhá polovica 90. rokov 20. stor. – rozmach online dotazníkového výskumu tak ako ho  poznáme • rozšírenie internetu a World Wide Web – vznikajú internetové stránky, prehliadače, hyperlinky,  emailové služby 1999 Survey Monkey 2002 Qualtrics Google Forms Online survey VÝHODY • Cena (avšak závisí na parametroch – napr. požiadavka repre‐vzorky, zber cez agentúru – kto  naprogramuje dotazník?) • Rýchlosť zberu dát (distribúcia dotazníkov a zber odpovedí) • Jednoduchá implementácia (nevyžaduje znalosť programovacích jazykov) • Jednoduchší management (respondenti, pozvánky, dáta... ) • Flexibilita a pokročilé možnosti – zobrazovacia logika, randomizácia, ... • Zisk nadštandardných dát (čas a presná doba vypĺňania, poloha, doba prezerania stimulu, ...) • Interaktivita, multimediálny obsah • Väčšia „sloboda“ pre respondenta (čas, miesto, prechod dotazníkom, zariadenie, ...) • Zmierňuje problém so „social desirability“ (rasizmus, konzumácia alkoholu, výchova detí, ...) • Väčšia miera (pocitu) anonymity • Možnosť využívania predpripravených šablón Online survey NEVÝHODY • Vyžaduje určitú mieru „počítačovej gramotnosti“ • Problematickejšia dostupnosť niektorých segmentov populácie (starí ľudia, vylúčené lokality, ...) • Cena (licencia, zber cez agentúru) • Menšia kontrola nad respondentami (predčasné ukončovanie, odpovedá skutočne náš respondent?) • Nemáme kontrolu nad kontextom, v ktorom sa respondent nachádza (otázky na momentálne pocity  – zima/stres/smútok, ...) Skôr než začnete tvoriť dotazník... 2 kategórie publika:  1) Implementátor dotazníka („programátor“)  2) Respondent • Kvalitný dizajn/návrh dotazníka by mal rešpektovať potreby oboch kategórií (zrozumiteľné pri tvorbe aj  pri odpovedaní) • Dizajn a prevedenie ovplyvňuje spôsob, akým respondent odpovedá na otázky ‐> DATA (validita a  reliabilita) 1. Ak sú otázky mätúce alebo náročné na zodpovedanie: respondenti hľadajú skratky/odpovede hádajú,  odpovede nebudú odzrkadľovať realitu 2. Ak sú zvolené nevhodné typy otázok (zle sa zobrazujú): napr. otázky, ktoré sa nezmestia na obrazovku  – zvyšuje sa chybovosť odpovedí 3. Ak je dotazník príliš dlhý: respondent dotazník nevyplní, otázky preskakuje prípadne predčasne  ukončuje dotazník  nízka reprezentativita dát Skôr než začnete tvoriť dotazník... Prvé kroky: Konceptualizácia a operacionalizácia teoretického konštruktu, ktorý chceme merať • Definovanie konceptu a jeho dimenzií (napr. „spokojnosť so zamestnaním“ – dimenzie – spokojnosť s platom, spokojnost s nadriadeným, spokojnost s pracovnými podmienkami, …) • Operacionalizácia – stanovenie empirických indikátorov a ich transformovanie do konkrétnej otázky v dotazníku 1. Čo chcete pomocou dotazníka zistiť? 2. Aké konkrétne výstupy potrebujete získať? Aké dáta? 3. Kto je skúmaná populácia? Poradie otázok • nevhodne zvolené → zmätenie respondenta, predčasné ukončenie, vplyv na ostatné odpovede... • zoskupovanie do logických podskupín (Q: „Blocks“) • odporúčanie:  • začnite s najjednoduchšími alebo najzaujímavejšími otázkami • nezačínajte s citlivými (príp. súkromnými) otázkami → doprostred dotazníka (vyššia mo vácia ich  zodpovedať), resp. ku koncu • postupujte od všeobecnejších k špecifickejším otázkam • demografické otázky (vek, pohlavie, príjem, ...) na záver (výnimka – nastavenie kvót, filtrácia) • Pozor na to že: • poradie otázok môže ovplyvniť odpovede – context effect (priming, .. ) • vizuálne/“časové“ oddelenie otázok pre zmiernenie context efektu • „habituácia“ – séria podobných otázok → strata pozornos  → rovnaké odpovede • obmena znenia podobných otázok (nielen kozmetická!) Poradie možností odpovede • tendencia vyberať odpovede, ktoré sú „najbližšie“ (nejasné/náročné otázky s množstvom podobných možností výberu)  napr. zisťujeme čo v ľuďoch vyvoláva úzkosť: • strach zo smrti,  • choroba,  • obavy zo straty zamestnania, • škaredé počasie, • dlhy, • ...   Ďalšie možnosti: multiple‐choice odpovede, otvorene odpovede, .. Konštrukcia otázok I. Čo najjednoduchšie • Stručný, jednoduchý jazyk, bez vágnych a abstraktných pojmov • „Podporujete alebo odmietate systematickú reformu imigračnej politiky, ktorá by umožnila  orgánom štátnej správy efektívne administrovať proces udeľovania vízových povolení a  posilňovala súčasné legislatívne nastavenia?“ (je po prvom prečítaní zrozumiteľná?) • „Ako veľmi sú pre Vás dôležité rodinné hodnoty?“ • „Sta za alebo proti využívaniu asistovanej reprodukčnej technológie?“ Konštrukcia otázok II. Čo najšpecifickejšie • Všetci respondenti by mali otázku chápať rovnako • „Kedy ste sa prisťahovali do Brna?“ (nejasný typ odpovede – po strednej škole/keď som mal 20 rokov/... ) • „Ste ranné vtáča?“ („Ak sa spätne pozriete na posledných sedem dní, v akom čase zvyknete ráno vstávať?“) Pozor na „dvojhlavňové“ otázky • „double‐barreled“ questions – dve otázky v jednej • respondent nemôže/nechce na jednu časť otázky odpovedať • „Sú rodinné stretnutia pre Vás a Vašu rodinu dôležité?“ (dve otázky) • „Považujete trest smrti za historický prežitok a myslíte si, že by sa mal  zakázať na celom svete? “ (dve otázky, očakávanie rovnakej odpovede) Konštrukcia otázok III. Nenavádzajte respondetov • Predpojaté, manipulatívne príp. zaujaté formulácie • „Podporujete v týchto ťažkých časoch, kedy COVID‐19 pácha viac škôd  než Druhá svetová vojna, kroky súčasnej vlády?“  (sugestívne, emotívne) • „Spôsobuje podľa Vášho názoru rastúce zaťaženie pracujúcich matiek  stratu rešpektu detí, ktoré si v dnešnej dobe rodičov takmer vôbec  nevážia?“  (sugestívne, dva vložené predpoklady) Nenúťte respondentov odpovedať • Neviem/Nechcem odpovedať • Q: Force response/Request response? Konštrukcia otázok IV. Vyhnite sa:  o skratkám (menej známym) • „Ste spokojný s RPMN Vášho úveru?“ („Ste spokojný s ročnou percentuálnou mierou nákladov Vášho úveru?“) o slangovým/hovorovým výrazom • „Koľko hodín denne strávite sledovaním telky?“ o negatívnym formuláciám otázok • „Ako často nenavštevujete bohoslužby?“ o dvojitým záporom •„Súhlasíte s tým, aby nikto nebol odškodnený?“ o nerealistickým časovým odhadom •„Koľko cigariet ste vyfajčili za celý svoj život?“ Konštrukcia otázok V. Vyhnite sa:  o otázkam na „bezvýhradnú platnosť“ • tlačia respondentov do neprirodzených  odpovedí  Snažte sa zistiť čo najviac na čo najmenšom priestore o Ponúknite respondentovi čo najširšiu škálu odpovedí  (nie len „Áno/Nie“) Aký typ odpovede očakávame? • Závisí na povahe konceptu, ktorý meriame, výskumnej otázke, hypotézach a type následných analýz • Uzatvorené otázky – respondent si vyberá z vopred určených možností • jednoducho kvantifikovateľné (1 = úplne súhlasím, 2 = súhlasím, 3 =ani súhlas ani nesúhlas, 4 nesúhlasím, ... )  • pripravené na štatistickú analýzu • rýchlejší zber dát • výsledky je možné jednoducho sumarizovať a graficky prezentovať • vyššia reliabilita naprieč respondentami • menší priestor pre sociálnu dezirabilitu • vyššia miera anonymity   • Otvorené otázky – respondent odpovedá vlastnými slovami • Respondent nie je pri odpovedi ničím limitovaný • Jednoduchšie na vytvorenie • Nenútia respondenta do výberu skratkovitej odpovede • Na rozdiel od rôznych typov uzavretých otázok sú pre respondenta jednoduchšie pochopiteľné • Predlžujú dobu vypĺňania • Vyžadujú od respondenta viac úsilia Uzatvorené otázky I. Multiple choice • Respondent si z pripraveného zoznamu vyberá jednu alebo viac odpovedí (single  answer/multiple answer) • Single answer (select) • ponúknuté kategórie musia byť jasné a  vzájomne výlučné (neprekrývajúce) • Multiple answer (select) Uzatvorené otázky II. Škály • súbor odpovedí reprezentujúcich jednotlivé pozície na kontinuálnej osi • Hodnotiace škály (rating scales) • forma multiple‐choice otázky • Respondent vyberá z kontinuálne zoradených kategórii jednu možnosť • „Ako často meškáte do práce?“ 1) Veľmi často (takmer denne) 2) Často (2x do týžna) 3) Občas (raz  týždenne) 4) Zriedka (raz za mesiac) 5) Nikdy • Zoradzovacie škály (rank order scales) • Respondent zoraďuje ponúknuté kategórie podľa zvoleného kritéria Uzatvorené otázky III. • Likertova škála (Likert scale) • Vyjadrenie súhlasu/nesúhlasu s tvrdeniami prostredníctvom výberu  z rozsahu odpovedí • Typicky od „absolútne nesúhlasím“, cez neutrálny bod po „úplne  súhlasím“ • Každá odpoveď na škále predstavuje numerické skóre • Pri zisťovaní postojov a názorov na témy, objekty, ... • Otázka dĺžky škály – 5/7/9 ? • Sémantický diferenciál (Semantic differential) • Respondent si vyberá vždy jednu hodnotu na stupnici medzi dvomi  protikladmi • 3 až 10 stupňov medzi bipolárnymi výrazmi • Oproti Likertovej škále zachytí aj jemnejšie rozdiely v postojoch Dizajn • čitateľný (striedme fonty, farby, pozadie, ..) • pozor na gramatické chyby • univerzálny dizajn (rôzne prístupové platformy/zariadenia)  • progess indicator – ano/nie? • back button – ano/nie? • Číslovanie otázok? (problém pri podmienenom zobrazovaní) • Úvodná obrazovka • Väčšina respondentov, ktorí dotazník nedokončia, skončia práve tu! • Čo by na nej malo byť? • Uistenie, že je respondent na správnom mieste • Odkiaľ sa dotazník vzal, a o čo v ňom ide • Informácie o anonymite dát • Odhadovaný čas vyplnenia • Povzbudenie, aby dotazník vyplnil (odmena?) • Bez zbytočností (čo najstručnejšie informácie) Dizajn II. • čo „najčistejší“ (bez zbytočných obrázkov, grafiky, ... – pozor na objemné súbory) • user‐friendly • bez nadbytočných a irelevantných otázok (držať sa témy) • „Skrolovací“ vs. „stránkový“ dizajn: • Skrolovací (podobný papierovému dotazníku): • Neukladá odpovede priebežne! • Vhodnejší pri krátkych dotazníkoch • Keď je dôležitý kontext (umiestnenie otázky) • Ak sa nepoužíva zobrazovacia logika (bez filtračných otázok) • Častejšie dochádza k vynechaniu odpovede • Dochádza k vzájomnej korelácii medzi odpoveďami (podobné otázky) • Stránkový dizajn • Jedna resp. viac otázok na stránke • Odpovede sa priebežne ukladajú (dotazník je možné ukončiť v inom čase) • Interaktivnejší a dynamickejší (randomizácia, preskakovanie otázok, filtrácie, ...) • Respondent nepozná dĺžku dotazníka