Dotazníkový výskum 1 BSSn4405 Koncepce a metody výzkumu v bezpečnostních a strategických studiích Michal Tóth JS 2024 2 Dotazník • Najetablovanejšia technika zberu dát od respondentov v sociálnych vedách • Nevyžaduje nutne priamu interakciu výskumníka s respondentom (pošta/telefón/online) • „Jednoduchá“ cesta ako získať dáta od veľkého počtu osôb → využitie hlavne v kvantitatívnom výskume • Štandardizovaná/štrukturovaná podoba → posilňuje validitu a reliabilitu výskumu 3 Dotazník: silné stránky • Zisk dát od veľkého počtu respondentov • Rýchlo (závisí na zdrojoch a forme distribúcie) • Lacno (?) (relatívne – závisí od formy distribúcie, požiadaviek na vzorku (agentúra?)) • Nižšie požiadavky na zaškolenie tazateľov (v porovnaní s kvalitatívnymi metódami (pozorovanie/obsahová analýza, ...)) • Pomerne presvedčivá anonymita (ale opäť závisí na distribúcii) • Nižšie skreslenie dát vplyvom osoby výskumníka – „interviewer bias“ (opäť závisí na forme distribúcie) 4 Dotazník: slabiny • Vysoké nároky na respondenta – musí byť ochotný odpovedať • Spoliehanie sa na to, že odpovedal pravdivo • Spoliehanie sa na to, že odpovedal skutočne konkrétny respondent (závisí na forme distribúcie) • Riziko vynechania niektorých otázok (závisí na forme distribúcie – force response?) • Riziko nízkej návratnosti (nekompletný/nereprezentatívny dataset) Dotazník: skôr než začneme • Čo chcete pomocou dotazníka zistiť? (VO, hypotézy,..) • Aké konkrétne výstupy potrebujete získať? • Kto je skúmaná populácia? • Aké formu dát potrebujete? • Ako budete dáta analyzovať? Prvé kroky: Konceptualizácia a operacionalizácia teoretického konštruktu, ktorý chceme merať • Definovanie konceptu a jeho dimenzií • napr. „spokojnosť so zamestnaním“ – dimenzie – spokojnosť s platom, spokojnosť s nadriadeným, spokojnosť s pracovnými podmienkami, …) • Operacionalizácia – stanovenie empirických indikátorov a ich transformovanie do konkrétnej otázky v dotazníku 5 6 Otázky • Základný stavebný kameň dotazníka • Dôležité nielen to ČO sa chceme pýtať, ale aj AKO sa to chceme pýtať • Správna formulácia otázky zaručí: • ochotu odpovedať • odpovedať pravdivo • „Radi bijete svoje deti?“ • „Ako často páchate trestnú činnosť?“ • „Považujete sa za psychicky chorého človeka?“ • Formulovanie otázok nie je vôbec banalita → množstvo potenciálnych pochybení → potrebný skill 7 Otázky: základné delenie • Otvorené • Respondent odpovedá podľa vlastnej úvahy vlastnými slovami • Typicky od respondenta očakávame nejaké vysvetlenie (otázky Prečo? Ako?, ...) • Netlačia respondenta do potenciálne skreslenej/skratkovitej odpovede • Jednoduchšie pochopiteľné (v porovnaní s inými typmi) • Vyžadujú od respondenta viac úsilia (kvalita odpovede závislá na vyjadrovacích schopnostiach respondenta) • Predlžujú dobu vypĺňania dotazníka • Jednoduché na vytvorenie, náročné na analýzu 1. Uveďte hlavné dôvody, prečo ste sa rozhodli vstúpiť do armády: ................................................................................................ ................................................................................................ 8 Otázky: základné delenie • Uzavreté • Respondent si musí vybrať z ponúkaných odpovedí • Ťažšie na vytvorenie, jednoduchšie na spracovanie analýzu (pripravené) • Odpovede sú jednoducho kvantifikovateľné (1 = úplne súhlasím, 2 = skôr súhlasím, 3 =ani súhlas ani nesúhlas, 4 = ... ) • Rýchlejší zber dát • Vyššia miera anonymity • Väčšia reliabilita naprieč respondentami (pochopenie otázky) 2. Ktoré ročné obdobie máte najradšej?  Jar  Jeseň  Leto  Zima 9 Otázky: špecifické typy • Likertová škála • Jeden z najčastejšie využívaných typov • Zložená z výrokov umiestnených na pomyselnej ose (súhlasím- nesúhlasím) • Vhodná na meranie postojov (politikám/aktérom/opatreniam ...) • Typicky: zisťovanie miery spokojnosti alebo súhlasu • Odpoveď na škále = numerické skóre (pripravené pre štat. analýzu) • Dĺžka škály (5/7/9?) „Ako veľmi ste spokojný/spokojná s vedením Vášho mesta?“ Veľmi spokojný Prevažne spokojný Ani - ani Prevažne nespokojný Velmi nespokojený 1 2 3 4 5 Otázky: špecifické typy • Sémantický diferenciál • umiestnenie postoja na škále medzi dvomi bipolárnymi, protikladnými hodnoteniami • zachytenie jemnejších rozdielov v postojoch alebo pocitoch • lepšie pochopenie respondentovho vnímania skúmaného objektu • Škála 3/5/7 (nepárna kvôli neutrálnemu postoju) 10 Otázky: špecifické typy • Zoznam položiek/Výber z možností • Respondent si vyberá z vopred pripraveného zoznamu jednu alebo viac odpovedí (single vs. multiple choice) • Ponúkané možnosti musia byť jasné, kompletné no vzájomne sa neprekrývajúce 3. Prosím, vyberte si svoju vekovú skupinu: ❑ menej než 18 ❑ 19 až 25 ❑ 25 až 35 ❑ 45 a viac 11 12 Konštrukcia dotazníka • Základné požiadavky • Jednoduchosť a zrozumiteľnosť (formulácia otázok, vizuálna stránka,...) - naberá význam pri distribúcii na diaľku • Logické usporiadanie (skupiny otázok, od všeobecného ku konkrétnemu) • Príťažlivosť pre respondenta (benefit / vizuál / záujem o problematiku) • Zahrnutie len toho, čo potrebujeme naozaj zistiť ( dĺžka,  cena, ochota vyplniť) ✓ Definovaný výskumný cieľ, prípadne hypotézy 13 Konštrukcia dotazníka • Úvod • Väčšina respondentov, ktorí dotazník nedokončia, skončia práve tu! • Cieľ: získať pozornosť, ochotu (motivácia) a dôveru respondenta • Informácie o účele dotazníka/anonymite/časovej náročnosti / odmene • Inštrukcie • Jednoduché otázky s minimálnou záťažou, zaujímavé (upútanie pozornosti) • Nezačínať s demografickými otázkami (– pocit narušenia anonymity, radšej na záver) • Výnimka: kvóty, filtračné otázky (rôzni participanti = rôzny prechod dotazníkom) 14 Konštrukcia dotazníka • Prostredná (hlavná) časť • Kľúčové, meritórne, otázky výskumu • Logické celky • Vyššia záťaž pre respondenta • Ku koncu (záver) • Respondent môže byť unavený • Citlivé/problematické otázky (možná negatívna reakcia respondenta) • Demografické otázky • Poďakovanie / debriefing 15 Najčastejšie chyby • tvorba dotazníku poskytuje veľký priestor pre chyby → premyslieť a testovať • NEVHODNE ZVOLENÉ PORADIE OTÁZOK • poradie otázok môže skresliť odpovede • odpoveď aktivuje špecifické v mysli koncepty ďalšie odpovede • napr.: ak sa budeme pýtať najprv na spokojnosť v nejakej špecifickej oblasti života (práca), tak to môže ovplyvniť odpovede na všeobecné otázky o spokojnosti (život ako taký) • priming – ovplyvnenie odpovede indukovaním nesúvisiacej myšlienky • Ako veľmi máte radi Francúzske jedlo? • Ktoré sú vaše tri najobľúbenejšie dovolenkové destinácie? • séria veľmi podobných otázok po sebe → strata pozornosti → rovnaké odpovede („habituácia“) Najčastejšie chyby • NEVHODNE ZVOLENÉ PORADIE MOŽNOSTÍ ODPOVEDE • tendencia vyberať odpovede, ktoré sú „najbližšie“ (priestorovo/vizuálne) • pri nejasných/náročných otázkach • pri množstve podobných možností odpovede • napr. zisťujeme čo v ľuďoch vyvoláva úzkosť: • strach zo smrti, • choroba, • obavy zo straty zamestnania, • škaredé počasie, • dlhy, • vojna, • nedostatok financií • ... 17 17 Najčastejšie chyby • SUGESTÍVNE OTÁZKY • navádzajú na určitú odpoveď • manipulatívne/zaujaté formulácie • Podporujete v týchto ťažkých časoch, kedy COVID-19 pácha viac škôd než 2. svetová vojna, kroky súčasnej vlády? • Bolo rozhodnutie vlády znížiť výdaje na obranu, v dôsledku čoho sa stala naša krajina zraniteľnejšou, dobrým krokom? • NENÚŤTE RESPONDENTOV ODPOVEDAŤ • ak by odpovedanie malo vyvolať psychický diskomfort alebo nepravdivé odpovede (vedomostné otázky) • "Neviem/Nechcem odpovedať" (vždy na zváženie) • pri kľúčových otázkach nie je na výber 18 Najčastejšie chyby • OTÁZKY OBSAHUJÚCE SÚHLAS • formulovanie otázky ako súhlas s tvrdením • jednoduché → často využívané • kontroverzné - tendencia vyjadriť súhlas bez ohľadu na obsah tvrdenia • Súhlasíte s tým, že muži sú vhodnejšími kandidátmi na prezidenta než väčšina žien? • riešenie: vybalansovať formuláciu – súhlas aj nesúhlas • Povedali by ste, že muži sú vhodnejšími kandidátmi na prezidenta než väčšina žien, sú rovnako vhodní ako ženy, alebo že ženy sú vhodnejšími kandidátkami než muži? Najčastejšie chyby • DVOJHLAVŇOVÉ OTÁZKY • double-barreled questions • dve otázky v jednej • respondent nemôže/nechce na jednu časť otázky odpovedať • → nepresné odpovede/žiadne odpovede • Považujete trest smrti za historický prežitok a myslíte si, že by sa mal zakázať na celom svete? • Sú rodinné stretnutia pre Vás a Vašu rodinu dôležité? 19 Najčastejšie chyby • KOMPLIKOVANÉ A VYČERPÁVAJÚCE OTÁZKY • Podporujete alebo odmietate systematickú reformu imigračnej politiky, ktorá by umožnila orgánom štátnej správy efektívne administrovať proces udeľovania vízových povolení a posilňovala súčasné legislatívne nastavenia? • VÁGNE A MÁLO ŠPECIFICKÉ OTÁZKY • Kedy ste sa prisťahovali do Brna? (pri otvorenej otázke nejasný typ odpovede – po strednej škole/keď som mal 20 rokov/... ) • Ste ranné vtáča? Ak sa spätne pozriete na posledných sedem dní, v akom čase zvyknete ráno vstávať? 20 Najčastejšie chyby • POUŽÍVANIE MENEJ ZNÁMYCH SKRATIEK • Súhlasíte s vyjadreniami NÚKIB ohľadom zvýšeného rizika kybernetických hrozieb? • OTÁZKY BEZ ČASOVÉHO OHRANIČENIA • Koľko cigariet ste vyfajčili za celý svoj život? • POUŽÍVANIE SLANGU/ŽARGÓNU • Do akej miery podľa vás ohrozujú antiwaxeri verejné zdravie? • POUŽÍVANIE DVOJITÉHO (VIACNÁSOBNÉHO) ZÁPORU • Myslíte si, že nie je správne, ak polícia nemôže efektívne zasiahnuť proti environmentálnej kriminalite? 22 Najčastejšie chyby • POUŽÍVANIE CITLIVÝCH OTÁZOK • Bijete svoje deti? • → projekčné otázky: • Niektorí ľudia zvyknú biť svoje deti. Aký je váš osobný názor na používanie fyzických trestov pri výchove detí? • vek, príjem → intervaly • OTÁZKY S NEVHODNE ZVOLENÝMI MOŽNOSŤAMI ODPOVEDE 22 23 Pilotáž • Predbežné otestovanie dotazníka na menšej vzorke (akej?) • Overíme si: • ako dlho trvá vyplnenie dotazníka • či je rozsah dotazníka pre respondenta ešte únosný • či respondenti otázkam rozumejú (a rozumejú im správne) • či respondenti rozumejú inštrukciám vypĺňania pri zložitejších otázkach • či nám niektoré otázky nechýbajú (alebo nechýbajú možností odpovede) • Aj vo forme následného kvalitatívneho rozhovoru Praktické aspekty • Výber vzorky • Kto budú respondenti (charakteristika) a prečo? • Spôsob distribúcie • Ako dotazník dostanem k respondentom? • Návratnosť dotazníka • Ako dosiahnem čo najväčšiu ochotu respondentov odpovedať na moje otázky? 24 Výber vzorky Základné pojmy: • Populácia (základný súbor) • všetky subjekty, na ktoré sa majú výsledky výskumu vzťahovať • príklad: výskum členov Armády ČR → VŠETCI členovia Armády ČR • ťažko dostupná • Vzorka (výberový súbor) • skupina sledovaných jednotiek – výber z populácie • vždy menší ako populácia (logicky ☺) • Cieľ: získať na základe odpovedí od vzorky výsledky zovšeobecniteľné na celú populáciu 25 26 Výber vzorky • práca so vzorkou je teda veľmi často nevyhnutná • naopak práca s celou populáciou nie je (vždy) nutná (štatistické metódy) • Praktické výhody práce so vzorkou: • nižšie finančné náklady • menšia časová náročnosť • jednoduchšia organizácia • Správna vzorka: • čo najvernejšie imituje celú populáciu • → reprezentatívna • samotná veľkosť nie je až tak podstatná (dôležitá je štruktúra) • ako skonštruovať správnu vzorku? (rôzne prístupy výberu) 27 Náhodný výber • každá jednotka populácie má rovnakú pravdepodobnosť, že sa dostane do vzorky • mechanizmus výberu: losovanie z osudia, generovanie náhodných čísiel • výber nie sú ovplyvnený výskumníkom, iba náhodou • čím väčšia vzorka, tým viac sa podobá populácii • rozdiel je stále pomalší • ohľad na pomer cena/výkon • ak pridám 10 000 jednotiek do vzorky nad rámec prvých 1000, bude imitácia populácie o niečo presnejšia, ale náklady budú neúmerné • výhody: • imituje nielen známe, ale aj neznáme/nepozorovateľné vlastnosti populácie 28 Kvótny výber • jednotky nemajú rovnakú pravdepodobnosť výberu • jednotky do vzorky vyberáme na základe výskytu pozorovateľných znakov v danej populácii (pohlavie, vek vzdelanie, ..) • rozloženie znakov vo vzorke musí zodpovedať rozloženiu v celej populácií • príklad: výskum členov Armády ČR • vo vzorke musí byť rovnaký podiel jednotlivých hodností/vekových kategórií, pohlavia atď. ako v celej armáde • slabiny: • POZOR: imituje iba známe (pozorovateľné) vlastnosti populácie • Pri kombinovaní viacerých znakov → možný nedostatok jednotiek (napr.: muž, 45-50 rokov, z obce do 2000 obyvateľov, s právnickým vzdelaním) Ďalšie nepravdepodobnostné výbery • Anketa • problém: samovýber, výber respondentov len slabo/nijako kontrolovaný výskumníkom (rôzna ochota vyplniť dotazník) • Snowball • respondent doporučí ďalších vhodných respondentov • Problém: nemožnosť zovšeobecňovania výsledkov na celú populáciu 29 Spôsob distribúcie dotazníka • dotazník nutne nevyžaduje osobný kontakt s respondentami • existujú osobné (bezprostredné) aj diaľkové formy • každá ma svoje výhody aj nevýhody • neexistuje jediná IDEÁLNA/NAJLEPŠIA forma distribúcie 30 Spôsob distribúcie: face-to-face • VÝHODY: • zisk spätnej väzby vďaka kontaktu s respondentom (testovanie dotazníka) • priestor pre vyjasnenie otázok (radšej formulovať otázky jasne už vopred) • vyššia návratnosť • NEVÝHODY: • časovo aj finančne nákladné • spochybnená anonymita • interviewer bias (tazateľové charakteristiky ovplyvnia odpovede) • sociálna „dezirabilita“ (social desirability) 31 Spôsob distribúcie: diaľkovo • telefonicky, poštou, online • VÝHODY: • pokrytie veľkej skupiny osôb • vyšší (pocit) anonymity • nižšia cena a menšie časové nároky • jednoduchší management zberu (pozvánky, dáta,...) • možnosť interaktívneho dotazníka (online) • zmierňujú problém s interviewer bias a social desirability (konzumácia alkoholu, výchova detí, ...) • NEVÝHODY: • možná nižšia návratnosť (častejšie predčasné ukončenie) - motivácia • vyplňuje dotazník skutočne náš respondent? • problematická dostupnosť niektorých segmentov populácie (starí ľudia, vylúčené lokality, ...) • nemáme kontrolu nad kontextom, v ktorom sa respondent nachádza (otázky na momentálne pocity – zima/stres/smútok, ...) 33 33 Návratnosť dotazníka • kľúčový aspekt: nízka návratnosť ohrozuje reprezentativitu (aj samotný výskum) • faktory, ktoré ju môžu ovplyvniť: • vzhľad (dizajn) dotazníka (čitateľné farby/obrázky/pozadie/fonty) • dĺžka dotazníka • čím dlhší, tým menšia ochota odpovedať (informovať na začiatku, pravdivo!) • nevyčerpať respondenta • dlhší dotazník „rozbiť“ zmenami v jeho priebehu (grafické odpovede, typ otázky) • znenie otázok, ich štruktúra a poradie • logické členenie (nemiasť respondenta) • pozor na citlivé, osobné otázky Návratnosť dotazníka • faktory, ktoré ju môžu ovplyvniť (pokračovanie): • odmeny pre respondentov • priama odmena pre každého alebo lotéria • „rozumná“ výška odmeny (malá – neochota, vysoká – neetické) • pozor pri online dotazníkoch – tendencia zapojenia blízkych osôb kvôli odmene (deformácia reprezentatívnosti) • nefinančná odmena: kredity (áno/nie?) • riziko vychovania „pokusných králikov“ (profesionálnych respondentov) • správanie výskumníka • dôveryhodnosť organizácie realizujúcej výskum 34 35 Návratnosť dotazníka • návod na zlý dotazník: • príliš dlhý • príliš veľa otázok mapujúcich aj nepodstatné informácie • vysoká cena • nízka návratnosť • nelogicky zoskupené otázky/nevhodne zvolené poradie • prítomnosť najčastejších chýb • sugestívne • vágne • komplikované • dvojhlavňové/slang/dvojitý zápor,... • nevhodné/nepríjemné vystupovanie výskumníka (face-to-face, telefón) 37 Etické aspekty • bežná zdvorilosť – oslovenie, poďakovanie za účasť (aj pri odmietnutí) • oboznámenie respondenta s témou výskumu • stručne (!), aby nebol ohrozený samotný výskum (napr. ak je dotazník súčasť experimentu) • pravdivo (aj keby klamstvo malo zvýšiť ochotu odpovedať) • organizačné pozadie • zaručenie (pocitu) anonymity a dôvernosti • pozor na prvky, ktoré by mohol respondent chápať ako identifikačné znaky (napr. výskum v mieste bydliska, IP adresa pri online zbere, telefónne číslo pri tel. zbere) • výskum špecifických populácií (napr. týrané ženy) • dosiahneme: • pravdivejšie a úprimnejšie odpovede • zvýšime ochotu odpovedať (reprezentativita vzorky) • účasť musí byť dobrovoľná • respondent o tom musí byť vopred informovaný • možnosť kedykoľvek odstúpiť od výskumu • výnimky: napr. sčítanie obyvateľstva, lekárske vyšetrenia, študenti ako súčasť hodnotenia (účasť za kredity?) 37 Etické aspekty • informovaný súhlas na začiatku dotazníka • účel výskumu a základná procedúra • naznačenie potenciálneho rizika a ujmy, ak existuje (napr. citlivé otázky) • informácie o benefitoch plynúcich z účasti (peňažné/spoločenské) • popis mechanizmu výberu respondenta (oprávnené obavy, napr. týrané ženy) • ponuka zodpovedania akejkoľvek otázky výskumníkom (face-to-face vs. online) • ubezpečenie o dobrovoľnosti účasti (a možnosti odstúpenia) • informácie o realizátorovi a sponzorovi výskumu • informácie o nakladaní s dátami (anonymizácia odpovedí), GDPR • vyslovenie jasného a preukázateľného súhlasu s účasťou (face-toface vs. telefón/online) • problematické pri niektorých populáciách (napr. utečenci a potenciálne perzekúcie, zamestnanci a strach z nadriadeného, mentálne znevýhodnení) 38 Etické aspekty • asistencia pri vypĺňaní • špecifické populácie (seniori, vylúčené lokality, deti) • pozor! bežná asistencia (zapisovanie odpovedí) vs. podnecovanie/navádzanie na konkrétne odpovede (analógia k sugestívnym otázkam) • nenavádzať ani nepriamo: • „ktoré problémy najviac trápia vašu obec? zaškrtnite všetky možnosti“ nečistota na uliciach nedostatek parkovacích miest smog zlý stav ciest pouličná kriminalita nedostatok zelene hluk vo večerných hodinách nedostatok detských ihrísk nespoľahlivosť verejnej dopravy korupcia na radnici Otázky: príklad ESTA 39 Nástroj na tvorbu dotazníkov • tvorba online dotazníkov • jednoduchý a intuitívny dizajn • množstvo funkcionalít (zobrazovacia a prechodová logika, vetvenie, kvóty, distribúcia a zber, ...) • dostupná neobmedzená licencia • vzdialený prístup 40