MASARYKOVA UNIVERZITA FAKULTA SOCIÁLNÍCH STUDIÍ Institut výzkumu dětí, mládeže a rodiny Specifika kvantitativního sběru dat na internetu ZUR434 – Přednáška č. 9 prof. PhDr. David Šmahel, Ph.D. Typy výzkumů – offline i online - Kvalitativní - Kvantitativní (online) - Obsahová analýza - „Pozorování“ - Metaanalýzy - „Technické“ metody - Smíšené metody... (Vehovar & Manfreda, 2008) Penetrace internetu v ČR – internetová populace je odlišná (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Penetrace internetu v ČR dle vzdělání Podíly uživatelů internetu dle genderu a sociálního statusu (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Kdo jsou neuživatelé? (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Kde se používá internet (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Čas na internetu (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Znalosti práce s počítačem (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Internetová populace • Z hlediska ČR není a nemůže být reprezentativní • Má specifické vlastnosti a charakteristiky • Odlišnosti z hlediska psychologických charakteristik neznáme • Paralela s kritikou výzkumu VŠ studentů Internet jako médium Vhodný pro výzkum: • specifických skupin (studenti, organizace, IT profesionálové, vědci...) • subkultur jinak nedostupných (drogová komunita, hackeři, sexuální deviace...) • komunit vznikajících na internetu (chaty – např. seznamky homosexuálů, blogy, zájmové skupiny...) • „citlivých témat“ – větší otevřenost při anonymitě Větší otevřenost online najdeme u části uživatelů internetu Někteří uživatelé internetu také tvrdí, že se online lépe vyjádří Odlišnosti online populace - příklad (Zdroj dat: World Internet Project; Šmahel, 2015 – konference Virtuálna generácia, listopad 2015, Bratislava) Kde můžeme zmíněné skupiny hledat? Vycházíme z výběru příslušné populace (záleží tedy, kde ji jako takovou najdeme, jak jsme ji schopni oslovit): • WWW stránky – různé skupiny • blogy – virtuální deníky • chaty - on-line prostředí pro komunikaci • diskusní „nástěnky“ • dostupné databáze e-mailů (typ „IS“, školy, organizace) – pozor na svolení s oslovením! • instant messangery (např. Skype?) • sociální sítě Způsoby oslovení • e-mail – nejvíce invazivní metoda, ale zároveň „nejsilnější“ – nejvíce účinná (doporučuje se personifikované oslovení, zaujmout příjemce, platí totéž co pro reálné dotazníky atd.) – návratnost dotazníků 2 – 50%, pozor na problematiku SPAMu! • příspěvky v chatech / webových nástěnkách s prosbou o vyplnění dotazníku – více charakter ankety, záleží na kontextu prostředí a typu výzkumu, návratnost ? • osobní oslovení přes instant messanger – poměrně účinné, ale dosti pracné – vždy oslovení 1 osoby... • oslovení prostřednictvím upoutávky / „reklamy“ např. na www, nástěnka, nejvíce charakter ankety, „nejslabší“ (klikne kdo chce), „click rate“ banerů je 0,1 – 2% Způsoby sběru dat • nejlépe webový dotazník: profesionální x možnost využít dostupné systémy zdarma pro tvorbu dotazníků: http://freeonlinesurveys.com/ či Limesurvey - (kvalita??), rozsáhlé možnosti – adaptivní dotazníky, větvení, sledování času stráveného nad otázkou/dotazníkem, sledování dotazníků vyplněných z jednoho místa, přímý export do DB atd. • vyplnění dotazníku (např.) v Excelu (nebo i jiném editoru) – dotazník stažený z webu nebo zaslaný emailem – méně vhodné, část respondentů dotazník nestáhne, neotevře atd. • zaslání e-mailu a dotazník přímo v textu – pracné zpracování, nepřehledné... Problémy s nevypněnými údaji („non-response problem“) • Dáme-li uživateli možnost nevyplňovat některé položky, bude v online dotazníku přeskakovat • Problém: které položky „nutit“ vyplňovat ?? • Vynucení vyplnění položek = nižší reliabilita daných položek • Velmi záleží na motivaci respondentů • „Response rate“ v online dotaznících: 1 – 100% • Problematika odměňování respondentů • Ptát či neptat se na možnost následného kontaktu? Co všechno ovlivňuje odpovídání respondentů? • Motivace (!!) • Digitální vzdělanost – znalosti ohledně technologií • Postoje uživatele k technologiím • Obavy o soukromí • Design dotazníku • PLUS co víme z offline výzkumů – např. sebeprezentace Strategie analýzy dat: - Čištění dat, analýza reliability atd … (Viz také: Vehovar & Manfreda, 2008) Shrnutí: Pozitiva výzkumů přes internet o Velký rozsah vzorku. o Globální dosah: transkulturní vzorky, fyzicky a sociálně handicapovaní o Redukce nákladů a úspora času o Načítání otázek podle předchozích odpovědí respondenta -> lepší orientace respondenta (+ adaptivní testování) o Zachování anonymity: výzkumy o citlivých tématech a na těžko dosažitelných populacích o Větší otevřenost respondentů. o Přístup ke specifickým populacím. o Komfort účastníků výzkumu. o Minimalizace chyb a zkreslení dat způsobené tazatelem. o Flexibilita výzkumných metod - použití videa, fotografií, kamery atp. o Minimalizace „missing values“ - je-li žádoucí Shrnutí: Negativa výzkumů přes internet o Omezená zevšeobecnitelnost výsledků – vážení jako možnost částečné nápravy o Zkreslené odpovědi – možnosti částečně omezit o Ztráta informací o kontextu výzkumného procesu o Omezení neverbálních složek komunikace o Nároky na technické znalosti výzkumníka i respondenta o Technologické rozdíly o Absence přímého kontaktu o Zabezpečení důvěrnosti a bezpečnosti Uživatelská studie – příklad • Atlas patologických obrázků → chce změnit formát obrázku z JPEG na JPEG2000 • Zachová se kvalita obrázků pro práci s ním? Řešení: zeptáme se uživatelů • Uživatelé jsou z celé republiky i zahraničí. Řešení: online dotazník • Ještě než začneme: etika a téma sběru osobních dat Online dotazník – co je potřeba promyslet? Co je potřeba sdělit uživatelům? – má vliv na návratnost Zaslání emailu s dotazníkem – formulace Úvodní informace v dotazníku Důležité je aby respondenti věděli kolik času jim to zabere: Online dotazník – příklad • Co chceme aby uživatelé sdělili nám? Aneb jaké informace jsou pro nás relevantní? (odborné vzdělání uživatelů, praxe – budou se lišit studenti od praktiků v hodnocení?) • Otevřené otázky online -> spíše nevhodné Online dotazník – příklad • Důležitá je instrukce – zlá instrukce může přinést zavádějící výsledky! (Co chceme po uživatelích? , co je důležité aby znali předem? ) • Samotný obsah dotazníku – liší se podle povahy výzkumu 27 Online dotazník – příklad • Závěr dotazníku. Poděkování! Možnost sdělit připomínky nápady a možnost být obeznámen s výsledky dotazníku. Online dotazník – příklad  Jak zjistíme, že je dotazník dostatečně pochopitelný, srozumitelný a obsahuje vše potřebné? Řešení: zeptáme se uživatelů offline – zeptat se např. 5 – 10 uživatelů nejlépe ze stejného vzorku populace na hodnocení dotazníku – podrobné procházení celého dotazníku  Co když respondenti neodpoví na některé položky? Může se to stát náhodou – upozorníme je (??) Online dotazník – příklad • Grant – GAMU „Experimentální výzkum chování uživatelů ICT v oblasti bezpečnosti perspektivou sociálních věd, práva a informatiky“ (2014 – 2016) • Spolupráce s firmami – zde výzkum s uživateli ESET antiviru • Autoři: Lenka Dědková, Hana Macháčková, David Šmahel Příklad výzkumu jak uživatelé odpovídají online ESET • Cyber security company producing internet security software • Detecting „potentially unwanted application“ is part of installation process A potentially unwanted application (PUA) is a program that contains adware, installs toolbars or has other unclear objectives. There are some situations where a user may feel that the benefits of a potentially unwanted application outweigh the risks. For this reason, ESET assigns such applications a lower-risk category compared to other types of malicious software, such as trojan horses or worms. The aim: to increase the number of users enabling the detection of PUA ESET • 15 variants of the screen • Restructured text • Different answer options • Warning symbols • Hyperlink to more detailed explanation of PUA PUA detection: what made the „good“ difference • Change the order of clickable options: positive first 89.8% 83.9%74.5% PUA detection: what made the „bad“ difference 71.1% 74.5% 71.6% 72% -> uživatelé delší texty v online dotazech často prakticky nečtou ! … Literatura • Povinná literatura: – Complementary Exploratiove Data Analyses: The Reconciliation of Quantitative and Qualitative Principles, Sudweeks, F., Simoff, S. J. (1999) in Doing Internet Research, pp. 29-55 • Doporučená literatura: – Overview: Online Surveys, Vehovar, V., Manfreda, K. L. (2008). The SAGE Handbook of Online Research Methods. str. 177 – 194 – Internet Survey Software Tools, Kaczmirek, L., (2008). The SAGE Handbook of Online Research Methods. str. 236 – 254 – Hewson, C. et al. (2003). Internet Research Methods: A Practical Guide for the Social and Behavioural Sciences. London: Sage. – Fricker, S. et al. (2005) An Experimental Comparison of Web and Telephone Surveys. Public Opinion Quarterly, 370-392. – SECTION 4: The Internet Survey. In Fielding, N., Lee, R. M., Blank, G. (2008) The SAGE Handbook of Online Research Methods. str. 236 – 254