MASARYKOVA UNIVERZITA FAKULTA INFORMATIKY FAKULTA SOCIÁLNÍCH STUDIÍ Kvantitativní a kvalitativní výzkum v sociální informatice prof. PhDr. David Šmahel, Ph.D. ICT jako nástroj versus předmět zkoumání -Nástroj: použijeme technické prostředky ke zkoumání nějakého fenoménu -Předmět: zkoumáme chování lidí na internetu, při využívání mobilů, či jiných ICT Proč se zabývat uživatelem technologií -Výzkum uživatelů ICT v kontextu bezpečnosti -Pro zvýšení atraktivity SW -Uživatelská přívětivost SW – design (a funkce) -Přizpůsobení SW uživateli -Virtuální realita – replikace experimentů, optimalizace kvůli zdravotnímu stavu uživatele -Autentizace -Testování SW -Analýza jazyka - ICT jako nástroj zkoumání -Kvalitativní: online rozhovory / fokusní skupiny – chat, Skype, speciální nástroje pro „focus groups“, ale i kvalitativní analýza dokumentů (webů, fór…) -Kvantitativní: online surveys – na internetu, či v mobilech, deníkové metody -Obsahová analýza: analýza dokumentů z internetu (kvanti x kvali), analýza sociálních sítí, diskuzí, online skupin, (firemních) materiálů -Pozorování: „netnography“, typicky kombinace kvalitativních metod, zúčastněné versus nezúčastněné -Metaanalýzy: online data dostupná na internetu -„Technické“ metody: analýza logů, technické nástroje např. ve hrách či Second life -Smíšené metody SW development Qualitative research Qualitative research •Small sample of respondents •Typically interviews or focus groups which are recorded, transcribed and analyzed •High amount of information – deep and details •High validity x low reliability •Methods of coding and analyses (thematic analyses etc.) •Qualitative research versus user study •Questions (i.e.): What are needs and requirements of users? Why they could use the SW? What could be their motivations? What kind of functions they need? Are there differences in patterns of needs between different users? Qualitative research Quantitative research Quantitative research •“Larger” sample of respondents (what is enough?) •Typically a survey (online survey), depends on population •Questions = low and limited amount of information •Low validity x high reliability •Methods of sampling, theory of asking questions, data cleaning, methods of data analyses •Questions (i.e.): How many people could use the SW? What is most important for them? Which of functions are highly needed? Which functions are needed for which types of users? •Information for SW customization • Qualitative research Quantitative research Experimental research Experimental research (in SW development) •Limited amount of respondents •Experimental design – testing different variants of design (or screens, texts, functions …) •It is needed to define what is the main (experimental) variable (or question) •Questions = low and limited amount of information •Relevance mainly or the main research question •Questions (i.e.): What is the best (most user friendly?) design? How is the design impacting behavior (decisions) of users within the SW? How are different users behaving within different SW designs? • Qualitative research Quantitative research Experimental research User study X qualitative research Qualitative research Quantitative research Experimental research User study X qualitative research Qualitative x quantitative x experimental research Penetrace internetu v ČR – internetová populace je odlišná Výřez obrazovky (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Penetrace internetu v ČR dle vzdělání Výřez obrazovky Podíly uživatelů internetu dle genderu a sociálního statusu (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Výřez obrazovky Kdo jsou neuživatelé? faculty_logo Výřez obrazovky (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Kde se používá internet faculty_logo Výřez obrazovky (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Čas na internetu faculty_logo Výřez obrazovky (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Znalosti práce s počítačem faculty_logo (World Internet Project – Lupač, Chrobáková, Sládek, 2014) Výřez obrazovky Internetová populace • •Z hlediska ČR není a nemůže být reprezentativní •Má specifické vlastnosti a charakteristiky •Odlišnosti z hlediska psychologických charakteristik neznáme •Paralela s kritikou výzkumu VŠ studentů • • • Internet jako médium • •Vhodný pro výzkum: •specifických skupin (studenti, organizace, IT profesionálové, vědci...) •subkultur jinak nedostupných (drogová komunita, hackeři, sexuální deviace...) •komunit vznikajících na internetu (chaty – např. seznamky homosexuálů, blogy, zájmové skupiny...) •„citlivých témat“ – větší otevřenost při anonymitě • Větší otevřenost online najdeme u části uživatelů internetu Někteří uživatelé internetu také tvrdí, že se online lépe vyjádří Odlišnosti online populace - příklad (Zdroj dat: World Internet Project; Šmahel, 2015 – konference Virtuálna generácia, listopad 2015, Bratislava) Kde můžeme zmíněné skupiny hledat? •Vycházíme z výběru příslušné populace (záleží tedy, kde ji jako takovou najdeme, jak jsme ji schopni oslovit): •WWW stránky – různé skupiny •blogy – virtuální deníky •chaty - on-line prostředí pro komunikaci •diskusní „nástěnky“ •dostupné databáze e-mailů (typ „IS“, školy, organizace) – pozor na svolení s oslovením! •instant messangery (např. Skype?) •sociální sítě • • Způsoby oslovení •e-mail – nejvíce invazivní metoda, ale zároveň „nejsilnější“ – nejvíce účinná (doporučuje se personifikované oslovení, zaujmout příjemce, platí totéž co pro reálné dotazníky atd.) – návratnost dotazníků 2 – 50%, pozor na problematiku SPAMu! •příspěvky v chatech / webových nástěnkách s prosbou o vyplnění dotazníku – více charakter ankety, záleží na kontextu prostředí a typu výzkumu, návratnost ? •osobní oslovení přes instant messanger – poměrně účinné, ale dosti pracné – vždy oslovení 1 osoby... •oslovení prostřednictvím upoutávky / „reklamy“ např. na www, nástěnka, nejvíce charakter ankety, „nejslabší“ (klikne kdo chce), „click rate“ banerů je 0,1 – 2% • • Způsoby sběru dat •nejlépe webový dotazník: profesionální x možnost využít dostupné systémy zdarma pro tvorbu dotazníků: http://freeonlinesurveys.com/ či Limesurvey - (kvalita??), rozsáhlé možnosti – adaptivní dotazníky, větvení, sledování času stráveného nad otázkou/dotazníkem, sledování dotazníků vyplněných z jednoho místa, přímý export do DB atd. •vyplnění dotazníku (např.) v Excelu (nebo i jiném editoru) – dotazník stažený z webu nebo zaslaný e-mailem – méně vhodné, část respondentů dotazník nestáhne, neotevře atd. •zaslání e-mailu a dotazník přímo v textu – pracné zpracování, nepřehledné... • Problémy s nevypněnými údaji („non-response problem“) •Dáme-li uživateli možnost nevyplňovat některé položky, bude v online dotazníku přeskakovat •Problém: které položky „nutit“ vyplňovat ?? •Vynucení vyplnění položek = nižší reliabilita daných položek •Velmi záleží na motivaci respondentů •„Response rate“ v online dotaznících: 1 – 100% •Problematika odměňování respondentů •Ptát či neptat se na možnost následného kontaktu? Co všechno ovlivňuje odpovídání respondentů? •Motivace (!!) •Digitální vzdělanost – znalosti ohledně technologií •Postoje uživatele k technologiím •Obavy o soukromí •Design dotazníku •PLUS co víme z offline výzkumů – např. sebeprezentace • •Strategie analýzy dat: •- Čištění dat, analýza reliability atd … • (Viz také: Vehovar & Manfreda, 2008) K čemu kvalitativní výzkum? A k čemu online? Jak vypadá dobrá výzkumná otázka? Interview o jedna ze základních technik empirického výzkum o zprostředkovaný a vysoce interaktivní způsob získávání dat o využívané především v kvalitativním typu výzkumu o Online: komunikace přes internet má svá specifika! Shrnutí: Pozitiva výzkumů přes internet oVelký rozsah vzorku. oGlobální dosah: transkulturní vzorky, fyzicky a sociálně handicapovaní oRedukce nákladů a úspora času oNačítání otázek podle předchozích odpovědí respondenta -> lepší orientace respondenta (+ adaptivní testování) oZachování anonymity: výzkumy o citlivých tématech a na těžko dosažitelných populacích oVětší otevřenost respondentů. oPřístup ke specifickým populacím. oKomfort účastníků výzkumu. oMinimalizace chyb a zkreslení dat způsobené tazatelem. oFlexibilita výzkumných metod - použití videa, fotografií, kamery atp. oMinimalizace „missing values“ - je-li žádoucí • Shrnutí: Negativa výzkumů přes internet o Omezená zevšeobecnitelnost výsledků – vážení jako možnost částečné nápravy o Zkreslené odpovědi – možnosti částečně omezit o Ztráta informací o kontextu výzkumného procesu o Omezení neverbálních složek komunikace o Nároky na technické znalosti výzkumníka i respondenta o Technologické rozdíly o Absence přímého kontaktu o Zabezpečení důvěrnosti a bezpečnosti Uživatelská studie – příklad • • Atlas patologických obrázků → chce změnit formát obrázku z JPEG na JPEG2000 • Zachová se kvalita obrázků pro práci s ním? • Řešení: zeptáme se uživatelů • Uživatelé jsou z celé republiky i zahraničí. • Řešení: online dotazník •Ještě než začneme: etika a téma sběru osobních dat • • Online dotazník – co je potřeba promyslet? •Co je potřeba sdělit uživatelům? – má vliv na návratnost • Zaslání emailu s dotazníkem – formulace • Úvodní informace v dotazníku • • • • • • • • • • • • •Důležité je aby respondenti věděli kolik času jim to zabere: • • • • • Online dotazník – příklad •Co chceme aby uživatelé sdělili nám? Aneb jaké informace jsou pro nás relevantní? (odborné vzdělání uživatelů, praxe – budou se lišit studenti od praktiků v hodnocení?) •Otevřené otázky online -> spíše nevhodné • Online dotazník – příklad •Důležitá je instrukce – zlá instrukce může přinést zavádějící výsledky! • (Co chceme po uživatelích? , co je důležité aby znali předem? ) •Samotný obsah dotazníku – liší se podle povahy výzkumu • 39 Online dotazník – příklad •Závěr dotazníku. Poděkování! Možnost sdělit připomínky nápady a možnost být obeznámen s výsledky dotazníku. • Online dotazník – příklad qJak zjistíme, že je dotazník dostatečně pochopitelný, srozumitelný a obsahuje vše potřebné? • Řešení: zeptáme se uživatelů offline – zeptat se např. 5 – 10 uživatelů nejlépe ze stejného vzorku populace na hodnocení dotazníku – podrobné procházení celého dotazníku qCo když respondenti neodpoví na některé položky? • Může se to stát náhodou – upozorníme je (??) q q q q • Na některé dotazy respondenti odpovídat nechtějí – rozlišujeme povinné a nepovinné údaje. Online dotazník – příklad q •Grant – GAMU „Experimentální výzkum chování uživatelů ICT v oblasti bezpečnosti perspektivou sociálních věd, práva a informatiky“ (2014 – 2016) • •Spolupráce s firmami – zde výzkum s uživateli ESET antiviru • •Autoři: Lenka Dědková, Hana Macháčková, David Šmahel Příklad výzkumu jak uživatelé odpovídají online ESET •Cyber security company producing internet security software •Detecting „potentially unwanted application“ is part of installation process • A potentially unwanted application (PUA) is a program that contains adware, installs toolbars or has other unclear objectives. There are some situations where a user may feel that the benefits of a potentially unwanted application outweigh the risks. For this reason, ESET assigns such applications a lower-risk category compared to other types of malicious software, such as trojan horses or worms. • The aim: to increase the number of users enabling the detection of PUA ESET •15 variants of the screen • •Restructured text •Different answer options •Warning symbols •Hyperlink to more detailed explanation of PUA • • PUA detection: what made the „good“ difference •Change the order of clickable options: positive first • 89.8% 83.9% 74.5% PUA detection: what made the „bad“ difference 71.1% 74.5% 71.6% 72% -> uživatelé delší texty v online dotazech často prakticky nečtou ! … Literatura •Povinná literatura: –Complementary Exploratiove Data Analyses: The Reconciliation of Quantitative and Qualitative Principles, Sudweeks, F., Simoff, S. J. (1999) in Doing Internet Research, pp. 29-55 •Doporučená literatura: –Overview: Online Surveys, Vehovar, V., Manfreda, K. L. (2008). The SAGE Handbook of Online Research Methods. str. 177 – 194 –Internet Survey Software Tools, Kaczmirek, L., (2008). The SAGE Handbook of Online Research Methods. str. 236 – 254 –Hewson, C. et al. (2003). Internet Research Methods: A Practical Guide for the Social and Behavioural Sciences. London: Sage. –Fricker, S. et al. (2005) An Experimental Comparison of Web and Telephone Surveys. Public Opinion Quarterly, 370-392. –SECTION 4: The Internet Survey. In Fielding, N., Lee, R. M., Blank, G. (2008) The SAGE Handbook of Online Research Methods. str. 236 – 254