Tvorba uživatelských rozhraní a hodnocení použitelnosti Martin Dostál Honeywell International - Aerospace Advanced Technology Europe Masarykova Univerzita v Brně, Fakulta informatiky PV252 8. přednáška METODY II: DOTAZNÍKOVÁ ŠETŘENÍ A NÁVRH DOTAZNÍKŮ Připomenutí hodnící fáze/metod • typicky v průběhu vývoje projektu • nastupují po tzv. high-level fázi • zaměřeno na části • zaměřeno zejména relativní srovnání • hodnocení na prototypech • důraz plnění úloh uživateli, • omezená interakce s experimentátorem • měla by převažovat kvantitativní data (sic!) • metody: A/B testování, dotazníky (standardizované, běžné), různé observační metody 2 interakce užživatele, design rozhraní, návrh úloh Data a znaky • sběr dat • znak (veličina) • kvantitativní • kvalitativní 3 Data a škály • u kvalitativních dat možné hodnoty nazýváme kategoriemi • nominální - data „pojmenovaná”, to však nevylučuje používání čísel - ovšem jako „jmen” či označení • ordinální (pořadová) - data s uspořádáním • intervalová (rozdílová) - ordinální data navíc s možností stanovit vzdálenosti mezi kategoriemi • podílová - intervalová data navíc zachovávající podíl (tím pádem i násobení). Data jsou vždy kladná a mají tzv. absolutní nulu. 4 In nomine Patris et Filii et Spiritus Sancti Příklady 5 • pohlaví (s možnými hodnotami mužské, ženské) • barva očí (modrá, hnědá, černá) • výsledek léčby (uzdraven, zemřel) • národnost (česká, slovenská, polská, německá, ...) • dosažené vzdělání (základní, střední, vysokoškolské), • prospěch ve školním předmětu (výborně, velmi dobře, dobře, nevyhověl) • stav pacienta (vyléčen, remise, recidiva) • ohrožení povodní (stupně povodňové aktivity) • hodnocení postojů ve škále (souhlasím, spíše souhlasím, spíše nesouhlasím, nesouhlasím) • četnost výskytu (často, občas, zřídka, nikdy), • chuť vína nebo jiné poživatiny podle degustátora atd. • váha, výška, věk • rozměry, objem a hmotnost těles, • koncentrace, kapacity, • fyzikální vlastnosti materiálu, doba trvání nějakého děje, • počet mikroorganismů ve vzorku vody, • počet elementů ve vzorku krve atd. • teplota v kelvinech (0 není možná) • teplota ve stupních celsia • datum Výběr participantů • subjekt, participant • důležité pro úspěch • velikost vzorku • záleží na metodě • Nielsenova 1/3 - pozor! • experimenty • dotazníky • (ne)reprezentativita • reprezetativní vzorek vyžaduje znalost charakteristiky skupiny • nereprezentativní vzorek neznamená apriori špatný vzorek • je třeba mít definované profily participantů a ty pak ověřit při šetření • přesnost neroste lineárně s velikostí vzorku 6 Dotazníková šetření POZOR, problematika dotazníkùů je mnohem komplexnìější, nežž zde probíráme. 8 Co dotazník zjišťuje • fakta • znalosti, vědomosti • mínění, postoje, tendence, přístupy 9 • The user's feeling of being efficient • The degree to which the user likes the system • How helpful the user feels the system is • To what extent the user feels in control of the interactions • Does the user feel they can learn more about the system by using it. Dotazníky • výhody • nevýhody • reliabilita • validita 10 Typy dotazníkového šetření • implementace • papírový dotazník • elektronický dotazník • distribuce • za přítomnosti experimentátora - kontrolované podmínky! • telefon • www • e-mail nebo jiná datová komunikace 11 Zlaté pravidlo: není umìění udìělat libovolnìě velký dotazník Struktura dotazníku • Uvítací část • vysvětlete co a proč žádáte • oceňte ochotu • Screeningová část • demografické údaje (někdy se doporučuje dát na konec) • screening zkušeností, návyků - může mít i více sekcí • Věcné části - členění do skupin je rozumné • Závěrečná část - komentář k problému, k dotazníku, uveďte kontakt a reagujte, poděkujte 13 Demografický screening: příklad (část) 14 4/12/13 1:04 PMWINN design evaluation 0% 100% WINN design evaluation Demographics Name: * Age: This question is mandatory. Only numbers may be entered in this field Nationality: * Total flying hours (approximately): This question is mandatory. Only numbers may be entered in this field * Current crew position: Check any that apply This question is mandatory. Please check at least one item. If you choose 'Other:', then please provide a description. Captain First Officer Check Airman Instructor Other: * Current ratings/licenses: Check any that apply This question is mandatory. Please check at least one Screening zkušeností/návyků: příklad 15 0% 100% SMARCOS User Interface Evaluation Experience with technology * Rate how much you agree with the following statement: “I love all new technologies/gadgets” 1 2 3 4 5 1=I hate new technology, 5=I love new technology. Check all consumer electronic devices you currently use: Check any that apply PC A device with touch interface (a tablet, a smartphone etc) MP3 player Internet Other: Comments are optional. * Rate how much do you agree with the following statement: “In aircraft I prefer paper/pen over electronic devices when possible” 1 2 3 4 5 1=Strongly prefer paper, 5=strongly prefer electronic devices Typy otázek • otevřené otázky • text • čísla • uzavřené otázky - volby • výběr z možností (nominální) • dichotomické • ano/ne • přijatelné/nepřijatelné • výběr na škále (ordinální) • například Likertova škála • polootevřené otázky • seřazovací • pole otázek 16 Znění otázek • můžeme zvážit projektivní (nepřímé) otázky • často skrývají pravý důvod, proč se ptáme • choulostivé otázky k nichž se lidé neradi vyjadřují. • kde lze předpokládat, že by respondent odpovídal nepravdivě. • ve formulaci se neptáme přímo na názor respondenta, ale na identifikaci s výpovědí o něčem či někom jiném, s čím se podvědomě ztotožní • můžeme zvážit převod otázky/tvrzení s odpovědmi na škále na jednotlivá tvrzení, každé vyjadřující postoj odpovídající dané škále 17 Příklad: „Co si myslíte o nadřízeném ?“ →
 „Co si ostatní zaměstnanci na vašem oddělení myslí o nadřízeném?“ Příklad • Když se zamyslíte nad současnou životní úrovní své rodiny, co byste o ní mohl/a říci? Vyberte jen jednu z následujících možností: • 1 „žijeme od výplaty k výplatě, před výplatou již mnoho nezbývá ani na jídlo ani na provoz domácnosti • 2. „při běžných výdajích obvykle vyjdeme docela dobře , ale již nakup ošacení nám působí obtíže a musíme si vypůjčit nebo vyčerpat úspory“ • 3. „s platem vyjdeme docela dobře, můžeme i leccos uspořil, při nákupu zboží dlouhodobé spotřeby však musíme využít půjčky“ • 4. „nákup zboží dlouhodobé spotřeby nám většinou nečiní problémy, ale auto nebo nákladnější dovolenou si ještě dlouho nebudeme moci dovolit“ • 5. „v současné době můžeme uvažovat i o poměrně nákladných nákupech“ • 6. „ani stavba rodinného domku v podstatě nepřevyšuje možnosti naší rodiny“. 18 zdroj: [TSS 1984] Volby • dropdown • radio button • horizonální: škála • vertikální: volby • checkbox 19 zdroj: docs.limesurvey.org Pole 20 zdroj: docs.limesurvey.org Obsah dotazníku • primárně textem prezentované otázky • je možné doplnit o obrázky i další media • elektronické dotazníky mohou (u některých systémů) obsahovat kód 21 Doporučení • předejďete frustraci • rozsáhlost, nejasnost, nevhodné možnosti odpovědi • neptejte se na nic, co nebudete potřebovat • formulace otázky musí být jednoznačná • pozor na dvojí zápor u znění otázky • ptejte se v jedné otázce na jednu věc • zvažte, které otázky jsou povinné • pozor na subjektivně zabarvené otázky • pozar na označování zkratkami • zvažte, u kterých otázek je vhodné umožnit přiložit komentář 22 Doporučení • nenaduživejte otevřených otázek - následné vyhodnocení • nechybí nějaký stupneň u škály? (neutrální, žádný, nepříslušný - NA) • postupujte od obecných oblastí ke konkrétním • uspořádavjte škály přirozeně, logicky a konzistentně • nejdůležitější otázky uprostřed • nepoužívejte příliš detailní škály zbytečně - méně je někdy více • používejte přirozené číselné škály (např. 2 až +2 může být obtížné interpretovat) 23 Doporučení • používejte oddělovací prvky pro odlišení různých oblastí dotazníku (boilerplates) • pozor na pořadí otázek • možnost randomizace • habituace - komplikované na řešení, ale možnosti existují • pokud distribuujete dotazník pomocí e-mailu, vytvořte uvítací dopis • pozor na distraktory (rušivé prvky) • indikátor pokroku je užitečný, pokud ukazuje viditelný pokrok • zvažte zabezpečení přístupu • využijte výhod elektronických dotazníků (podmíněné otázky, prezentace informací) • pretestujte dotazník • konzistence dotazníku - řeší se, ale to jde za rámec našeho detailu 24 Doporučení • dotazník může obsahovat též: • filtrační položky - v úvodní fázi, pro odfiltrování odpovědi, které nemají pro šetření význam • kontrolní otázky • několikrát se ptáme na totéž • položíme otázku na kterou známe zaručeně odpověd • pokládáme opačné otázky • maximální čas na vyplnění 40 minut 25 Limesurvey • opensource systém pro on-line dotazníky • široké možnosti konstrukce dotazníků • umožňuje též dotazníky tisknout • obsahuje správu respondentů a přístupu • programovatelný • export • R • SPSS • též univerzální formáty - CSV, Excel 26