EVALUACE
HEURISTICKÁ ANALÝZA A
TESTOVÁNÍ POUŽITELNOSTI
TOMÁŠ BOUDA
KISK 2017 KOMUNIKACE ČLOVĚK-POČÍTAČ
JAK ZJISTIT, ZDA JSME
NAVRHLI DOBRÉ ROZHRANÍ?
• Viditelnost stavu systému
• Spojení mezi systémem a reálným světem
• Uživatelská kontrola a svoboda
• Konzistence a standardizace
• Prevence chyb
• Rozpoznání místo vzpomínání
• Flexibilní a efektivní použití
• Estetický a minimalistický
• Pomoc uživatelů poznat, pochopit a vzpamatovat se z chyb
• Nápověda a návody
Zdroj: http://human-computer-interaction.webnode.cz/testovani-a-hodnoceni-rozhrani/metody-
testovani/heuristicka-analyza/
Zdroj: NIELSEN: http://www.nngroup.com/articles/ten-usability-heuristics/
Tomáš Bouda HCI na KISK
2
TYPOLOGIE EVALUACE
Kritická evaluace (s experty)
• Heuristická analýza (HA)
Empirická evaluace (s uživateli)
• Testování použitelnosti - Usability Testing (UT)
Formální evaluace
• K měření slouží vytvořený model uživatele
Automatická evaluace
• Automatizované systémy a softwarové řešení
Tomáš Bouda HCI na KISK
3
HEURISTICKÁ
ANALÝZA
Tomáš Bouda HCI na KISK
4
KDY DĚLAT KRITICKOU
EVALUACI?
• Před UT
• Při inovaci rozhraní
• Když potřebujete důkazy, že v systému
jsou chyby
• Před zveřejněním
Zdroj: Usability Inspection. In: ETRE [online]. © 2004-2012 [cit. 2012-10-14]. Dostupné z:
http://www.etre.com/usability/inspection/
Tomáš Bouda HCI na KISK
5
HEURISTICKÁ ANALÝZA
Jacob Nielsen
„Perhaps the best-known design and usability
guru on the Internet“. (Financial Times)
„The king of usability". (Internet Magazine)
http://www.nngroup.com/
Tomáš Bouda HCI na KISK
6
HEURISTICKÁ ANALÝZA (HA)
Malá skupina (3-5) expertů zkoumá uživatelské
rozhraní:
• Experti samostatně zkontrolují systém a definují
chyby, které jsou v nesouladu se stanovenými
principy použitelnosti (heuristikami).
• Nálezy jsou agregovány do jednoho dokumentu.
HA může být použita jak na hotové rozhraní tak na
papírové prototypy, mockupy apod.
Zdroj: http://www.nngroup.com/topic/heuristic-evaluation/
Tomáš Bouda HCI na KISK
7
10 PRINCIPŮ POUŽITELNOSTI
PODLE NIELSENA (HEURISTIKY)
• Viditelnost stavu systému
• Spojení mezi systémem a reálným světem
• Uživatelská kontrola a svoboda
• Konzistence a standardizace
• Prevence chyb
• Rozpoznání místo vzpomínání
• Flexibilní a efektivní použití
• Estetický a minimalistický
• Pomoc uživatelů poznat, pochopit a vzpamatovat se z chyb
• Nápověda a návody
Zdroj: http://human-computer-interaction.webnode.cz/testovani-a-hodnoceni-rozhrani/metody-
testovani/heuristicka-analyza/
Zdroj: NIELSEN: http://www.nngroup.com/articles/ten-usability-heuristics/
Tomáš Bouda HCI na KISK
8
PROCES HA
Experti prochází design rozhraní několikrát
• Všímají si detailů, architektury i dalších okolností, které
mají vliv na průchod uživatele systémem (flow).
• Porovnávají systém s principy použitelnosti
• … a zvažují vše, co jim přijde na mysl.
Principy použitelnosti
• Nielsenovy heuristiky – upravené heuristiky?
• Nehodí se jiná kategorie principů – heuristiky pro virtuální
svět, mobilní technologie ovládané gesty, apod.
Tomáš Bouda HCI na KISK
9
PROČ JE TŘEBA VÍCE EVALUÁTORŮ?
Žádný expert nenalezne všechny chyby!
Někteří naleznou více než jiní.
Zdroj: NIELSEN:
http://www.useit.com/papers/heuristic/heuristic_evaluation.html
Tomáš Bouda HCI na KISK
10
POMĚR NALEZENÝCH CHYB K CENĚ
5 expertů je rozumné číslo v porovnání s množstvím nalezených
problémů.
• Průměrně 1 evaluátor nalezne 35 % problémů
• 5 evaluátorů nalezne až 75 % problémů
Tomáš Bouda HCI na KISK
11
POMĚR NALEZENÝCH CHYB K CENĚ
Náklady na HA se přestávají vyplácet v případě najmutí více jak 5
expertů.
Tomáš Bouda HCI na KISK
12
POMĚR NALEZENÝCH CHYB K CENĚ
Jeden z výzkumů Nielsena říká, že:
• benefit díky HA byl u softwaru 500,000 USD
• náklady na HA byly 10,500 USD
HA se vyplatí přibližně 48x
Zdroj: http://www.useit.com/papers/heuristic/heuristic_evaluation.html
Tomáš Bouda HCI na KISK
13
FÁZE HA
Před-evaluační školení expertů
• Poskytuje expertům základní znalosti o zkoumané doméně.
• Seznamuje evaluátory se scénářem.
Individuální evaluace produktu a agregace výsledných dat
Měření intenzity problému
• Stanovuje míru naléhavosti nalezeného problému a potřebu jej
opravit.
• Může být řešeno individuálně a následně společně.
Skupinový rozhovor
• Vzájemná reflexe mezi evaluátory.
• Evaluátoři s vývojovým týmem.
Tomáš Bouda HCI na KISK
14
HEURISTICKÁ ANALÝZA -
PRAKTICKY
1. Instruujte experta – vytvořte scénář
• Pokud testujete systém „ walk-up-and-use“ nebo je expert
odborníkem v dané oblasti, pak školení můžete vynechat.
2. Každý expert projde rozhraní alespoň 2x
• a) Sleduje flow a širší rámec systému.
• b) Soustředí se na specifické elementy rozhraní.
3. Každý expert sepíše nalezené problémy
• každý problém jednotlivě (problém v jednom prvku UI,
nekonzistentnost, problém s celým rozhraním, nebo něco
chybí…)
• odkazuje na konkrétní heuristiky
Tomáš Bouda HCI na KISK
15
HEURISTICKÁ ANALÝZA -
PRAKTICKY
4. Měření intenzity problému
• každý evaluátor odhaduje závažnost problému
jednotlivě
• odhaduje potřebné zdroje (čas, finance) na opravu
Výsledek je závislý na:
• Frekvenci výskytu problému
• Míře dopadu na uživatele – jaké úsilí bude muset
uživatel vyvinout, aby problém vyřešil?
• Míře persistence – je problém stálého charakteru,
nebo při jednom překonání již nebude kritický?
Tomáš Bouda HCI na KISK
16
HEURISTICKÁ ANALÝZA -
PRAKTICKY
Měření intenzity problému
0 – Nejedná se o problém použitelnosti.
1 - Problém kosmetického rázu - problém by měl být řešen jen
v případě, že na něj máme čas a zdroje.
2 - Drobný problém použitelnosti - nízká priorita.
3 - Důležitý problém použitelnosti - měl by být řešen.
4 - Katastrofa použitelnosti - problém musí být vyřešen dříve,
než se systém dostane k uživatele!
Tomáš Bouda HCI na KISK
17
MĚŘENÍ INTENZITY
PROBLÉMU - PŘÍKLAD
Problém: Před odesláním fotky není možné vložit zprávu
pro silničáře.
Intenzita: 2 – Drobný problém použitelnosti
Heuristika: Pomoc uživatelů poznat, pochopit a
vzpamatovat se z chyb
Popis: Když vyfotím fotku silnice, není možné k ní následně
přidat zprávu pro silničáře. Není to úplná katastrofa, protože
foto lze odeslat i bez textu. Problém je, že uživatel očekává,
že může text vložit. Není si následně jistý, proč mu je tato
funkce odepřena. Doporučuji chybu opravit.
Tomáš Bouda HCI na KISK
18
Tomáš Bouda HCI na KISK
19
NÁSLEDNÝ SKUPINOVÝ ROZHOVOR
• Experti, pozorovatelé a vývojářský tým
• Diskuse nad celkovým charakterem rozhraní
• Navržení řešení pro kritické problémy
použitelnosti
• Vývojářský tým zhodnotí potřebné náklady na
opravu
• Brainstorming
Tomáš Bouda HCI na KISK
20
TESTOVÁNÍ
POUŽITELNOSTI
(USABILITY TESTING)
Tomáš Bouda HCI na KISK
21
Tomáš Bouda HCI na KISK
22
TESTOVÁNÍ
POUŽITELNOSTI
Formativní výzkum (spíše kvalitativní)
• Exploratorní testování
• Hodnotící testování
Sumativní výzkum (spíše kvantitativní)
• Validační a verifikační testování
• Komparativní testování (A/B testování)
Tomáš Bouda HCI na KISK
23
V PRAXI
1. Vyberete úkoly (task), které chcete otestovat
2. Vytvoříte scénáře (scénář/task)
3. Najdete uživatele
4. Necháte je procházet tasky
5. Sledujete, nahráváte, měříte
6. Post-interview s úživatelem
7. Analyzujete a interpretujete data
Tomáš Bouda HCI na KISK
24
JAKÉ TASKY?
• Často používané
• Kritické pro byznys, zážitek…
• Aktuálně upravované
• Nové funkce
Tomáš Bouda HCI na KISK
25
SCÉNÁŘ
Písemný dokument ke každému tasku.
Obsahuje:
• Popis tasku
• Hypotéza
• Uvedení do situace
• Doplňující otázky
• Problémové oblasti
Příklad:
https://dl.dropboxusercontent.com/u/556750/KISK_201
2-11-15/kopta-testing-proposal-20120126.01.pdf
Tomáš Bouda HCI na KISK
26
POPIS TASKU
Co je cílem testování?
• Funkce, část, celá aplikace, průchod
aplikací.
• „Cílem testování je odhalit…“
• „Smyslem je vylepšit…“
Tomáš Bouda HCI na KISK
27
HYPOTÉZA
• Jaké je vaše očekávání?
• Stanovujete podobně jako v kvantitativním
výzkumu.
• Interpretace je však do jisté míry subjektivní.
• Nástroj pro uspokojení stakeholderů.
Tomáš Bouda HCI na KISK
28
Tomáš Bouda HCI na KISK
29
UVEDENÍ DO SITUACE
„Právě Vám vnuk nainstaloval novou aplikaci, která
umožňuje upozorňovat silničáře na rozbité silnice a
chodníky. Zapněte aplikaci a odešlete hlášení o rozbitém
chodníku před Vašim domem.“
• Krátké, jendoznačné, v jazyce uživatele, navádí uživatele
udělat požadovanou akci.
• Můžete připravit dopředu na papírku.
PROSTŘEDÍ A SITUACE
Co nejrealističtější prostředí
• Kavárna
• Ulice
Netestujete uživatele, ale rozhraní!!!
• Upozorněte uživatele, že když se něco nepovede, není to
jeho chyba, ale chyby systému.
• Kupte mu kafe.
• Dopředu se zeptejte, zda něco nepotřebuje.
• Po testování si s ním pokecejte.
Tomáš Bouda HCI na KISK
30
ASISTOVAT NEBO NE?
Co když se respondent zasekne na první
obrazovce?
Tipy:
Přečtěte si ještě jendou scénář…
Otevřené otázky:
• Tak v čem je problém?
Návodné pobídky:
• Už jste byl blízko, jak jste se díval do toho menu.
Tomáš Bouda HCI na KISK
31
KOLIK POTŘEBUJEME
UŽIVATELŮ?
• Chyby se začnou s více uživateli opakovat.
• 5 uživatelů nalezne 80 % chyb nalazených 20 uživateli.
• 5 uživatelů nalezne problémy s vysokou závažností
Doporučujeme 5 – 8 uživatelů. Záleží na to, no….
Tomáš Bouda HCI na KISK
32
CO MĚŘIT?
Efektivita (Efectivity)
• Odpovídá tomu, zda je uživatel schopen dokončit scénář a
tasky.
• Měříme chyby, míru úspěšnosti, míra asistence testera
Výkonost (Efficiency)
• Odpovídá úsilí, které musí uživatel vynaložit, aby dokončil
úkol.
• Měříme čas, interpretujeme vyjádření uživatele.
Spokojenost
• Intepretujeme názory, postoje uživatele
• Škála spokojenosti, datazník apod.
Tomáš Bouda HCI na KISK
33
THINK ALOUD
Metoda hlasitého myšlení pro sběr kvalitativních dat.
Kořeny v psychologii, kognitivní vědě
Uživatel při testování říká:
• Co si myslí
• Co právě dělá
• O čem přemýšlí
• Co mu letí hlavou
Tomáš Bouda HCI na KISK
34
HODNOCENÍ ZÁVAŽNOSTI
PROBLÉMU
• Kritické: Ztráta dat nebo nemožnost dokončit úkol.
• Zásadní: definice ?? (Problémy, které zpomalují
průchod taskem? Problémy, které způsobují
frustraci? Jak vysokou?
• Méně zásadní: definice ??
• Nedůležité: nemá vliv na použitelnost, není třeba
opravovat
SUM: Hodnocení vážnosti pomáhá při prioritizaci
oprav chyb. Zároveň je však velice subjektivní.
Tomáš Bouda HCI na KISK
35
POROVNEJ HA A UT
• Máte papírový prototyp. Použijete nejdříve UT a
pak HA? Nebo nejdříve HA a pak UT? Proč?
• Do vaší aplikace jste vložili novou funkcionalitu.
Jak ji otestujete?
• #KISKHCI – Formulujte „uvedení do situace“ a v
několika bodech popište, jak byste postupovali
při testování použitelnosti vaší aplikace.
Tomáš Bouda HCI na KISK
36
HEURISTICKÁ ANALÝZA VS.
UŽIVATELSKÉ TESTOVÁNÍ
• HA je často rychlejší (1-2h.) nežli UT.
• Výsledky HA jsou již interpretované experty.
• Výsledky UT jsou přesnější.
• Berou v úvahu aktuální uživatele, jejich práci, situaci,
rozpoložení apod.
• HA může najít špatné problémy a ty opravdové
pominout.
• HA neklade nároky na uživatele.
Tomáš Bouda HCI na KISK
37
TAKE AWAY
MESSAGE #1:
HA dělejte dřív než UT.
Tomáš Bouda HCI na KISK
38
ZDROJE:
Dumas, J., & Fox, J. (c2008). Usability testing: current practice
and future directions. In A. Sears & J. Jacko, Human-computer
interaction handbook: fundamentals, evolving technologies, and
emerging applications (2nd Ed., pp. 1129 - 1149). New York:
Lawrence Erlbaum Associates.
Tomáš Bouda HCI na KISK
39
DĚKUJI ZA
POZORNOST
TOMÁŠ BOUDA
BOUDATOMAS@GMAIL.COM
KISK 2017 KOMUNIKACE ČLOVĚK-POČÍTAČ