EVALUACE HEURISTICKÁ ANALÝZA A TESTOVÁNÍ POUŽITELNOSTI TOMÁŠ BOUDA KISK 2016 KOMUNIKACE ČLOVĚK-POČÍTAČ JAK ZJISTIT, ZDA JSME NAVRHLI DOBRÉ ROZHRANÍ? •Viditelnost stavu systému •Spojení mezi systémem a reálným světem •Uživatelská kontrola a svoboda •Konzistence a standardizace •Prevence chyb •Rozpoznání místo vzpomínání •Flexibilní a efektivní použití •Estetický a minimalistický •Pomoc uživatelů poznat, pochopit a vzpamatovat se z chyb •Nápověda a návody Zdroj: http://human-computer-interaction.webnode.cz/testovani-a-hodnoceni-rozhrani/metody-testovani /heuristicka-analyza/ Zdroj: NIELSEN: http://www.nngroup.com/articles/ten-usability-heuristics/ Tomáš Bouda HCI na KISK 1.Viditelnost stavu systému – systém by měl vždy dát uživateli vědět co se právě odehrává 2.Spojení mezi systémem a reálným světem – komunikace systému s uživatelem by se měla odehrávat uživatelsky příjemným způsobem (srozumitelný jazyk bez odborných termínů) 3.Uživatelská kontrola a svoboda – uživatelé při práci se systémem dělají chyby a potřebují proto únikový východ pro návrat do předchozího stavu. 4.Konzistence a standardizace – uživatelé by neměli být nuceni přemýšlet jestli různé termíny znamenají to stejné, proto se doporučuje dodržovat obecné zásady. 5.Prevence chyb – vyvarovat se chybovým hlášením bezpečným designem, který bude preventivně působit proti problémům 6.Rozpoznání místo vzpomínání – uživatel by neměl být nucen vzpomínat si na provádění operací v systému, instrukce by měly být v systému vždy viditelně umístěny 7.Flexibilní a efektivní použití – umožnění zrychlení práce se systém pro pokročilé uživatele 8.Estetický a minimalistický design – bez nepotřebných informací 9.Pomoc uživatelů poznat, pochopit a vzpamatovat se z chyb – chybové hlášky by měly být uváděny v přirozeném jazyce a měly by navrhovat řešení 10.Nápověda a návody – všechny informace se musí dát lehce vyhledat, nápověda by měla obsahovat postupy v krocích TYPOLOGIE EVALUACE Kritická evaluace (s experty) •Heuristická analýza (HA) Empirická evaluace (s uživateli) •Testování použitelnosti - Usability Testing (UT) Formální evaluace •K měření slouží vytvořený model uživatele Automatická evaluace •Automatizované systémy a softwarové řešení • Tomáš Bouda HCI na KISK Formální evaluace – vytvoří se model uživatele a jeho chování v různách situacích. Na základě těchto modelů můžeme předvídat, jaký typ rozhraní bude vhodný. Automatická evaluace – je nasazen speciální software, který kontroluje funkčnost. Je vytvořen scénář, který software prochází a kontroluje kód, případně slabá místa, která budou při zvýšené zátěži spouštěčem problémů. HEURISTICKÁ ANALÝZA Tomáš Bouda HCI na KISK KDY DĚLAT KRITICKOU EVALUACI? •Před UT •Při inovaci rozhraní •Když potřebujete důkazy, že v systému jsou chyby •Před zveřejněním • Zdroj: Usability Inspection. In: ETRE [online]. © 2004-2012 [cit. 2012-10-14]. Dostupné z: http://www.etre.com/usability/inspection/ Tomáš Bouda HCI na KISK 1 Neplýtvejme časem uživatelů. Opravením evidentních chyb v designu umožníme uživatelům, aby se soustředili na mnohem zásadnější problémy použitelnosti. 2 Kritická evaluace nám ukáže i dobrá místa v systému. Ty je vhodné zachovat. 3 Dostáváte špatnou zpětnou vazbu od uživatelů systému? Nebo vám Google analytics říká, že je na webu nějaký problém. Díky kritické analýze dostanete jasnou představu o tom, co je špatně. 4 Neservírujte svým uživatelům chyby na stříbrném podnose. HEURISTICKÁ ANALÝZA Jacob Nielsen „Perhaps the best-known design and usability guru on the Internet“. (Financial Times) „The king of usability". (Internet Magazine) http://www.nngroup.com/ Tomáš Bouda HCI na KISK Jakob Nielsen photo HEURISTICKÁ ANALÝZA (HA) Malá skupina (3-5) expertů zkoumá uživatelské rozhraní: •Experti samostatně zkontrolují systém a definují chyby, které jsou v nesouladu se stanovenými principy použitelnosti (heuristikami). •Nálezy jsou agregovány do jednoho dokumentu. HA může být použita jak na hotové rozhraní tak na papírové prototypy, mockupy apod. Zdroj: http://www.nngroup.com/topic/heuristic-evaluation/ Tomáš Bouda HCI na KISK 10 PRINCIPŮ POUŽITELNOSTI PODLE NIELSENA (HEURISTIKY) •Viditelnost stavu systému •Spojení mezi systémem a reálným světem •Uživatelská kontrola a svoboda •Konzistence a standardizace •Prevence chyb •Rozpoznání místo vzpomínání •Flexibilní a efektivní použití •Estetický a minimalistický •Pomoc uživatelů poznat, pochopit a vzpamatovat se z chyb •Nápověda a návody Zdroj: http://human-computer-interaction.webnode.cz/testovani-a-hodnoceni-rozhrani/metody-testovani /heuristicka-analyza/ Zdroj: NIELSEN: http://www.nngroup.com/articles/ten-usability-heuristics/ Tomáš Bouda HCI na KISK 1.Viditelnost stavu systému – systém by měl vždy dát uživateli vědět co se právě odehrává 2.Spojení mezi systémem a reálným světem – komunikace systému s uživatelem by se měla odehrávat uživatelsky příjemným způsobem (srozumitelný jazyk bez odborných termínů) 3.Uživatelská kontrola a svoboda – uživatelé při práci se systémem dělají chyby a potřebují proto únikový východ pro návrat do předchozího stavu. 4.Konzistence a standardizace – uživatelé by neměli být nuceni přemýšlet jestli různé termíny znamenají to stejné, proto se doporučuje dodržovat obecné zásady. 5.Prevence chyb – vyvarovat se chybovým hlášením bezpečným designem, který bude preventivně působit proti problémům 6.Rozpoznání místo vzpomínání – uživatel by neměl být nucen vzpomínat si na provádění operací v systému, instrukce by měly být v systému vždy viditelně umístěny 7.Flexibilní a efektivní použití – umožnění zrychlení práce se systém pro pokročilé uživatele 8.Estetický a minimalistický design – bez nepotřebných informací 9.Pomoc uživatelů poznat, pochopit a vzpamatovat se z chyb – chybové hlášky by měly být uváděny v přirozeném jazyce a měly by navrhovat řešení 10.Nápověda a návody – všechny informace se musí dát lehce vyhledat, nápověda by měla obsahovat postupy v krocích PROCES HA Experti prochází design rozhraní několikrát •Všímají si detailů, architektury i dalších okolností, které mají vliv na průchod uživatele webem (flow). •Porovnávají systém s principy použitelnosti •… a zvažují vše, co jim přijde na mysl. • Principy použitelnosti •Nielsenovy heuristiky – upravené heuristiky? •Nehodí se jiná kategorie principů – heuristiky pro virtuální svět, mobilní technologie ovládané gesty, apod. Tomáš Bouda HCI na KISK Heuristiky pro mobilní zařízení: -Privacy -Velikost tlačítek na prsty PROČ JE TŘEBA VÍCE EVALUÁTORŮ? Žádný expert nenalezne všechny chyby! Někteří naleznou více než jiní. Zdroj: NIELSEN: http://www.useit.com/papers/heuristic/heuristic_evaluation.html Tomáš Bouda HCI na KISK https://www.mindmeister.com/images/download/6659117 POMĚR NALEZENÝCH CHYB K CENĚ 5 expertů je rozumné číslo v porovnání s množstvím nalezených problémů. •Průměrně 1 evaluátor nalezne 35 % problémů •Pět evaluátorů nalezne až 75 % problémů Tomáš Bouda HCI na KISK https://www.mindmeister.com/images/download/6659131 POMĚR NALEZENÝCH CHYB K CENĚ Náklady na HA se přestávají vyplácet v případě najmutí více jak 5 expertů. Tomáš Bouda HCI na KISK https://www.mindmeister.com/images/download/6659148 POMĚR NALEZENÝCH CHYB K CENĚ Jeden z výzkumů Nielsena říká, že: • •benefit díky HA byl u softwaru 500,000 USD •náklady na HA byly 10,500 USD HA se vyplatí přibližně 48x Zdroj: http://www.useit.com/papers/heuristic/heuristic_evaluation.html • Tomáš Bouda HCI na KISK FÁZE HA Před-evaluační školení expertů •Poskytuje expertům základní znalosti o zkoumané doméně. •Seznamuje evaluátory se scénářem. Individuální evaluace produktu a agregace výsledných dat Měření intenzity problému •Stanovuje míru naléhavosti nalezeného problému a potřebu jej opravit. •Může být řešeno individuálně a následně společně. Skupinový rozhovor •Vzájemná reflexe mezi evaluátory. •Evaluátoři s vývojovým týmem. Tomáš Bouda HCI na KISK HEURISTICKÁ ANALÝZA - PRAKTICKY 1.Instruujte experta – vytvořte scénář •Pokud testujete systém „ walk-up-and-use“ nebo je expert odborníkem v dané oblasti, pak školení můžete vynechat. • 2.Každý expert projde rozhraní alespoň 2x •a.) Sleduje flow a širší rámec systému. •b.) Soustředí se na specifické elementy rozhraní. • 3.Každý expert sepíše nalezené problémy •každý problém jednotlivě (problém v jednom prvku UI, nekonzistentnost, problém s celým rozhraním, nebo něco chybí…) •odkazuje na konkrétní heuristiky • Tomáš Bouda HCI na KISK Walk-up-and-use – např. automat na jízdenky HEURISTICKÁ ANALÝZA - PRAKTICKY 4.Měření intenzity problému •každý evaluátor odhaduje závažnost problému jednotlivě •odhaduje potřebné zdroje (čas, finance) na opravu • •Výsledek je závislý na: •Frekvenci výskytu problému •Míře dopadu na uživatele •Míře persistence Tomáš Bouda HCI na KISK Frekvenci výskytu problému Míře dopadu na uživatele – jaké úsilí bude muset uživatel vyvinout, aby problém vyřešil? Míře persistence – je problém stálého charakteru, nebo při jednom překonání již nebude kritický? HEURISTICKÁ ANALÝZA - PRAKTICKY •Měření intenzity problému • •0 - Nesouhlas s tím, že jde o problém použitelnosti. • •1 - Problém kosmetického rázu - problém by měl být řešen jen v případě, že na něj máme čas a zdroje. • •2 - Drobný problém použitelnosti - nízká priorita. • •3 - Důležitý problém použitelnosti - měl by být řešen. • •4 - Katastrofa použitelnosti - problém musí být vyřešen dříve, než se systém dostane k uživatele! Tomáš Bouda HCI na KISK MĚŘENÍ INTENZITY PROBLÉMU - PŘÍKLAD Problém: Před odesláním fotky není možné vložit zprávu pro silničáře. Intenzita: 2 – Drobný problém použitelnosti Heuristika: Pomoc uživatelů poznat, pochopit a vzpamatovat se z chyb Popis: Když vyfotím fotku silnice, není možné k ní následně přidat zprávu pro silničáře. Není to úplná katastrofa, protože foto lze odeslat i bez textu. Problém je, že uživatel očekává, že může text vložit. Není si následně jistý, proč mu je tato funkce odepřena. Doporučuji chybu opravit. Tomáš Bouda HCI na KISK Tomáš Bouda HCI na KISK https://www.mindmeister.com/images/download/6659872 NÁSLEDNÝ SKUPINOVÝ ROZHOVOR •Experti, pozorovatelé a vývojářský tým •Diskuse nad celkovým charakterem rozhraní •Navržení řešení pro kritické problémy použitelnosti •Vývojářský tým zhodnotí potřebné náklady na opravu •Brainstorming Tomáš Bouda HCI na KISK TESTOVÁNÍ POUŽITELNOSTI (USABILITY TESTING) Tomáš Bouda HCI na KISK Tomáš Bouda HCI na KISK NETESTUJETE UŽIVATELE ALE ROZHRANÍ •Důraz na použitelnosti •Potřebujeme koncové uživatele •Uživatelé plní úkol a u toho přemýšlí nahlas (thinking aloud) •Zaznamenáváme a analyzujeme data •Výsledky musíme komunikovat stakeholderům a vývojářům TESTOVÁNÍ POUŽITELNOSTI Formativní výzkum (spíše kvalitativní) •Zkoumáme koncepty, nápady, myšlenky. •Exploratorní testování •Hodnotící testování - Sumativní výzkum (spíše kvantitativní) •Zkoumáme konkrétní funkce, vzhled, použitelnost •Validační a verifikační testování •Komparativní testování (A/B testování) Tomáš Bouda HCI na KISK Explorativní testy – na začátku vývoje, řeší koncept aplikace na vyšší úrovni Hodnotící testy – v celém průběhu vývoje (nejtypičtější) Validační a verifikační testy – dělají se na konci vývoje, ujištění, zda rozhraí splňuje minimální požadavky na použitelnost Komparační testy – kdykoli, porovnávání dvou verzi, např. A/B testování V PRAXI 1.Vyberete úkoly (tasks), které chcete otestovat 2.Vytvoříte scénáře (dokument: 1 scénář = 1 task) 3.Rekrutujete uživatele 4.Necháte je procházet tasky 5.Sledujete, nahráváte, měříte 6.Post-interview nebo dotazník s úživatelem 7.Analyzujete a interpretujete data 8. Tomáš Bouda HCI na KISK JAKÉ TASKY? •Často používané •Kritické pro byznys, zážitek… •Aktuálně upravované •Nové funkce Tomáš Bouda HCI na KISK SCÉNÁŘ Písemný dokument ke každému tasku. Obsahuje: •Popis tasku •Hypotéza •Uvedení do situace •Doplňující otázky •Problémové oblasti • •Všechny scénáře jsou sepsány v Návrhu testování: https://dl.dropboxusercontent.com/u/556750/KISK_2012-11-15/kopta-testing-proposal-20120126.01.pdf Tomáš Bouda HCI na KISK POPIS TASKU Co je cílem testování? •Funkce, část, celá aplikace, průchod aplikací. •„Cílem testování je odhalit…“ •„Smyslem je vylepšit…“ • • • • Tomáš Bouda HCI na KISK HYPOTÉZA •Jaké je vaše očekávání? •Stanovujete podobně jako v kvantitativním výzkumu. •Interpretace je však do jisté míry subjektivní. •Nástroj pro uspokojení stakeholderů. Tomáš Bouda HCI na KISK Tomáš Bouda HCI na KISK UVEDENÍ DO SITUACE „Právě Vám vnuk nainstaloval novou aplikaci, která umožňuje upozorňovat silničáře na rozbité silnice a chodníky. Zapněte aplikaci a odešlete hlášení o rozbitém chodníku před Vašim domem.“ •Krátké, jendoznačné, v jazyce uživatele, navádí uživatele udělat požadovanou akci. •Můžete připravit dopředu na papírku. Přidává racionální kontext Zvyčuje motivaci KOLIK POTŘEBUJEME UŽIVATELŮ? •Chyby se začnou s více uživateli opakovat. •5 uživatelů nalezne 80 % chyb nalazených 20 uživateli. •5 uživatelů nalezne problémy s vysokou závažností •Problém je komplikované rozhraní nebo heterogenní cílová skupina. Doporučujeme 5 – 8 uživatelů. Záleží na tom, mno…. •Metody rekrutace participantů: •Sněhová koule •Hall way Tomáš Bouda HCI na KISK Heteroggenní – např. důchodci i nevidomí PROSTŘEDÍ A SITUACE Co nejrealističtější prostředí •Kavárna •Ulice Netestujete uživatele, ale rozhraní!!! •Upozorněte uživatele, že když se něco nepovede, není to jeho chyba, ale chyby systému. •Kupte mu kafe. •Dopředu se zeptejte, zda něco nepotřebuje. •Po testování si s ním pokecejte. •Použijte dotazník spokojenosti. Tomáš Bouda HCI na KISK Přece mu nepolezete do postele, když se kognitivní schopnosti učí před spaním. ASISTOVAT/MODEROVAT NEBO NE? Co když se respondent zasekne na první obrazovce? Tipy: „Přečtěte si ještě jendou Uvedení do situace…” Otevřené otázky: •„Tak v čem je problém?“ Návodné pobídky: •„Už jste byl blízko, jak jste se díval do toho menu.“ • Tomáš Bouda HCI na KISK Důvodem pro asistenci je snaha nalézt další problémy. CO MĚŘIT? Efektivita (Effectiveness) •Odpovídá tomu, zda je uživatel schopen dokončit scénář a tasky. •Měříme chyby, míru úspěšnosti, míra asistence testera Výkonost (Efficiency) •Odpovídá úsilí, které musí uživatel vynaložit, aby dokončil úkol. •Měříme čas, interpretujeme vyjádření uživatele. Spokojenost (User Satisfaction) •Intepretujeme názory, postoje uživatele •Škála spokojenosti, datazník apod. Tomáš Bouda HCI na KISK Triangulujeme data THINK ALOUD Metoda hlasitého myšlení pro sběr kvalitativních dat. Kořeny v psychologii, kognitivní vědě Uživatel při testování říká: •Co si myslí •Co právě dělá •O čem přemýšlí •Co mu letí hlavou Tomáš Bouda HCI na KISK Studium krátkodobé paněti. Triangulace s kvantitaivními metodami HODNOCENÍ ZÁVAŽNOSTI PROBLÉMU •Kritické: Ztráta dat nebo nemožnost dokončit úkol. •Zásadní: definice ?? (Problémy, které zpomalují průchod taskem? Problémy, které způsobují frustraci? Jak vysokou? •Méně zásadní: definice ?? •Nedůležité: nemá vliv na použitelnost, není třeba opravovat • SUM: Hodnocení vážnosti pomáhá při prioritizaci oprav chyb. Zároveň je však velice subjektivní. Tomáš Bouda HCI na KISK Zásadní a méně zásadní jsou velice subjektivní měřítka. POROVNEJ HA A UT •Máte papírový prototyp. Použijete nejdříve UT a pak HA? Nebo nejdříve HA a pak UT? Proč? •Do vaší aplikace jste vložili novou funkcionalitu. Jak ji otestujete? •#KISKHCI – Formulujte „uvedení do situace“ a v několika bodech popište, jak byste postupovali při testování použitelnosti vaší aplikace. Tomáš Bouda HCI na KISK HA je často rychlejší (1-2h.) nežli UT. Výsledky HA jsou již interpretované experty. Výsledky UT jsou přesnější. Berou v úvahu aktuální uživatele, jejich práci, situaci, rozpoložení apod. HA může najít špatné problémy a ty opravdové pominout. HA neklade nároky na uživatele. TAKE AWAY MESSAGE #1: HA dělejte dřív než UT. Tomáš Bouda HCI na KISK ZDROJ K UT: Dumas, J., & Fox, J. (c2008). Usability testing: current practice and future directions. In A. Sears & J. Jacko, Human-computer interaction handbook: fundamentals, evolving technologies, and emerging applications (2nd Ed., pp. 1129 - 1149). New York: Lawrence Erlbaum Associates. KRUG, Steve. Don't make me think!: a common sense approach to Web usability. 2nd ed. Berkeley, Calif: New Riders Pub., c2006. ISBN 0321344758. Tomáš Bouda HCI na KISK DĚKUJI ZA POZORNOST TOMÁŠ BOUDA BOUDATOMAS@GMAIL.COM KISK 2016 KOMUNIKACE ČLOVĚK-POČÍTAČ