Tvorba uživatelských rozhraní a hodnocení použitelnosti Martin Dostál Honeywell International - Aerospace Advanced Technology Europe Masarykova Univerzita v Brně, Fakulta informatiky PV252 10. přednáška VALIDACE UŽIVATELSKÝCH ROZHRANÍ A SYSTÉMŮ Validační metody • typicky v pozdní fázi projektu, též po nasazení, mezi verzemi a podobně • zejména komplexní přísup s důrazem na formální provedení • důraz na proces, metody, metodiku, zpracování výstupů • validita • cílem je oveření a to zejména v kontextu celku • porovnávání • zaměřeno na části i celek • zpravidla minimální interakce s experimentátorem • mnoho vhodných metod • experimentální výzkum (v principu stejné či podobné metody i oblastech mimo použitelnost) 2 Trénink vs. zápas Validační metody • zde je řídícím prvkem plánování • důsledné, komplexní (obvykle) • drahé, časově náročné • podrobné studie, reporty 3 Průběh validace • Definice problému, metrik a hypotéz • validační cíle • Vytvoření experimenálního plánu • validační plán • Příprava experimentu • technická i formální příprava • opakované dry-runy • Provedení experimentu • Analýza a zpracování dat • Reportování výsledků, vyvození závěrů významnost: obecná/ statistická/praktická prezentujeme FORMÁLNÍ pojetí, ne vžždy JE NUTNO postupOVAT pøřÁVÌĚ takto 4 Etické a legální aspekty • zvážit dopady na účastníky validace a dopady na organizaci • informovat a odsouhlasit • informovaný souhlas (informed consent form) • práva a povinnosti účastníka • některé informace předem (plán a průběh) • ochrana duševního vlastictví • dohoda o mlčenlivosti (non-disclosure agreement) 5 Validační cíle • co chceme zkoumat/zjistit • cíle (validation objectives) • hlavní (high-level) • dílčí (low-level) • otázky (research questions)/hypotézy (hypotheses) • hrubý popis indikátorů, metrik, zdůvodnění a předpokladů • výstupem je dokument, který by měl být recenzovaný a podléhat schválení • může existovat externí i interní verze kvůli ochraně duševního vlastnictví a různým požadavkům a potřebám 6 Validační cíle • příklady indikátorů - dotazník (daná část), focus group, Monte-Carlo simulace, logovaná rychlost, eyetraker, SUS, ... • příklady metrik - deskriptivní statistika (otázky v dotazníku), průměrná rychlost v km/h, head-down time, SUS skóre, odchylka od středové čáry, ... • předpoklady • relativní • absolutní 7 Validační plán • validační plán je popisem plánu validace a všech souvisejících částí, zejména pak designu experimentu • východiskem jsou validační cíle • cílem je minimalizovat neurčitost během validace • experiment musí být co nejlépe řízen • experiment potřebuje přípravu a organizaci mnoha vstupů - subjekty, tým, materiály, technologie, ... • „agilní” přístup nebude fungovat • validační plán by měl být recenzován a schvalován • může existovat externí i interní verze 8 Validační plán • úvod, popis validace, co a proč validujeme • validační cíle • hlavní • dílčí • převezmou ze z dokumentu s validačními cíli • otázky/hypotézy - převezme se z valiačních cílů • odchylky od validačních cílů 9 Validační plán • Nástroje • subjektivní měření (dotazníky, SUS, focus group, ...) • objektivní měření (log ze simulátoru - rozepsat co se loguje včetně jednotek, eyetracker, EEG, ...) • podpůrné nástroje (NDA, audiozáznam, booklet pro strukturované interview, screeningový dotazník, ..) 10 Validační plán • Nástroje, indikátory, metriky, předpoklady, kritéria splnitelnosti • zracováváme pro otázky/hypotézy • rozpracování příslušné části z validačních cílů do přesné podoby • nástroj - např. dotazník, log,... • indikátor - který(é) prvky nástroje indikují • přidáme kriteria splnitelnosti • předpoklady 11 Validační plán • Role ve validačním týmu • role, osoba, odpovědnost • Úlohy, scénáře, trénink • popis úloh a scénářů - proč a jak, přesný, detailní popis • Omezení experimentu • jaká a proč, zejména zdůvodnit a přesvědčit že validace stále má vypovídací hodnotu 12 Validační plán • rozvrh validace • příprava validace (dry-runy) • rozpis průběhu validace pro subjekt • přípravná část • výkonná část • musí být bodové a přesné • přiřazení subjektů do rozvrhu • plán scénářů pro subjekty 13 Validační plán • Checklist • dokument pro kontrolu přípravy po jednotlivých bodech - „aby se na něco nezapomělo” • Přílohy • dotazníky, NDA, tréninkové materiály, ... 14 Provedení samotné validace • držet se plánu • být připraven na okamžité změny, když je to nutné • běžná situace • změny v pořadí scénářů, subjektů, ... • vždy rychle konfrontovat s validačním plánem a dopady na experiment • mít rezervu • mít zálohu 15 Validační zpráva • v podstatě běžný vědecký text • často existuje šabolna či interní standart • celek i detail je důležitý 16