Měření spokojenosti online: Sběr a administrace online dotazníků Abstrakt Příspěvek se zaměřuje na využití online metod pro sběr a administraci dat z dotazníkových šetření. Diskutuje některé základní metodologické problémy spojené především s návratností online dotazníků. Představuje a srovnává některé konkrétní nástroje, které lze aplikovat v knihovnách, přičemž důraz je kladen na kontext potřeb knihoven i vynaložených efektivitu nákladů. Měření spokojenosti a potřeb uživatelů knihoven Změny práce s informacemi mají přímý dopad na služby knihoven (Richter, 2009). Aby knihovny obhájily svou potřebnost před uživateli, musí především pružně reagovat na jejich měnící se potřeby. Měření uživatelských potřeb a spokojenosti se ve světě stává tématem od 80. let, v České republice se rozvíjí především od konce 90. let 20. století. Spokojenost uživatelů přitom není jednoznačně a jednoduše uchopitelný koncept. Norma ČSN ISO 9000 např. definuje spokojenost jako „vnímání zákazníka týkající se stupně splnění jeho požadavku“ (ČSN ISO 9000). Richter a Pillerová upozorňují na to, že hodnocení služeb knihovny není pouhým součtem hodnocení jednotlivých prvků, ze kterých se služby knihoven skládají: například i nepříliš kvalitní služby mohou být hodnoceny spíše kladně, pokud jsou poskytovány v příjemném a hezkém prostředí (Richter, Pillerová, 2007). Pro měření spokojenosti uživatelů knihoven byla vyvinuta a testována i řada modelů, např. Model spokojenosti a loajality uživatelů vyvinutý ve spolupráci dánských knihoven pod odbornou garancí Dánského knihovního úřadu (Styrelsen for Bibliotek og Medier). Obr. 1: The user satisfaction and loyalty model (Martensen & Gronholdt, 2003) Standardizovaný dotazník připravený Národní knihovnou ČR měří spokojenost uživatelů prostřednictvím hodnocení šesti tematických okruhů, např. hodnocení knihovního fondu, pracovníků knihovny atd. (Richter, 2009). Spokojenost uživatelů lze měřit řadou metod – kvalitativně především prostřednictvím polonebo nestrukturovaných rozhovorů, nejčastěji je však využíváno metod kvantitativních – ankety nebo dotazníkového šetření, která mohou za relativně krátký čas a přijatelné náklady poskytnout množství reprezentativních dat. Jako nejvhodnější (může-li si to knihovna dovolit) je kombinace různých výzkumných metod (např. dotazníků, rozhovorů a analýzy dokumentů a pozorování), tzv. triangulace, která zajistí skutečně validní výsledky (Connaway, Powell, 2004). Tento příspěvek se soustředí především na metodu online dotazníkového šetření a na nástroje, které k němu lze využít. Online dotazování: výhody a nevýhody Online dotazování (CAWI – Computer Aided Web Interviewing) patří mezi velmi oblíbené metody sběru dat především v marketingovém výzkumu. Umožňuje získat velké množství dat rychleji, efektivněji a často i pro respondenty zajímavou formou. Je-li k online dotazování využito správného nástroje, poskytuje tato forma dotazování řadu výhod, především: • výrazně snižuje časový interval sběru dat, • eliminuje chyby při sběru dat (filtrování otázek a implementace logických posloupností se odehrává bez toho, aby o tom respondent věděl), • poskytuje možnost okamžité a průběžné kontroly výsledků a jejich základní analýzy, • obsahuje možnost zapojení multimédií (videa, obrazu, zvuku…), • eliminuje finanční náklady na tisk dotazníků a tazatele atd., • umožňuje i vyplnění poměrně dlouhého dotazníku (např. delšího než při telefonickém dotazování), aniž by respondent formulář opustil, • získaná data lze snadno exportovat do různých formátů (.csv, .xls, .sav atd.), • distribuce dotazníku může probíhat současně několika kanály (zasláním html odkazu, zveřejněním na stránkách atd.), • snadnou integraci dotazníku do webových stránek knihovny formou iframe nebo pop-up oken - pro umístění stačí jen jednoduché vložení kódu (embed). Řada studií potvrzuje, že kvalita dat získaných online je srovnatelná s klasickým dotazníkovým šetřením (pomocí papíru a tužky). Denscombe (2010) dokonce na základě svého výzkumu vyvozuje, že online dotazníky obsahují méně chybějících odpovědí a poskytují kompletnější data než dotazníky papírové. Metoda CAWI má však i řadu slabých stránek, se kterými je potřeba počítat: • výzkumná skupina, kterou jsme schopni oslovit, nemusí být reprezentativní vzhledem k celkové populaci registrovaných čtenářů knihovny – podle údajů Eurostatu (2009) má pouze 54 % českých domácností přístup k internetu, přičemž obrovský rozdíl v používání internetu existuje mezi různými věkovými skupinami (zatímco ve věkové skupině 12-19 let využíván internet 90 % populace, mezi seniory nad 60 let pouze 14 %), • obtížná je možnost kontroly identity respondenta, • míra návratnosti závisí na formě distribuce dotazníku, • snižuje možnost pokládat komplexní a náročné otázky. Design a implementace online dotazníků tedy vyžaduje velký důraz na kontrolu rizika nízké návratnosti, reprezentativnosti a výběrové chyby (Vicente, Reis, 2010). Metodologické souvislosti: zajištění kvality dat a zvyšování návratnosti online dotazníků Řada výzkumů byla v posledních letech věnována především faktorům ovlivňujícím návratnost online dotazníků. Vicente a Reis (2010) stanovili šest oblastí, které míru návratnosti online dotazníků ovlivňují: 1. Obecná struktura dotazníku. Předchozí výzkumy ukázaly, že existují rozdíly mezi návratností online dotazníků, které jsou rozděleny na několik stran a delších dotazníků, kde musí respondent rolovat stránku. Rozdělení dotazníku do několika stran bez nutnosti rolování zvyšuje míru vyplněných a dokončených dotazníků (Lozar Manfreda, Batagejl a Vehovar, 2002). 2. Délka dotazníku. Délka dotazníku má vliv především na míru opuštění online formuláře v průběhu jeho vyplňování, dále také na míru výběru odpovědí typu „nevím, nemohu odpovědět“, která stoupá spolu s délkou dotazníku (Deutskens et al, 2004). 3. Sledování pokroku ve vyplňování. Součástí online dotazníků by mělo být i sledování pokroku ve vyplňování (formou grafického znázornění nebo zprávy Zbývá vyplnit XX % otázek / stran dotazníku atd.). Důležitější než samotný pokrok je ale vnímání tohoto pokroku samotným respondentem (nevidí-li hned zpočátku jasný pokrok ve vyplňování, míra opuštění dotazníku se zvyšuje). 4. Vizuální prezentace. Množství výzkumů sledovalo i roli vizuální prezentace. Vyšší míra vyplnění online dotazníků je zaznamenána u designově střídmých dotazníků. Oproti tomu vizualizace určitých prvků (např. log, ukázek zboží) může zvyšovat míru odpovědí na konkrétní otázku (Deutskens, et al. 2004). 5. Interaktivita. Interaktivní dotazník reaguje na respondenta – využívá filtrovacích otázek, změny řazení odpovědí atd. Interaktivita dotazníku ovlivňuje především kvalitu získaných dat. 6. Formát otázek a odpovědí. Složité otázky a otevřené otázky zvyšují dle výzkumů míru opuštění dotazníku před jeho kompletním vyplněním (Lozar Manfreda, Vehovar, 2002). Významný rozdíl oproti tomu nebyl nalezen např. mezi odpověďmi formou tlačítek (radio buttons) a výběrem odpovědí (drop down boxes). Technické řešení: dostupné nástroje pro online dotazování Online dotazníky mohou být tedy velmi vhodnou formou zjišťování spokojenosti a potřeb uživatelů knihovny. Návrh designu dotazníku a možnosti jeho distribuce jsou však ovlivněny zvoleným technickým řešením online dotazníku. Na nejobecnější úrovni stojí knihovny před rozhodováním, zda si online formulář pro dotazování vytvoří samy, či zda využijí některou z existujících online aplikací pro sběr dat. S první možností je spojena výhoda možnosti udělat si dotazník skutečně na míru (včetně např. korporátního designu atd.), na druhou stranu tato varianta sebou nese i náklady na programování nové aplikace. Tato práce navíc může být poměrně náročná, chceme-li např. využít více druhů otázek. Naprogramovat je třeba také vyhodnocování dotazníku, případně je nutné počítat s náročnou analytickou prací při vyhodnocování. Zvolí-li knihovna druhou variantu, může se rozhodovat mezi řadou aplikací, které jsou často přístupné i v bezplatné či nepříliš nákladné verzi. Tyto aplikace mají zejména tu výhodu, že umožňují a automatizují základní operace při vyhodnocování dat a práci s daty (např. čištění dat, třídění druhého stupně atd.). Na následujících řádcích budou představeny některé vybrané české i zahraniční online nástroje pro sběr a administraci online dotazníků včetně jejich srovnání. Aplikace byly testovány v rámci předmětu Metodologie a statistika výzkumu na KISK FF MU. Easyresearch.biz (www.easyresearch.biz) je česká aplikace pro sběr a administraci online dotazníků. Dotazníky jsou interaktivní, aplikace umožňuje používání filtrovacích otázek, uplatnění kvót u skupin respondentů, export dotazníků do PDF a výsledků do PDF a XLS. Automaticky generované výsledky jsou velmi atraktivně zpracovány. Bezplatně je dostupná zkušební verze na 30 dní. Survs (www.survs.com) je velmi jednoduchý a uživatelsky přístupný online nástroj na tvorbu dotazníků. Dotazník lze lokalizovat do českého jazyka. SurveyGizmo (www.surveygizmo.com) je velmi sofistikovaným a komplexním free nástrojem pro administraci online dotazníků – poskytuje velké množství funkcí a podporuje různá uživatelská nastavení. SurveyMonkey (www.surveymonkey.com) je jedna z nejpopulárnějších aplikací, která umožňuje sběr dat a vyhodnocování i mírně složitějších dotazníků. Stejně jako ostatní zde zmiňované aplikace nevkládá k dotazníkům žádná komerční sdělení1 Polldaddy (www.polldaddy.com) je poměrně robustním nástrojem pro online sběr a analýzu různých druhů anket, hlasování a výzkumů. . Srovnání některých vlastností online aplikací pro sběr a administraci dat2 Easyresearch Survs SurveyGizmo SurveyMonkey Polldaddy Časové omezení bezplatné verze 30 dní neomezeně Neomezeně (Případně 14 dní zkušební verze pro jakýkoliv tarif) neomezeně neomezeně Počet otázek na jeden dotazník neomezený 10 neomezený 10 10 Počet průzkumů 100 neomezený neomezený neomezený Neomezený Počet povolených responzí 500 200 / dotazník 250 / měsíc 100 / dotazník 100/měsíc Export do dalších formátů ano (.xls) 3 - ano - - Filtrovací otázky ano 4 - ano - Možnost volby vizuálních stylů ano (7) ano (8) ano - ano Nejnižší placený tarif a funkce Cena na vyžádání (500 a více responzí) 19$/měsíc (filtrovací otázky, umístění loga, export výsledků, nelimotivané 19$/měsíc (1000 responzí/měs., filtrování, správa emailových kontaktů, 19,95$/ měsíc (volba viz. stylů, filtrovací otázky, umístění loga, export dat do různých formátů, sdílení výsledků, 200$/rok (1000 responzí/měsíc, nelimitovaný počet otázek, export dat, sdílení 1 Komerční sdělení umisťuje automaticky např. česká aplikace Vyplňto.cz. 2 Vzhledem k obvyklým potřebám knihoven a nákladové efektivitě jsou srovnávány pouze bezplatné verze aplikací. 3 Formát exportovaných dat ale neumožňuje např. jejich bezprostřední export pro použití ve statistických programech (např. SPSS). 4 Pouze je-li každá otázka na samostatné webové stránce. responze) vložení obrázků…) nelimitovaný počet otázek…) výsledků, třídění 2. stupně atd.) Závěr Výběr konkrétního nástroje pro online dotazování záleží na potřebách konkrétní knihovny a zohlednit lze například i to, jak daný nástroj uživatelsky vyhovuje osobě, která provádí výzkum. Použitá literatura Connaway, L. S., & Powell, R. R. (2004). Basic research methods for librarians. Library and information science text series. Westport, Conn: Libraries Unlimited. Denscombe, M. (2006). Web-based questionnaires and the mode effect: An evaluation based on completion rates and data contents of near-identical questionnaires delivered in different modes.Social Science Computer Review, 24(2) 246-254. Deutskens E., de Ruyter K., Wetzels M., Oosterveld P. (2004). Response rate and response quality of internet-based surveys: an experimental study. Mark. Lett. 15(1), 21–36. Eurostat. (2009) Internet usage in 2009 - Households and Individuals. WWW: http://epp.eurostat.ec.europa.eu/cache/ITY_OFFPUB/KS-QA-09-046/EN/KS-QA-09-046- EN.PDF. Lozar Manfreda, K., Batagelj, Z. & Vehovar, V. (2002): Design of Web Survey Questionnaires: Three Basic Experiments. Journal of Computer-Mediated Communication, 7 (3). Martensen, A., Gronholdt, L. (2003). Improving library users’ perceived quality, satisfaction and loyalty: an integrated measurement and management system, Journal of Academic librarianship, 2003, 29(3), pp.140-147. RICHTER, V., PILLEROVÁ, V. (2007). Měření spokojenosti uživatelů knihovny Výsledky průzkumu uživatelů Národní knihovny ČR. Knihovna [online]. 2007, roč. 18, č. 1, s. 77-98 [cit. 2010-07-01]. Dostupný z WWW: . ISSN 1801-3252. Richter, V. (2009). Benchmarking a zjišťování spokojenosti uživatelů knihoven. Knihovny současnosti 2009. Sborník ze 17. konference, konané ve dnech 23.–25. června 2009 v Seči u Chrudimi. Brno 2009. 207 s. ISBN 978-80-86249-54-4. Vicente, P., Reis E., (2010). Using Questionnaire Design to Fight Nonresponse Bias in Web Surveys. Social Science Computer Review, May 1, 2010; 28(2): 251 - 267.