Měření efektivity informačního vzdělávání Gabriela Šimková gsimkova@phil.muni.cz Adobe Systems Evaluace jako výzkumný proces Výsledky vzdělávání •Znalosti / Vědomosti •„Za vědomost je považována učením či zkušeností osvojená a zapamatovaná soustava pojmů, faktů, definic, principů, představ, zákonitostí, vzorců, schémat, vztahů.“ •Nejsnáze se zjišťují •Pouhý ukazatel „formálních“ znalostí X Jak dovede student znalosti využít v praktických situacích? •Dovednosti •Nácvik osvojené činnosti různého druhu •Dovednosti manuální •Dovednosti senzorické, motorické •Dovednosti intelektuální •Dovednosti kombinované •Postoje •Vnitřní zaměřenost k určitým problémům či situacím, určité přesvědčení, které se projevuje specifickým jednáním •Kompetence •Souhrnný výsledek vzdělávání •Způsobilost k realizaci komplexních činností při použití vědomostí, dovedností, zkušeností a individuální odborné intuice • • Kvalita vs. efektivita •? Kvalita vs. efektivita •Hodnotící porovnání aktuálně pozorovaného jevu s jeho alternativou à hodnotový soud • àPři hodnocení efektivity uvažujeme poměr mezi vynaloženými náklady a zjištěnou hodnotu výsledku s ohledem na požadovaný cíl •Ekonomie vzdělávání? •àefektivnost = účinky vzdělávání : prostředky a úsilí spojené s jeho dosažením Efektivita vs. efekt •? Efektivita vs. efekt •Porovnání stavu na vstupu a výstupu procesu učení a vyučování à konstatování EFEKTU vzdělávacího procesu à tj. CO se student naučil. •Efektivita nevyjadřuje pouze hodnocení výsledku/kvalitu na výstupu, ale celý proces, který k ní vedl Pedagogická evaluace •Hodnocení celé řady aspektů pedagogické činnosti: •vzdělávacích procesů, •vzdělávacích projektů, •výsledků vzdělávání, •studijních materiálů. • •Každý z aspektů vyžaduje vlastní metodologické postupy a vlastní nástroje měření. • •Pedagogická evaluace má důležitou roli pro korekce a inovace vzdělávacího systému, pro strategie plánování jeho rozvoje, priorit aj. Evaluace vnitřní a vnější •důraz na systematičnost a kontinuálnost provedení •proces, v rámci něhož učitel nastavuje specifické úkoly, aby posoudil, do jaké míry mohou žáci prokázat výsledky učení •posuzování toho, jak efektivně je navržen design vzdělávacího prostředí pro podporu učení • •Vnitřní (interní) rovina: •provádí student sám, je k ní však účelně veden. Úkolem lektora je připravit pro průběžnou interní evaluaci vhodné prostředí a vést studenty k jejímu úspěšnému plnění • •Vnější (externí) rovina: •prováděna učitelem či poskytovatelem vzdělávání na základě pečlivě sesbíraných dat o kurzu/vzdělávacích aktivitách a o studentech Současné trendy v hodnocení •Posílení účelu hodnocení pro podporu učení než pro certifikaci •Větší pozornost formativním aspektům hodnocení než sumativním •Zdůrazňovány výhody konstruktivní zpětné vazby oproti restriktivnímu známkování •Posun od závislosti na jedné hlavní hodnotící metodě hodnocení (závěrečné) à rozvoj různých metod (průběžné) •Menší důraz na hodnocení pouze učitelem à podpora hodnocení vrstevníky, sebehodnocení, hodnocení posuzovateli z praxe budoucí profese •Hodnocení jako integrální součást vzdělávací aktivity, ne separátní činnost po skončení aktivity •rozmanitost evaluačních metod •Neexistují dominantní metody à obvyklé využití více různých evaluačních metod, aplikovaných v různém časovém horizontu • Ø naplnění jednoho ze základních předpokladů validního výzkumného šetření – tzv. metodologické triangulace (plánovité využití více různých výzkumných metod zkoumajících týž fenomén - tzv. explicitní triangulaci) • •Více také LANDOVÁ, Hana. Informační vzdělávání: jak zjistíme, zda opravdu funguje?. Itlib: infomačné technológie a knižnice [online]. Bratislava: Centrum vedecko-technických informácií SR, 2013, roč. 2013, č. 2 [cit. 2014-04-06]. Dostupné z: http://itlib.cvtisr.sk/archiv/2013/2/informacni-vzdelavani-jak-zjistime-zda-opravdu-funguje.html?pa ge_id=2479 • Model ADDIE: design vzdělávací aktivity Analysis (Analýza) identifikuje hlavní problém a je základním stavebním kamenem návrhu výukového programu. Design (Návrh) konkrétně specifikuje vzdělávací cíle, jichž má být dosaženo, specifikuje učivo, samotné vzdělávací aktivity, až po jejich hodnocení. Development (Vývoj) pracuje na vlastním vývoji programu výuky. Vše, co bylo v předchozích krocích navrženo, je v tomto konkrétně zpracováno a vytvořeno. Implementation (Implementace) je obvykle zahájena pilotním během kurzu, při němž ověřujeme, zda jsou předpoklady a procesy nastavené v předchozích krocích správné. Poté je samotný kurz realizován. Evaluation (Hodnocení) prochází celým procesem tvorby kurzu a určuje kvalitu programu, stanovuje kritická místa, zkoumá nastavení zpětné vazby a odpovídá na otázku, zda jsou jednotlivé úseky výuky navrženy účelně a efektivně. •Evaluace vzdělávací činnosti: • •systematická, tzn. postavena na explicitně vymezené oblasti a její struktuře; •provedena správně metodicky; •prováděna pravidelně; •řízena podle předem stanovených kritérií; •použitelná pro rozhodování a další plánování. • •NEZVALOVÁ, Danuše. Pedagogická evaluace. RVP: metodický portál [online]. 2006 [cit. 2014-04-06]. Dostupné z: http://clanky.rvp.cz/clanek/c/Z/963/pedagogicka-evaluace.html/ • Kirkpatrickův čtyřúrovňový model (1959) •Tři hlavní důvody pro evaluaci vzdělávání podle Donalda Kirkpatricka: • •1. Znát způsoby, jak zlepšit budoucí vzdělávací programy •2. Určit, zda ve stávajícím vzdělávacím programu pokračovat či nikoli •3. Ospravedlnit samotnou existenci vzdělávacího programu • Měření I. úrovně Úroveň hodnocení Charakteristika Příklady nástrojů a metod Doporučení I. Reakce Mapování osobní reakce (pocitů) na e-kurz ·Dotazník, který obdrží účastníci na závěr modulu/lekce. ·Slovní vyjádření účastníků na konci modulu/lekce. ·Využití diskuzních fór pro vyjádření okamžitých názorů Může být provedeno ihned po skončení aktivity Evaluace kontaktní výuky •Jednorázové vzdělávací aktivity à potřeba aktuální a nenáročné evaluace •Krátký hodnotící dotazník, tzv. smile-sheet •Likertova škála •Otázky srozumitelné, jednoznačné a kategorie odpovědí výlučné •Otevřená otázka – možnost volného vyjádření postojů •Tištěné dotazníky (návratnost 90 – 95 %) à elektronické vyhodnocení • Obsah a organizace semináře/lekce Vyhovoval vám stupeň obtížnosti semináře? Jak hodnotíte formu, kterou byl seminář veden? Považujete informace získané na semináři za užitečné? Motivoval vás seminář k využívání nově nabytých znalostí v budoucnosti? Přednášející Jak hodnotíte komunikační dovednosti přednášejícího? Jak hodnotíte odbornou připravenost přednášejícího? Jak hodnotíte schopnost přednášejícího reagovat na otázky účastníků? Shrnutí Hodnotíte seminář jako zajímavý? Splnil seminář vaše očekávání? Měření II. úrovně Úroveň hodnocení Charakteristika Příklady nástrojů a metod Doporučení II. Učení Měření znalostí před a po aktivitě ·Testy a hodnocení před a po vzdělávací aktivitě ·Rozhovor, pozorování Metody jsou jednoduché, ale náročné na investice a přípravu. •Pretest o32 položek o1637 responzí o90,84% návratnost o72,21 % žen, • 27,79 % mužů o5 – 10 min. •------------------ o22 znalostních otázek (uzavřené) o6 postojových otázek (polootevřené) o4 sociodemografické otázky o • o o •Postest o30 položek o1184 responzí o65,70% návratnost o73,03 % žen, • 26,97 % mužů o5 – 10 min. •------------- o22 znalostních otázek (uzavřené) o4 sebehodnotící otázky (uzavřené) o4 sociodemografické otázky • • ...PRE POST... Měření III. úrovně Úroveň hodnocení Charakteristika Příklady nástrojů a metod Doporučení III. Chování Zjišťování toho, do jaké míry účastník e-kurzu aplikoval znalosti a jak změnil své chování. ·Pozorování a rozhovory v delším časovém období. ·3600 zpětná vazba ·Focus group ·Hloubkové rozhovory Chování se velmi špatně kvantifikuje a interpretuje. Případová studie: KPI11 Úvodní schůzka + studium podkladů •Specifikace výzkumné potřeby •Rozdělení rolí •Stanovení časové harmonogramu •Studium podkladů ÖAnalýza evaluace (pretest, posttest, evaluační dotazník kurzu, statistika studentů z IS MU) ÖStudium obsahu kurzu ÖStudium souvisejících materiálů (webové stránky, FB atp.) • •Objasnění účelu diskuse: •„Sešli jsme se tady, abychom strávili max. 2 hodiny povídáním si o předmětu, který jste všichni z vás loni absolvovali – jedná se o předmět Kurz práce s informacemi. Cílem je poznat vaše názory na tento kurz, zjistit, jak se vám s tímto typem kurzu pracovalo, odhalit jeho silné či slabé stránky…“ •Zásady diskuse: •„Na úvod je potřeba říci, že neexistují správné ani špatné odpovědi. Každý názor, který tady zazní, je pro nás velmi cenný a důležitý. Zcela určitě se zde objeví různé názory, ale to není chyba, některé názory se zde budou možná opakovat, ale to také není chyba. Prostě hovořte sami za sebe, nenechte se ovlivňovat názory jiných členů skupiny. Rádi bychom totiž poznali vaše osobní názory. Neváhejte proto, prosím, kdykoli říci, co si myslíte, co vás napadne.“ •Vysvětlit přítomnost kamery • Stanovit čas na diskusi: max. 120 minut. •Představení: •„Moje jméno je Gábina Šimková. Vystudovala jsem obor informační studia a knihovnictví a kurz práce s informacemi jsem absolvovala již v roce 2010, ještě během svého studia. V současnosti pracuji v Centru informačního vzdělávání na Kabinetu informačních studií a knihovnoctví. CEINVE má poslední tři roky kurz na starosti, rozvíjí ho a inovuje. Krom KPI se věnuji výuce informačního vzdělávání. A co vy…………? (jméno, obor a motivace, proč právě tento obor) …..Můžeme začít?“ • • WARM UP –MOTIVACE K ÚČASTI •Kde jste se dozvěděli o existenci kurzu KPI? •Spontánně a pak se doptávat - IS, spolužáci a přátelé, vyučující… •Zkuste si prosím ještě vzpomenout, jaký byl váš postoj k tomuto kurzu na základě prvních dostupných informací – co vás na kurzu primárně zaujalo, proč jste vlastně vůbec o absolvování kurzu uvažovali? •Co bylo hlavní motivací pro zapsání si tohoto kurzu? Zkuste opravdu vyselektovat pouze jeden důvod. •Co dalšího pak sehrálo roli? Jaké byly další motivační faktory. • PRVNÍ INFORMACE O KURZU •Kde (a jakým způsobem) jste pak získali podrobnější informace o tomto kurzu? •Byly tyto informace dostatečné? •Chyběly vám nějaké informace? Jaké? •Povedlo se vám tyto chybějící informace získat? Pokud ano, jak? •Proběhly registrace a zápis do kurzu bezproblémově? •Jaký jste měli z kurzu dojem po obdržení podkladů – interaktivní osnovy? •Změnily tyto informace (například interaktivní osnova) vaše prvotní očekávání? • REFLEXE PRŮBĚHU KURZU •Jak hodnotíte připravenost přednášek - modulů? Obsahovaly všechny potřebné informace, nebo naopak, museli jste některé informace ještě dohledávat, doptávat se? •Jak jste vnímali grafické zpracování podkladů? Bylo pro vás vyhovující? •A vzpomenete si na průvodce kurzem? • Byly pro vás informace, které jste v průběhu kurzu získávali, prakticky využitelné? •Jak? Zkuste si vzpomenout na nějaký konkrétní příklad. • •(komunikace, šíře tematického záběru, příprava na kurz, forma) KOMPLEXNÍ HODNOCENÍ KURZU •V čem byl celkově tento kurz pro vás osobně užitečný? Co vám přinesl? •Vracíte se k materiálům z tohoto kurzu? •Víte o existenci nějakého podobného kurzu? •Využili jste v praxi informace získané v průběhu kurzu? V čem konkrétně vám byl kurz prospěšný? Kde všude nabyté informace využíváte? •Máte možnost nabyté informace vůbec uplatnit v praxi? •Pracujete nyní s informacemi nějakým jiným způsobem? Zkuste prosím zhodnotit, jaký posun u vás nastal? •Pokud jste nic ze získaných dovedností v praxi nepoužili, zkuste mi prosím říct, proč? •Doporučili byste vašim spolužákům a přátelům tento kurz absolvovat? •Měli byste vy osobně zájem absolvovat podobný kurz někdy v budoucnu? • • •Projektivně: Zkusme teď společně vytvořit obraz studenta, který absolvoval (Neabsolvoval) Kurz práce s informacemi: •Jak se chová na internetu? (zda dodržuje informační etiku, jakou zanechává digitální stopu…) •Kde hledá studijní texty? (knihovna vs. elektronické informační zdroje) •Jak využívá internet jako informační zdroj (jak vyhledává, které nástroje používá?) •(...) Sémantický diferenciál Rekrutace •1801 respondentů – účastníci KPI podzim 2013 •163 zájemců o účast (z toho 125 do 24 hodin od odeslání dotazníku) • Výběr vzorku studenti FF a FSS - pracují / dlouhodobé brigády studenti FF a FSS - sporadické brigády / stáže / nepracují jiné fakulty - alespoň sporadické brigády či stáže počet počet počet Jste: Muž 5 14 15 Žena 17 46 44 Jaké jsou Vaše pracovní zkušenosti v době od ukončení kurzu či v současnosti: Jsem na stáži či praxi 0 2 6 Jsem zaměstnaný/zaměstnaná na plný či částečný úvazek 7 0 14 Podnikám či pracuji na ŽL či dohodu o provedení práce 15 0 9 Pracuji pouze občas, nárazově – brigády atd. 0 44 30 Věnuji se pouze studiu, nepracuji 0 14 0 Jakou fakultu studujete? Ekonomicko-správní fakulta 0 0 17 Fakulta informatiky 0 0 6 Fakulta sociálních studií 2 2 0 Fakulta sportovních studií 0 0 1 Filozofická fakulta 20 58 0 Lékařská fakulta 0 0 1 Pedagogická fakulta 0 0 21 Právnická fakulta 0 0 7 Přírodovědecká fakulta 0 0 6 Využil/a jste již nějakým způsobem získané poznatky z kurzu v praxi? Ano 22 55 54 Ne 0 5 5 Realizace focus group •Původní plán: 4 X 10 (+ 2 náhradníci) á 250,- •1. FCG: 6 účastníků •2. FCG: 7 účastníků •3. FCG: 8 účastníků •4. FCG: 9 účastníků - neúspěšní •Tři záznamová zařízení (2 kamery + diktafon) •Příjemné prostředí (občerstvení, vhodná místnost) •Cedulky se jmény •Aktivizace, doptávání, střídání schématu diskuze •Předání odměny po skončení Měření IV. úrovně Úroveň hodnocení Charakteristika Příklady nástrojů a metod Doporučení IV. Výsledky Zjišťování vlivu změn chování ·Pravidelná hodnocení výkonu studenta s dostatečným časovým odstupem od skončení e-learningu ·Manažerské rozhovory • Sebehodnocení •naplnění tzv. zásad reflektivnosti – poznání sebe sama, k poznání vlastního způsobu učení a myšlení •à Úspěšné začlenění do pracovního života i fungování v mezilidských vztazích • •Jedná se o náročný proces, k jehož úspěšnému zvládnutí je třeba studenta účelně vést. • •KRYKORKOVÁ, Hana. Metakognice a autoregulace: jedna z možností rozvoje učební kompetence žáků. In: FF UK [online]. Praha, 2008 [cit. 2014-04-06]. Dostupné z: http://www.ff.cuni.cz/publikacni-cinnost/?print=pdf&odb_ustav=42&odb_s=Hana+Krykorkov%C3%A1 Formy a nástroje sebehodnocení •Nástroje pro podporu sebehodnocení pomáhají redukovat čas jím strávený, některé tvoří dlouhodobě uchovatelný, přenositelný a především retrospektivně analyzovatelný záznam. •Audio či video záznam ústního vyjádření studenta •Vytvoření vlastního blogu •Vytvoření e-portfolia •Wiki - vytváření průběžného sebehodnocení, kolaborace s ostatními studenty •Průběžně vyplňovaný dokument či formulář dostupný online (např. Google dokument sdílený současně vyučujícímu či tutorovi předmětu). • •SCHARF, Davida, Norbert ELLIOT, Heather A. HUEY, Vladimir BRILLER a Kamal JOSHI. Direct Assessment of Information Literacy using Writing Portfolios. The Journal of Academic Librarianship [online]. July 2007, roč. 33, č. 4, 462 - 477 [cit. 2014-04-06]. Dostupné z: http://dx.doi.org/10.1016/j.acalib.2007.03.005 • Případová studie: KPI22 •klasický test s otevřenými otázkami (otevřen v každém modulu kurzu) •vyplnění je povinné -> cíl: vytvoření návyku, který pomáhá studentům lépe si osvojit a zautomatizovat tuto činnost •zpřístupnění záznamů jednotlivých odpovědí studentům •vyplněné sebehodnotící archy slouží primárně ke sledování vlastního progresu v rámci vzdělávací aktivity, sekundárně slouží jako zdroj obsáhlé zpětné vazby tutorům kurzu •otázky jsou neměnné •Které nově nabyté informace považujte za klíčové pro Váš osobní či studijní rozvoj? (vyjmenujte alespoň tři informace včetně krátkého zdůvodnění) •Které části tohoto modulu byly pro Vás nejméně přínosné a proč? (alespoň 2 věty) •Popište tento modul pěti výrazy (slovy/slovními spojeními), které jej podle Vás nejvíce charakterizují. • Vnější (externí) evaluace •Nedostatečná je reflexe spokojenosti studenta s absolvovaným kurzem. •Podstata: shromáždit dostatek důkazů o dopadu vzdělávacího procesu •Sdružení JISC (dříve Joint Information Systems Comittee) - výzkumy měřící zkušenost studenta, by měly v budoucnu akceptovat především následující metody.... • •JISC. Joint Information Systems Committee [online]. 2013 [cit. 2014-04-06]. Dostupné z: http://www.jisc.ac.uk/ •Methods for evaluating the learner experience of e-Learning. In: JISC [online]. April 2007 [cit. 2014-04-06]. Dostupné z: http://www.jisc.ac.uk/media/documents/programmes/elearningpedagogy/guide1_evaluation.pdf • •Longitudinální studie - většina současných uživatelsky zaměřených studií reflektuje především krátké a velmi ohraničené časové momenty. •Srovnávací studie reflektující aktuální užívání technologií s jejich očekávaným a předpokládaným užitím à porozumění reálnému informačnímu chování studentů. •Záměrný výběr vzorku - studenti z oblastí, které doposud stojí mimo hlavní výzkumné zájmy – kombinovaní (či dálkoví) studenti, vzdělávání dospělých či výzkum učících se komunit. •Techniky užívající asistované rozvzpomínání (široká škála rozhovorů). •Různé techniky sběru. •Výzkumy, které jsou v souladu se správnými a etickými principy. Metody sběru dat •Obsahová analýza •Rozhovory •Dotazníky, ankety •Pozorování •Protokoly zaznamenávající hlasité přemýšlení (think-aloud protokoly) •Video nahrávky • • •PHILLIPS, Rob, Carmel MCNAUGHT a Gregor KENNEDY. Evaluating e-learning: guiding research and practice. 1st pub. New York: Routledge, 2012, xxviii, 207 s. ISBN 9780415881937. Str. 139 – 144. • 1) Obsahová analýza •Dokumenty, které vzešly od tvůrců kurzu, dokumenty, které tvoří samotní uživatelé •Analýza dokumentů: „otevírá přístup k informacím, které by se jiným způsobem těžko získaly. Druhou výhodou je okolnost, že data nejsou vystavena působení zdrojů chyb nebo zkreslení, jež vznikají při uskutečňování rozhovorů nebo pozorování, měření a testování. V těchto případech přítomnost výzkumníka nebo jiné faktory v důsledku výzkumných aktivit ovlivňují myšlení a chování zkoumaných jedinců. Subjektivita výzkumníka hraje roli při výběru dokumentů, ale ne v informacích, které jsou obsaženy v dokumentech.“ •V e-learningu se ke zkoumání nabízí celá řada dokumentů – od písemně zpracovávaných prací studentů, až po diskuzní fóra k předmětu. • •HENDL, Jan. Kvalitativní výzkum: základní teorie, metody a aplikace. 2., aktualiz. vyd. Praha: Portál, 2008, 407 s. ISBN 978-80-7367-485-4. Str. 130. • 2) Rozhovory •detailní vhled do zkoumané problematiky •rozhovory prováděné s učiteli, tutory či designéry e-learningových kurzů •Druhy rozhovorů jsou voleny podle záměru výzkumníka: •Strukturované rozhovory - přesná kontrola průchodu rozhovorem •Polostrukturované rozhovory - opravňují k větší flexibilitě, přináší podrobnější data •Focus group - skupinové rozhovory, řízené zkušeným moderátorem. •Rozhovorů se užívá ve všech fázích evaluace e-learningu – ve fázi vývoje a designu kurzu (rozhovory s učitely, tutory aj.), ve fázi realizace kurzu, i po skončení kurzu, často i s několika měsíčními odstupy. • 3) Dotazníky, ankety •při vynaložení poměrně malého časové úsilí a malých finančních nákladů, jsme schopni oslovit všechny účastníky vzdělávání - velmi silný nástroj •otázky seskupovány do tematických celků: •použitelnost kurzu (orientace v rozhraní kurzu, navigace, čitelnost studijních materiálů...) •čas strávený u vybraného aspektu kurzu •přínosnost vybraných artefaktů aj. •efektivita komunikace (s kým komunikace v kurzu probíhá, jak často a kdy, jaká je kvalita komunikace mezi studenty navzájem, či mezi studenty a tutory kurzu) •motivace studentů k plnění zadaných úkolů... 4) Pozorování •pomáhá nám vcítit se do chování studentů v kurzu a poznat je více detailně •sledujeme, jak studenti interagují s prostředím kurzu a jak plní zadané úkoly. •často zaznamenáváno na videokameru, průběžné terénní poznámky (ty jsou obvykle psané rukou a vznikají přímo v průběhu pozorování) •jak jednotlivci, tak skupiny studentů • Videostudie ve výuce •Videografie: proud etnografického výzkumu, který využívá video, analýzy lidského chování a jednání v sociálním prostředí (Janík a kol.), vysvětlení účinků/efektů vzdělávání •Empirická analýza založená na dobře zachycené a dokumentované realitě. •sledování aktivity studentů – omezené možnosti (počet a frekvence dotazů, reakce na výzvy přednášejícího...) •didaktické schopnosti přednášejícího •hodnocení interaktivity •vizuální ztvárnění prezentace •Levný způsob sběru dat, věrné zprostředkování procesů vyučování a učení, záznam komplexního dění, možnost počítačového zpracování videozáznamů, možnost kódování z více perspektiv, možnost integrace kvalitativního a kvantitativního přístupu 5) Protokoly zaznamenávající hlasité přemýšlení •jakým způsobem účastníci zkoumání přemýšlí o aktivitách, které právě vykonávají •probíhá v rámci pozorování, to je však obohaceno o slovní vyjádření myšlenkových pochodů studentů: •Studentům je zadán úkol, nebo série úkolů, které vyžadují užití e-learningového prostředí. Zatímco studenti plní zadané úkoly, jsou vyzváni k tomu, aby nahlas komentovali, co právě dělají a nad čím přemýšlí. Výzkumník si tak může snadno zaznamenat, co si student myslí a co dělá, obvykle je také pořizována video či audio nahrávka. • Zdroje •CLARKE, Alan. E-learning skills. 2nd ed. Basingstoke: Palgrave Macmillan, 2008, xiv, 317 s. ISBN 9780230573123. •KAPOUNOVÁ, Jana. Přístupy k evaluaci eLearningu. Vyd. 1. Ostrava: Ostravská univerzita v Ostravě, 2012, 190 s. ISBN 9788074641213. •KIRKPATRICK, Donald. Evaluating Training Programs: The Four Levels. 3. vyd. ReadHowYouWant.com, 2009. 296 s. ISBN 978-14-429-5584-4. •KIRKPATRICK, Jim a Wendy Kayser KIRKPATRICK. Kirkpatrickův čtyřúrovňový model: Nový pohled po 50 letech 1959 – 2009 [online]. 2009 [cit. 2012-11-08]. Dostupné z: http://www.develor.cz/develorcz_files/File/kirkpatrickovy4urovne-novypohledpo50letech2.pdf •KRYKORKOVÁ, Hana. Metakognice a autoregulace: jedna z možností rozvoje učební kompetence žáků. In: FF UK [online]. Praha, 2008 [cit. 2014-04-06]. Dostupné z: http://www.ff.cuni.cz/publikacni-cinnost/?print=pdf&odb_ustav=42&odb_s=Hana+Krykorkov%C3%A1 •NEZVALOVÁ, Danuše. Pedagogická evaluace. RVP: metodický portál [online]. 2006 [cit. 2014-04-06]. Dostupné z: http://clanky.rvp.cz/clanek/c/Z/963/pedagogicka-evaluace.html/ •PHILLIPS, Rob, Carmel MCNAUGHT a Gregor KENNEDY. Evaluating e-learning: guiding research and practice. 1st pub. New York: Routledge, 2012, xxviii, 207 s. ISBN 9780415881937. •PRŮCHA, Jan, Eliška WALTEROVÁ a Jiří MAREŠ. Pedagogický slovník. 6., rozš. a aktualiz. vyd. Praha: Portál, 2009, 395 s. ISBN 9788073676476. •SCHARF, Davida, Norbert ELLIOT, Heather A. HUEY, Vladimir BRILLER a Kamal JOSHI. Direct Assessment of Information Literacy using Writing Portfolios. The Journal of Academic Librarianship [online]. July 2007, roč. 33, č. 4, 462 - 477 [cit. 2014-04-06]. Dostupné z: http://dx.doi.org/10.1016/j.acalib.2007.03.005 •SNAJDER, Maja, Mateja VERLIC, Petra POVALEJ a DEBEVC. Pedagogical evaluation of e-learning courses: Adapted pedagogical index. In: Conference ICL2007. Austria, 2007, 1 - 10. Dostupné z: http://halshs.archives-ouvertes.fr/docs/00/19/72/26/PDF/42_Final_Paper.pdf •ROHLÍKOVÁ, Lucie a Jana VEJVODOVÁ. Vyučovací metody na vysoké škole: praktický průvodce výukou v prezenční i distanční formě studia. 1. vyd. Praha: Grada, 2012, 281 s. ISBN 978-80-247-4152-9.