Možnosti evaluace vzdělávacích aktivit knihovny Případová studie: vsiv021 Informační výchova Jiří Kratochvíl kratec@ukb.muni.cz 549 49 3710 Kdo jsem Vzdělání 1994-1998 Střední knihovnická škola 2000-2005 Mgr., PedF MU (ČJ/L + ZSV pro SŠ) 2007-2013 Ph.D., FF MU (ČL) Výuková praxe p2005-j2008 ÚK PřF MU, e-learning, infolekce (vše pro Bc. a Mgr.) j2008-dosud KUK MU, e-learning, infolekce, Kurzy KUK, povinné/volitelné předměty IG (pro Bc., Mgr. a Ph.D.) Obsah přednášky 1. Představení kurzu vsiv021 Informační výchova 2. Evaluací ke zdůvodnění efektivity e-learningové podoby kurzu 3. Evaluace spokojenosti studentů s kurzem 4. Měření dopadu e-learnigového kurzu prostřednictvím pretestu a posttestu STOP ČÁST 1 PŘEDSTAVENÍ KURZU VSIV021 INFORMAČNÍ VÝCHOVA vsiv021 Informační výchova Potřeba rozvoje informační gramotnosti studentů • Vyhledávání odborných informací • Evaluace informačních zdrojů • Psaní odborného textu • Citování jaro 2008 – face-to-face od podzimu 2008 – e-learning Best practice: osnova podzim 2008: začínáme! Best practice: osnova Best practice: osnova podzim 2013: konečně snad… Best practice: osnova podzim 2013: konečně snad… Best practice: podosnova o čem je nové téma jaké úkoly a proč Best practice: podosnova odkazy na zadání úkolů a odevzdávárnu Best practice: studijní materiály pestrá nabídka typů studijních materiálů Best practice: organ. pokyny Best practice: organ. pokyny ovládání interaktivní osnovy Best practice: organ. pokyny ovládání interaktivní osnovy vkládání příspěvků do diskusního fóra Best practice: organ. pokyny ovládání interaktivní osnovy vkládání příspěvků do diskusního fóra cesta k poznámkovým blokům Best practice: organ. pokyny ovládání interaktivní osnovy vkládání příspěvků do diskusního fóra cesta k poznámkovým blokům přehled úkolů a jejich obtížnost Best practice: úkoly motivace každotýdenními úkoly drobné úkoly (např. linkovací služba) definovat způsob odevzdání (např. PrtScr) Best practice: úkoly rychlé vyhodnocování Best practice: úkoly individuální přístup ke studentovi Best practice: úkoly Pozn.: Ukázky jsou použity s písemným souhlasem studentů. STOP DOTAZY K PODOBĚ KURZU? STOP ČÁST 2 EVALUACÍ KE ZDŮVODNĚNÍ EFEKTIVITY E-LEARNINGOVÉ PODOBY KURZU 0 20 40 60 80 100 120 140 160 180 2005/2006 2006/2007 2007/2008 2008/2009 2009/2010 2010/2011 2011/2012 2012/2013 2013/2014 2014/2015 Počet úspěšných absolventů kurzu v akademickém roce podzim jaro Proč e-learning? Zvýšit počet absolventů kurzu F2F E-LEARNING Proč e-learning? Úspora v čase vynaloženém na výuku Proč e-learning? Kontaktní výuka PřF a LF Počet studentů Počet hodin výuky podzim 2005 18 11 podzim 2006 46 34,5 jaro 2007 30 25 podzim 2007 24 36,5 jaro 2008 58 78 CELKEM 176 185 E-learning LF Počet studentů Počet hodin výuky jaro 2011 52 27 podzim 2011 128 67 CELKEM 180 94 Úspora v čase vynaloženém na výuku Proč e-learning? Časoprostorová flexibilita 0 400 800 1200 Pondělí Úterý Středa Čtvrtek Pátek Sobota Neděle Počet otevření studijních materiálů během týdne vybraných období STOP DOTAZY K TÉTO ČÁSTI? STOP ČÁST 3 EVALUACE SPOKOJENOSTI STUDENTŮ S KURZEM Spokojenost – 5 W + 1 H Proč hodnotit? Kvalita kurzu, vztah k e-learningu, pro další pedagogický a didaktický postup Co hodnotit? Aspekty e-learningu, témata, úkoly, osobnost tutora Kdy hodnotit? Ihned po skončení kurzu Jak hodnotit? Kvantifikovaný výzkum Kdo hodnotí? Knihovník a student Kde hodnotit? Google Docs, Survio apod. Spokojenost – Metoda Nástroj: Google Docs Typy otázek: Uzavřené otázky, Likertova škála + prostor pro komentář Distribuce: interaktivní osnova, pozn. blok, e-mail Zpracování výsledků: v %, sloučení 1-2 a 4-5 Spokojenost – výsledky 0 20 40 60 80 100 studium kdykoliv výuka není v učebně vlastní harmonogram studia jen online materiály Průměrný počet studentů v % shledávajících vybrané aspekty e-learningu jako výhodné v období podzim 2008 až podzim 2010 (n=113) 0 2 4 6 8 10 žádný kontakt se spolužáky nutnost mít PC jen interaktivní výukové materiály žádný kontakt s vyučujícím časově omezený přístup ke cvičením nutnost jet do školy kvůli testu tutoriály byly zbytečně detailní a chybělo tlačítko zpět Průměrný počet studentů v % shledávajících vybrané aspekty e-learningu jako nevýhodné v období podzim 2008 až podzim 2010 (n=113) 0% 20% 40% 60% 80% 100% nutnost mít PC online komunikace se spolužáky online komunikace s učitelem vlastní harmonogram studia žádný kontakt s vyučujícím žádný kontakt se spolužáky stálá dostupnost materiálů jen online materiály výuka není v učebně studium kdykoliv Vyjádření průměrného počtu studentů v % k aspektům e-learningu z období podzim 2012 až jaro 2014 (n=169) Vyhovuje Neutrál Nevyhovuje Spokojenost – výsledky 0% 20% 40% 60% 80% 100% lékařské weby lékařské databáze ostatní multiob. plnotextové databáze multiob. plnotextové databáze Web of Science, Scopus efektivní vyhledávání portál EIZ MVS katalogy terminologie, typy knihoven/dokume ntů Vyjádření průměrného počtu studentů v % k vyučovaným tématům z období podzim 2008 až jaro 2010 - část I. (n=113) Vyhovuje Neutrál Nevyhovuje 0% 20% 40% 60% 80% 100% lékařské weby databáze online knih lékařské databáze ostatní multiob. plnotextové… multiob. plnotextové… Web of Science, Scopus efektivní vyhledávání portál EIZ MVS katalogy evaluace kvality webu terminologie, typy knihoven/dokum… Vyjádření průměrného počtu studentů v % k vyučovaným tématůmz období podzim 2012 až jaro 2014 - část I. (n=169) Vyhovuje Neutrál Nevyhovuje Spokojenost – výsledky 0% 20% 40% 60% 80% 100% h-index impact factor, SNIP/SJR citační manažery citační styly publikační a citační etika obecná pravidla psaní odborného… psaní článku nelékařské EIZ online lékařské časopisy a knihy lékařské portály Vyjádření průměrného počtu studentů v % k vyučovaným tématůmz období podzim 2012 až jaro 2014 - část II. (n=169) Vyhovuje Neutrál Nevyhovuje 0% 20% 40% 60% 80% 100% Researcher ID h-index SNIP/SJR Impakt faktor Zotero EndNoteWeb citační styl ISO 690 publikační a citační etika nelékařské EIZ online lékařské časopisy a knihy Vyjádření průměrného počtu studentů v % k vyučovaným tématům z období podzim 2008 až jaro 2010 - část II. (n=113) Vyhovuje Neutrál Nevyhovuje Spokojenost – výsledky 0% 20% 40% 60% 80% 100% hodnocení kvality časopisů používání citačního manažeru hledání plného textu v PubMed linkovací služba SFX hledání publikací k tématu MVS skenování katalog Vyjádření průměrného počtu studentů v % k přínosu úkolů z období podzim 2008 až jaro 2010 (n=113) Vyhovuje Neutrál Nevyhovuje 0% 20% 40% 60% 80% 100% hodnocení kvality časopisů používání citačního… ruční tvorba citací psaní abstraktu/anota… odhalení projevů plagiátorství hledání plného textu v PubMed linkovací služba SFX hledání publikací k tématu test identifikace typu dokumentu evaluace kvality webu katalog Vyjádření průměrného počtu studentů v % k přínosu úkolů z období podzim 2012 až jaro 2014 (n=169) Přínosné Neutrál Nepřínosné Spokojenost – výsledky 0% 20% 40% 60% 80% 100% Organizačních pokynů bylo dostatek. Organizačním pokynům jsem bez problémů rozuměl(a). Vyučující pomohl studentům vyřešit problémy, na které se dotázali v diskuzním fóru/e-mailem. Doporučení vyučujícího, na která témata se na základě úvodního testu zaměřit, mi byla při studiu nápomocná. Vyučující mi pomohl vyřešit problém, se kterým jsem se na něj obrátil(a) e- mailem. Vyjádření průměrného počtu studentů v % k činnosti tutora z období podzim 2012 až jaro 2014 (n=169) vždy velmi často spíše ojediněle nikdy Vox populi, vox dei Myslím si, že kurz je veden skvělým způsobem. O studenty je jeven opravdový zájem, úkoly jsou opravovány bleskovou rychlostí, myslím si, že kdyby byly takhle vedeny všechny předměty, seděli bychom dobrovolně ve škole od rána do večera. Tento e-learningový predmet bol vedený zo strany učiteľa absolútne profesionálne. S lepším e-learningom som sa ešte nestretla a presne takto si vedenie e-learnigového predmetu predstavujem. Študijné materiály sú výborne pripravené,prehľadné,pochopiteľné. Podľa osnovy sa mi ľahko orientovalo. Veľmi sa mi páčilo pohotové vyhodnotenie úkolov a poznámky vyučujúceho v poznámkovom bloku. Oceňuji Váš profesionální a přitom lidský přístup. Rychlé hodnocení úkolů, dobrá komunikace, vedení kurzu, aktuálnost, trpělivost a pečlivost... Prostě naprostá spokojenost. Díky! Skvely (osobny) pristup p. Kratochvila, hodnotim ho na 100%, neuveritelna ochota. Budem tento kurz odporucat aj inym. Vox populi, vox dei Mala by som iba malý komentár k organizácii. Mne osobne dal najviac zabrať úkol Tvorba citací a EndNote Web/Zotero. (…) nie (…), že to je náročné (…), ale skrátka toho bolo na jeden "šup" veľa. (…) Kurz sa mi pacil, vela mi dal, akurat ku koncu, toho bolo privela. Vzhladom k tomu, ze sa pisali zapocty a prebiehali skusky, by som odporucala rozdelit posledne dva ukoly, nejlepe ich zahrnout do osnovy zacatkem semestra. Vzhledem k tomu, že to je dobrovolný předmět, člověk nad ním stráví skoro více času než nad některými povinnými. Navíc nejvíce úkolů a jejich časová náročnost se stupňovala s koncem semestru, kdy má každý náročné zápočty a celkově málo času, proto bych kamarádům medikům předmět nedoporučila zapsat si jen tak, jak jsem učinila já. Na druhou stranu některé informace se jistě budou hodit :-) Kdyby se zadávaly na začátku kurzu dva lehčí úkoly najednou, tak by potom na konci kurzu byl prostor na to, aby ty těžké úkoly se mohly zadávat po jednom - na začátku semestru je i více času - sice kurz končí cca měsíc před začátkem zkouškového období, ale přece jenom první polovina semestru je všeobecně volnější než ta druhá, kdy už všechno úsilí směřuje ke zkouškovému období. Moderní studijní materiály STOP DOTAZY K TÉTO EVALUACI? STOP ČÁST 4 MĚŘENÍ DOPADU E-LEARNINGOVÉHO KURZU PROSTŘEDNICTVÍM PRETESTU A POSTTESTU 5 W + 1 H Proč měřit? Dopad výuky, motivace, kompetence Co měřit? Výuku a znalosti Kdy měřit? Pre/Post-test, načasování Jak měřit? Obsah a typ otázek Kdo měří? Knihovník a student Kde měřit? Nástroje pro měření Proč měříme Ověření efektivity formy a metody výuky Výsledky pro potřebu lektorů Výsledky pro doložení efektivity fakultám Možnost srovnání s ostatními Co měříme Teoretické znalosti formou testů Praktické dovednosti úspěšností úkolů a pozorováním Kdy měříme Na začátku výuky (pretest) Po skončení výuky (posttest) Na začátku vhodně motivovat, nestresovat Po skončení absolvování testu podmíněno splněním předchozích požadavků k zakončení kurzu Jak měříme Uzavřené x otevřené otázky Vždy dát možnost „Nevím“ Srovnání dosažených bodů jednotlivci v pretestu/posttestu Srovnání počtu osob, které otázku zodpověděli správně v pretestu/posttest Kdo měří Kratochvíl v: VSIV021 Informační výchova VSKP041 Kurz práce s informačními zdroji a nástroji Bc. a Mgr. všech českých studijních programů DSVIz01 Získávání vědeckých informací Ph.D. všech českých studijních programů Kde měříme Informační systém MU Kde mají měřit ostatní? Vznik otázek Vlastní otázky KUK (testovací režim - podzim 2011) 19. 12. 2011 – pracovní seminář IVIG k problematice Do poloviny února tvorba dvojic otázek a jejich připomínkování. 27. 3. 2012 – pracovní seminář IVIG k finálnímu znění otázek Způsob měření a otázky Pretest Posttest Vyhodnocení - studenti Pretest Posttest Vyhodnocení – studenti v.1 0 4 8 12 16 20 24 28 student1 student3 student5 student7 student9 student11 student13 student15 student17 student19 student21 student23 student25 student27 student29 student31 student33 student35 student37 student39 student41 student43 student45 student47 student49 student51 student53 student55 student57 student59 student61 Dosažený počet bodů v pretestu a posttestu jednotlivými studenty (jaro 2014) Pretest Posttest Vyhodnocení – studenti v.2 1,6 4,9 36,1 27,9 24,6 4,9 0 a méně % 1-10 % 11 - 20 % 21 - 30 % 31 - 40 % 41 a více % Procentuální počet studentů s jejich skóre v % (n=61) 0 a méně % 1-10 % 11 - 20 % 21 - 30 % 31 - 40 % 41 a více % Vyhodnocení – otázky Evaluace: naučili se něco? 0 10 20 30 40 50 60 70 80 90 100 Službyknihoven Katalog1 Katalog2 Evaluacekvalitywww1 Evaluacekvalitywww2 Booleovskéoperátory Definováníklíčovýchslov1 Definováníklíčovýchslov2 Wildcards1 Wildcards2 Typyzdrojů1 Typyzdrojů2 PortálEIZ Vzdálenýpřístup Linkovacíslužba Službydatabází Publikačníetika1 Publikačníetika2 Publikačníetika3 Abstrakt/Anotace Formálnínáležitostitextu Strukturaodbornéhotextu Citačníetika1 Citačníetika2 Citačnímetody Údajevcitacích Bibliografickécitace Citačnímanažery1 Citačnímanažery2 Scientometrie Procentuální počet správně odpovídajících studentů v pretestu a posttestu na jaře 2014 (n=61) Pretest studenti LF Posttest studenti LF STOP DOTAZY K TÉTO EVALUACI? Efficiency of E-learning in an Information Literacy Course for Medical Students at the Masaryk University. The Electronic Library, 2014, roč. 32, s. 322-340 č. 3, ISSN 0264-0473. doi: 10.1108/EL-07-2012-0087 Evaluation of e-learning course, Information Literacy, for medical students. The Electronic Library, 2013, roč. 31, č. 1, s. 55-69. ISSN 0264-0473. doi:10.1108/02640471311299137. Chcete-li se dozvědět více… Measuring the impact of information literacy e-learning and in-class courses via pretests and posttests at the Faculty of Medicine, Masaryk University. Mefanet Journal [in press], 2014, roč. 2, č. 2. DĚKUJI ZA POZORNOST Jiří Kratochvíl kratec@ukb.muni.cz +420 549 49 3710