E-LEARNING A METODY HODNOCENÍ EFEKTIVITY E-LEARNINGOVÝCH KURZŮ Lucie Pekárková E-learning ¨Co to je? ¤E-learning je aplikace informačních technologií při vývoji, distribuci a řízení vzdělávání. ¨E-learning vs. Blended learning ¨Typy e-learningu (on-/off-line, (a)synchronní) ¨Výhody a nevýhody ¨ ¨„Pokud něco nemůžete změřit, potom to nemůžete řídit“. (Peter F. Drucker) ¨ Výhody learninguVýhody e-learningu neomezený přístup k informacím (kdykoli, kdekoli), efektivnost – dobré materiály DiV zkvalitňují, percepci i zapamatování, aktuálnost informací, možnost inovace, interaktivita – obousměrná komunikace, aktivizace, verifikace – testy a otevřené úkoly motivují, náklady vs příjmy – výhody po delší době, závisí na počtu studentů, individuální tempo – pro někoho i nevýhoda. - úspora nákladov na klasické vzdelávanie − nákladov spojených s cestovaním, prenájmom učební, cena študijných materiálov a lektora, - časová nezávislosť − možnosť určiť si individuálne tempo a čas, alebo dĺžku výučby, - možnosť individuálneho prístupu učiteľa k žiakovi, Nevýhody learninguNevýhody e-learningu závislost na technologickém zabezpečení – zpravidla nutný kvalitní broadband, nedostatečná standardizace – problematická, přenositelnost obsahů, náročná tvorba obsahů – specifická forma i obsah, nevhodnost pro určité typy studentů – styl učení - vyššie nároky na zodpovednosť a samostatnosť študenta, - počiatočné náklady na nákup technológií a tvorbu kvalitných študijných materiálov. nevhodnost pro všechny oblasti vzdělávání – např. pro sociálně interaktivní dovednosti. Kirkpatrickův model ¨široce akceptovaná metoda měření efektivity školících programů ¨model je zaměřen na hodnocení kvality výuky nezávisle na formě a technice výuky -> obecný model hodnocení výukového procesu ¨v modelu je sledována nejen fáze studia (učení) studenta, ale i následné fáze, ve kterých student uplatňuje nově získané znalosti ve své činnosti v praxi Kirkpatrickův model Stupeň 1: Reakce Jak studenti reagují na školení? Stupeň 2: Výuka Kolik se toho naučili? Stupeň 3: Chování Jak se změnilo jejich chování? Stupeň 4: Výsledky Jaký efekt mělo školení pro organizaci? Jack Phillips pro vzdělávání ve firmách: Stupeň 5: Návratnost investic Převážily výsledky ze školení jeho cenu? První myšlenka byla vytvořit zpětnou vazbu pro zjištění, zda můžeme vzdělávaní nějakým způsobem hodnotit či měřit. Proto hodnocení probíhá v obou prostředích (vzdělávacím a pracovním), kde se zjišťuje, zda se žákům daná výuka líbila, jaký mají pocit z procesu vyučování, zda byli spokojeni s tím, co si zaplatili (vyučování v soukromém sektoru, i když dnes se můžeme setkat s veřejnými školami, kde jsou žáci povinni školné platit). Dalším bodem je zjištění, které nám dovoluje si vytvořit celkový názor či pohled na to, zdali se žáci naučili novým vědomostem, jestli si vytvořili nové názory a pohledy na danou problematiku a upevnili nové dovednosti a dále zpět v pracovním procesu, jak se změnilo jejich chování a výkon a následně jaké to zanechalo následky, chceme-li výsledky tohoto procesu. Stupeň 1: Reakce Na této úrovni se měří spokojenost studenta s výukou. Je možné klásť otázky: Jak reagovali? Byli potěšeni? Považovali školení za přínosné? Bylo školení relevantní a zajímavé? Pozitivní reakce jsou důležité pro začátek každého výukového procesu. Nezaručí ještě úspěch, avšak negativní reakce zaručí neúspěch. Stupeň 2: Výuka Na této úrovni se měří, jaký vliv měla výuka na studentovo dovednosti a vnímání. Vhodné otázky : Jaké dovednosti se změnili? Změnily se postoje a stanoviska? Jsou studenti více informovaní? Pro správné vyhodnocení této úrovně je obvykle nutné testovat studenty před a po výukovém programu. Stupeň 3: Chování V této úrovni měříme, jak se změnilo chování studentů vlivem výuky. Vyhodnotit tuto úroveň pomohou otázky Jaké nové pracovní návyky studenti získali? Změnil se díky těmto novým návykům způsob, jak provádějí svoji práci? Je to vylepšení? Tento stupeň bývá pro mnohé jeden z nejdůležitějších, je však současně také nejsložitější na měření a vyhodnocení. Stupeň 4: Výsledky V této úrovni měříme vliv výuky na organizaci. Pro hodnocení můžeme použít otázky: Jaký efekt měla výuka na organizaci? Bylo výsledkem výuky měřitelné zlepšení v organizačních procesech? Organizace obvykle školí zaměstnance, aby mohli lépe vykonávat své pracovní povinnosti, s cílem zvýšit výkonnost, produktivitu a výsledně ziskovost. Je mnoho způsobů jak to měřit, vždy je však důležité identifikovat faktory, které byly výukou ovlivněny od faktorů, které nebyly. Jack Phillips doporučuje rozlišovat mezi tvrdými daty, jako je počet vyrobených jednotek, splněných úkolů apod. od měkkých dat, jako je absentérství, spokojenost s prací, loajalita. Stupeň 5: Návratnost investic Na této úrovni se porovnávají finanční přínosy s vynaloženými náklady. Návratnost investic (RoI) měří příjmy v porovnání s náklady potřebnými k jejich dosažení. To lze vyjádřit jednoduchým matematickým vzorcem: RoI = ((Celkové příjmy – Náklady)/Náklady) * 100 RoI je tradičně používán v podnikovém účetnictví, kde se jednotlivé položky dají lehce určit. To však neplatí pro e-learning. RoI lze ovlivnit pomocí dvou aspektů, jak je zřetelně vidět z vzorce: snížením nákladů a zvýšením příjmů. Náklady lze i v e-learning poměrně dobře stanovit, složitější je to však s příjmy. To však neznamená, že RoI nelze aplikovat v e-learning. Právě naopak, techniky RoI mohou dobře demonstrovat výhody e-learning, a to jak na straně šetření nákladů, tak na straně zvýšení příjmů. Jaká je realita? ¨Obvykle se zkoumá: ¨průběžná úroveň znalostí a dovedností ¨výstupní úroveň znalostí a dovedností ¨postoje studentů k e-learningu po absolvování programu, názory na technickou kvalitu programu (grafika, navigace, kvalita multimediálních částí programu apod.) ¨výsledky studentů (známky, znalosti,…) ¨nákladová efektivita, tj. poměr „cena-výkon“ ¨ NEZKOUMA SE: Reakce - Spokojenost s využitím e-learningu, nejlépe po první hodině/po každém bloku Chování – jak se změnilo chování vlivem výuky Vzdělávání – jak student pracuje (jak často co dělá problémy, jak z pohledu jednotlivce, tak z pohledu celé skupiny) Výsledky - vliv výuky na organizaci (jaké faktory ovlivnily změny a jaké ne) Procesuální hledisko ¨průběžné vyhodnocování motivovanosti studenta při učení pomocí tzv. aktivního učebního času ¨spojování diagnózy a ovlivňování vybraných osobnostních charakteristik, např. studentovu tendenci přeceňovat se nebo podceňovat se ¨diagnostikování a pro učitele přehledné zpracování úrovně pokroku, kterého studenti dosáhli v jednotlivých tematických celcích; identifikace skupinových i individuálních obtíží při učení, včetně typických úloh, které studentům nejdou ¨adaptivní testování ¨ 1- 1. stupeň – kolik času věnuje učení, jak často, jde o kontrolu autorehulace (tzv. sebehodnoceni) 2– 2. stupeň – Dzemuj – obtiznost jetnotlivých otázek, identifikace spatne zadane otazky 3 - subjektivní evidence výsledku činnosti: jste-li si jisti, že Vaše odpověď je správná, přejděte dále; nejste-li si jisti, stiskněte tlačítko … a počítač Vám sdělí, jak má správná odpověď vypadat 4 – 2. stupeň - Adaptivni testovani - začíná se úlohami střední obtížnosti, další úlohy záleží na úspěšnosti řešení té předcházející (pokud je student úspěšný, dostává úlohy stále obtížnější, až se dojde k hranici jeho současných možností), pokud je student neúspěšný, dostává úlohy stále snadnější, až se dojde k hranici jeho současných možností + můžeme změřit úroveň nejen průměrných, ale i vynikajících a slabých studentů + testování netrvá tak dlouho jako při tradičních testech a je spolehlivější - je náročné na tvorbu databanky testových úloh a na vhodnou strategii sekvenčního prezentování úloh Proměnné, které komplikují e-learning ¨studentova počítačová gramotnost – objektivní, počítačová nebo e-mailová úzkostnost ¨komunikační ostýchavost ¨zvýšené nároky na pozornost: podoba obrazovky, navigace, umístění ovládacích prvků ¨frustrace z nedokonalosti programu - nedostatečná adaptivita na individuální styl učení, absence vysvětlení příčiny chyb, absence cílené pomoci při učení, rušivost použitých efektů (vizuálních, auditivních) ¨pocity sociální izolace ¨nerespektování autorských práv, etických aspektů učení - elektronické podvádění ¨ Další: Zvýšená námaha zraku, vynucená poloha při učení (zátěž na páteř, svaly a šlachy) Okolnosti, které komplikují měření efektivity ¨Student může začít s učením modulu v době, kdy sám chce a není časově limitován ho dokončit ¨Student může přerušit své učení na delší dobu (týdny, měsíce) a pak v něm pokračovat ¨Student si může zvolit jen určitý modul, který ho zajímá, nezapíše si celý kurz ¨Se vzrůstající modularizací se stává, že tentýž modul si zapisují studenti velmi rozdílných studijních oborů ¨ 1 – je pak obtizne zvolit fixni casovy usek, ve kterem se bude hodnotit efektivita uceni vice studentů. 2- Obtizne se pak rozlisuje zda sve studium jen prerusil nebo studia zanechal. Při delsim preruseni se mezitim mohly cile a obsah inovovat. 3 – Je pak obtizne zjistit, zda byly splneny cile, které ma cely kurz stanoveny, neboť student absolvoval jen jeho část. 4 – je pak problematicke, zda stejny obsah a stejne cile mohou byt prospesne, napr. v modulu Statistika matematikum, psychologum, pocit. specialistum. Hodnocení efektivnosti ¨model vyhodnocování efektivnosti e-learningových aplikací v oblasti vzdělávání ¨identifikace faktorů, které pozitivně i negativně ovlivňují efektivnost e-learningu ¨identifikace problémů spojených s přístupem ¨ k e-learningu a doporučení pro jejich eliminaci ¨identifikace „parametrů“ studenta, které se dají e-learningem ovlivnit ¨ ¨ Efektivita e-learningu je dána kombinací motivace účastníků, kvalitního obsahu a zejména interaktivity Zabývat se efektivností e-learningu umožňuje nalézt odpověď na otázku, jak a za jakých podmínek lze e-learning co nejúčinněji využívat, jaké faktory přispívají k jeho vyšší ci naopak nižší efektivnosti. Znalost těchto faktorů je jedním z předpokladů úspěšné integrace el do vzdělávání nejen v podnicích. Přínos el může být vysoký, pokuj je zvolen správný přístup. Nové pokročilé technologie kombinované se spolehlivými klasickými strategiemi umožňují, aby učení bylo adresný, individuelní, interaktivní a poutavý proces, který je integrován do každodenního života studenta. Tato integrace pak umožňuje skutečné zvyšování efektivity učení. 1- ve všech 4 stupních mít podporu hodnocení toho stupně 2 – abychom mohli zvyšovat efektivnost el kurzů eliminací negativních faktorů 4 – koncepce kurzu tak, aby otvíral prostor pro studentovu autoregulaci, která není výlučně individuálním procesem. Může být i ve spolupráci s dalšími (napr. skupinová, partnerská kooperace). Autoregulace se rozvíjí úspěšněji, když ladí s vnějším řízením, kt. zajišťuje elearning. Pokud nejsou kurzy koncipována s ohledem na zvláštnosti studentů a lidského učení, mohou průběh a výsledky učení poznamenat negativně. – proto bych skončila citátem…. ¨ ¨„Zatím jsme často ve fázi, kdy nahrazujeme koňský pohon automobilovým motorem. Naše technologické výtvory - podobně jako v počátcích automobilismu - se ovšem podobají spíše málo funkčním kočárům s motorem, než dnešním automobilům konstruovaným s ohledem na člověka.“ ¨(P. Simons) ¨ ¨Děkuji za pozornost. ¨