Evaluace v informačním vzdělávání Předmět Informační vzdělávání 24. listopad 2017 Vymezení problematiky •EVALUACE = proces systematického shromažďování informací, jejich analýzy podle určitých kritérií a interpretace informací za účelem dalšího rozhodování • •Výstup: analyzovaná a interpretovaná data • •Znaky: •— systematická, tzn. mít explicitně vymezenou oblast a strukturu •— provedena správně metodicky i metodologicky •— prováděna pravidelně •— řízena podle předem stanovených kritérií •— použitelná pro rozhodování a další plánování • •Terminologie: evaluace / hodnocení / autoevaluace /sebeevaluace /vlastní hodnocení …. Hodnocení •Termín se užívá v kontextech běžné školní praxe, např. hovoří se o hodnocení žáků, práce učitelů, hodnocení ředitele apod., tam je užíván jako synonymum evaluace • •neplánované, necílené, nahodilé posouzení či kritika •prováděno bez přípravy •kritéria nejsou vymezena •není konzistentní s cíli •analýza dat je nepromyšlená Sebehodnocení / sebeevaluace •Sebehodnocení •neplánované a necílené nahodilé hodnocení každodenní praxe, které provádí každý jedinec bez dlouhodobější přípravy •Sebeevaluace •zhodnocení sama sebe účastníkem vzdělávací aktivity •výsledkem je subjektivní posouzení úrovně dosažení stanovených cílů vzdělávací aktivity • •Výsledky sebeevaluace se využívají: •k nastavení vzdělávacích cílů (před vstupem do vzdělávání) •k posouzení stupně splnění stanovených cílů a sledování průběhu jejich naplňování •k specifikaci oblastí s dobrými/špatnými výsledky •jako podklad pro ověření účinnosti vzdělávací aktivity a vyhodnocení dosažených zlepšení • Sebeevaluace (autoevaluace) •= Zhodnocení sebe sama účastníkem vzdělávací aktivity •Výsledkem je: subjektivní posouzení úrovně dosažení stanovených cílů vzdělávací aktivity •Využití výsledků autoevaluace: •Nastavení vzdělávacích cílů (před vstupem do vzdělávání) •Posouzení rozvoje kompetencí a stupně splnění stanovených cílů a sledování průběhu jejich naplňování (v průběhu, na konci a po skončení vzdělávací akce) •Podklad pro ověření účinnosti přijatých nápravných opatření a vyhodnocení dosažených zlepšení •Přínos sebeevaluace pro účastníka: zvědomění a pojmenování získaných kompetencí •Využití autoevaluace pro jedince: pro prezentaci sebe sama na trhu práce / pro plánování dalšího osobnostního rozvoje Sebeevaluace organizace •systematické vyhodnocování dosažených cílů dle předem stanovených kritérií, prováděné pracovníky organizace •nezbytná součást seberegulačního mechanismu vlastní práce organizace •poskytuje zpětnou vazbu o kvalitě a úrovni dosažených cílů vzhledem k plánovaným cílům •proces, který organizaci umožňuje reflektovat svoji práci, a tedy i lépe stanovovat vlastní cíle a volit prostředky k jejich naplnění Diagnostika a evaluace výsledků vzdělávání •nedílná součást lektorské činnosti •náročná, společensky závažná, zodpovědná činnost • •CÍLE diagnostiky a evaluace: •Odhalovat efektivitu výuky •Zjišťovat příčiny dosažených výsledků vzdělávání •Srovnávat dosaženou úroveň kompetencí studujících se stanovenými edukačními cíli •Pro lektora - zpětná vazba efektivity JEHO výuky •Navrhovat další vzdělávací postup •Stanovit vzdělávací prognózy výuky/žáka – Sebehodnocení ve školní praxi •Sebehodnocení jednou ze strategií vzdělávání • k naplnění požadavků na komplexní rozvoj osobnosti učícího se jedince • –Rozvoj silných stránek a reálné sebereflexe – •Výchovný prostředek neformálního charakteru • •Zaměřené na průběh i výsledek práce • – Funkce sebehodnocení •Informativní –Učící se jedinec si plně uvědomuje proces svého učení a výsledky –Zpětná vazba pro lektora •Diagnostická –lektor diagnostikuje žákovo sebevědomí, učební styl, stanovuje příčiny žákova úspěchu či neúspěchu…; lektor vybírá vhodné metody a postupy vyučování, individualizuje výuku •Kontrolní –Kontrola plnění cíle, zpětná vazba lektorovi •Formativní (výchovná) –Formuje pozitivní vlastnosti žáka/učícího se jedince, postoje, impulz k dalšímu poznávání, sebepojetí, sebekontrola – •Sebehodnocení je závislé především na kognitivním vývoji jedince (schopnost provádět vyšší úrovně myšlenkových operací) a na jeho sociální vyzrálosti – – – Výsledky edukačního procesu •1. Vědomosti –pamětně osvojená fakta; vzájemné vztahy, míra zobecnění a soustavy faktů –pojmy, poučky, zákony, definice •2. Dovednosti –učením získaná způsobilost k výkonu určité činnosti nebo k řešení úkolů a problémů •3. Postoje –vztah člověka ke společnosti, přírodě, k sobě •4. Kompetence –souhrn … výše uvedeného + „vnitřní integraci a propojení“ výše uvedeného ve funkčním použití k řešení situace • – Evaluace v neformálním vzdělávání •Několik rovin: •— vyhodnocení posunu v úrovni kompetencí účastníků (i sebeevaluace) a celkové úspěšnosti dosažení cílů vzdělávací akce; •— vyhodnocení obsahu (vhodnost konkrétních cílů, výběr a struktura metod) a realizace (školitelé, organizační stránka atd.) vzdělávací akce z pohledu účastníků; •— vyhodnocení obsahu (hlavní cíl a naplnění potřeb organizace, konkrétní cíle, cílová skupina a profil účastníka, formy a metody, atd.) a realizace (proces realizace, organizační a technické zabezpečení – místo konání, didaktická technika, atd., ekonomická náročnost, komunikace v týmu i s účastníky, propagace…) vzdělávací akce z hlediska školitelů a zadavatele; •— zhodnocení dalších aspektů vzdělávací akce školitele i účastníky dle potřeby Metody / postupy evaluace v neformálním vzdělávání •VHODNÉ postupy, vždy s ohledem na to, co jako lektoři hodnotíme v rozvoji účastníků vzdělávání •Typy: pozorování, rozhovory, dotazníková šetření, rozbory dokumentace, testování… • •Příklady: •Znalosti – znalostní test, ústní dotazování, písemná práce •Dovednosti – praktické předvedení (např. vytvoření určitého výstupu skupinové či individuální práce), praktické předvedení s komentářem, simulace, sebeevaluační dotazník •Měkké kompetence – simulace/hraní rolí + pozorování, videozáznam, sebeevaluační dotazník • Metody / postupy evaluace v neformálním vzdělávání •Poznámky: •Jak znalosti, tak měkké kompetence lze zpravidla též zhodnotit jako součást evaluace dovedností •Při tvorbě výstupů prokazujících dovednosti a jejich prezentaci se uplatňují jak znalosti (např. terminologie), tak měkké kompetence (k efektivní komunikaci, ke spolupráci, k plánování a organizaci práce atd.) ABBBA – komplexní přístup k hodnocení vzdělávací akce Příklad evaluace odborných kompetencí obecných (čtyřstupňová 0-3) Evaluace měkkých kompetencí (šestistupňový model, úroveň 0-5) Využíván především pro měkké kompetence a odborné kompetence specifické. Každá měkká kompetence je popsána prostřednictvím sady přímo pro ni vytvořených deskriptorů – vzorů chování vykonavatele jednotky práce Nejnižší úrovně kompetence vyjadřují nízké nebo žádné požadavky na zvládání dané kompetence, nejvyšší úrovně vyjadřují vysoké požadavky na zvládnutí kompetence. 360° zpětná vazba Systém 360° zpětné vazby rozvoje rozvoj klíčových kompetencí poskytuje např. nadřízenému informace o pracovním výkonu a pracovním chování hodnocených pracovníků, o splnění stanovených cílů v informačním vzdělávání, o silných a slabých stránkách např. knihovníků (a to i v oblasti vedení lidí). 360° zpětná vazba poskytuje hodnocenému jedinci komplexní zpětnou vazbu – např. knihovníkovi informace o posudku nadřízeného, kolegů, žáků ad. Evaluace vzdělávacího programu DOTAZNÍKOVÉ šetření •Jedna z nejčastějších metod sběru dat •Relativně nízká časová a finanční náročnost •Umožňuje opakované použití •Zajišťuje určitou míru anonymity • •Hodí se do sebeevaluaci a evaluaci, ale NE pro všechny oblasti •Výhoda: lze je provést opakovaně a snadno porovnat výsledky (např. před zahájením a po skončení vzdělávací akce) •Stanovaní cíle dotazníkového šetření = první krok •Význam důsledné specifikace cíle - především vytvoření hypotéz, které lze prostřednictvím dotazníkového šetření ověřit • •Příklady témat dotazníkového šetření •Neformální vzdělávání v knihovně: získání základních informací, charakterizujících stav názorů, představ, chování a zájmů dětí v našem městě, tj. životního stylu a volnočasových aktivit; jinými slovy – o jaké volnočasové aktivity se zajímají naši potenciální klienti •Spokojenost zaměstnanců: získání názorů, které se bezprostředně dotýkají knihovny jako pracoviště, například získání názorů na spokojenost pracovníků s pracovními podmínkami. Okruhy otázek dotazníkového šetření •Tvoříme je dle cíle dotazníkového šetření •Pomáhají lépe formulovat otázky • •Příklady okruhů otázek (cílem dotazníku je zjištění zájmu obyvatel o vzdělávání v knihovně): • — informovanost uživatelů knihovny (děti, rodiče, mládež a veřejnost včetně různých institucí a podnikatelů), •— zájmy uživatelů a možné modely zájmů a chování, •— spokojenost uživatelů s činností organizace, •— obecné náměty uživatelů a občanů pro činnost organizace, •— nabídka dalších akcí pro uživatele i občany, •— chování a zájmy potenciálních uživatelů Tvorba otázek •Vytvoření dobrých otázek = předpoklad pro kvalitní výstupy dotazníkového šetření •Charakter otázek: •otázky srozumitelné a uzpůsobené cílovým skupinám •Formulované jednoznačně •Nebudí negativní dojmy •Formulovány atraktivně, aby vzbudily zájem a ochotu na ně odpovídat •Nemají mít charakter testu, např. „Znáte následující zkratky? 1. NIDM, 2. NICM, 3. NIDV, 4… „ •Dotazník by měl mít přiměřené množství otázek, abychom získali maximum informací a aby na dané množství otázek respondenti odpověděli • •Typy otázek – A) uzavřené otázky • •Takové otázky, kdy si respondenti musí vybrat odpověď z nabídnutých variant •Navrhované odpovědi musí být logicky a věcně uspořádané •Příklad špatně položené otázky: „Jakou úroveň měla akce?“ •Příklad vhodněji položené otázky: • „Jakou úroveň měla akce po stránce programové?“ • „Byl jste spokojen s úrovní programu?“ Typy otázek •Otevřené otázky •Takové otázky, kdy respondent sám formuluje svůj názor a nemá od nás nabídku či možnosti odpovědí •Tyto otázky se obtížně vyhodnocují. •Často dochází k chybám při kategorizaci nejrůznějších odpovědí do určitých typů •Příklad: Co děláš nejraději ve svém volném čase během pracovního týdne? Napiš: • • •Škálování u otázek •A B C D E F •rozhodně ano spíše ano spíše ne rozhodně ne •Často Někdy – méně často Zřídka Vůbec •Denně nebo téměř denně Několikrát týdně (nebo např. 2x–3x týdně) Alespoň 1x týdně Alespoň 1x za čtrnáct dní Méně často Vůbec / Nikdy •Rozhodně kvalitní Spíše kvalitní Spíše nekvalitní Rozhodně nekvalitní •Velmi dobrý Spíše dobrý Spíše vyhovující Rozhodně nevyhovující •významný + + převažují nad - - převažují nad + zásadní – •Zcela dosaženo Podstatný pokrok Určitý pokrok Dosud nezahájeno Posuzovací škály •Posuzovací škála je nástroj, který umožňuje zjišťovat míru vlastnosti nebo intenzitu jevu, který zkoumáme. Posuzovací škály mívají zpravidla 2 (ano – ne) až 9 stupňů • • Typy otázek •Polootevřené otázky •uzavřené otázky s možností formulovat jinou odpověď, nežli jsou nabízené •Příklad: Jsi členem sdružení, organizace: • • • • •Filtrované otázky •Otázky, na které respondenti odpovídají na základě své předchozí odpovědi. •Příklad: Otázka 1: Jste spokojen s úrovní akcí? (ano – ne) •Filtrovaná otázka: Jste-li nespokojen s úrovní akcí, napište důvody vaší nespokojenosti. Typy otázek •Baterie otázek •V současné době velmi používaný způsob dotazování •Na každém řádku jedna otázka a odpověď, např: • Nejčastější chyby při formulování otázek do dotazníku Tvorba dotazníku – zásady •Na začátku: uvést úvodní informace a instrukce pro respondenta •Cílem je respondenta motivovat k vyplnění dotazníku •Zároveň uvést, jakým způsobem bude nakládáno s daty (výzkumný účel, zlepšení produktu…) a ujištění o anonymitě dat • •Otázky na začátku dotazníku: •jednoduché, srozumitelné otázky, mají potenciál dotazovaného zaujmout • •Otázky na konci dotazníku: •týkající se demografických údajů o respondentovi – pohlaví, věk, škola… –. Je třeba dobře zvážit jejich výběr a zařadit pouze ty, které pro nás budou mít významnou informační hodnotu, aby jejich počet respondenta nenudil, neznechutil • •Důležité: grafická úprava dotazníku - aby „lákal k vyplnění“ •Na první pohled čitelný, přehledný •Je jasné, kde a jak se označují odpovědi, na psané odpovědi je dostatek místa. Funkce hodnocení •Motivační •Informativní •Formativní •Diagnostická •Výchovná •Regulativní •Prognostická •Diferenciační • Výhody a nevýhody písemné a ústní evaluace v lekcích IG Pro žáka/učícího se jedince Pro lektora Evaluace v portfoliu •Donedávna „alternativní“ přístup k hodnocení •Např. osobní kompetenční portfolio: •Osobní údaje •Přehled výstupů = seznam absolvovaných vzdělávacích akcí, a z každé z nich kompetenční profil, který popisuje úroveň rozvoje klíčových kompetencí •Např. osobní portfolio žáka / učitele / aktivního dospělého… •Přehled množství shromážděných výstupů jednoho jedince •Na základě produktů a dalších záznamů (výrobky, exponáty, písemné práce, pracovní listy, umělecká díla, poznámky k aktivitám…) – Evaluační testy •Standardizované •Vytvořené skupinou odborníků •Validní, reliabilní,… •Pevná kritéria pro hodnocení •Použití pro srovnání výsledků jednotlivých institucí ve vzdělávání (i neformálním) •Nestandardizované •Častější v edukační praxi •Tvoří je lektor sám •Cíl: diagnostika vědomostí ve třídě •Rychlé, objektivní zjištění •Hodnoceny body (známkou) Hlediska hodnocení •Hodnocení podle subjektu •Heteronomní –Hodnocený = žák/účastník posuzován zvnějšku (lektorem) •Autonomní –Vnitřní – hodnocený se posuzuje sám •Sebereflexe lektora, portfolio žáka/účastníka – hodnotí své pokroky v daných kompetencích informační gramotnosti (měsíc, čtvrtletí …) • •Hodnocení podle vztahové normy •Sociálně-vztahové –Porovnáváme výsledky jednoho studujícího s výsledky (výkony) ostatních •Individuálně-vztahové –Porovnáváme výsledky u jedince v průběhu času • • AKTIVITA 1.Vyberte konkrétní cílovou skupinu (žáci a studenti různého věku, dospělí neformálně, firemní prostředí nezaměstnaní, sociálně vyloučená komunita…) 2. 2.Navrhněte kurz informačního vzdělávání v délce 4 lekcí na konkrétní témata spadající do rozvoje informační/funkční gramotnosti 3. 3.Navrhněte, jaké konkrétní„produkty“ by mohlo obsahovat portfolio účastníků kurzu s ohledem na téma (témata) i cílovou skupinu Z historie hodnocení •Tzv. lokace •Tělesné tresty •Symboly – oslí uši •Knihy cti / černé knihy • •Hodnocení slovní / známkové /kodifikace hodnocení •Hodnocení slovní – do 16. století •Hodnocení známkami – třídicí funkce •Kodifikace školního hodnocení – Felbigerův Školní řád (1774) •Uzákonění veřejné zkoušky, vysvědčení na konci docházky – Kniha metodní (1775) • •Počátek 20. století – kritika hodnocení prostřednictvím známek! • • • Jak přistupovat k evaluaci (hodnocení) v průběhu lekci • • •Jaké otázky bych si měl jako lektor předem klást, aby moje hodnocení bylo efektivní? Jak přistupovat k hodnocení v lekci • •Mám konkrétně stanovená kritéria hodnocení? •Znají moji žáci/studenti mé požadavky? •Používám různé formy hodnocení? •Používám hodnocení k různým účelům? •Je moje hodnocení komplexní (sleduje různé stránky rozvoje osobnosti, postihuje všechny druhy cílů)? •Hodnotím a poskytuji zpětnou vazbu dostatečně a konstruktivně? •Pomáhám dostatečně, aby se žáci/studující připravili na činnosti, které hodnotím? •Jsou moje kritéria a formy hodnocení přiměřené možnostem účastníků? •Rozvíjím u žáků/studujících dovednost sebehodnocení? •Jsem v hodnocení objektivní? • Výhody a úskalí hodnocení •VÝHODY ••Žák chápe své aktuální kompetence ••Hledá příčiny, vyvozuje důsledky jednání ••Vnitřně motivován pro vlastní jednání, výkon ••Analyzuje, navrhuje opatření ••Pracuje s chybou – chyba jako výzva! ••Poznává své osobní hodnoty ••Odpovědnost za své učení ••Rozvíjí komunikační schopnosti ••Eliminace kázeňských problémů, pozitivní sociální klima ve třídě • •ÚSKALÍ ••Nerealističnost sebehodnocení žáka (přílišná sebekritika / absence sebekritiky) ••Vliv rodinného prostředí ••Práce s chybou – náročnější, nesmí docházet k fixaci chyby AKTIVITA •Téma: seberozvoj žáků/studentů/účastníků informačního vzdělávánív konkrétním tématu IG • •1. Jaké konkrétní činnosti byste zvolili jako úlohu pro nemotivovaného/neprospívajícího žáka v předmětu ICT / Informační gramotnost / v lekci IG, abyste ho motivovali k dalšímu učení? • •2. Jaké konkrétní činnosti byste zvolili jako úlohu pro motivovaného/výborně prospívajícího žáka v předmětu ICT / Informační gramotnost / v lekci IG, abyste ho motivovali pro další učení? Zdroje - výběr •KOLÁŘ, Zdeněk a Renata ŠIKULOVÁ. Hodnocení žáků. 2., dopl. vyd. Praha: Grada, 2009. Pedagogika (Grada). ISBN 978-80-247-2834-6. •PASCH, Marvin. Od vzdělávacího programu k vyučovací hodině. Vyd. 2. Praha: Portál, 2005. ISBN 80-7367-054-2. •VÚP Praha. Čtyřstupňová škála pro hodnocení klíčových kompetencí žáků. Metodický portál: Články [online], [cit. 2016 -10-05]. Dostupné z: http://clanky.rvp.cz/clanek/.html. •ZORMANOVÁ, L. Obecná didaktika. Praha: Grada Publishing, 2009. ISBN 978-80-247-4590-9. • •