Evaluace v informačním vzdělávání Předmět Informační vzdělávání semestr podzim 2020 Jaké otázky evaluace řeší? ? Jaké otázky si evaluace klade? • Co se stalo? • Jak se to stalo? • Proč se to stalo? • Bylo dosaženo cíle? • Jak je cíl kvalitní? Vymezení problematiky EVALUACE = proces systematického SHROMAŽĎOVÁNÍ informací, jejich ANALÝZY podle určitých kritérií A INTERPRETACE informací za účelem dalšího rozhodování Výstup: analyzovaná a interpretovaná data Znaky: — systematická, tzn. mít explicitně vymezenou oblast a strukturu — provedena správně metodicky i metodologicky — prováděna pravidelně — řízena podle předem stanovených kritérií — použitelná pro rozhodování a další plánování Terminologie: evaluace / hodnocení / autoevaluace /sebeevaluace /vlastní hodnocení …. Hodnocení Termín se užívá v kontextech běžné edukační praxe, např. hovoří se o hodnocení žáků, práce učitelů, hodnocení ředitele apod., tam je užíván jako synonymum evaluace • neplánované, necílené, nahodilé posouzení či kritika • prováděno bez přípravy • kritéria nejsou vymezena • není konzistentní s cíli • analýza dat je nepromyšlená Sebehodnocení / sebeevaluace Sebehodnocení • neplánované a necílené nahodilé hodnocení každodenní praxe, které provádí každý jedinec bez dlouhodobější přípravy Sebeevaluace • zhodnocení sama sebe účastníkem vzdělávací aktivity • výsledkem je subjektivní posouzení úrovně dosažení stanovených cílů vzdělávací aktivity Výsledky sebeevaluace se využívají: • k nastavení vzdělávacích cílů (před vstupem do vzdělávání) • k posouzení stupně splnění stanovených cílů a sledování průběhu jejich naplňování • k specifikaci oblastí s dobrými/špatnými výsledky • jako podklad pro ověření účinnosti vzdělávací aktivity a vyhodnocení dosažených zlepšení Sebeevaluace organizace • systematické vyhodnocování dosažených cílů dle předem stanovených kritérií, prováděné pracovníky organizace • nezbytná součást seberegulačního mechanismu vlastní práce organizace • poskytuje zpětnou vazbu o kvalitě a úrovni dosažených cílů vzhledem k plánovaným cílům • proces, který organizaci umožňuje reflektovat svoji práci, a tedy i lépe stanovovat vlastní cíle a volit prostředky k jejich naplnění Funkce hodnocení • Motivační • Informativní • Formativní • Diagnostická • Výchovná • Regulativní • Prognostická • Diferenciační Diagnostika a evaluace výsledků vzdělávání CÍLE diagnostiky a evaluace: • Odhalovat efektivitu výuky • Zjišťovat příčiny dosažených výsledků vzdělávání • Srovnávat dosaženou úroveň kompetencí studujících se stanovenými edukačními cíli • Pro lektora - zpětná vazba efektivity JEHO výuky • Navrhovat další vzdělávací postup • Stanovit vzdělávací prognózy výuky/studenta Sebehodnocení v edukační praxi • Sebehodnocení jednou ze strategií vzdělávání k naplnění požadavků na komplexní rozvoj osobnosti učícího se jedince – Rozvoj silných stránek a reálné sebereflexe • Výchovný prostředek neformálního charakteru • Zaměřené na průběh i výsledek práce Funkce sebehodnocení • Informativní – Učící se jedinec si plně uvědomuje proces svého učení a výsledky – Zpětná vazba pro lektora • Diagnostická – lektor diagnostikuje studentovo sebevědomí, učební styl, stanovuje příčiny studentova úspěchu či neúspěchu…; lektor vybírá vhodné metody a postupy vyučování, individualizuje výuku • Kontrolní – Kontrola plnění cíle, zpětná vazba lektorovi • Formativní (výchovná) – Formuje pozitivní vlastnosti žáka/učícího se jedince, postoje, impulz k dalšímu poznávání, sebepojetí, sebekontrola Sebehodnocení je závislé především na kognitivním vývoji jedince (schopnost provádět vyšší úrovně myšlenkových operací) a na jeho sociální vyzrálosti Formativní hodnocení a sebehodnocení (např. ve formálním vzdělávání) VÝHODY •Žák chápe své aktuální kompetence •Hledá příčiny, vyvozuje důsledky jednání •Vnitřně motivován pro vlastní jednání, výkon •Analyzuje, navrhuje opatření •Pracuje s chybou – chyba jako výzva! •Poznává své osobní hodnoty •Odpovědnost za své učení •Rozvíjí komunikační schopnosti •Eliminace kázeňských problémů, pozitivní sociální klima ve třídě ÚSKALÍ •Nerealističnost sebehodnocení žáka (přílišná sebekritika / absence sebekritiky) •Vliv rodinného prostředí •Práce s chybou – náročnější, nesmí docházet k fixaci chyby Výsledky edukačního procesu 1. Vědomosti – pamětně osvojená fakta; vzájemné vztahy, míra zobecnění a soustavy faktů – pojmy, poučky, zákony, definice 2. Dovednosti – učením získaná způsobilost k výkonu určité činnosti nebo k řešení úkolů a problémů 3. Postoje – vztah člověka ke společnosti, přírodě, k sobě 4. Kompetence – souhrn … výše uvedeného + „vnitřní integraci a propojení“ výše uvedeného ve funkčním použití k řešení situace Průzkum NK ČR + SKIP, 2019 Spolupráce knihoven a škol ve vzdělávání Průzkum NK ČR + SKIP, 2019 Spolupráce knihoven a škol ve vzdělávání Evaluace v neformálním vzdělávání Několik rovin: — vyhodnocení posunu v úrovni kompetencí účastníků (i sebeevaluace) a celkové úspěšnosti dosažení cílů vzdělávací akce; — vyhodnocení obsahu (vhodnost konkrétních cílů, výběr a struktura metod) a realizace (školitelé, organizační stránka atd.) vzdělávací akce z pohledu účastníků; — vyhodnocení obsahu (hlavní cíl a naplnění potřeb organizace, konkrétní cíle, cílová skupina a profil účastníka, formy a metody, atd.) a realizace (proces realizace, organizační a technické zabezpečení – místo konání, didaktická technika, atd., ekonomická náročnost, komunikace v týmu i s účastníky, propagace…) vzdělávací akce z hlediska školitelů a zadavatele; — zhodnocení dalších aspektů vzdělávací akce školitele i účastníky dle potřeby Metody / postupy evaluace v neformálním vzdělávání VHODNÉ postupy, vždy s ohledem na to, co jako lektoři hodnotíme v rozvoji účastníků vzdělávání Typy: pozorování, rozhovory, dotazníková šetření, rozbory dokumentace, testování… Příklady: • Znalosti – znalostní test, ústní dotazování, písemná práce • Dovednosti – praktické předvedení (např. vytvoření určitého výstupu skupinové či individuální práce), praktické předvedení s komentářem, simulace, sebeevaluační dotazník • Měkké kompetence – simulace/hraní rolí + pozorování, videozáznam, sebeevaluační dotazník Metody / postupy evaluace v neformálním vzdělávání Poznámky k úvahám: • Jak znalosti, tak měkké kompetence lze zpravidla též zhodnotit jako součást evaluace dovedností • Při tvorbě výstupů prokazujících dovednosti a jejich prezentaci se uplatňují jak znalosti (např. terminologie), tak měkké kompetence (k efektivní komunikaci, ke spolupráci, k plánování a organizaci práce atd.) ABBBA – komplexní přístup k hodnocení vzdělávací akce A Před vzdělávací akcí Vstupní vyhodnocení realizované před zahájením vzdělávací akce Zjištění úrovně kompetence SUK – skutečná úroveň kompetence a PUK – požadovaná úroveň kompetence Znalostní test Dotazník – očekávání a motivace účastníků ohledně vzdělávacího programu B Na začátku vzdělávací akce Znalostní test Sebehodnoticí osa Očekávání – zjišťování očekávání od studentů na začátku vzdělávací akce a jejich vyhodnocení B Během vzdělávací akce Hodnoticí elipsy (zhodnocení naučeného) Sebehodnoticí osa Znalostní test Hodnoticí kruh B Na konci vzdělávací akce Evaluační strom Výstupní znalostní testy Vyhodnocení očekávání Sehodnoticí osa Hodnoticí kruh Diskuze (pozitivní zhodnocení programu) Osobní kompetenční portfolio Evaluační dotazník Zjištění úrovně kompetence pro pracovníka po vzdělávací akci A Po vzdělávací akci (Sebe)evaluační dotazník zaměřený na přínos pro praxi – účastník, organizace Osobní kompetenční portfolio Rozhodnutí o změnách Příklad evaluace odborných kompetencí obecných (čtyřstupňová 0-3) Evaluace měkkých kompetencí (šestistupňový model, úroveň 0-5) Model využíván především pro měkké kompetence a odborné kompetence specifické. Každá měkká kompetence je popsána prostřednictvím sady přímo pro ni vytvořených deskriptorů – vzorů chování vykonavatele jednotky práce Nejnižší úrovně kompetence vyjadřují nízké nebo žádné požadavky na zvládání dané kompetence, nejvyšší úrovně vyjadřují vysoké požadavky na zvládnutí kompetence. 360° zpětná vazba Systém 360° zpětné vazby rozvoje rozvoj klíčových kompetencí poskytuje např. nadřízenému informace o pracovním výkonu a pracovním chování hodnocených pracovníků, o splnění stanovených cílů v informačním vzdělávání, o silných a slabých stránkách např. knihovníků (a to i v oblasti vedení lidí). 360° zpětná vazba poskytuje hodnocenému jedinci komplexní zpětnou vazbu – např. knihovníkovi informace o zpětné vazbě od nadřízeného, kolegů, žáků ad. Evaluace vzdělávacího programu DOTAZNÍKOVÉ šetření • Jedna z nejčastějších metod sběru dat • Relativně nízká časová a finanční náročnost • Umožňuje opakované použití • Zajišťuje určitou míru anonymity • Hodí se pro sebeevaluaci a evaluaci, ale NE pro všechny oblasti • Výhoda: lze je provést opakovaně a snadno porovnat výsledky (např. před zahájením a po skončení vzdělávací akce) • Stanovaní cíle dotazníkového šetření = první krok • Význam důsledné specifikace cíle - především vytvoření hypotéz, které lze prostřednictvím dotazníkového šetření ověřit Příklady témat/zaměření dotazníkového šetření • Neformální vzdělávání v knihovně: získání základních informací, charakterizujících stav názorů, představ, chování a zájmů dětí v našem městě, tj. životního stylu a volnočasových aktivit; jinými slovy – o jaké volnočasové aktivity se zajímají naši potenciální klienti • Spokojenost zaměstnanců: získání názorů, které se bezprostředně dotýkají knihovny jako pracoviště, například získání názorů na spokojenost pracovníků s pracovními podmínkami. Okruhy otázek dotazníkového šetření • Tvoříme je dle cíle dotazníkového šetření • Pomáhají lépe formulovat otázky • Příklady okruhů otázek (cílem dotazníku je zjištění zájmu obyvatel o vzdělávání v knihovně): • — informovanost uživatelů knihovny (děti, rodiče, mládež a veřejnost včetně různých institucí a podnikatelů), • — zájmy uživatelů a možné modely zájmů a chování, • — spokojenost uživatelů s činností organizace, • — obecné náměty uživatelů a občanů pro činnost organizace, • — nabídka dalších akcí pro uživatele i občany, • — chování a zájmy potenciálních uživatelů Tvorba otázek Vytvoření dobrých otázek = předpoklad pro kvalitní výstupy dotazníkového šetření Charakter otázek: • otázky srozumitelné a uzpůsobené cílovým skupinám • Formulované jednoznačně • Nebudí negativní dojmy • Formulovány atraktivně, aby vzbudily zájem a ochotu na ně odpovídat • Nemají mít charakter testu, např. „Znáte následující zkratky? 1. NIDM, 2. NICM, 3. NPI, 4… „ Dotazník by měl mít přiměřené množství otázek, abychom získali maximum informací a aby na dané množství otázek respondenti odpověděli Typy otázek – A) uzavřené otázky • Takové otázky, kdy si respondenti musí vybrat odpověď z nabídnutých variant • Navrhované odpovědi musí být logicky a věcně uspořádané • Příklad špatně položené otázky: „Jakou úroveň měla akce?“ • Příklad vhodněji položené otázky: „Jakou úroveň měla akce po stránce programové?“ „Byl jste spokojen s úrovní programu?“ Typy otázek Otevřené otázky • Takové otázky, kdy respondent sám formuluje svůj názor a nemá od nás nabídku či možnosti odpovědí • Tyto otázky se obtížně vyhodnocují. • Často dochází k chybám při kategorizaci nejrůznějších odpovědí do určitých typů • Příklad: Co děláš nejraději ve svém volném čase během pracovního týdne? Napiš: Škálování u otázek • A B C D E F • rozhodně ano spíše ano spíše ne rozhodně ne • Často Někdy – méně často Zřídka Vůbec • Denně nebo téměř denně Několikrát týdně (nebo např. 2x–3x týdně) Alespoň 1x týdně Alespoň 1x za čtrnáct dní Méně často Vůbec / Nikdy • Rozhodně kvalitní Spíše kvalitní Spíše nekvalitní Rozhodně nekvalitní • Velmi dobrý Spíše dobrý Spíše vyhovující Rozhodně nevyhovující • významný + + převažují nad - - převažují nad + zásadní – • Zcela dosaženo Podstatný pokrok Určitý pokrok Dosud nezahájeno Posuzovací škály • Posuzovací škála je nástroj, který umožňuje zjišťovat míru vlastnosti nebo intenzitu jevu, který zkoumáme. Posuzovací škály mívají zpravidla 2 (ano – ne) až 9 stupňů Typy otázek Polootevřené otázky • uzavřené otázky s možností formulovat jinou odpověď, nežli jsou nabízené • Příklad: Jsi členem sdružení, organizace: Filtrované otázky • Otázky, na které respondenti odpovídají na základě své předchozí odpovědi. • Příklad: Otázka 1: Jste spokojen s úrovní akcí? (ano – ne) • Filtrovaná otázka: Jste-li nespokojen s úrovní akcí, napište důvody vaší nespokojenosti. Typy otázek Baterie otázek • V současné době velmi používaný způsob dotazování • Na každém řádku jedna otázka a odpověď, např: Nejčastější chyby při formulování otázek do dotazníku Tvorba dotazníku – zásady Na začátku: uvést úvodní informace a instrukce pro respondenta • Cílem je respondenta motivovat k vyplnění dotazníku • Zároveň uvést, jakým způsobem bude nakládáno s daty (výzkumný účel, zlepšení produktu…) a ujištění o anonymitě dat Otázky na začátku dotazníku: • jednoduché, srozumitelné otázky, mají potenciál dotazovaného zaujmout Otázky na konci dotazníku: • týkající se demografických údajů o respondentovi – pohlaví, věk, škola… –. Je třeba dobře zvážit jejich výběr a zařadit pouze ty, které pro nás budou mít významnou informační hodnotu, aby jejich počet respondenta nenudil, neznechutil Důležité: grafická úprava dotazníku - aby „lákal k vyplnění“ • Na první pohled čitelný, přehledný • Je jasné, kde a jak se označují odpovědi, na psané odpovědi je dostatek místa. Výhody a nevýhody písemné a ústní evaluace v lekcích IG Pro žáka/učícího se jedince? Pro lektora? Evaluace v portfoliu Donedávna „alternativní“ přístup k hodnocení Např. osobní kompetenční portfolio: • Osobní údaje • Přehled výstupů = seznam absolvovaných vzdělávacích akcí, a z každé z nich kompetenční profil, který popisuje úroveň rozvoje klíčových kompetencí Např. osobní portfolio žáka / učitele / aktivního dospělého… • Přehled množství shromážděných výstupů jednoho jedince • Na základě produktů a dalších záznamů (výrobky, exponáty, písemné práce, pracovní listy, umělecká díla, poznámky k aktivitám…) Evaluační testy Standardizované • Vytvořené skupinou odborníků • Validní, reliabilní,… • Pevná kritéria pro hodnocení • Použití pro srovnání výsledků jednotlivých institucí ve vzdělávání (i neformálním) Nestandardizované • Častější v edukační praxi • Tvoří je lektor sám • Cíl: diagnostika vědomostí ve třídě • Rychlé, objektivní zjištění • Hodnoceny body (známkou) Hlediska hodnocení Hodnocení podle subjektu • Heteronomní – Hodnocený = žák/účastník posuzován zvnějšku (lektorem) • Autonomní – Vnitřní – hodnocený se posuzuje sám • Sebereflexe lektora, portfolio žáka/účastníka – hodnotí své pokroky v daných kompetencích informační gramotnosti (měsíc, čtvrtletí …) Hodnocení podle vztahové normy • Sociálně-vztahové – Porovnáváme výsledky jednoho studujícího s výsledky (výkony) ostatních • Individuálně-vztahové – Porovnáváme výsledky u jedince v průběhu času AKTIVITA 1. Vyberte konkrétní cílovou skupinu (žáci a studenti různého věku, dospělí neformálně, firemní prostředí nezaměstnaní, sociálně vyloučená komunita, senioři…) 2. Navrhněte (obecně, rámcově) kurz informačního vzdělávání v délce 4 lekcí na konkrétní témata spadající do rozvoje informační/funkční gramotnosti 3. Navrhněte, jaké konkrétní„produkty“ by mohlo obsahovat portfolio účastníků kurzu s ohledem na téma (témata) i cílovou skupinu Z historie hodnocení • Tzv. lokace • Tělesné tresty • Symboly – oslí uši • Knihy cti / černé knihy Hodnocení slovní / známkové /kodifikace hodnocení • Hodnocení slovní – do 16. století • Hodnocení známkami – třídicí funkce • Kodifikace školního hodnocení – Felbigerův Školní řád (1774) • Uzákonění veřejné zkoušky, vysvědčení na konci docházky – Kniha metodní (1775) • Počátek 20. století – kritika hodnocení prostřednictvím známek! Jak přistupovat k evaluaci Jaké otázky bych si měl jako lektor předem klást, aby moje hodnocení bylo efektivní? Jak přistupovat k hodnocení v informačním vzdělávání • Mám konkrétně stanovená kritéria hodnocení? • Znají moji žáci/studenti mé požadavky? • Používám různé formy hodnocení? • Používám hodnocení k různým účelům? • Je moje hodnocení komplexní (sleduje různé stránky rozvoje osobnosti, postihuje všechny druhy cílů)? • Hodnotím a poskytuji zpětnou vazbu dostatečně a konstruktivně? • Pomáhám dostatečně, aby se žáci/studující připravili na činnosti, které hodnotím? • Jsou moje kritéria a formy hodnocení přiměřené možnostem účastníků? • Rozvíjím u žáků/studujících dovednost sebehodnocení? • Jsem v hodnocení objektivní? AKTIVITA Téma: seberozvoj studentů/účastníků informačního vzdělávání v konkrétním tématu IG • 1. Jaké konkrétní učební činnosti nebo aktivity byste zvolili jako úlohu pro nemotivovaného/nespolupracujícího žáka ve výuce IG (lekci IG), abyste ho motivovali k dalšímu učení? • 2. Jaké konkrétní učební činnosti nebo aktivity byste zvolili jako úlohu pro motivovaného/spolupracujícího žáka ve výuce IG (lekci IG), abyste ho motivovali k dalšímu učení? Zdroje - výběr • KOLÁŘ, Zdeněk a Renata ŠIKULOVÁ. Hodnocení žáků. 2., dopl. vyd. Praha: Grada, 2009. Pedagogika (Grada). ISBN 978-80-247-2834-6. • PASCH, Marvin. Od vzdělávacího programu k vyučovací hodině. Vyd. 2. Praha: Portál, 2005. ISBN 80-7367-054-2. • VÚP Praha. Čtyřstupňová škála pro hodnocení klíčových kompetencí žáků. Metodický portál: Články [online], [cit. 2016 -10-05]. Dostupné z: http://clanky.rvp.cz/clanek/.html. • ZORMANOVÁ, L. Obecná didaktika. Praha: Grada Publishing, 2009. ISBN 978-80-247-4590-9.