Evaluace výsledků otevřeného vzdělávání Evaluace otevřeného vzdělávání •Def. - systematické shromažďování a analýza výsledků potvrzující hypotézy o příčinách a efektu všudypřítomných vzdělávacích příležitostí s výsledky naplňujícími vzdělávací cíle studujících •Cíl: vytvořit kategorické zlepšení vzdělávacích příležitostí a výsledků •hodnocení produktivita a efektivity - efektivnější a účinnější vzdělávání •vliv: výkon, cena, užitek, risk •modifikace vzdělávací praxe a vzdělávacího modelu – snížení ceny, zvýšení dosahu • • • Evaluace otevřeného vzdělávání •metody pro kvantifikaci a srovnání přínosů a nákladů alternativních přístupů k výuce a učení •Účel: identifikovat, interpretovat, kopírovat a bránit výsledky •strategický design efektivního systému zahrnujícího sbírky obsahu a sekvence zkušeností Strategické hodnocení •měření musí být smysluplné x smysluplnost je třeba měřit •nutné sbírat taktické záznamy dat a reporty výsledků o efektivitě a produktivitě •testování pedagogických hypotéz – systematicky a kriticky analyzované kvantifikovatelné výsledky •stanovení podmínek, za kterých jednotlivé faktory pracují •strategická evaluace – systematický popis podmínek a výsledků, vysvětlení proč na podmínkách záleží Strategické hodnocení •převažující testovací techniky pro okamžité potřeby •faktory odrazující od kolaborativního hodnocení: •praktický tlak na jednotlivé organizace •strach ze selhání •odhalení výsledků vzdělávání riskantní bez sdílených kritérií evaluace – irelevantní a zjednodušující srovnání •přínosy – potenciál ušetřit čas, peníze •větší vhled do postupů vyvinutých ostatními •neopakování chyb ostatních •nutné vývoj společných metod a rutinní publikování výsledků •vývoj benchmarkingového standartu a analytických procesů Nástroje evaluace •3 oblasti aktivit vývoje nástrojů: •studie a projekty •experimenty v terénu a laboratorní experimenty •tržní použití produktů a služeb •aktivity komplementární, každá vlastní omezení proměnných, proveditelných měření, důsledků odvoditelných z dat •rozdíly: v rozsahu, očekáváné životnosti a záměru Nástroje evaluace •Studie a projekty: •rozsah: malý •životnost: relativně krátká •záměr: zodpovězení konkrétní, ohraničené otázky, ne dlouhodobá činnost nebo umístění služby, produktu •důkazy konceptů a demonstrace rysů •cíl: inovace, testování, negativní důsledky informativní •cílová skupina: kolegové, ne uživatelé nebo zákazníci •reportování: prezentace na schůzkách, publikace •př. projekt MEROLOT ne náklady na produkci recenzí, validace proč lidé participovali, ALE: metriky jako počet zaslaných recenzí, počet účastníků Nástroje evaluace •Experimenty a pokusy: •rozsah: limitovaný - abstrahuje od určitých, nerelevantních podmínek •životnost: požadavky umělého výkonu, použití simulovaných dat a procesů, koroborace •záměr: detailní evaluace a vyvození závěrů •cíl: úspěch pokusu akceleruje přenos a redukuje riziko použití v plném rozsahu, větší porozumění příčinám ovlivňujícím výsledky •reportování: pro veřejnost, scénáře, důkaz pro praxi •cílová skupina: vyžaduje participaci dodavatelů i konzumentů •přijímání více formálních metod •př. IMS alt-i-lab • Nástroje evaluace •tržní produkty a služby: •rozsah: kompletní, robustní •životnost: dlouhodobé každodenní použití •záměr: produkce extenzivních dat •reportování: místa, kde se poskytují, získávají a užívají vzdělávací zdroje, publikace. Zahrnuje prodeje, počty uživatelů, poměr úspěšných studentů, spokojenost •cílová skupina: trh •obchodní činnosti nejsou oddělitelné od experimentů – často produkty a služby výsledky experimentů v reálném světě Druhy dat •4 typy dat pro evaluaci: výkonnostní, cenová, užitková, riziková •Výkon: •dodavatel – čas, práce či zdroje vynaložené nebo ušetřené na produkci výstupů, frekvence použití výstupů, četnost a počet domén znovupoužití •konzument – čas a úsilí na dosažení výsledku, frekvence vynaložení úsilí, počet rozlišných výsledků •Cena: •dodavatel – okamžité a dlouhodobé náklady na produkci, instalování, udržování a užívání včetně stupňů pokročilosti a úrovní expertíz na dosažení výstupů •konzument – cena zisku, modernizace a použití včetně nákladů na adopci Druhy dat •Užitek: •dodavatel – obchodní cíle, tržní plány, spokojenost zákazníků, výběr obchodních partnerů a tržních možností, rychlost reakce na příležitosti •konzument – institucionální a osobní cíle, plány obchodních procesů, spokojenost koncového uživatele, výběr dodavatelů, rychlost odpovědi na měnící se obchodní požadavky •Riziko: •dodavatel – korelace mezi plány a aktuálními výstupy, identifikace faktorů řídících a blokujících výsledky, náklady managementu rizik – testy dodržování, velikost a kvalita komunity uživatelů, dostupnost personálu •konzument – korelace mezi vzdělávacími cíli a aktuálními výsledky, identifikace faktorů řídících a blokujících výsledky, náklady managementu rizik, výsledky certifikací, velikost a kvalita komunity uživatelů, připravenost a výkon personálu • • Temná strana evaluace •nevhodná měření •„vytvořené“ výsledky •chybné závěry •mnoho proměnných nesouvisí se vzděláváním: technologická změna, finanční tlaky, individuální motivace