Typy evaluačního výzkumu Základní dělení na: SUMATIVNÍ EVALUACE Obvyklý cíl: jak program dopadl Vyhodnocení, jak byl program úspěšný, efektivní, zda naplnil cíle. Obvykle po ukončení programu, nebo jeho etap FORMATIVNÍ EVALUACE Obvyklý cíl: jak zlepšit průběh programu Průběžné monitorování programu, snaha zlepšit jeho efektivitu, dopady, zapojení aktérů, komunikaci atp. ICMAB - "A researcher in your classroom" for the Science Week reaches 6 schools and more than 220 students Pohlednice Šmoula PEYO Brusel skřítek trpaslík Stupně vítězů | Aukro Formative vs Summative - Open Visual Thinkery PROGRAM PŘEDPOKLADY, VÝCHODISKA PROBLÉMY A POTŘEBY PLÁNY, CÍLE VÝSTUPY DOPADY EVALUACE DOPADU EVALUACE PROGRAMU VE STÁDIU PLÁNOVÁNÍ PROCESNÍ EVALUACE SKUPINY, ZÁJMY STRATEGIE PŘEDPOKLADY, VÝCHODISKA PROBLÉMY A POTŘEBY PLÁNY, CÍLE EVALUACE PROGRAMU VE STÁDIU PLÁNOVÁNÍ SKUPINY, ZÁJMY STRATEGIE Nejčastěji využívané techniky výzkumu pro evaluaci ve stadiu plánování Zhodnocení potřeby Zhodnocení logiky programu Obsahová analýza, analýza diskurzu Focus groups Rozhovory PROCESNÍ EVALUACE (otevřít black-box) EFEKTIVITA, VÝKON, STÁLOST KVALITY ÚSPĚŠNOST IMPLEMENTACE NAPLNĚNÍ DÍLČÍCH CÍLŮ SOULAD S PLÁNEM UDRŽITELNOST PROGRAM a)posoudit kvalitu implementace programu (Jak dobře je program implementován?) b) b) b) b) zjistit faktory, které ovlivňují implementaci programu (Jaké determinanty [faktory] ovlivnily průběh a výsledek programu?) c) (Hora 2014) VÝSTUPY DOPADY PROGRAM PROCESNÍ EVALUACE (otevřít black-box) EFEKTIVITA, VÝKON, STÁLOST KVALITY ÚSPĚŠNOST IMPLEMENTACE NAPLNĚNÍ DÍLČÍCH CÍLŮ SOULAD S PLÁNEM UDRŽITELNOST a)posoudit kvalitu implementace programu (Jak dobře je program implementován?) b) b) b) b) zjistit faktory, které ovlivňují implementaci programu (Jaké determinanty [faktory] ovlivnily průběh a výsledek programu?) c) (Hora 2014) Vztah mezi procesy a cíli Jaké procesy vedly k cílům Praktický (aplikační) význam procesní evaluace je podle jednotlivých autorů možné spatřovat například v následujících aplikacích: • v ověření, zda byl program poskytnut cílové populaci [Rossi et al. 1999] • v ověření, že program skutečně proběhl [Patton 1997] a peníze byly vhodně využity [WHO 2000]; • v ověření stálé kvality programu [Hughes, Black, Kennedy 2008]; • v ověření efektivního výkonu programu [Rossi et al. 1999]; • v ověření, zda program proběhl podle plánu [Rossi et al. 1999]; • ve zjištění vztahu mezi provedením konkrétní části programu a výsledkem [Saunders, Evans, Joshi 2005]; • ve zjištění, proč program nedosáhl očekávaných výsledků; • v získání podkladů pro řešení problémů identifikovaných před evaluací [Chen 2005]; • v možnosti provádět dílčí změny vedoucí ke zlepšení programu [Gelmon, Foucek, Waterbury 2005], [Frechtling et al. 2010] či při potřebě rozhodovat o zachování, rozšíření či zrušení konkrétních programů [Rossi et al. 1999]; • v ověření funkčnosti, pokud se jedná o zkoušení nového typu programu (tvorbu tzv. pilotních programů) či o přenos osvědčeného programu do nových podmínek [WHO 2000, Rossi et al. 1999]; • v možnosti zlepšit úsudek o udržitelnosti programu; • v možnosti posílit legitimitu hodnocených programů [Winkler 2005]. (Hora 2014, s 64-65) posouzení kvality implementace programu Zjištění faktorů ovlivňujících implementaci Nejčastěji využívané techniky výzkumu pro procesní evaluaci Široká škála a kombinace kvalitativních a kvantitativních metod: Rozhovory, focus groups, pozorování Dotazníky, strukturované pozorování Process evaluation of complex interventions: Medical Research Council guidance | The BMJ https://www.bmj.com/content/350/bmj.h1258 PROGRAM PŘEDPOKLADY, VÝCHODISKA PROBLÉMY A POTŘEBY PLÁNY, CÍLE VÝSTUPY DOPADY EVALUACE DOPADU SKUPINY, ZÁJMY STRATEGIE Deska s klipem, všechno přeškrtnuté se souvislou výplní Deska s klipem, částečně zaškrtnuté se souvislou výplní Deska s klipem, částečně zaškrtnuté se souvislou výplní Deska s klipem, všechno přeškrtnuté se souvislou výplní Deska s klipem, částečně zaškrtnuté se souvislou výplní Deska s klipem, všechno přeškrtnuté se souvislou výplní Deska s klipem, částečně zaškrtnuté se souvislou výplní Deska s klipem, všechno přeškrtnuté se souvislou výplní Deska s klipem, částečně zaškrtnuté se souvislou výplní PŘED (T0) PO (T1) INTERVENCE SROVNÁNÍ S DATY MIMO SKUPINU (Suchanec 2014) https://munispace.muni.cz/library/catalog/book/152 Kvantitativní přístupy: kontrafaktualita Laws | Free Full-Text | A Counterfactual Impact Analysis of Fair Use Policy on Copyright Related Industries in Singapore | HTML https://link.springer.com/chapter/10.1007/978-981-13-6389-4_2 Fig. 2.1