Programová evaluace Jiří Winkler Brno 2013 Úvod •Co je programová evaluace? 1.Jaký je rozdíl mezi intuitivním hodnocením a evaluačním výzkumem –Příklad intuitivní volby –Vzácnost podmínek pro racionální rozhodování 2.Co jsou důležité charakteristiky evaluačního výzkumu? –Aplikace metod sociálně vědního výzkumu –Podpora lepších účinků intervencí a programů –Adaptace na politický a organizační kontext programu – 2 Příklad intuitivních a racionálních rozhodnutí 3 VOLBA PARTNERA: 4 Intuice: - rychlá volba - dobrá osobní zkušenost - subjektivní preference 5 Racionální volba: -zdlouhavá -nové, složité jevy -odpovědnost volby Racionální rozhodování jako nástroj tvorby programů – Program je racionální, záměrná kolektivní činnost, organizovaná mezi různými subjekty a vycházející z veřejných nebo organizačních zdrojů pro dosažení plánovaných cílů. – ‚Program je soubor vzájemně provázaných rozhodnutí, přijatých politickým aktérem nebo skupinami aktérů při výběru cílů a cest jejich dosažení v rámci dané situace a realizačních možností.‘ – Bil Jenkins: Policy Analysis. N.Y.,EE 1979 • -Rozhodování v programu je relativně svobodná volba mezi variantami možného jednání -Kritéria racionálního rozhodování: - a)Vede k řešení problému (dosažení cíle) prostřednictvím poznání reálných možností b)Východiskem pro výběr možné varianty řešení jsou legitimní, společensky (organizačně) uznané, vhodné hodnoty. (např. rychlost, malé náklady, přesnost dosažení cíle, společenská legitimita cílů) a) Model rozhodování v programu 7 Obrázek1 Proces rozhodování má dvě stránky: Poznání možných variant a uplatnění hodnotové preference při výběru varianty 8 Podmínky racionálního rozhodování jsou vzácné a nestálé nJasnost a jednoznačnost problému nJeden dobře definovaný cíl nJsou známy všechny varianty a důsledky jejich volby nJasné hodnoty (preference) rozhodnutí nHodnoty (preference) jsou stabilní a konstantní nNeexistují významná časová a nákladová omezení nKonečná volba maximalizuje dosažení hodnot n Co brání racionálnímu rozhodování —Limity individuální kapacity zpracovat informace —Definice problému je hodnotově podbarvená —Rozporné vnímání problému (odlišné zájmy a pozornost) —Dostupnost upřednostňujeme před podstatností informací —Upřednostnění varianty před analýzou —Uvědomění špatných předchozích rozhodnutí nedoprovází nové rozhodnutí —Návaznost na minulá rozhodnutí —Rozpor mezi organizačními a individuálními cíli —Konzervativní a „rutinní“ organizační kultura —Rozhodnutí v organizaci je omezeno časem a financemi — —Špatná úroveň informací a poznatků —Nejasná hodnotová východiska, závislost na možnostech 9 Evaluační výzkum podporuje racionální rozhodování Nabízí: přesné poznatky a užitečná hodnocení —‚Programová evaluace je využití procedur sociálně vědního výzkumu k systematickému zkoumání účinnosti programů sociální intervence. Přesněji řečeno evaluační výzkumníci užívají metod sociálního výzkumu ke studiu, ocenění a vylepšení sociálních programů ve všech jeho důležitých aspektech, které zahrnují diagnózu sociálních problémů, jejich konceptualizaci a tvorbu, implementaci a administraci programů, jejich výstupy a jejich účinnost a efektivitu.‘ (1999: 4) — P. Rossi et al. Evaluation. A systematic approach.London, Sage. — 10 Důležité charakteristiky 1 •Aplikace sociálně vědních metod - význam –Umožňuje dodržení přesnosti poznatků o výkonu programu –Umožňuje srovnávat popsané části programu podle kritérií hodnocení •Standard metodologické kvality výzkumu –Souvisí se sběrem, analýzou a interpretací dat –Souvisí s tvorbou celkového výzkumného designu –Konkrétní metody se stále vyvíjí, standard se mění 11 Co je aplikovaný výzkum? 12 Typ výzkumu Účel Výzkumné hledisko Žádoucí výsledky Úroveň zobecnění Klíčová myšlenka Standard posouzení Základní výzkum Poznání jako konečný cíl; odkrývání „pravdy“ Otázky jsou důležité pro nějakou vědní disciplínu Příspěvek k teorii, vysvětlení Zobecnění v čase i prostoru Svět lze poznat a vysvětlit, platí v něm kauzální vztahy Přísně výzkumný, univerzálnost a verifikace teorie Aplikovaný výzkum Pochopit podstatu a zdroje lidských a společenských problémů Otázky mají důležitost pro společnost Přispět k teorii využitelné k formulaci programu pro řešení problému Zobecňovat jak je možné, ale jasně určený kontext aplikace Lidské a společenské problémy mohou být řešeny pomocí poznatků Teoretický vhled do problému, rigorózní posouzení Sumativní evaluace Určit efektivnost intervencí a aktivit Hledisko cílů intervencí Posouzení a zobecnění efektivních typů intervence Na všechny intervence s podobnými cíli Co funguje na jednom místě za specifických podmínek, mělo by takto fungovat všude Zobecnění pro budoucí využití na jiné programy Formativní evaluace Zlepšit intervence (programy, politiku, službu produkt) Hledání silných a slabých stránek programu, politiky, služby Doporučení pro zlepšení Limitovaná na specificky studované uspořádání programu Lidé mohou a budou využívat informace pro zlepšení své činnosti Užitečnost pro vybrané uživatele v daném uspořádání Akční výzkum Řešit problém v programu, organizaci či komunitě Organizační a komunitní problémy Okamžitá akce, řešit problém co nejrychleji Zde a nyní Lidé mohou řešit problémy své činnosti sebestudiem Pocity účastníků výzkumu a úspěšnost nalezeného řešení problému Podpora lepších účinků programu •Podstata veřejných/organizačních programů je řešit problémy, zlepšovat podmínky života lidí •Výkon programu lze rozčlenit na řadu fází a oblastí, kde lze uplatnit evaluaci jako nástroj vylepšení: –Oblast určení potřeb pro další vývoj programu –Tvorba, plánování programové strategie a taktiky –Implementace programu či poskytování služeb –Oblast vlivu nebo výsledků programu –Oblast programové účinnosti a efektivnosti – – 13 Adaptace na kontext programu •Evaluace je flexibilní, nelze ji prefabrikovat, není stereotypní činností –Většinou vznikají evaluační otázky na zakázku sponzorů evaluace nebo programových účastníků –Důležitá je i role evaluátora, je aktivní při vyjednání konkrétnější formulace otázky a designu výzkumu –Evaluační plán významně ovlivňuje i organizační uspořádání programu (frekvence, trvání a místo setkání pracovníků a klientů, podpora dalších služeb a jejich provázanost, volnost rozhodování programových pracovníků a jejich profese) 14 Vztah evaluačních pracovníků k účastníkům programu • 1.Tvůrci politických rozhodnutí a tvůrci programu 2.Sponzoři programů 3.Sponzoři evaluačního výzkumu 4.Cílové skupiny, (jednotlivci, domácnosti, komunity, organizace) 5.Manažeři programu (administrativní a organizační vedoucí) 6.Zaměstnanci programu 7.Konkurenti programu 8.Evaluační a výzkumné komunity •Širší kontext 1.Politické instituce a organizace na vyšší úrovni 2.(vláda, ministerstva pokud nejsou začleněny mezi účastníky) 3. Veřejnost a veřejné mínění • • • 15 Typy evaluace a vztah k účastníkům programu •Nezávislá evaluace –Je evaluace, ve které evaluátor má primární odpovědnost za tvorbu výzkumného plánu, tvorbu evaluace i rozšíření výsledků –Účastníci: zadání; Evaluační pracovník: nezávislé zdroje, samostatně upravuje zadání, plánuje, realizuje a zveřejňuje výsledky. Nutná velká důvěryhodnost a autorita evaluační instituce. Nebezpečí nespolupráce, bojkotu účastníků. •Participativní (kolaborativní) evaluace –Je evaluace organizovaná jako týmový projekt, ve kterém evaluátor a reprezentanti účastnických skupin pracují společně na plánu evaluace, tvorbě evaluace i rozšíření a využití výsledků –Účastníci: část z nich podílí se na zadání, plánování i realizaci výzkumu. Evaluátor: spíše v roli „vedoucího realizačního týmu“. M.Q.Patton: „Evaluace orientovaná na užitečnost výsledků pro účastníky“ Angažovanost účastníků modifikuje cíle a posiluje vzájemnou důvěru. • Posilující evaluace („Empowerment evaluation“) –Je participativní evaluace, ve které role evalátora zahrnuje i konzultaci a přímou podporu rozvoje kapacit účastníků programu spolupracujících na evaluaci jich samotných. –Účastníci: část z nich zapojena do zkvalitnění programu, při evaluaci dochází ke zvyšování kapacity řešit programové problémy. Evaluační pracovníci: se stávají aktéry programu, participují na jeho zdokonalení. • 16