Analýza a evaluace ve veřejné politice Josef Horňáček VPLn4513 Tvorba a implementace VP Obsah •• Analýza a hodnocení veřejně politického procesu a jeho význam •• Formativní a rozvojová evaluace •• Programová teorie a model politického cyklu •• Současné metody analýzy a evaluace veřejných politik Význam analýzy a hodnocení VP •Hodnotící a nehodnotící přístup •Vysvětlující výzkum: hledání souvislostí mezi fenomény (Lazarsfeld, Parsons). •Interpretativní výzkum: rekonstrukce subjektivních/sdílených významů (Thomas, Berger a Luckmann, Watzlawick, Giddens). •Kritický výzkum: reflexe faktorů moci (Reich, Edwards). •Explorační analýza/systematický popis •Výzkumné strategie: kvalitativní, kvantitativní, quasi-experimentální, experimentální. •Metody výzkumu: rozhovory, pozorování, analýza dokumentů, analýza informačního systému, sekundární analýza dat, statistické analýzy, kontrafaktuál. • Cíl výzkumu •Výzkumný rámec, jeho systematičnost a transparentnost •Výzkumná otázka/výzkumný cíl •Relevance z akademického a teoretického hlediska •Relevance z praktického hlediska •Konkrétnost výzkumné otázky •Výzkumná triáda (poznat – porozumět – vysvětlit) •Operacionalizace (výzkumné otázky, pojmy, proměnné, data) •Pojmová a operační definice •Význam teorie, její aplikace a testování • • Evaluace • • •Hodnocení politických programů. •Sledování politického procesu ve smyslu kauzálního retězce od plánování programů přes implementační aktivity (měřitelné výstupy) po změny v chování cílové skupiny (výsledky). •Evaluační kritéria identifikují a měří programové efekty. •Formování politiky založené na empirických důkazech (evidence based). •Sumativní evaluace: celkové hodnocení, zda program naplnil cíle konkrétní politiky. Evaluace • • •Hodnocení politických programů. •Sledování politického procesu ve smyslu kauzálního retězce od plánování programů přes implementační aktivity (měřitelné výstupy) po změny v chování cílové skupiny (výsledky). •Evaluační kritéria identifikují a měří programové efekty. •Formování politiky založené na empirických důkazech (evidence based). •Sumativní evaluace: celkové hodnocení, zda program naplnil cíle konkrétní politiky. Hodnotící principy •Verifikace: typické pozitivistické hodnocení měřící dosažení stanovených cílů; •Validace: nastolení otázek ohledně relevance programu v termínech definic problému, který údajně řeší; •Přínos: zkoumání, zda program přináší hodnotu pro společnost jako celek; •Sociální volba: širší zkoumání ideologické otázky o tom, co se program snaží udělat (např. z hlediska jednotlivých skupin stakeholderů). • Formativní a rozvojová evaluace • • •Formativní evaluace: evaluace vedená snahou o zlepšení programu, jeho lepší fungování a dosahování vyšší efektivnosti. Příjemci jsou obvykle plánovači programů, administrátoři, řídící rady a výbory. •Rozvojová evaluace: do plánování programů jsou zapojeni jejich klienti, případně další stakeholdeři. Např. komunitní plánování. Vznik, zrání a řešení sociálního problému • • PotucekModelKrize Programová teorie • •Věrohodný a rozumný model toho, jak by měl program podle očekávání /stakeholderů/ fungovat“ (Bickman 1987) •Specifikace toho, co musí být učiněno, aby bylo dosaženo žádoucích cílů, a jaké další důležité vlivy můžeme očekávat a jak by těchto cílů a vlivů mělo být dosaženo“ (Chen 1990: 43) •Implicitní či explicitní představy zúčastněných aktérů o tom, jaká opatření jsou přijímána při řešení sociálního problému a jak na ně tyto problémy reagují“ (Chen 2004) • Logický model programu • • CÍLE = přání splnit nenaplněné potřeby: nedostatečné vzdělání, chudoba, nemoc… Řešení násilí mezi partnery INTERVENCE = aktivity přímo ovlivňující intervenující proměnné Program na řešení násilí mezi partnery DETERMINANTY = intervenující proměnné formující výstupy Kvalita programu, školitelů, osobnosti partnerů, věk, vzděllání… VÝSLEDKY = konkrétní, měřitelné aspekty cílů Snížení počtu násilných trestných činů v regionu Model změny • •Bývá založena na prohlášení – „pokud“ se něco zrealizuje pro účastníky/řešení problému, „pak“ se něco teoreticky změní (naplní se potřeby/částečně či zcela se vyřeší řešený problém = proto jej Chen nazývá teorií „změny“) • • PŘÍKLAD: „Pokud“ umožní program zaměřený na řešení násilí agresorů úspěšně rozvíjet strategie řešení konfliktů, „pak“ si účastníci úspěšně osvojí dovednosti řešit konflikty nenásilným způsobem.“ • •Může být vytvořena na základě: 1.teorií a konceptů využívaných profesionály v praxi 2.výsledků dřívějších výzkumů, publikované literatury 3.odbornosti a zkušenosti programových realizátorů • Intervenční hypotéza • •DESKRIPTIVNÍ/KAUZÁLNÍ TEORIE předpokládá, že program by měl teoreticky fungovat na základě určité popsatelné teorie, která povede k plánované změně chování u cílové skupiny účastníků programu (proto je nazýván “MODELEM ZMĚNY“), cílem je zde popsat, jak program funguje (what is) • •= Proč intervence ovlivňují výstupy programu? •= Jaké jsou skryté kauzální mechanismy mezi intervencemi a výsledky programu, resp. jak program pracuje s ohledem na podmínky, které ovlivnily implementační procesy v programu a výstupy programu? • Model politického cyklu • •MODEL POLITICKÉHO CYKLU (Harold Lasswell, David Easton, Gary Brewer, Charles O. Jones, James Anderson) souvisí s racionalistickým, tzv. problém řešícím modelem politického procesu, který umožňuje zkoumat tvorbu veřejné politiky jejím rozložením do série samostatných fází a podfází nazývaných “politický cyklus” – ty mohou být OBLASTMI HODNOCENÍ • Oblasti hodnocení I 1. 1. INTERVENCE/NÁSTROJE [treatment domain] = Identifikace naplánované a skutečné podoby intervencí, a zhodnocení souladu mezi naplánovanými a realizovanými intervencemi •= Jaká je podoba intervencí? Měly by intervence obsahovat nějaké inovativní postupy – jaké? Jak by měly být tyto intervence a postupy organizovány? • 2. PROSTŘEDÍ (ovlivňující implementaci programu) [implementation environment domain] = Identifikace naplánovaného a skutečného prostředí implementace, a zhodnocení souladu mezi naplánovaným a reálným prostředí implementace •= Zaměřuje se program na cílovou skupinu účastníků? Jsou účastníci spokojeni s kvalitou programu? Jsou dostatečné způsoby poskytování služeb a jejich koordinace? • Oblasti hodnocení II 1. 3. VÝSTUPY [outcome domain] = Identifikace programových cílů a jejich výstupů využitelných pro oblast plánování a řízení programu •= Dosahuje program vytyčených cílů? Jsou v rámci programu poskytovány relevantní služby? Nemá program nějaké neočekávané výstupy - jaké? 4. VLIV [impact domain] = Hodnocení vlivu intervencí na zamýšlené a nezamýšlené výstupy 5. SKRYTÉ PROMĚNNÉ MEZI INTERVENCEMI A VÝSTUPY [intervening mechanism domain] = Informace o kuzálních procesech mezi intervencemi a výstupem •= Pracuje program tak, jak má? Jaké jsou jeho silné a slabé stránky? 6. VYUŽITELNOST VÝSLEDKŮ PRO DALŠÍ PROGRAMY (zobecnitelnost realizovaného programu na jiný program typu generalizace školních výsledků na další regiony, další firmy realizující podobné programy apod.) [generalization domain] •= mohou být výsledky hodnoceného programu zobecnitelné na jiné programy? • Accountability 1. •Průkaznost, doložitelnost, odpovědnost •Existence autoritativního vztahu a formálního procesu •Zastupitelská demokracie, legislativní a administrativní aparát, tvorba a implementace politik. •Širší profesní, etický a morálním konstrukt, který je dosažitelný a uskutečnitelný pouze tehdy, když veřejní činitelé, volení i jmenovaní, slouží s odhodláním dělat správné věci. •Hodnocení podle výstupů/výsledků. •Politické programy Top-Down •Diferenciace podle aktérů/stakeholderů/klientů. •Součást kontrolních mechanismů • Formy accountability 1. •Politická – přímá odpovědnost vůči voleným zástupcům. •Hierarchická – odpovědnost vůči ‚hlavě‘ organizace, verze odpovědnosti, která je často ztělesněna v politickém konceptu odpovědnosti. •Přímá – odpovědnost vůči veřejnosti ve smyslu přímé demokracie. •Právní – formy odpovědnosti, které lze zajistit procesní soudní cestou. •Profesionální – odpovědnost související s vykonávanou profesí (nepř. lékaři). •Byrokratická – odpovědnost vůči pravidlům, obvykle s politickou, hierarchickou nebo právní odpovědností. Accountability a NPM •NPM: New Public Management •Dilema veřejné správy: problémy Weberovské byrokracie •Kontradikce v důrazu na accountabilitu a odmítání tradičních forem kontroly shora dolů. • •Zásady: -profesionální výkonný management ve veřejném sektoru -explicitní standardy a kritéria výkonu -zvýšený důraz na kontrolu výstupů -vyšší konkurence ve veřejném sektoru -metody řízení obdobné jako v soukromém sektoru -disciplina a šetrnost ve využívání stávajících zdrojů - •Problém „přidané hodnoty“ ve veřejném sektoru - Děkuji za pozornost •Dotazy a náměty? •