Hodnocení při plánování a tvorbě sociálních programů Teze 1.Problém konfliktu hodnotitelů a plánovačů. Odlišné zájmy věda x politika Ideální, pokud hodnotitelé a političtí experti a programoví pracovníci pracují spolu při přípravě programů. Ideální, když 1. experimentální hodnocení proběhne před samotnou implementací. Po nebo v průběhu implementace je velmi obtížné pro vedoucí programů přijmout negativní zpětnou vazbu. 2. hlavním cílem hodnocení je určit efekty na klienty programů 3. neexistuje předem organizace, která se bude zabývat implementací programu. Existující organizační struktura se bude pokoušet přizpůsobovat program svým potřebám a existujícím možnostem. Nejlépe, když se implementace svěří konkrétní firmě, která si vytvoří personál ad-hoc. 2. Hodnocení v průběhu plánování nových projektů - dobré je zajistit podíl hodnotitelů na plánovaní - hlavní kroky plánování sociálních programů 1. Identifikace programových strategických cílů a konkrétních cílů (prostředků) odpovídajících očekávání sponzorů a organizátorů programu 2. Měření, zhodnocení míry, v níž aktuální podmínky, ve kterých bude program realizován, napomáhají rozvoji a realizaci programových cílů a do jaké míry jim brání. 3. Rozvoj obecné strategie pro dosažení plánovaných cílů 4. Definice cílové populace projektu a určení měřítek pro její vyčlenění. 5. Určení nutných lidských a finančních zdrojů, vybrání osob zodpovědných za provádění intervenčních aktivit. 6. Rozvoj specifických kritérií pro posouzení, zda programy jsou efektivní ad1) Určení cílů a konkretizace dílčích cílů 1. Plánování a realizace sociálních programů předpokládá obvykle redukci rozdílů mezi očekávanými cíli a realitou. Někdy může být cílem programu udržení současného stavu. V případech, že očekáváme jeho změnu. Př. Cílem může být zamezit dalšímu růstu nákladů na zdravotnickou péči na jednu osobu. 2. Cíle jsou obecné, abstraktní požadované stavy, výstupy programů. Ty musí být operacionalizované do podoby ukazatelů a indikátorů těchto žádoucích stavů (konkrétní cíle) Rozlišení má smysl: a) měřitelnost programového postupu b) konkretizace programových cílů při velkých projektech, např. některé dílčí cíle mohou být v určité etapě považovány za prioritu ˙ redukce bezdomovců v centrálních lokalitách velkoměsta ˙ vzestup počtu těhotných žen začleněných do programů prenatální péče Strategické cíle - vágní např. redukce bezdomovců, žebráků apod. z centra města. Ale nutné dále specifikovat do měřitelné podoby: o kolik procent redukovat; 5%, 10% nebo 50%. Dále je nutné sledovat další konkrétní důsledky zajišťování tohoto cíle. Pokud se nezajistí bezdomovcům bydlení, v důsledku programu se může zvýšit výskyt bezdomovců na sídlištích o 200%. Problém nebyl řešen. Formulace operacionalizovaných cílů (ukazatelů, indikátorů) a) Formulace absolutní ˙ úplná likvidace nežádoucího stavu ˙ např. ve zdravotnictví úplné proočkování proti nějaké nemoci ˙ zajištění úplné gramotnosti apod. b) Formulace relativní ˙ stanoví standardy v nějaké proporci současných podmínek a stavů ˙ např. redukce incidence tuberkulózy o 50% v ČR do doby 2 let Formulace konkrétních cílů tedy vyžaduje poznání dvou základních aspektů sociální situace 1) hodnot 2) existujícího stavu Jde o diagnózu stávajícího stavu, která představuje analýzu a hodnocení sociálních problémů (viz předchozí přednáška Kvantifikace hloubky a rozsahu sociálních problémů) Formální procedury pro tvorbu konkrétních cílů 1. Použití "silných" slov, která popisují aktivity, které mohou být pozorovány, měřeny, atd. Např. zvýšit užívání zdravotně výchovných materiálů ˙ "nalezení" ˙ "užívání" ˙ "setkání" 2. Výběr pouze jediného cíle. Většina programů pracuje pro dosažení množství cílů. Různé konkrétní cíle mohou často vést k různým implementačním strategiím. 3. Specifikace jednotlivých konečných výstupů programů (ukazatelů). 4. Specifikace času určeného pro měření. tj. jasná, pozorovatelná slova, cíle programu, produkty programu, čas dosažení ad2) Diagnóza současných podmínek Je nutná, protože modifikuje ˙ formulaci dílčích cílů ˙ cesty k jejich dosažení ˙ výběr zdrojů pro podporu programů (tím je určen okruh sponzorských zájmů, na které musí být brán ohled) ˙ výběr personálu ˙ výběr cílové populace Např. když se podaří získat část prostředků pro rekvalifikační programy pro nezaměstnané od zaměstnavatelů, pak musí být brán ohled na jejich zájmy. Ad3) Rozvoj impact-modelu Když mají hodnotitelé podíl na řízení vývoje a rozvoje programu, mohou vytvořit IMPACT-MODEL. Intervenční (impact) model. Transformace konceptuálních tezí do podoby hypotéz, na kterých může být působení programu založen. Tyto hypotézy jsou pak ověřovány na malém výběru populace nebo na malé lokalitě. Impact-model je forma měření očekávaných souvislostí mezi programem a konkrétními cíly. Mezi plánovaným programem a existujícím stavem. Musí obsahovat 1. kauzální hypotézy 2. intervenční hypotézy 3. akční hypotézy Kauzální hypotéza Jádro každého intervenčního modelu je myšlenka o tom, jak řešený problém bude reagovat ve skutečnosti na intervenční program. Kauzální hypotéza je zpravidla převzata z relevantní podstatné vědecké literatury. Např. ztráta zaměstnání vede ke kriminální recidivě Užití kauzální hypotézy vyžaduje 1. operacionalizaci kauzální hypotézy 2. operacionální definice co je ztráta zaměstnání co je recidiva kriminálního chování co je kriminální chování Intervenční hypotéza Specifikace vztahu mezi tím, co má být učiněno v programu, a procesy nebo fakty uvedenými v kauzální hypotéze, které mají být změněny nebo zmírněny. Např. intervenční hypotéza: redukce recidivismu vyžaduje přípravu na zaměstnání v průběhu výkonu trestu, tzn. pracovní trénink v průběhu výkonu trestu povede k redukci recidivismu. Akční hypotéza Je o souvislosti mezi jednotlivými aktivitami programů a očekávanými programovými výstupy. Školní příprava - nalezení stabilního zaměstnání po výkonu trestu. Ad4 Definice cílové skupiny a rizikové populace Po zpracování intervenčního modelu sociálního programu velmi často dochází k upřesňování definice cílové skupiny programu. Zatímco např. diagnóza mohla označit za cílovou populaci veškeré bezdomovce, po formulaci intervenčního modelu se může ukázat, že efektivní změna je možná pouze u lidí mladších čtyřiceti let. Proto se musí upřesnit definice cílové skupiny. Účinnost a efektivita Definice cílů a cílové skupiny jsou spojeny se dvěma problémy: účinností a efektivitou Programy jsou účinné a potenciálně efektivní, když cíle jsou omezené a redukované na jednotky, které mohou mít prospěch z intervence (snaha o "minimální", efektivní, cílovou skupinu). Problém přeceňování cílové skupiny Zejména pro programy, kde neexistují dostatečné zdroje pro dosažení všech plánovaných cílů je přecenění cílové skupiny velmi nebezpečné. Např. svého času byl na našich školách aplikován program zlepšení výživy pro školní mládež v podobě podávání mléčných přesnídávek. Do programu bylo zapojeno velké množství dětské populace, z nichž přibližně jen 10% trpělo nějakým deficitem ve výživě mléčných výrobků... 90% dětí využívalo tento program zbytečně. Přecenění cílové skupiny vede k neefektivním sociálním intervencím. Zvyšuje se neefektivnost, mrháme prostředky. Podcenění cílové skupiny Naopak může vést k neúčinnosti programu sociální intervence. Kromě subjektivních důvodů podcenění existují i důvody objektivní 1. psychologické - stigmatizace a obavy z ní; např. identifikace středně retardovaných dětí 2. sociálně politické - program počítá se službami, které jsou významné pro celou komunitu, ale program je určen jen pro vybrané populace. Pak tendence k podcenění cílové skupiny. Anticipace přijetí programu klienty, legitimita programu u klientů Některé programy jsou nezávislé na aktivním přístupu členů cílové skupiny. Jiné jsou na něm přímo závislé. Ad5) Tvorba a organizace realizačního systému Některé realizační systémy jsou relativně jednoduché (např. zdravotně výchovné literatury do atd.) Jiné jsou velmi složité a komplexní Prvky realizačního systému Mezi prvky realizačního systému řadíme vše, co pomáhá programu dosáhnout svých cílů. V tomto smyslu není realizační systém ničím neutrálním. Může významně modifikovat průběh, úspěch nebo důsledky programů způsobem, který plánovači neočekávali. Obvykle je nutné monitorovat a vyhodnocovat následující prvky realizačního systému: 1. vhodnost a možnost poskytování služeb cílové skupině 2. prováděné služby a opatření 3. kvalifikaci a kompetenci personálu programů 4. mechanismy pro výběr a dosažení kooperace cílů 5. měření optimalizace přístupu k intervenci včetně umístění a fyzického zajištění míst, kde se služby poskytují 6. stabilita cílů (výstupů), související s následným chováním aktérů a klientů programů Programová simulace Ověření, pilotní studie, jak bude program působit Pilotní studie reálná - na malém vzorku cílové skupiny simulace pomocí PC modelů či pomocí výsledků podobných programů, které byly provedeny jinde a jindy. Ad6) Vypracování evaluačního plánu Jeden z klíčových výstupů přípravné fáze programu. Obsahuje vybrané hodnotící aktivity uplatněné při realizaci programu. V přípravné fázi jde o hodnocení: - Tvorba ukazatelů a operacionalizovaných cílů - Rozpracování intervenčního modelu, kauzální, intervenční a akční hypotézy - Definice cílové populace a klientská očekávání - Zpracování realizačního systému - Procedury pro monitorování a hodnocení programu.