Evaluace jako aplikovaný výzkum posuzující kvalitu a hodnotu intervencí nástroj Teorie změny • •Ing. Jiřina Svitáková, MBA, Ph.D. •freelance evaluation specialist •jirina.svitakova@gmail.com •8.11.2019, KISK • Proč jsme se tu dnes sešli? •Řekni studentům… •Jak se dělá evaluace sociálních inovací? •Jak se dělá evaluace služeb poskytovaných knihovnou? •Jak konkrétně probíhá evaluace projektu Centrum sociálních inovací ve veřejných knihovnických a informačních službách na KISKU? •Možnosti evaluace jako témata diplomové práce: měření dopadů projektu / služby Neexistuje jeden správný evaluační postup. Obsah prezentace I.Úvodní kontext (definice evaluace, monitoring, indikátory) II.Pochopení intervence (Analýza stakeholderů, Teorie změny) III.Evaluační plán (harmonogram, matice, otázky, kritéria) IV.Přehled výzkumných designů (smíšený - kvalitativní a kvantitativní přístupy) V.Příloha: Návrh přístupu k evaluaci akce v knihovně VI. Definice: evaluace x výzkum x věda Evaluace •typ aplikovaného výzkumu – zcela jednoznačně zaměřený na specifické, konkrétní předem stanovené cíle využití • (zdroj: OECD, Frascati manual) •jednoznačný klient (nejen úřad či organizace!) => poskytnutí užitečné zpětné vazby musí mít konkrétního příjemce •aplikace transparentní a rigorózní metodologie •ALE… častá omezení: -čas na sběr dat a zpracování -rozpočet (finanční zajištění výzkumu) -dostupnost dat a dosažitelnost respondentů -politická vůle (či zvůle a tlak na pozitivitu zjištění) •Shrnutí: •Evaluaci děláte, protože se někdo potřebuje v konkrétním čase dozvědět odpovědi na otázky související s kvalitou něčeho, co se dělá • •Příklady: -evaluace dopadů nástrojů národních politik -evaluace dopadů dotačních programů -evaluace procesu a dopadů projektů -evaluace služby poskytované knihovnou -evaluace studijního programu - •Evaluace poskytuje informace o tom, jak dobře/špatně se něco udělalo a proč •Evaluace zjišťuje rozdíl mezi tím, čeho se dosáhlo a čeho mohlo být dosaženo • A co tedy „dělá“ evaluátor? •Komunikuje se zainteresovanými subjekty (udělá si analýzu stakeholderů) a konzultuje očekávání od evaluace se zadavatelem •Rekonstruuje nebo vytvoří logický rámec projektu (připraví a projedná s řešitelem projektu teorii změny) •Navrhne design a průběh evaluace včetně požadavků na monitoring (indikátory) vzhledem k podmínkám a formuluje evaluační otázky do evaluační matice •Řídí náklady evaluace vzhledem k rozpočtu •Provádí evaluační výzkum (sám, nebo najímá a rozděluje úkoly týmu, který ji provádí) •Nastavuje a hlídá standardy a etický kodex •Sbírá, analyzuje, interpretuje data a prezentuje výsledky, navrhuje doporučení Odlišné typy evaluací podle zařazení do projektového cyklu •mid-term/on-going (procesní typ evaluace) •formativní – zaměřuje se na běžící intervence •sleduje změnu mezi „před“ a „během“ implementace •ex-post, at-the-end (dopadový typ evaluace) •sumativní – zaměření na výsledky a důsledky •sleduje rozdíl „před“ a „po“ ukončení projektu (s různým časovým odstupem) •ex-ante, before-beginning (analýza potřebnosti) •odhaduje očekávatelné výsledky navrhovaných intervencí • •Kde obvykle vzniká nepochopení? • •Evaluace není „jen“ monitoring. •MONITORING ROZDÍLY EVALUACE •průběžné až rutinní sledování •sleduje jak jsou naplňovány hodnoty indikátorů, měřící postup intervence •interní aktivita projektového týmu •používá se pro sběr dat o aktivitách, výstupech a výsledcích projektu, a k měření výkonu programu •poskytuje jeden z typů vstupních dat pro evaluace • •prováděna periodicky (nebo jednorázově) a její realizace je časově omezená •vyhodnocuje data získaná různými způsoby •může být prováděna interně projektovým týmem, externím specialistou nebo společně (participativně) •poskytuje periodickou zpětnou vazbu stakeholderům DOPLŇUJÍCÍ SE ROLE MONITORINGU a EVALUACE •objasňuje využitím čísel cíle intervence •propojuje aktivity a jejich zdroje s cíli •přeformulovává cíle na výkonnostní indikátory, kterým nastavuje vstupní (baseline) a cílové hodnoty •rutinně sbírá data o vývoji hodnot indikátorů, porovnává aktuální stav s cílovou hodnotou (sleduje míru naplnění) •reportuje vývoj hodnot manažerům a ukazuje na problémové oblasti •analyzuje proč jsou nebo nejsou a u koho dosahovány očekávané výsledky •identifikuje příčinné souvislosti mezi aktivitami a dosaženou změnou (výsledkem) •přezkoumává proces implementace •zjišťuje vznik nezamýšlených dopadů •předávává zkušenosti (lessons learned), vyznačuje úspěchy a formuluje doporučení • •Evaluace v jakékoliv fázi intervence se neobejde bez znalosti výchozího stavu •Nejhorší evaluační designy vznikají v situaci, kdy intervence končí/již proběhla a někdo si vzpomene, že teď by se mělo vyhodnotit, jaký to mělo „dopad“. Pak se obvykle stane, že dojde k jednomu sběru dat, který není s čím srovnat, na účastnících a realizátorech, kteří už často nejsou dostupní. •Robustnost evaluace podporují opakované sběry dat, v ideálním případě časové řady, ze kterých je vidět vývoj hodnot před intervencí, v jejím průběhu a po jejím ukončení. •Evaluace se také neobejde bez znalosti kontextu - externích faktorů, které vedle námi zkoumané intervence také mohly mít vliv na dosažené výsledky. •Může jít např. o velké změny v socio-ekonomickém prostředí, vliv jiných dotačních programů na stejnou cílovou skupinu, apod. •Tolik k teorii o tom „co je a není evaluace“. • •Přejděme k tomu „co evaluace potřebuje“: -Pochopit hodnocenou intervenci •(analýza stakeholderů, teorie změny) -Získat data k formulaci podložených zjištění •(evaluační plán + výzkumný design) •Pochopení hodnocené intervence: •Analýza stakeholderů (Stakeholder Analysis) •Teorie změny (Theory of Change) • • • • Analýza stakeholderů •Navazuje na „seznámení se“ s dokumenty (desk-research) o intervenci/projektu/programu/službě/… •Cílem je udělat si jasno v tom: •kdo a proč může mít cenné informace •(spolupráce – zapojení) •kdo a jak by měl být o průběhu a zjištěních informován •(zájem) •kdo může považovat intervenci za ohrožující •(hrozba) •kdo by mohl podpořit šíření výstupů a doporučení •(podpora) •Výsledkem je odlišení klíčových stakeholderů se zdůvodněním, v čem jsou klíčoví a návrh komunikace s nimi Teorie změny A) jako základ evaluace (začátek projektu) •Teorie změny je graficko-textové vyjádření toho, jakým způsobem intervence očekává, že dosáhne plánovaných změn (výsledků, dopadů). •V podstatě jde o „překreslení“ projektového/ programového dokumentu pomocí komponent TZ a logických (kauzálních) vazeb mezi nimi. •Dále může obsahovat: předpoklady za kterých by teorie měla fungovat, (a rizika a kritické body) Základní komponenty TZ (ToC) •VSTUPY - finanční, lidské, materiální, (časové) •AKTIVITY - co přesně se bude dělat/co bude podporováno •VÝSTUPY - měřitelné produkty a služby •VÝSLEDKY - behaviorální změna, změna v situaci • (lze odlišovat očekávaný okamžik změny či trvanlivost) •DOPADY - systémová změna •(lze odlišovat trvanlivost, návaznost na strategie, apod.) • •PŘEDPOKLADY - za jakých okolností to bude fungovat •LOGICKÉ VAZBY - „když se stane X, bude následovat Y“ Ukázka TZ: projekt „CIDES“ (KISK) výchozí stav - červen 2017 https://lh3.googleusercontent.com/CPTEro_vWWwrG0gPISXmphpEagOqmRygL6psbdWVpGaTTiY8Vhp9nuks0vEUQ9jfF n8Af8HnFG3yVUYACHsfjX4FlToaanPwHANM9u8WjnYdew5SWkzGnJJ-Vo9m0z0EbuipYio8 Ukázka TZ: projekt KpBB •Struktura (grafika)TZ není pevně dána, kormě řetězce zleva doprava je často využíván rozpad shora dolů •(dejte si pro inspiraci vyhledat v „google-obrázky“ heslo „Theory of change“) Metodické odlišnosti mezi výstupy, výsledky a dopady •Nejpochopitelněji je lze odlišit pohledem přes „míru vlivu (kontroly) projektu na jejich dosažení“ (podle mě) •Vstupy- Aktivity-Výstupy: jsou plně v zóně kontroly realizátorem projektu (tj. je plně v jeho možnostech „využít peníze“, „provést aktivity“ a „vytvořit výstupy“) •Výsledky: jsou částečně mimo kontrolu projektu (tj. projekt nemůže plně zaručit, že proškolení účastníci změní své chování, nebo že zapojené organizace upraví styl práce či firemní strategii, ačkoliv jim k tomu poskytne podporu). •Dopady: jsou mimo kontrolu projektu, projekt má přispívat k jejich dosažení (např. k dosažení systémové změny, k naplnění dílčího cíle konkrétní strategie), ale je mnoho dalších vlivů, které to ovlivňují. •Někdy je uváděno, že: Za „dopady“ projektu jsou považovány efekty, jejichž přičitatelnost projektu byla evaluací prokázána. •Vytvořením vizualizace TZ jako evaluátor ještě nemáte splněno…. • •Ta obtížná část je její vyhodnocení = kvalitativní komentář, který zhodnotí reálnost předpokládaných vazeb či identifikuje chybějící návaznosti. •EO Do jaké míry byl projekt (služba) navržen(a) tak, aby přinášel(a) očekávané dopady? • Teorie změny B) pro sledování vývoje projektu •Projekty jsou realizovány (nebo služby poskytovány) v prostředí, které se vyvíjí v čase •…původní plánované aktivy nemusí být možné uskutečnit tak, jak se plánovalo •…výstupy mohou vyžadovat změny •...předpokládané logické vazby mezi aktivitami se nemusí v praxi potvrdit •… •a proto s pomocí revize teorie změny sledujete vývoj a jako evaluátor vidíte, zda i se všemi těmi změnami jde intervence k žádoucímu cíli (dopadům / důvodu, proč ten projekt děláme / proč tu službu poskytujeme) •EO Do jaké míry byl projekt realizován v souladu s plánem a předpoklady? • https://lh5.googleusercontent.com/f5MUblvZoyBLIm3BEqFRGvxvS1IScxzab-PKafkAiRoVZHL-QG7_el87aKDb14-fx Y4MJWULbiClJGTu6nkOjq9kj4LrtwhwO1sYaNqKE94dI3UzLrKOszvM2SmlupuRruUmfZ0O Ukázka revize TZ: projekt „CIDES“ (KISK) aktuální stav - červen 2019 Teorie změny C) pro evaluaci impaktu (konec projektu) •TZ poskytuje rámec pro interpretaci a reporting. Při ex-post evaluaci je nutno prokázat, že výsledky jsou v souladu s formulovanou teorií a proč (základ TBIE). • •EO Jakých (zamýšlených) dopadů bylo dosaženo? A jaké faktory k nim vedly? • •Zejména při neúspěchu je nutné alespoň hrubě odlišit neúspěch realizace (tj. projekt nebyl realizován podle původních představ) od neúspěchu teorie (projekt byl realizován úspěšně, ale výsledky nebyly dosaženy). • viz následující otázky: Projekt byl správně realizován? Odpovídající engagement, kvalita výstupu? Dosaženy průběžné výsledky? Dosaženy konečné výsledky? X X X X Neúspěšná realizace intervence ANO X X X Neúspěch realizace -nízká kvalita výstupu (první kauzální vztah aktivity-výstupy) ANO ANO X X Neúspěch teorie (aktivity nevedly k výsledku) ANO ANO ANO X Neúspěch teorie (průběžné/zprostředkující výsledky nevedly ke končenému výsledku) ANO ANO X ANO Neúspěch teorie (odlišná kauzální vazba) ANO ANO ANO ANO Úspěšná realizace intervence v souladu s teorií změny. A ještě k TZ… •Vzhledem k tomu, že vůči TZ evaluátor intervenci vyhodnocuje, musí být v případě její zpětné rekonstrukce projednána s realizátorem projektu - aby došlo ke shodě na formulaci výstupů a výsledků (dopadů) - pokud k této shodě nedojde a zjištění z evaluace nejsou pozitivní, stává se, že realizátor následně odmítá evaluační zjištění uznat. Otázky k TZ? Možná témata diplomek v návaznosti na postupy evaluace •Vytvoření sady monitorovacích indikátorů pro nějakou méně podchycenou oblast (v knihovnictví) •(indikátory jsou objektivně měřitelné ukazatele, u nichž se průběžně sleduje vývoj hodnot). •(Indikátory dodávají podklady pro odpověď na otázku: Jak poznáme úspěch, když ho uvidíme?) •Robustní analýza stakeholderů pro rozvoj služeb knihoven - jak s nimi jednat, čím je přesvědčit •Navržení postupu a zjištění dopadů konkrétní služby poskytované knihovnou určité cílové skupině •…? •Získání dat k formulaci podložených zjištění •Evaluační plán •Výzkumný design • • • Obvyklé části evaluačního plánu •zajištění evaluace - personální a finanční •harmonogram evaluace vůči harmonogramu projektu •evaluační matice •evaluační otázky rámující rozsah evaluace a návaznost na evaluační kritéria •zdroje a postupy nutné pro získání dat (návaznost na monitorovací indikátory) •metody vyhodnocení dat a kontrolní mechanismy kvality •periodicita a termíny zpracování •typy a počty evaluačních výstupů v průběhu intervence • https://lh5.googleusercontent.com/ebQ-do9ysB0z0lRP31ctQu1SnzXolrqL5_vW4Dq6zTmpxD02n6uKPyH4hy1jUvXYT OhbncsJiypjPKl-oyqmGhJ9FIcwV0ybBvFfiqOfBpSAv1oY4Bibre212Xi6cmEwjNED9jYQ Ukázka: aktualizovaný harmonogram projektu CIDES a jeho evaluace Ukázka harmonogramu: projekt „PROAK“ EP: Evaluační otázky a evaluační kritéria •EO reflektují cíle evaluace •EO specifikují „co“ chceme evaluací zjistit (a z toho také vyplývá, kde má výzkum hranice) •EO se mohou rozpadat na „podotázky“, kdy syntéza z jejich odpovědí dá odpověď na obecnější EO •EO nejsou totéž, co otázky využívané ke sběru dat (např. otázky dotazníku nebo rozhovorů) •Prostřednictvím EO obvykle zadavatel určuje zaměření a rozsah evaluace pro zadávací dokumentaci při výběru externího evaluátora •EO jsou často (ne vždy) formulovány tak, aby poskytly odpověď zaměřenou na naplnění některého z tzv. evaluačních kritérií •EO jsou následně rozpracovány do tzv. evaluační matice Evaluační kritéria •Evaluační kritéria určují, z jakých pohledů bude realizace projektu zkoumána, v ČR nejčastěji využíváno 5Ú • •Účelnost v jaké míře byly naplněny cíle projektu • Naplnil projekt svůj účel a cíl, přinesl tedy žádoucí dopady? •Účinnost (zda by to šlo udělat jinak-lépe za stejné peníze) • Bylo by možné dosáhnout lepších výsledků, pokud by v projektu bylo něco nastaveno či realizováno „jinak“? •Úspornost / hospodárnost • Bylo by dopadů možno dosáhnout při nižších vstupech (finančních, lidských, materiálních a jiných)? •Užitečnost (vztah mezi problémy a potřebami, které měly být řešeny a výsledky intervencí) • Do jaké míry byly intervence zaměřeny smysluplně z hlediska potřeb účastníků? •Udržitelnost (přetrvávání přínosů projektu) Doporučené EO k procesní části evaluace (zdroj MPSV): •Do jaké míry byl projekt navržen tak, aby přinášel očekávané dopady? •Do jaké míry byl projekt realizován v souladu s plánem a předpoklady? •Do jaké míry byly naplněny očekávané parametry kvalitní realizace projektu? •Jsou vzniklé hmotné výstupy či produkty projektu kvalitní a využitelné (pokud je relevantní, tj. zejména, pokud je cílem projektu tvorba nových produktů, metodik, studií, publikací či jiných nástrojů, které mají zlepšit práci s cílovými skupinami)? •Jaké faktory vedly k úspěšné realizaci projektu? •Jaké překážky bylo nutné v realizaci projektu překonat? Doporučené EO k dopadové části evaluace (zdroj MPSV): •Jakých zamýšlených dopadů bylo dosaženo? A jaké faktory k nim vedly? •Jakých neplánovaných dopadů bylo dosaženo? A jaké faktory k nim vedly? •Jaké negativní dopady nastaly? A jaké faktory k nim vedly? •Hrály v projektu významnou roli i některé z následujících negativních a nežádoucích efektů – creaming-off, lock-in efekt, alternativní atribuce, substituce, mrtvá váha? Pokud ano, jak tyto efekty reflektujete při celkovém hodnocení dopadů projektu? Další možné evaluační otázky (příklady): •Jak se lišily dopady projektu vůči různým typům cílových skupin? •Lišila se kvalita poskytovaných služeb ze strany dodavatele v jednotlivých krajích? •Do jaké míry došlo ke zkvalitnění vybraných služeb pro cílové skupiny? •V jaké míře došlo ke zlepšení situace v oblasti…? •Jak se změnila transparentnost úřadů v poskytování veřejných služeb? •Jaký byl dopad programu na tvorbu a implementaci politik, koncepcí a strategií? •Jaký byl dopad projektu v oblasti vnitřních procesů organizace? •… • • •Při návrhu EO (a k nim navazujícího výzkumu) je vhodné reflektovat přirozené „sebehodnotící“ aktivity, které jsou v projektech obvykle obsaženy (proto je žádoucí znalost projektu před formulací otázek) - na jednu stranu musí být evaluace maximálně nezávislá, na druhou stranu je její dosah vždy omezen (čas/peníze), a pokud sběr baseline dat či základní vyhodnocování proběhne v rámci aktivit projektu, považuji za lepší ho pouze metodicky podpořit a navázat na něj v konkrétních oblastech do hloubky, než jej „nezávisle“ plošně opakovat. Evaluační matice •Z evaluačních otázek vychází převažující přístup k provedení hodnocení, vychází z nich požadavky na informace a data, která bude nutné pro provedení hodnocení shromáždit a analyzovat. •Evaluační matice (obvykle formou tabulky) rozpracovává, jak bude ke každé EO přistupováno: •podotázky •zdroje dat (od příjemce, z veřejných zdrojů, ad.) •nástroje sběru dat a velikost vzorku •metody vyhodnocení/analýzy dat •periodicita sběru dat •příspěvek k vyhodnocení evaluačního kritéria •evaluační výstup/zprávy, ve kterých bude EO vyhodnocena • • • Otázky k EP? •Kvantitativní, kvalitativní a smíšený výzkumný design • •Určení toho, co je „kvalitativní/kvantitativní“ se neodvozuje od typu sběru dat, ale od cílů výzkumu a konkrétních výzkumných otázek •Evaluace jsou téměř vždy „smíšené“. • • • Evaluační praxe - metody •různé cíle evaluace (co lze a je užitečné vlastně poznávat?) •různé metody (jak „to“ poznávat?) •hledání vhodné metody výzkumu podle povahy zkoumání a evaluačních otázek (metoda jako „nářadí“) •využívání kvanti i kvali metod, popř. jejich mixu • •Výzkumný design specifikuje: •výběr objektu výzkumu •způsob operacionalizace proměnných •způsob sběru dat •způsob analýzy dat •kritéria kvality Kvantitativní přístup •Systematicky zkoumá vztahy mezi měřitelnými fenomény (vlastnosti, postoje, chování apod.) za účelem jejich vysvětlení •Obecně je založený na tvorbě teorií, formulaci výzkumných hypotéz a jejich potvrzení či vyvracení na základě statistické analýzy výsledků měření dostatečně velkého vzorku zkoumané populace. Kvalitativní přístup •Snaží se pochopit fenomény na základě toho, jak je vnímají a prožívají jednotliví lidé (skupiny) v jejich přirozeném prostředí a v různých situacích. •Obvykle zahrnuje úvodní obecnou výzkumnou otázku (ne konkrétní hypotézu). •Je sbírán velký objem dat od relativně malého počtu respondentů. Data jsou následně organizována do soudržného celku spolu s interpretací výsledků a formulací závěrů nebo hypotéz. •Delší intenzivní kontakt s jedinci či skupinou, kteří se podílejí na výzkumu. •Citlivý ke kontextu - řešená témata interpretovaná v kontextu ostatních dat •Induktivně deduktivní postupy Smíšený přístup •Ne vždy lze využít pouze kvantitativní výzkumné designy, zejména když: •situace je nejasná či otevřená (budoucnost) •situace je příliš technicky složitá •situace vyžaduje subjektivní či intuitivní názor • V. Kvalitativní postupy v evaluacích •Výzkumné postupy: •Případové studie •Longitudinální / panelová studie •Expertní šetření (fokusní skupiny, kulaté stoly, diskuzní semináře, Delphi metoda) •Hlavní metody sběru primárních dat: •Rozhovory (interview) •příprava scénáře, záznam a zpracování kvalitativních dat, kvalitativní škálování odpovědí •Pozorování •zúčastněné, utajené VI. Kvantitativní postupy v evaluacích •Standardizované metody sběru primárních dat: •CAWI/PAPI/CAPI/CATI (dotazníková šetření) •nebo rozhovor s dotazníkovým archem •Sběr dat, stanovení velikosti vzorku, (bez statistického zpracování dat). •Objasnění principu CIE (Counterfactual Impact Evaluation) Příloha: Přehled výzkumných designů •Design je plán, jak odpovědět na evaluační otázku. 1.Experimentální (RCT) •náhodně vytvořená kontrolní skupina •opakované měření 2.Kvazi-experimentální •uměle vytvořená srovnávací skupina •opakované měření 3.Neexperimentální •bez kontrolní a bez srovnávací skupiny •popisuje vztahy mezi intervencí a dopady, sleduje charakteristiky frekvence, asociace •často jen jeden sběr dat Příklady kvazi-experimentálních designů 1.Before-and-After design without comparison group (vyjdařuje změnu „před“ a „po“, nepotvrzuje přičitatelnost/kauzalitu) 2.Pre-and-Post nonequivalent comparison design (za základě pre-testu a jeho výsledků srovnává nejlepší s nejlepšími v podpořené a nepodpořené skupině v dalším testu po ukončení intervence) 3.Post-only nonequivalent comparison design (srovnává podpořené a nepodpořené po intervenci) 4.Interrupted Time Series Comparison Design (zjišťuje změnu v čase, trendy, před a po intervenci, nejméně 3 sběry dat před a 3 sběry dat po intervenci) 5.Longitudinal design (dlouhodobé a opakované sledování stejné populace z hlediska jedné charakteristiky) 6.Panel Design (dlouhodobé sbírání odpovědí na stejnou otázku u stejné skupiny osob) 7.Correlational Design Using Statistical Control (Měření několika proměnných a jejich statistických vztahů na rozsáhlé populaci) 8.Propensity Score Matching (Měří dopad intervence na podpořené účastníky oproti stavu u neúčastníků se stejnými charakteristikami. Měří se dvojice a po dvojicích se také analyzuje.) Příklady neexperimentálních designů 1.Simple cross-sectional design (jeden sběr dat po ukončení projektu, srovnávají se odpovědi různých typů respondentů mezi sebou) 2.One-shot design (jeden sběr dat na jedné podpořené skupině po ukončení intervence) - slabý design, ale lepší taková zpětná vazba na průběh podpory, než žádná. 3.Causal tracing strategies (sběr evidence o tom, jestli se staly všechny části toho, co by se mělo stát, aby výsledek pravděpodobně nastal) 4.Case study design (umožňuje hluboké porozumění procesům a událostem na základě zkoumání jednoho nebo více případů - extrémních nebo typických) Příloha: Dobrý aplikovaný výzkum / evaluace •Odpovídá na otázky, které zajímají zadavatele •Poskytuje poznatky, které zadavatel potřebuje, (byť třeba nejsou úplné) •Je systematická ve sběru dat •Uvádí transparentně metodologii •Má konzistentní tvrzení a argumentaci •Je kritická a reflektující své limity •Byla zpracována za dodržení etických principů. • Příloha: Návrh přístupu k evaluaci akce v knihovně •Nad to „kolik přišlo lidí“ se také zeptejte: •Do jaké míry nám přinesla organizace této akce to, co jsme od ní očekávali z hlediska koncepce knihovny? •(co byl žádoucí/očekávaný výsledek - proč to děláme? Ke kterému cíli rozvoje knihovny měla akce přispět?) •Chtěli jsme akcí docílit toho, aby lidé/instituce/... a z okamžité zpětné vazby (dotazníky/rozhovory) nám vyšlo, že se to podařilo do...určité míry. •Co se při organizaci této akce nepodařilo a jak tomu příště předejít? •Jak byly úspěšné jednotlivé inovace, které jsme si na této akci vyzkoušeli? •Je poměr cena/výkon této akce pro knihovnu příznivý? Zdroje využité při přípravě prezentace: •Metodika pro sebeevaluaci nesoutěžních projektů OPZ (MPSV 2015) •Prezentace Mgr. Martina Nekoly, Ph.D. z kurzu „Společensko-vědní minimum pro evaluátory“ připraveného pro MMR-NOK (2014) •Prezentace Mgr. Martina Nekoly, Ph.D. z kurzu „Inventář metod výsledkových evaluací“ připraveného pro MMR-NOK (2014) •Prezentace z CzechDET 2009 (Ray C.Rist, Linda G. Morra-Imas) a tomu odpovídající publikace: •The Road to Results - Designing and Conducting Effective Development Evaluations; Morra-Imas, Linda & Rist, Ray C., World Bank, 2008 •Metodický pokyn pro evaluace v programovém období 2014–2020 MMR-NOK •Základní pojmy pro přípravu a realizaci evaluace inovačního projektu (MPSV - OPZ) •Pergler, Disman a kol.: Vybrané techniky sociologického výzkumu (Praha, 1969, I. vydání), kapitola Rozhovor •Kateřina Vlčková, Ph.D. „Škálování“, CPV PdF MU •Publikace EK 2013: Design and commissioning of counterfactual impact evaluations •Mazák Jaromír, FFUK: Process tracing - zkoumání kauzality v případových studiích (Sociológia 49, 2017) •