Techniky výzkumu pro evaluaci: Kvantitativní a kvalitativní přístupy Dosud jsme si všímali hlavně kvanitativních variant evaluace, které v souhrnu využívají techniky: Experimentální (Obvykle pokud máme šanci ovlivnit design sběru dat, zahrnout data od kontrolních skupin, randomizovat je…) Kvazi-experimentální (Když povaha dat naplňuje alespoň dílčí atributy experimentu – např možnost srovnání skupin, srovnání před a po…) Neexperimentální (Když máme k dispozici pouze data měřená v jednom bodě v čase, případně bez možnosti srovnat skupiny) Cartoon: "Well, I guess we're the control group." - Humoresque Cartoons Techniky výzkumu pro evaluaci: kvalitativní přístupy Kvalitativní či interpretativní přístupy v evaluaci využijeme tam, kde má smysl proniknout do spleti významů, které přikládají různí aktéři daným jevům Několik příkladů… -Může odhalit skryté zájmy zainteresovaných -Může poukázat na diskrepance ve významu programu pro různé skupiny -Může pomoci při plánování programu odhalením východisek u zainteresovaných -Při realizaci programu může zúčastněné pozorování pomoci vyladit praxi implementace -Analýza pogramových dokumentů může pomoci odhadnout úspěšnost programu, nebo po realizaci zpětně srovnat s jeho východisky kuchyne kitchst2 KVALITATIVNÍ ČI INTERPRETATIVNÍ? McGee-Brown (in Payne) Hovoří o interpretativním přístupu jako nadřazené kategorii, zahrnující kvalitativní (ale i jiné) přístupy. Cílem je vyhnout se představě, že interpretativní přístupy jsou svázány pouze s nenumerickými daty a vylučují kvantifikaci. (McGee-Brown 1994: 123 ) Smysl kvalitativního výzkumu - připomenutí Ragin & Amoroso. 2011. Constructing Social Research. Thousand Oaks: Sage p. 54 Constructing Social Research : Charles C. Ragin : 9781483379302 Techniky výzkumu pro evaluaci: Kvalitativní přístupy Kvalitativní přístup je vhodný zejména v případech, kdy nás zajímají významy, mechanismy, dění v terénu Zúčastněné pozorování Rozhovory Skupinové rozhovory, focus groups Dotazníky (otevřené otázky) Analýza textu Analýza webu, sociálních sítí, diskusí Případové studie (zahrnující předchozí) Techniky výzkumu pro evaluaci: Kvalitativní přístupy – typické techniky sběru dat Specifika v evaluaci: Vždy hraje zásadní roli kontext sítě vztahů! (to sice platí obecně, ale v evaluaci dvojnásob) -Rozhovory reprezentují určité typy aktérů provázané konkrétními vztahy s jinými aktéry – všichni mají určité role v programu a vidí jej z odlišné perspektivy -Texty a dokumenty mají agendu – jde často o programové texty, u nichž zkoumáme nejen obsah, ale „co dělají“ TECHNIKY KVALITATIVNÍHO VÝZKUMU Z PRINCIPŮ, KTERÉ BYLY ZMÍNĚNY VYPLÝVAJÍ KONKRÉTNÍ POSTUPY V RÁMCI TŘÍ HLAVNÍCH OBLASTÍ VÝZKUMNÉ PRAXE: VÝBĚR JEDNOTEK VÝZKUMU V KONTEXTU EVALUACE VÝBĚR REPREZENTUJE RŮZNÉ FORMY ZAPOJENÍ, RŮZNÉ ÚHLY POHLEDU NA PROGRAM PROCES SBĚRU DAT V KONTEXTU EVALUACE JE SBĚR DAT PROVÁDĚN NEJLÉPE KOMBINACÍ TECHNIK. VSTUP DO TERÉNU JE RELATIVNĚ SNADNÝ, LECKDY I VYŽÁDANÝ, K DISPOZICI MŮŽE BÝT NĚKOLIK MODALIT SBĚRU DAT PARALELNĚ PROCES ANALÝZY Z KOMBINACE TECHNIK ČASTO VYPLÝVÁ KOMBINACE KVALI A KVANTI ANALÝZY PRAKTICKÁ STRÁNKA VÝBĚRU DAT Počet jednotek x specifičnost výpovědi o nich (oproti populační reprezentativitě zaměření na problém) Jak se k datům dostat? (informátoři, „gatekeepers“, motivace) Kdy vybírání jednotek končí? (teoretická saturace) Různorodost vzorku (různost z hlediska příslušnosti ke skupině i expertízy) PRAKTICKÁ STRÁNKA VÝBĚRU DAT TECHNIKY SBĚRU DAT Intervenující Různé formy rozhovoru - liší se na základě: strkuturace, standardizace, časová osa, tematické vymezení – zajímavé FOCUS G. Různé formy pozorování – liší se zejména zapojením výzkumníka - PARTICIPACE Kombinace, doplňky (deníky, videa, fotky, dopisy, kresby, divadlo…) – TRIANGULACE DAT Neintervenující Různé formy obsahové analýzy - liší se principy interpretace textu (hermeneutická analýza, zakotvená teorie…) Nezúčastněné pozorování Kombinace, doplňky (artefakty, záznamy, stopy) VOLBA INTERVENUJÍCÍCH A NEINTERVENUJÍCÍCH TECHNIK – V EVALUACI HRAJE PODSTATNOU ROLI 1.Fenomenologický výzkum: text jako výsledek konstrukce reality – jaký význam/smysl je danému fenoménu přikládán interpretativní fenomenologická analýza textu 2.Etnografický výzkum: text zprostředkovávající kulturní vzorce, součást portfolia analyzovaných materiálů – obsahová analýza 3.Etnometodologický výzkum: text jako prostředek a agent konstrukce reality konverzační analýza, různé typy analýzy diskurzů 4.Zakotvená teorie (grounded theory): text jako kontejner významů, sediment sociální praxe – dvojitá hermeneutika 5.Případová studie (case study): text jako součást portfolia materiálů k danému případu / text jako případ – velmi různorodé metody Hlavní typy kvalitativních přístupů a jejich zacházení s texty ZÁKLADNÍ POJMY ZAKOTVENÉ TEORIE: Proces konstantního srovnávání The constant comparative method Paralelní analýza dat a jejich sběr. Na rozdíl od kvantitativního přístupu jsou všechny techniky terénního výzkumu flexibilní a závislé na procesu vynořování teorie, odehrávají se ve smyčkách Teoretická saturace Theoretical saturation Kdy je výzkum uzavřen? (srov. kvantitativní paradigma – test hypotézy) Proces sběru dat je řízen vynořující se teorií. Teoretická saturace jako stav, kdy empirické poznatky nepřinášejí další nutnost upravovat teoretický model (koncepty, kategorie, vztahy mezi nimi) ZÁKLADNÍ KONCEPTY „ZAKOTVENÉ TEORIE“ Analýza dat Kódování Strauss, A. L., Corbin, J. 1999. Základy kvalitativního výzkumu. Brno: Sdružení podané ruce s. 19 Grounded theory analysis using axial and selective coding Analýza dat Kódování Tři úrovně: Otevřené kódování (uchopení dat, hledání konceptů, pojmenování částí textu) Axiální kódování (hledání/vytváření sítě vztahů mezi koncepty) Selektivní kódování (rozlišení centrální kategorie, tvorba teoretického modelu) Abstrahující postupy Poznámky / Memos Diagramy, matice závislostí, síťové náhledy Software ATLAS.ti ANALÝZA DAT (ZEJMÉNA V ZAKOTVENÉ TEORII) Coding process Source: Own illustration | Download Scientific Diagram 2 The coding process. Starting with open coding of observations. The... | Download Scientific Diagram Strauss, A. L., Corbin, J. 1999. Základy kvalitativního výzkumu. Brno: Sdružení podané ruce s. 19 Atlas.ti – příklad - otevřené kódování