KRITÉRIA PRO HODNOCENÍ KVANTITATIVNÍCH A KVALITATIVNÍCH VÝZKUMNÝCH PRACÍ (PŘÍLOHA A) Zpracováno podle WWW dokumentu: DUCHAŘME, M.K., LICKLIDER B.L., MATTHES, W.A., VANNATTA, R.A.: Conceptual and analysis criteria: A process for identifying quality educational research (http://www.iptv.org/FINELINK/publica-tions/coutline.html) HODNOCENÍ KVANTITATIVNÍ STUDIE - KR1TERIÄLNÍ OTÁZKY I. Úvod do problému 1. Je problém jasně určen a lze ho zkoumat? • Jsou jasně určeny důvody pro řešení problému? Byly uvedeny všechny informace související s problémem a podporující potřebu studie? Poznámka: Jde o informace jako historie a současný význam problému. 2. Byl proveden důkladný přehled literatury, který umožní vybrat odpovídající procedury a provést diskusi? • Jsou citované citace relevantní pro daný problém, jsou aktuální? • Jsou hlavní prameny primárního charakteru? • Jsou porovnány výsledky citovaných prací? Má přehled vztah k problému? 3. Jsou uvedeny hypotézy/výzkumné otázky jasně a explicitně? uvádí každá hypotéza nebo otázka do vztahu vztah nebo rozdíl dvou proměnných? • Jsou proměnné jasně definovány Jsou uvedeny logické, dokumentované a nestranné důvody pro každou hypotézu nebo vědeckou otázku? II. Výzkumné procedury 1. Je proveden výběr reprezentativní identifikovatelné nebo lokální populace? • jsou popsány charakteristiky výběru a populace? Poznámka: je nutné uvést demografické charakteristiky jako pohlaví, věk, atd.? • Nezpůsobila výběrová procedura systematickou chybu? Poznámka: Náhodně provedené výběry jsou obvykle reprezentativní. Používání dobrovolníků často nepředstavuje náhodný výběr. • Byly účastníci pokusu nebo šetření seznámeni se svými právy? • Udal se přesný počet jedinců, kteří se zúčastnili nebo odmítli se zúčastnit šetření? 230 Je výběr dostatečně rozsáhlý? Poznámka: čím větší je výběr tím je více reprezentativní celé populace. Doporučují se tyto počty. Pro deskriptívni studii 10% celé populace, pro korelační studii 30 subjektů, pro příčinně-komparativní 30 subjektů v jedné skupině a pro experimentální studii 15 jedinců ve skupině. Obecně platí: Počet výsledků závisí na velikosti hledané diference, rozptýlenosti výsledků, hodnověrnosti s jakou chceme provést závěry, na počtu proměnných, počtu skupin i použité statistické proceduře. 2. Jsou výběrové procedury a zdroje vhodné, validní a spolehlivé? Jsou popsány měřící procedury a zdroje? • Je udán důvod pro přijetí procedury? • Přezkoušely se měřící procedury pomocí pilotní studie? • Jsou dohodnuty míry validity a spolehlivosti? Poznámka: Validita je stupněm, jak měří daný test sledovanou veličinu. Spolehlivost je míra udávající, jak souhlasí opakované provedení testu. 3. Jsou navržený plán výzkumu a všechny procedury vhodné a opakovatelné? • Je výzkumný plán vhodný pro zkoumání dané hypotézy? • Jsou procedury dostatečně popsány, aby je mohl zopakovat jiný výzkumník? • Eliminuje výzkumný plán všechny rušivé proměnné? Poznámka: Rušivá proměnná je taková, která zkresluje vztah mezi sledovanými veličinami. III. Diskuse 1. Jsou výsledky vhodné ajasné? Jsou použité statistické techniky vhodné pro danou hypotézu a výzkumný plán? Prezentovaly se výsledky korektně a jasně v textu, tabulkách a grafech? Uvedly se hladiny významnosti a stupně volnosti? Jsou prodiskutovány všechny uvedené tabulky a grafy? Testovaly se všechny hypotézy? Podporují výsledky analýzy dat závěry studie? Byly jednotlivé hypotézy na základě výsledků potvrzeny nebo vyvráceny? Jsou závěry podloženy výsledky? Diskutují se výsledky vzhledem k ostatním studiím a teoriím? Diskutují se možná omezení provedené studie? Uvedla se doporučení pro budoucí akce? • Diskutovaly se možné implikace pro praxi? 231 • Diskutovala se doporučení pro budoucí výzkum? • Vyhnul se autor přehánění významnosti výsledků, které jsou sice statisticky významné ale prakticky nevýznamné? TV. Kritéria pro specifické techniky 1. Dotazníkové šetření • Byly popsány pilotážní procedury? • Je návod k dotazníku jasný a konzistentní? • Využívá se vhodný formát? • Mají otázky vztah k cílům studie? • Jsou otázky metodologicky správně formulovány? 2. Korelační studie • Jsou uvedeny důvody pro každou sledovanou proměnnou? • Diskutuje autor výsledky a závěry v pojmech závislosti a ne v pojmech příčin-nosti? • U predikčních studií: je kriteriální veličina dobře definována? Byla predikční rovnice validována na nezávislé výběrové skupině? 3. Přičinně-komparativní studie Poznámka: Tento typ studie je podobný korelační studii, ale jeho cílem je zjištění a ověření příčinných závislostí. ■ Definovaly se jasně charakteristiky, které jsou závislé a nezávislé? • Určily se důležité rušivé a externální veličiny? Jsou zohledněny v plánu výzkumu? ■ Diskutují se příčinné vztahy s odpovídající opatrností? • Diskutují se také alternativní hypotézy? 4. Experimentální studie • Jsou uvedeny definice skupin? • Vybraly se prvky skupin náhodně? • Identifikovaly se možné rušivé proměnné? ■ Provedla se kontrola, zda jsou skupiny podobné vzhledem k rozložení rušivých proměnných? • Zkoumá se reaktivní efekt v jednotlivých skupinách? 5. Quasi-experimentální studie Poznámka: Studie podobná experimentální, ale prvky nejsou náhodně zařazeny do skupin a k ovlivňujícím proměnným? • Jsou skupiny porovnány, aby se zaručilo, že jsou podobné? • Uvažují se rušivé proměnné? • Jsou diskutovány příčinné vztahy s patřičnou opatrností? 232 HODNOCENÍ KVALITATIVNÍ STUDIE - KRITERIÁLNÍ OTÁZKY I. Úvod do problému 1. Je problém jasně určen a lze ho zkoumat? • Jsou jasně určeny důvody pro řešení problému? • Byly uvedeny všechny informace související s problémem a podporující potřebu studie? 2. Byl proveden důkladný přehled literatury, který umožní vybrat odpovídající procedury a provést diskusi? • Jsou citované citace relevantní pro daný problém, jsou aktuální? • Jsou hlavní prameny primárního charakteru? • Jsou výsledky uvedených studiích srovnány a kontrastovány nebo jde pouze o prostý výčet výsledků? • Uvádí přehled literatury uvedené výsledky do vztahu k problému? 3. Je výzkumný problém jasně určen? • Je definice problému nebo otázky dána do určitého kontextu? • Je výzkumný problém dostatečně otevřený, aby vedl k exploraci tématu spíše než k testování hypotéz? II. Výzkumné procedury 1. Vedou výběrové procedury k identifikaci participantů a zdrojů důležitých pro problém? Jsou popsány charakteristiky participantů a místa výzkumu? Použil se zaměřený a nenáhodný výběr? 2. Jsou techniky pro sběr dat a zdroje dat oprávněné a důvěryhodné? Použilo se několik technik pro sběr dat? Popsala se každá technika, zdroje dat a prostředky? Provedlo se zdůvodnění technik, zdrojů dat a prostředků? Provedlo se pilotní přezkoušení všech technik? Popisují se techniky pro zajištění kontroly kvality studie? Popsaly se dostatečně techniky analýzy? 3. Jsou výzkumný plán a procedury vhodné pro zkoumání výzkumné otázky? • Popsala se všechna rozhodnutí týkající se výzkumného plánu a zhodnotila se jejich oprávněnost? ITJ. Diskuse 1. Jsou výsledky náležité a jasné? • Provedl se bohatý popis pozorování a odpovědí? • Zdůvodňují získaná data prezentovaná témata, zobecnění a tvrzení? 233 2. Podporují výsledky analýzy dat závěry studie?' • Použilo se několik zdrojů evidence použité pro podporu závěrů? • Uvedla se rozumná vysvětlení uvedených nálezů? • Jsou závěry podporovány výsledky? • Provedla se diskuse o souhlasu či nesouhlasů výsledků s dřívějšími studiemi? • Diskutovala se omezení studie? 3. Uvedla se doporučení pro další výzkum? • Diskutovaly se důsledky pro praxi? . • Vyhnul se autor přehnaným zobecněním, která by Šla za rámec studie? IV. Kritéria pro specifické techniky 1. Případová studie • Uvedly se důvody pro výběr případu? • Vyplývají: použité zdroje dat logicky a přirozeně z případu? • Zvolily se vhodné strategie pro získání mnohonásobné perspektivy (triangulace)? 2. Interview ' • .;•■..;. • Provedlo se pilotní přezkoušení techniky? Popsaly se výsledky pilotního přezkoušení? • Diskutují se kvalifikace a školení výzkumníků? • Vyhýbají se tazatelé sugestivním otázkám? • Popisuje se způsob nahrávání rozhovoru? • Diskutuje se metoda analýzy dat? 3. Pozorování • Popisuje se chování, které se mělo pozorovat? • Pozorovaly se všechny akce a chování v místě studie? • Pozorovalo se dostatečnou dobu? • Diskutují se kvalifikace a školení výzkumníků? • Popisuje se způsob zápisu a uchování dat? 234 HODNOCENÍ ETNOGRAFICKÉ STUDIE - ZÁKLADNÍ POŽADAVKY (PŘÍLOHA B) Zpracováno podle: Muecke, M.A.: On the evaluation of ethnographies In: Crititical issues in qualitative research methods eds. Morse J.M., Sage 1994 1. Etnografie demystifikuje zkoumané lidi tím, že jejich chování dělá srozumitelné čtenáři. Etnografie: • Demystifikuje a vysvětluje, neomezuje se na popis. • Interpretuje sociální podskupinu pro členy zahrnující sociální skupiny nebo jiné sociální skupiny. • Zvyšuje porozumění humanity všech lidí. 2. Popisovaní lidé obecně musí uznat, že provedený popis je relevantní. 3. Konceptuálni orientace etnografa je explicitně vyložena a koherentně spojena se studií a s daty. 4. Je explicitně zhodnocen vliv vztahu mezi etnografem a zkoumanou skupinou. • Chrání se anonymita členů skupiny. • Čtenáři musí být jasné použité informační zdroje, aby mohl posoudit jejích vhodnost a šíři. • Transkripce shromážděných dat musí být provedena pečlivě, aby se zachovaly všechny jejich významy. 5. Hloubka studie se dosahuje hustým popisem (thick description), který označuje analytické zkoumání, srovnávání a kontrastování různých perspektiv (emic, etic) a zdrojů informací. Testují se v ní vazby a inference, aby se vytvořila koherentní interpretace pro porozumění rozdílností. Informace se získaly průběžným participantním pozorováním. Informace se získaly z různých zdrojů. Informace se shromažďovaly kumulativně a cyklicky, každý cyklus zahrnoval komparativní analýzu ostatních informací, která vede k reformulacím otázek a hypotéz. 6. Etnografické vyprávění musí připustit omezenost rétorických možností jak autora tak informantů a konvenční formy etnografické zprávy. Tyto požadavky se týkají standardní dlouhodobé etnografické práce. Autorka zavádí pojem fokusované etnografie, jejíž zaměření je omezené na menší skupinu, určitý problém (fenomén) a nepředpokládá delší pobyt v terénu. Proto se zmírňuje striktnost kritérií 4 a 5. Přitom je nutné zodpovědět otázky: 1. Neohrožuje předvýběr problému nebo fenoménu induktivní podstatu etnografické práce? Lze problém dostatečně kontextualizovat? 235 2. Neohrozuje krátky pobyt spolupráci mezi informanty a výzkumníky? 3. Jak krátké trvání studie ovlivňuje analýzu dat a interpretaci? 4. Prokazuje etnograf dostatečný stupeň proniknutí do prostředí a participaci, aby mohl vypracovat hustý popis? 236 SMĚRY V KVALITATIVNÍM VÝZKUMU PODLE OBORU (PŘÍLOHA C) (definice, upraveno podle TESCH 1990) SOCIOLOGIE • KLASICKÁ OBSAHOVÁ ANALÝZA usiluje o objektivní a systematický popis manifestního obsahu komunikace. V textu se identifikují předem definované charakteristiky. • ETNOGRAFICKÁ OBSAHOVÁ ANALÝZA vychází z reflexivnosti a interaktívny, která zahrnuje výzkumníka, koncepty, sběr a analýzu. Kategorie, podle kterých se materiál třídí, se neurčuje před analýzou, ale vyplývají z dat, do uvažování se zahrnuje i kontext. Data se shromažďují v průběhu studie. Analýza někdy vede ke změně koncepce, což může vyvolat sběr nových dat. Etnografická obsahová analýza se proto hodí pro studium současných dějů. • ANALÝZA DISKURZU se zabývá lingvistickou analýzou přirozeně vznikajícího diskurzu v mluvené nebo písemné podobě. Poskytuje vhled do forem a mechanismů lidské komunikace a verbální interakce. • HOLISTICKÁ ETNOGRAFIE popisuje a analyzuje celou kulturu nebo komunitu (nebo jejich části) popisem názorů a praktik studované skupiny. Ukazuje jak rozličné části přispívají ke kultuře jako jednotnému a konzistentnímu celku. • STRUKTURÁLNÍ ETNOGRAFIE klasifikuje a osvětluje sociální organizaci a rozložení subjektivních představ jako nativních a různorodých realit v terénu. Katalogizuje jejich formy a vztahy v čase a prostoru. Kultura se zkoumá jako kognitivní mapa, přičemž všechny její skryté i explicitní vlastnosti se projevují v jazykových projevech. • ETNOMETODOLOGIE se zabývá tím, jak členové společnosti organizují své aktivity, aby dávaly obecně přijatý smysl. Zkoumá se přitom jakým způsobem členové společnosti v průběhu sociální interakce dávají smysl tzv. indexikálním výrazům, které znamenají výrazy, jejichž význam není univerzální, ale závisí na kontextu. • KOGNITIVNÍ ANTROPOLOGIE se snaží porozumět kulturním kategoriím účastníků a hledá organizační principy pro tyto kategorie prostřednictvím studia sémantických systémů. Přitom systematicky ozřejmuje významy slov nebo znaků v kontextu jejich používání. • STRUKTURÁLNÍ ANALÝZA UDÁLOSTÍ zkoumá a reprezentuje sérii událostí jako logickou strukturu, tedy jako prvky a jejich spojení, přičemž si všímá i předpokladů, které ovlivňují tuto strukturu. Výsledky mohou sloužit jako explanační modely pro interpretaci aktuálních sekvencí událostí. 237