Adobe Systems
1
Zrna a plevy: hodnocení kvality výzkumu založeného na skupinových diskusích
ZURn6337 Fokusní skupiny

Adobe Systems
2
O čem to dnes bude?
̶Úkol z minula: reflexe ZZ
̶O hodnocení kvality výzkumu (zejména kvalitativní)
̶Techniky dosahování kvality
̶Tip na automatické kódování dat FG v Atlasu.ti

Adobe Systems
3
Klady
Reflexe výzkumných zpráv
Limity
̶Doporučení obsažena
̶Více cílovek (komparativní perspektiva)
̶Do rekrutací zapojen insider
̶Přehledné výsledky
̶Upraveno pro pohodlný tisk
̶Interpretace doplněna literaturou
̶Reflexe limitů
̶Perspektiva zaměřena na konkrétní oblast
̶Přístupný jzyk
̶Nepěkné formátování
̶Nekonzistentní práce s prezentací výňatků (některé v těle textu, některé samostatně)
̶Možné přeceňování spojitosti jevu s cílovou skupinou (zacílení výzkumu) -> stigmatizace?
̶Malá inovativnost
̶Není úplně jasné, proč zrovna tato technika sběru dat
̶Nejasná struktura jednotlivých FG
̶Citace nekvalitně provázané s textem (věcná x grafická ?)
̶Možné využití fotografii na hraně etiky (emocionalita, bez popisků)?

Adobe Systems
4
Obecně
Kvalita výzkumu
̶Postupná a intenzivní snaha o profesionalizaci, standardizaci, transparentnost a účelnost
vědeckého provozu
̶Důraz na metriky vědeckého výkonu (citovanost, počty publikací)
̶Důraz na metriky kvality (žebříčky univerzit, pracovišť, odborných časopisů)
̶Projevuje se i v mimoakademickém sektoru
̶Hodnocení produktivity a kvality provozu výzkumného subjektu (agentura, neziskovka, apod.)
Klient
Poskytovatel financování (EU, ministerstva, donoři apod.)
̶Hodnocení účelnosti a kvality poptávaného výzkumu u klienta
Interní reporty a evaluace (výkonné složky organizace, divize, interní analytické týmy)
Externí reporty a evaluace (externí auditor, poskytovatel financování)

Adobe Systems
5
Obecně
Kvalita výzkumů
̶To vše vystavuje výzkum drobnohledu z několika úhlů pohledu:
̶Užitečnost: jak kvalitní výstupy přináší? (evaluační přezkum)
̶Validita: přesnost/správnost výsledků?
̶Reliabilita: spolehlivost/konzistentnost výsledků?

Adobe Systems
Opravdu jsou výsledky dostatečně soudržné, ukazuje „reálné“ jevy?
Interní validita: Opravdu zjišťujeme to, co chceme?
Externí validita: Dají se výsledky zobecnit?
6
Byl výzkum přínosný?
Kolika osobám přinesl užitek /zasáhl je?
Kolik prostředků bylo ušetřeno, o kolik stoupla hodnota, prodej apod., co bylo vytvořeno, čemu bylo
zabráněno?
Jsou výsledky konzistentní napříč měřeními, časem, populacemi, kontexty?
Užitečnost, validita, reliabilita

Adobe Systems
7
Kritika
Validita, reliabilita
̶Vychází z logiky pozitivismu: svět zjednodušíme na mechanismy, najdeme vhodné měření, aplikujeme,
najdeme vhodné měření, změříme spolehlivost
̶Vhodné pro kvantitativní přístupy (experiment, survey)
̶Jde o pozitivistický imperialismus (naše pravidla, pro vaše pole)
̶Hrozba marginalizace některých technik (jen módní a nyní „validní“)
̶Neexistuje jedna objektivní realita, ale mnoho intersubjektivních realit
̶„Intervence“ není nežádoucí, ale podmínka provádění výzkumu
̶Intersubjektivní význam se nedá zkoumat náhodným výběrem
̶Očekávat naprostou opakovatelnost a stejnost mezi kontexty je naivní a nebezpečné
̶Dvojí závěr na poli kvali výzkumu:
̶Je nutné využívat jiné pojmy
Validita -> důvěryhodnost, věrnost, legitimita, autenticita
Reliabilita -> konzistentnost, stabilita, přenositelnost,
̶Je možné použít stávající, ale přistupovat k nim jinak
̶

Adobe Systems
8
Stejně a přitom jinak
̶I kvalitativnímu výzkumu jde o kvalitu
̶Základem je svědomitost, reflexivita a transparentnost
̶Probíhá v celém procesu výzkumu
̶Liší se jen techniky k jejich dosahování (navíc ne nutně všechny)
̶Výsledkem je zhodnocení kvalit a limitů studie
̶Úspěšnost postupu při vytváření a výsledku v podobě „krajiny významu“ (Reed)
̶
̶

Adobe Systems
9
Interpretace
Techniky k dosažení validity
̶Validace účastníky
̶Konzultace celého procesu/klíčových částí s jedním nebo několika členy/kami cílové skupiny a/nebo
zadavatelem
̶Předložení dílčích nebo konečných výsledků ke konzultaci nebo autorizaci
̶Zabraňuje chybám v zakázce a porozumění, nedůvěře
̶Umožňuje větší důvěru, transparentnost, etičnost a porozumění
̶Pozor však na prolomení anonymity a důvěrnosti a problémy souvisejícími se snahou zasahovat do
výzkumu nebo ho problematizovat
Účastnici/e nebo i zadavatel/ky mohou mít tendenci zpochybňovat záležitosti, které jim nekonvenují
nebo jsou v rozporu s jejich interpretací.
̶Peer validace
̶Podobné, jen provádí odborníci zabývající se podobným tématem nebo alespoň metodou
̶Validace negativním případem:
̶Systematická snaha o zpochybňování závěrů (jinými kousky dat, literaturou)
̶Vede k solidnějšímu vysvětlení a porozumění kvalit i limitů
̶Triangulace
̶Využití více zdrojů dat a analytických sond
̶Důslednost v hranicích výkladu (týká se všech, nebo části, proč?)
̶

Adobe Systems
10
Přenositelnost (zobecnitelnost)
Techniky k dosažení validity
̶Rekrutace
̶Vedena snahou o homogenitu nebo heterogenitu?
̶Interpretace
̶Pomůže zejména literatura
̶Lze se s věcně stejnou záležitostí setkat v jiném kontextu?
̶Lze se s jinou záležitostí setkat ve stejném kontextu?

Adobe Systems
11
Výzkumu jako celku
Techniky k dosažení reliability
Datové analýzy a výsledků
̶Transparentnost
̶Co nejvíce pro všechny fáze
̶Reflexivita
̶Neustálé odstupování a sebezpochybňování
̶Svědomitost
̶Ve všech fázích
̶Kódovat ve více osobách
̶Kódovat svědomitě a konzistentně
̶Mít kódovací knihu
Soupis kódů
Jejich podstata
Jejich osud (proč byly vytvořeny, jak se měnily)
̶Kontrolovat shodu kóderů/ek
̶Opakované/pravidelné kódování vzorku dat
̶Snaha dosáhnout přijatelné shody postupu
Stejné věci stejnými kódy
Stejné věci ve stejném rozsahu

Adobe Systems
12
Datové analýzy a výsledků
Techniky k dosažení reliability
̶Techniky k dosahování shody kóderek/ů
̶Subjektivní „okometrické“: debata o kódech, procesu kódování a významu kódů
̶Relativní shoda: výpočet „tabulky“ s procentuálním podílem shodných kódů. Zavedené kritérium > 80
%
̶Cohenovo Kappa: Koeficient shody zohledňující rozsah oblasti (náhodnou shodu). Kritérium > 0,7–0,8
v pořádku. Náročné na dosažení i proces.
Umí i Atlas, viz:
https://www.youtube.com/watch?v=68muE8dq6LI
https://atlasti.com/research-hub/measuring-inter-coder-agreement-why-cohen-s-kappa-is-not-a-good-ch
oice

Adobe Systems
13
Checklist
Techniky k dosažení validity a reliability

Adobe Systems
14
Checklist
Techniky k dosažení validity a reliability

Adobe Systems
15
Automatické kódování přepisů FG
Atlas.ti (ještě jedna vychytávka)
̶Viz https://doc.atlasti.com/ManualWin.v9/FocusGroups/FocusGroupDataGuidelines.html
̶

Adobe Systems
16
O čem to dnes bylo?
̶O tom, že různé ZZ mají různé klady a limity
̶O tom, proč je důležité uvažovat nad kvalitou výzkumného úsilí
̶Jak to udělat, aby byl náš výzkum kvalitní
̶Jak si ušetřit práci s kódováním základních informací o účastnících/icích
̶
V prezentaci byly použity piktogramy pocházející z platformy Flaticon, děkuji původcům Freepik,
IYAHICON,
̶

Adobe Systems
17
Cokoliv dalšího?
̶Jak se vám daří s prací?
̶Jak hodnotíte kurz?
̶…