Metodologie výzkumu v didaktice cizích jazyků Na co se soustředit při plánování výzkumu? Kontakt: Mgr. Tomáš Kohoutek,Ph.D. kohoutekt@ped.muni.cz „The greatest invention of the nineteenth century was the invention of the method of invention.“ A.N. Whitehead Kontroverze výzkumu ve společenských vědách Z pohledu školitelů:  Zdroj poznání vs. zdroj marné a nesmyslné práce  Příležitost ke spolupráci akademiků se studenty vs. povinnost společně předstírat, že student je výzkumník  Didaktická šance nechat studentům „in natura“ reflektovat realitu oboru vs. donutit studenty pro jednou (a naposledy) sledovat zcizující schéma nároků na „výstup“  Možnost konfrontovat výsledky při obhajobě s bedlivou kolegiální zpětnou vazbou vs. děs, kdo napadne i moje kompetence  … … … … Kontroverze výzkumu ve společenských vědách V obecnějším odborném kontextu:  Zdroj poznání vs. zdroj obtížně interpretovatelných artefaktů  Příležitost k rozvíjení poznatkové báze oborů vs. nutnost psát dokola o tom, o čem se píše „bezpečně“ (ale není proč to číst)  Zdroj korekce svévolnosti v práci s fakty vs. příčina šroubovaného stylu psaní, sterilních výsledků  Ideál objektivity vs. mechanické napodobování představ přírodovědců 19.stol. (n.l.)  Ideál formulace „podložených tvrzení“ vs. sdělování truismů  … … … … Co nám pomůže udržet se v „zeleném poli“?  Zvolit si téma, které nás zajímá a uvažujeme o něm kriticky („Rem tene, verba sequentur“)  Vrátit se do raného věku a ptát se, ptát se, ptát se… kdykoli můžeme něco formulovat jako otázku  Dodržovat sled kroků při koncepci výzkumu, povědomí o fázích výzkumu, jeho typech a přiměřených cílech)  Mít na paměti, jaké jsou ideály sdělení  Vzít si na pomoc jasnou strukturu výzkumného sdělení, která je „k věci“ (IMRAD) Výzkum je sdělení… Normální konverzace v běžném životě interpretujeme tak, jako bychom očekávali od svých konverzačních partnerů naplnění následujících ideálů:  IDEÁL KVALITY  Neříkáme věci, pro které nemáme důkazy  IDEÁL RELEVANCE  Říkáme pouze věci, které jsou pro účel konverzace relevantní, smysluplné, účelné  IDEÁL KVANTITY  Naše příspěvky do konverzace jsou přesně tolik informativní, jak je třeba, ani o trochu víc  IDEÁL MRAVŮ  Naše příspěvky jsou jasné a přiměřeně stručné Předpokládá se, že mluvíme pravdu, sdělujeme relevantní informace, sdělujeme adekvátní množství informací, a to jasně. http://en.wikipedia.org/wiki/Gricean_maxims Otázky, na které má odpovědět plán výzkumu  Čím je téma zajímavé, prakticky významné, originální…?  Jaký je aktuální stav řešené problematiky? Které koncepce reprezentují „state of art“, které studie existují? (teorie, literatura)  Jaký je obecný cíl výzkumu? Obecná výzkumná otázka?  Jaké specifické výzkumné otázky (dílčí, vedlejší) lze formulovat?  Jakým způsobem na ně lze ve výzkumu odpovědět? (Indikátory, analytické postupy)  Které populace se výzkum týká, jaká bude metoda konstrukce vzorku?  Jaká bude povaha dat?  Jaká bude metoda shromažďpvání dat? Jaká jsou s ní spojená omezení? (administrace, nástroje)  Jaké budou postupy analýzy dat? Jsou přiměřené datům, cílům, jak ovlivní povahu výsledků a možnosti interpretace? (Kdo bude data zpracovávat)?  Jaký je typ projektu? Lze postup výzkumu znázornit jako schéma? Jaké změny a v které fázi lze předpokládat?  Jaké jsou hlavní výsledky?  Co z nich plyne pro praxi, jak se vztahují k výchozím předpokladům, k teorii? Jaké jsou limity intepretace? (diskuse – přínos, vymezení, omezení)  Jak jsou ošetřeny etické aspekty výzkumu? (souhlas, přístup, ochrana práv účastníků) Tématický okruh I: Jakou podobu může mít výzkum?  Typy projektů,  sekvence kroků při návrhu a realizaci projektu.  Práce s literaturou, volba kvalitativního, kvantitativního nebo smíšeného návrhu výzkumu.  Možné formy prezentace výsledků, model „úvod – metody – výsledky – diskuse“ (IMRAD).  Role teorie, prestrukturovaný a rozvíjející se výzkum. Kde leží počátek výzkumu? Čím výzkum začíná?  pro volbu optimálních postupů výzkumu je do značné míry určující počáteční uchopení zkoumaného problému, formulace cílů výzkumu, výzkumných otázek (popř. hypotéz)  Výzkum je metodicky strukturovaným pokračováním úvahy o problému a otázkách („jen“ a právě pokračováním takových úvah), má vést ke shromáždění relevantních informací pro jejich zodpovězení  Podstatná je tedy jak PREEMPIRICKÁ fáze výzkumu (shromažďování informací, uchopení tématu, formulace otázek), tak fáze EMPIRICKÁ (vlastní provedení výzkumu – stanovení formy výzkumu, sběr dat, analýza, odpověď na otázky, prezentace výsledků)  Projekt výzkumu by měl zahrnovat základní představu o obou fázích Fáze výzkumu (model dle Punch, 2008, s. 21) Typy výzkumu podle funkce – popis a vysvětlení  Tradiční rozlišení kvalitativních a kvantitativních výzkumů není jediné a zdaleka ne vždy funkční („smíšený výzkum“, funkce výzkumu není závislá jen na formě)  Důležité je, zda jde o popis (deskripci) jevu nebo jeho vysvětlení (explanaci)  Např. výzkum s hypotézami má za cíl odpovědí přispět k vysvětlení; i v kvantitativním však může jít o prostý popis, evidenci (viz popisná úroveň statistiky)  Kauzální vysvětlení (tj. určení vztahu příčin a následků) umožňuje jen málo typů výzkumného plánu (viz experimentální design, RCT) a postupů analýzy dat  I v rámci kvalitativních studií, kde jde o shromáždění nových nebo unikátních údajů, rozlišujeme různou míru jejich využití k vysvětlení problému  Základní je, odpovídá-li výzkum na otázky CO? (např. všechno prožívá člověk v dané situaci – výčet, deskripce), JAK? Nebo PROČ? (např. jak určitá intervence ovlivňuje výkon; jaký je mechanismus působení, kauzalita); Další typy výzkumu podle funkce – verifikační/konfirmační a explorační/heuristický  Hypotézy jsou spjaty s výzkumem, jehož cílem je ověřit dané předpoklady  Existují i případy, kdy  není co ověřovat, neboť zkoumáme málo známou oblast, otázku;  cílem je zachytit kontext nějakého jevu;  Je cílem získat co možno kompletní autentickou výpověď;  je cílem dobrat se nových skutečností (nikoli vztahů mezi známými skutečnostmi)  Tehdy hovoříme o výzkumu heuristickém nebo eploračním Výzkumné otázky a hypotézy ve výzkumu  Každý výzkum předpokládá určitý záměr, otázky - ne vždy je však nejvhodnější forma hypotéz  výzkum, jehož součástí mají být hypotézy,  se musí již na počátku vyrovnat s otázkou, jaká operace povede k posouzení platnosti hypotéz (zpravidla statistická operace s daty); půjde tedy o výzkum kvantitativní  musí obsahovat předem stanovené předpoklady o vztazích mezi proměnnými, půjde tedy spíše o výzkum prestrukturovaný než rozvíjející se  se musí opírat o teorii, z níž lze předpoklady dedukovat (nebo alespoň o opodstatněné předpoklady), půjde tedy spíše o výzkum konfirmační než explorační (heuristický, induktivní – „mapující“...)  Punch (2008, s. 48) uvádí, že „existují dvě přímočaré otázky, které pomáhají při určení toho, zda v dané studii jsou hypotézy potřebné:  Mohu pro každou specifickou otázku předem navrhnout predikci, co očekávám (před empirickým výzkumem, tedy předtím, než získám a analyzuji data)?  Pokud ano, vychází základ predikce z nějaké množiny tvrzení, z nějaké „teorie“, z níž lze hypotézy odvodit a která hypotézy vysvětluje?“ (s. 48) Fáze výzkumu – místo a role hypotéz (model dle Punch, 2008, s. 49) Typy výzkumu podle funkce – ověřování a tvorba teorie  Verifikace (ověřování) teorie může být jak kvantitativní (na základě hypotéz), tak kvalitativní (vyhledávání dalších, rozporných či kontrastních případů…); tradičně spíše kvantitativní  Tvorba teorie – na základě shromažďování poznatků A nacházení souvislostí; tradičně spíše kvalitativní postupy  Nejde však o záležitost formy výzkumu:  Např. i postupy, které na tvorbu teorie explicitně aspirují, nabízejí jen „stavební jednotky“ pro popis (zakotvená teorie – grounded theory)  Vysvětlení (explanace) představuje již teoretický úkol; teorie tradičně bývá chápana jako obecně platná, ale nemusí být – proto je prostor pro vysvětlování v kvalitativních studiích s limitovaným vzorkem Typy výzkumu podle formy: prestrukturovaný a rozvíjející se výzkum  Prestrukturovaný výzkum:  Je možné (a žádoucí) předem plánovat do detailů  Umožňuje např. přesné omezení množství zkoumaných jevů a stanovení hypotéz  Souvisí tedy spíše s verifikací (podle funkce)  Rozvíjející se výzkum:  Počítá s formulací dalších otázek (jak výzkumných, tak například během rozhovoru)  Je vhodný tam, kde si nejsme zcela jisti všemi relevantními okolnostmi, nebo kde unikátní okolnosti případu jsou vlastním předmětem výzkumu  Souvisí tedy spíše s konceptuálním popisem nebo s tvorbou teorie (podle funkce) Co pomůže při rozhodování o podobě výzkumu?  Kritéria dané instituce  Nevýhodou je, že se jedná o ukazatel nezřídka proměnlivý a omezeně opodstatněný  Povědomí o cílech výzkumu a nárocích, které bude klást, o možnostech  znalost vlastních možností i limitů  Znalost kroků pří výzkumu  pomoci mohou např. uvedená schémata přípravy projektu v preempirické a empirické fázi, jinou možnost představuje přiložené schéma „Ideový a technický plán výzkumu“, podobně jako sledování struktur IMRAD (Introduction – Methods – Results – and – Discussion) –viz samostatné odkazy  Dobré navázání na předchozí „intuitivní znalost“, představu o tématu a výzkumu  není na škodu pohlížet na výzkumu jako na formu dialogu (začíná otázkami, ústí do diskuse – „finis coronat opus“) – pečlivé pročtení položek dotazníku napomůže realistické představě o jeho možnostech; přehrání rozhovoru „nanečisto“ podpoří formulaci relevantních otázek Výzkum (1) je sdělení, které se (2) řídí určitými pravidly: struktura IMRAD  má jít o autorské sdělování podložených fakt o tématu, proto je třeba publikum seznámit:  se stavem poznatků a otázkou, kterou výzkum řeší – jako výzkumníci víme o tématu časem zpravidla více, než běžný smrtelník; proč je téma závažné, zajímavé, důležité? Co se o něm již ví? Existují nějaké rozpory nebo mezery v dosavadních poznatcích, na které se zaměříme?  s metodami, o které se výzkum opírá – m. shromažďování dat (forma – dotazník, rozhovor…, obsah – na co se ptáme, co sledujeme), m. výběru výzkumného vzorku, m. zpracování dat; zjistíme to, na co se ptáme, tak dobře, jak dobře se ptáme - povaha výsledků závisí na metodě!!!  s výsledky – tak, aby měl příjemce přehled o tom, co jsme zjistili (pozor – není to totéž jako co si myslíme, že jsme zjistili nebo co si myslíme o tom, co jsme zjistili; zde informujeme „objektivně“, dbáme na srozumitelnost  s odpovědí na naše výchozí otázky, s diskusí – co mohou naše výsledky znamenat? Jak je lze interpretovat – co znamenají? Co našim výsledkům chybí, co bychom dělali podruhé jinak? V čem se shodují s výsledky jiných podobných studií, případně čím se odlišují? Jak si to vysvětlujeme…  Těmto cílům dobře vyhovuje struktura Úvod (Introduction) – metody (Methods) – výsledky (Results) a diskuse (Discussion) (podrobněji viz L. Maczkó, 2001) Tématický okruh II: Jak můžeme získat data?  Zdroje dat  Dokumentace, dotazník, rozhovor, focus group, text, artefakty (produkty, výtvory)  Výzkumná populace a výzkumný vzorek  Výběr – postupy vytvářená výzkumného vzorku  Metody shromažďování dat  Standardizované a nestandardizované postupy  Nároky a možnosti standardizovaných metod, validita a reliabilita nástroje a dat Typy norem, možnosti využití nástroje  Kladení otázek v dotazníku a v rozhovoru, vytváření proměnných z dat Co vše můžeme považovat za data? U dat můžeme spíše než u výzkumu jako celku definovat, zda jsou svojí povahou spíše kvantitativní nebo kvalitativní  Patrně nejčastěji jsou v kvalifikačních pracích využívána data z vlastního výzkumu, získaná prostřednictvím dotazníku nebo rozhovoru  Přestože na jednotlivých pracovištích a v jednotlivých oborech se zpravidla „ustavuje“ několik nejvíce obvyklých forem výzkumu, daných i povahou dat, oblast zdrojů informací potenciálně užitečných na pomezí společenských a zdravotnických disciplín je nečekaně široká  K dalším zdrojům může patřit např.:  existující dokumentace (např. lékařská, dokumenty státní správy, soukromá);  vyžádaná nebo spontánní tvorba (např. obrázky);  „kulturní artefakty“ - umělecká tvorba (knihy, filmy...),  užitkové zařízení (uspořádání pracoviště, vybavení domácnosti, technické zázemí...), dokonce i odpad...;  výkonové ukazatele (výsledky didaktických testů),  záznamy pozorování apod.;  existující datové soubory nabízené k analýze… Data kvantitativní a kvalitativní povahy  Kvantitativní data pocházejí ze statistik o evidenci určitých jevů (např. úrazovost), z kvantifikovatelných výpovědí v dotaznících (např. ohledně míry zastávání určitého názoru, míry obvyklosti nějakého prožitku...), popř. představují výsledky testů (např. inteligenčních, didaktických), ale i výsledky kódování původně kvalitativních údajů (výpovědí, záznamů pozorování...)  Zpravidla jsou to indikátory jevů, o kterých studie pojednává, nikoli jevy samotné (podstatné je vyřešit si otázku vztahu dat a teorie „vědět, co mohu čekat“)  Metody k získávání dat kvantitativní povahy mohou a nemusejí být standardizované – tj. Se zajištěnou validitou a reliabilitou nástroje, s normami pro určitou populaci, s možností přepočtu hrubých výsledků na vážené skóry apod.  Způsob práce s kvantitativními daty závisí na celkové koncepci výzkumu (heuristický – může stačit i popisná úroveň; konfirmační – hypotézy by měly být ověřeny adekvátními postupy)  Je užitečné (a mnohdy nezbytné) umět stanovit, jaká je úroveň měření pro daný typ dat – nominální (i alternativní), ordinální, intervalová a poměrová Data kvantitativní a kvalitativní povahy  Kvalitativní data pocházejí nejčastěji z rozhovorů, mohou však zastupovat cokoli, co představuje „text“ v užším (příběh, článek, deník, povídka…) i širším smyslu slova (film, obraz, budova... vše, co může „nést význam“)  Mohou rovněž sloužit jako indikátory jevů (např. výpověď o aktuálních potížích jako indikátor důsledku nějaké životní situace, rozporuplné výpovědi jako indikátor zastírání něčeho nebo latentního konfliktu...) - vyžadují tedy rovněž analýzu a interpretaci  Metody k získávání dat kvalitativní povahy zpravidla standardizované nebývají, mohou ale sledovat určité principy standardizace - např. Vedení rozhovorů v co nejpodobnější atmosféře, využití vyhodnocovacích a interpretačních schémat atd.;  namísto kritéria reliability jako opakovatelnosti nastupuje kritérium komplexnosti a informační saturace; validita jako statistická spolehlivost je vystřídána „validitou“ ve smyslu důvěryhodnosti (koherence, smysluplnost, sdělnost, dialogičnost)  Data kvalitativní povahy nejsou sama o sobě určující pro typ výzkumu, vylučují ale statistické testování hypotéz a činí tak zbytečnou jejich formulaci (nikoli však formulaci výzkumných otázek)  Je užitečné uvědomit si, že na výzkum s kvalitativními daty nelze vztahovat stejné požadavky jako na výzkum na datech kvantitativních – hypotézy nezodpoví, výsledek by neměl aspirovat na reprezentativnost, ale na úplnost a sdělnost Data kvantitativní a kvalitativní povahy – možné kombinace  Často je vhodné kombinovat užití obou typů dat – například:  Využít rozhovory pro shromažďování informací a na jejich základě formulovat položky dotazníku  Naopak vybrat typické (popř. extrémní) respondenty na základě výsledků dotazníkového šetření a provést s nimi rozhovory  Určitou část otázek distribuovat jako anonymní dotazník (pro určení parametrů vzorku), další výpovědi získávat v rámci rozhovorů Může tedy dojít i k tomu, že jedna studie bude pracovat s dvojí metodou výběru v návaznosti na volbu metodik získávání kvalitativních a kvantitativních dat Populace, vzorek, výběr  Populace je množinou všech subjektů, které jsou potenciálně předmětem zájmu (splňují kritéria inkluze a exkluze)  Vzorek je ta část populace, se kterou studie přímo pracuje – oslovení, respondenti, zkoumané osoby…  Výběr je postup, kterým z populace utváříme výzkumný vzorek Poznámka k diskusi: - poněkud nadužívaným kritériem je náhodnost výběru. Náhodný výběr má zaručit, že každý člen populace má stejnou pravděpodobnost, že se stane i součástí vzorku – jedině tak lze docílit, aby byl vzorek reprezentativní; ve velkých, zpravidla kvantitativních studiích, které aspirují na reprezentativnost vzorku vzhledem k populaci, je náhodnost důležitá; o reprezentativnosti dále rozhoduje velikost vzorku (viz např. Disman, 1997, s. 99) - Náhodnost zajišťují speciální postupy (tabulka náhodných čísel, losování, určení kroku…) – nelze ji tedy zaměňovat s nahodilostí - V kvalitativních studiích je analogickýcm kritériem teoretická saturace vzorku: vzorek je dostatečný tehdy, nevede-li jeho další zvětšení k nárustu objemu získaných informací Základní typy výběru  Pravděpodobnostní (náhodnostní – probabilistic) postupy:  Prostý náhodný výběr  Stratifikovaný náhodný výběr  Kvótní náhodný výběr  Nepravděpoidobnostní (non-probabilistic) postupy:  Totální výběr  Výběr metodou sněhové koule (snowball sampling)  Samovýběr  Příležitostný výběr  Záměrný (účelový) výběr:  Prostý záměrný výběr  Stratifikovaný záměrný výběr  Kvótní záměrný výběr (dle Miovský, 2006, s. 130) Poznámka k diskusi: na výsledné podobě vzorku se rostoucí měrou podílí ochota respondentů účastnit se – je proto potřeba počítat s tím, že může být podoba vzorku ve skutečnosti samovýběrem experimentální úmrtnost, ochota spolupracovat; výsledek pak odpovídá spíše anketě (např. rozložení názorů typu „J“ – menší kumulace extrémně kladných, minimum neutrálních, největší kumulace výrazně negativních) Další typy a principy výběru  Maximální variabilita (dokumentuje co nejvíce různých konfigurací)  Homogenita (napomáhá redukovat – zaostřit na určitý problém, téma; vhodné ve skupinových diskusích)  Kritický případ (umožňuje zobecnění, aplikaci na jiné případy podobného typu)  Potvrzení a vyvrácení případem (vyhledávání výjimek vůči předpokladům)  Sněhová koule, řetěz (identifikace dalších zajímavých osob na základě relevantních informací od „insiderů“)  Extrémní nebo deviantní případy (vysoce neobvyklé případy v rámci daného jevu)  Typický případ (osvětluje, co je běžné, „normální“, průměrné)  Intenzita (využití případů, které nejsou sice extrémní, ale jsou výjimečně informačně bohaté)  Politicky důležité případy (případy pozornost přitahující nebo jí unikající)  …  Oportunistický (využívá výhody nečekaného, sleduje nové trendy, možnosti)  Na základě výhodnosti, pohodlnosti (šetří náklady, ale může to být na úkor kvality, spolehlivosti) (dle Punch, 2008, s. 80) Výběr – doplňující poznámky  Znáhodňovací postupy se neuplatňují jen při tvorbě vzorku, ale i při přiřazení do skupin pro srovnávání  Při srovnávání skupin nachází místo i párování (vyrovnávání v maximu potenciálně intervenujících charakteristikách) nebo princip kontrastu – víme, že skupiny se v něčem podstatném liší (a víme, v čem)  Využívání internetových sběrů probíhá obvykle na bázi dobrovolnosti (e-mail) nebo motivace blízkým vztahem (facebook) – mívá tedy zpravidla povahu samovýběru nebo systematicky zatížené „sněhové koule“ – to nemusí být na škodu, ale je potřeba tento fakt adekvátně reflektovat  Poznámka k diskusi: „Vzorek není tak dobrý, jek je velký nebo reprezentativní, ale jak umožní naplnit cíl výzkumu.“ Typy studií s kvantitativními daty  Experimentální studie s kontrolní skupinou (RCT – randomized controled trial) - „ideál vědeckosti“  Kvaziexperiment  Korelační studie  Heuristické postupy – faktorová analýza, klastrová analýza… Typy studií s kvalitativními daty  Případová studie  Jednoduchá  Skupinová  Organizace, instituce  Analýza dokumentů  Terénní výzkum  Akční výzkum  Kvalitativní experiment („přirozený experiment“)  Kvalitativní evaluace  Procesu  Výsledků Literatura  Punch, K.(2008, 2015). Úspěšný návrh výzkumu. Praha: Portál  Punch, K. (2000). Developing effective research proposals. Sage.  Punch, K. F., & Oancea, A. (2014). Introduction to research methods in education. Sage.  Další rozšiřující materiály:  Článek Day, R.A. (1989). The origins of the scientific paper: The IMRAD format. American Medical Writers Association Journal 4, 2, s. 16–18.  Schéma „Ideový a technický plán výzkumu“ Děkuji za pozornost