Metodologie výzkumu v didaktice cizích jazyků Na co se soustředit při plánování výzkumu? Kontakt: Mgr. Tomáš Kohoutek,Ph.D. kohoutekt@ped.muni.cz p p p„The greatest invention of the nineteenth pcentury was the invention of the method pof invention.“ A.N. Whitehead Kontroverze výzkumu ve společenských vědách pZ pohledu školitelů: pZdroj poznání pvs. zdroj marné a nesmyslné práce pPříležitost ke spolupráci akademiků se studenty pvs. povinnost společně předstírat, že student je výzkumník pDidaktická šance nechat studentům „in natura“ reflektovat realitu oboru pvs. donutit studenty pro jednou (a naposledy) sledovat zcizující schéma nároků na „výstup“ pMožnost konfrontovat výsledky při obhajobě s bedlivou kolegiální zpětnou vazbou pvs. děs, kdo napadne i moje kompetence p p… … … … p p p p Kontroverze výzkumu ve společenských vědách pV obecnějším odborném kontextu: pZdroj poznání pvs. zdroj obtížně interpretovatelných artefaktů pPříležitost k rozvíjení poznatkové báze oborů pvs. nutnost psát dokola o tom, o čem se píše „bezpečně“ (ale není proč to číst) pZdroj korekce svévolnosti v práci s fakty pvs. příčina šroubovaného stylu psaní, sterilních výsledků pIdeál objektivity pvs. mechanické napodobování představ přírodovědců 19.stol. (n.l.) pIdeál formulace „podložených tvrzení“ pvs. sdělování truismů p p… … … … p p p p Co nám pomůže udržet se v „zeleném poli“? pZvolit si téma, které nás zajímá a uvažujeme o něm kriticky („Rem tene, verba sequentur“) pVrátit se do raného věku a ptát se, ptát se, ptát se… kdykoli můžeme něco formulovat jako otázku pDodržovat sled kroků při koncepci výzkumu, povědomí o fázích výzkumu, jeho typech a přiměřených cílech) pMít na paměti, jaké jsou ideály sdělení pVzít si na pomoc jasnou strukturu výzkumného sdělení, která je „k věci“ (IMRAD) p Výzkum je sdělení… p p pNormální konverzace v běžném životě interpretujeme tak, jako bychom očekávali od svých konverzačních partnerů naplnění následujících ideálů: pIDEÁL KVALITY nNeříkáme věci, pro které nemáme důkazy pIDEÁL RELEVANCE nŘíkáme pouze věci, které jsou pro účel konverzace relevantní, smysluplné, účelné pIDEÁL KVANTITY nNaše příspěvky do konverzace jsou přesně tolik informativní, jak je třeba, ani o trochu víc pIDEÁL MRAVŮ nNaše příspěvky jsou jasné a přiměřeně stručné pPředpokládá se, že mluvíme pravdu, sdělujeme relevantní informace, sdělujeme adekvátní množství informací, a to jasně. n nhttp://en.wikipedia.org/wiki/Gricean_maxims Otázky, na které má odpovědět plán výzkumu pČím je téma zajímavé, prakticky významné, originální…? pJaký je aktuální stav řešené problematiky? Které koncepce reprezentují „state of art“, které studie existují? (teorie, literatura) pJaký je obecný cíl výzkumu? Obecná výzkumná otázka? pJaké specifické výzkumné otázky (dílčí, vedlejší) lze formulovat? pJakým způsobem na ně lze ve výzkumu odpovědět? (Indikátory, analytické postupy) pKteré populace se výzkum týká, jaká bude metoda konstrukce vzorku? pJaká bude povaha dat? pJaká bude metoda shromažďpvání dat? Jaká jsou s ní spojená omezení? (administrace, nástroje) pJaké budou postupy analýzy dat? Jsou přiměřené datům, cílům, jak ovlivní povahu výsledků a možnosti interpretace? (Kdo bude data zpracovávat)? pJaký je typ projektu? Lze postup výzkumu znázornit jako schéma? Jaké změny a v které fázi lze předpokládat? pJaké jsou hlavní výsledky? pCo z nich plyne pro praxi, jak se vztahují k výchozím předpokladům, k teorii? Jaké jsou limity intepretace? (diskuse – přínos, vymezení, omezení) pJak jsou ošetřeny etické aspekty výzkumu? (souhlas, přístup, ochrana práv účastníků) p Tématický okruh I: Jakou podobu může mít výzkum? pTypy projektů, psekvence kroků při návrhu a realizaci projektu. pPráce s literaturou, volba kvalitativního, kvantitativního nebo smíšeného návrhu výzkumu. pMožné formy prezentace výsledků, model „úvod – metody – výsledky – diskuse“ (IMRAD). pRole teorie, prestrukturovaný a rozvíjející se výzkum. Kde leží počátek výzkumu? Čím výzkum začíná? ppro volbu optimálních postupů výzkumu je do značné míry určující počáteční uchopení zkoumaného problému, formulace cílů výzkumu, výzkumných otázek (popř. hypotéz) pVýzkum je metodicky strukturovaným pokračováním úvahy o problému a otázkách („jen“ a právě pokračováním takových úvah), má vést ke shromáždění relevantních informací pro jejich zodpovězení pPodstatná je tedy jak PREEMPIRICKÁ fáze výzkumu (shromažďování informací, uchopení tématu, formulace otázek), tak fáze EMPIRICKÁ (vlastní provedení výzkumu – stanovení formy výzkumu, sběr dat, analýza, odpověď na otázky, prezentace výsledků) pProjekt výzkumu by měl zahrnovat základní představu o obou fázích p p Fáze výzkumu (model dle Punch, 2008, s. 21) punch_1 Typy výzkumu podle funkce – popis a vysvětlení pTradiční rozlišení kvalitativních a kvantitativních výzkumů není jediné a zdaleka ne vždy funkční („smíšený výzkum“, funkce výzkumu není závislá jen na formě) pDůležité je, zda jde o popis (deskripci) jevu nebo jeho vysvětlení (explanaci) nNapř. výzkum s hypotézami má za cíl odpovědí přispět k vysvětlení; i v kvantitativním však může jít o prostý popis, evidenci (viz popisná úroveň statistiky) nKauzální vysvětlení (tj. určení vztahu příčin a následků) umožňuje jen málo typů výzkumného plánu (viz experimentální design, RCT) a postupů analýzy dat nI v rámci kvalitativních studií, kde jde o shromáždění nových nebo unikátních údajů, rozlišujeme různou míru jejich využití k vysvětlení problému n p Základní je, odpovídá-li výzkum na otázky CO? (např. všechno prožívá člověk v dané situaci – výčet, deskripce), JAK? Nebo PROČ? (např. jak určitá intervence ovlivňuje výkon; jaký je mechanismus působení, kauzalita); Další typy výzkumu podle funkce – verifikační/konfirmační a explorační/heuristický pHypotézy jsou spjaty s výzkumem, jehož cílem je ověřit dané předpoklady pExistují i případy, kdy nnení co ověřovat, neboť zkoumáme málo známou oblast, otázku; ncílem je zachytit kontext nějakého jevu; nJe cílem získat co možno kompletní autentickou výpověď; nje cílem dobrat se nových skutečností (nikoli vztahů mezi známými skutečnostmi) nTehdy hovoříme o výzkumu heuristickém nebo eploračním Výzkumné otázky a hypotézy ve výzkumu pKaždý výzkum předpokládá určitý záměr, otázky - ne vždy je však nejvhodnější forma hypotéz pvýzkum, jehož součástí mají být hypotézy, nse musí již na počátku vyrovnat s otázkou, jaká operace povede k posouzení platnosti hypotéz (zpravidla statistická operace s daty); půjde tedy o výzkum kvantitativní nmusí obsahovat předem stanovené předpoklady o vztazích mezi proměnnými, půjde tedy spíše o výzkum prestrukturovaný než rozvíjející se nse musí opírat o teorii, z níž lze předpoklady dedukovat (nebo alespoň o opodstatněné předpoklady), půjde tedy spíše o výzkum konfirmační než explorační (heuristický, induktivní – „mapující“...) pPunch (2008, s. 48) uvádí, že „existují dvě přímočaré otázky, které pomáhají při určení toho, zda v dané studii jsou hypotézy potřebné: nMohu pro každou specifickou otázku předem navrhnout predikci, co očekávám (před empirickým výzkumem, tedy předtím, než získám a analyzuji data)? nPokud ano, vychází základ predikce z nějaké množiny tvrzení, z nějaké „teorie“, z níž lze hypotézy odvodit a která hypotézy vysvětluje?“ (s. 48) Fáze výzkumu – místo a role hypotéz (model dle Punch, 2008, s. 49) punch_2 Typy výzkumu podle funkce – ověřování a tvorba teorie pVerifikace (ověřování) teorie může být jak kvantitativní (na základě hypotéz), tak kvalitativní (vyhledávání dalších, rozporných či kontrastních případů…); tradičně spíše kvantitativní pTvorba teorie – na základě shromažďování poznatků A nacházení souvislostí; tradičně spíše kvalitativní postupy pNejde však o záležitost formy výzkumu: nNapř. i postupy, které na tvorbu teorie explicitně aspirují, nabízejí jen „stavební jednotky“ pro popis (zakotvená teorie – grounded theory) nVysvětlení (explanace) představuje již teoretický úkol; teorie tradičně bývá chápana jako obecně platná, ale nemusí být – proto je prostor pro vysvětlování v kvalitativních studiích s limitovaným vzorkem Typy výzkumu podle formy: prestrukturovaný a rozvíjející se výzkum pPrestrukturovaný výzkum: nJe možné (a žádoucí) předem plánovat do detailů nUmožňuje např. přesné omezení množství zkoumaných jevů a stanovení hypotéz nSouvisí tedy spíše s verifikací (podle funkce) n pRozvíjející se výzkum: nPočítá s formulací dalších otázek (jak výzkumných, tak například během rozhovoru) nJe vhodný tam, kde si nejsme zcela jisti všemi relevantními okolnostmi, nebo kde unikátní okolnosti případu jsou vlastním předmětem výzkumu nSouvisí tedy spíše s konceptuálním popisem nebo s tvorbou teorie (podle funkce) n p Co pomůže při rozhodování o podobě výzkumu? pKritéria dané instituce nNevýhodou je, že se jedná o ukazatel nezřídka proměnlivý a omezeně opodstatněný pPovědomí o cílech výzkumu a nárocích, které bude klást, o možnostech nznalost vlastních možností i limitů pZnalost kroků pří výzkumu npomoci mohou např. uvedená schémata přípravy projektu v preempirické a empirické fázi, jinou možnost představuje přiložené schéma „Ideový a technický plán výzkumu“, podobně jako sledování struktur IMRAD (Introduction – Methods – Results – and – Discussion) –viz samostatné odkazy pDobré navázání na předchozí „intuitivní znalost“, představu o tématu a výzkumu nnení na škodu pohlížet na výzkumu jako na formu dialogu (začíná otázkami, ústí do diskuse – „finis coronat opus“) – pečlivé pročtení položek dotazníku napomůže realistické představě o jeho možnostech; přehrání rozhovoru „nanečisto“ podpoří formulaci relevantních otázek Výzkum (1) je sdělení, které se (2) řídí určitými pravidly: struktura IMRAD pmá jít o autorské sdělování podložených fakt o tématu, proto je třeba publikum seznámit: nse stavem poznatků a otázkou, kterou výzkum řeší – jako výzkumníci víme o tématu časem zpravidla více, než běžný smrtelník; proč je téma závažné, zajímavé, důležité? Co se o něm již ví? Existují nějaké rozpory nebo mezery v dosavadních poznatcích, na které se zaměříme? ns metodami, o které se výzkum opírá – m. shromažďování dat (forma – dotazník, rozhovor…, obsah – na co se ptáme, co sledujeme), m. výběru výzkumného vzorku, m. zpracování dat; zjistíme to, na co se ptáme, tak dobře, jak dobře se ptáme - povaha výsledků závisí na metodě!!! ns výsledky – tak, aby měl příjemce přehled o tom, co jsme zjistili (pozor – není to totéž jako co si myslíme, že jsme zjistili nebo co si myslíme o tom, co jsme zjistili; zde informujeme „objektivně“, dbáme na srozumitelnost ns odpovědí na naše výchozí otázky, s diskusí – co mohou naše výsledky znamenat? Jak je lze interpretovat – co znamenají? Co našim výsledkům chybí, co bychom dělali podruhé jinak? V čem se shodují s výsledky jiných podobných studií, případně čím se odlišují? Jak si to vysvětlujeme… n pTěmto cílům dobře vyhovuje struktura Úvod (Introduction) – metody (Methods) – výsledky (Results) a diskuse (Discussion) (podrobněji viz L. Maczkó, 2001) Tématický okruh II: Jak můžeme získat data? p qZdroje dat qDokumentace, dotazník, rozhovor, focus group, text, artefakty (produkty, výtvory) qVýzkumná populace a výzkumný vzorek qVýběr – postupy vytvářená výzkumného vzorku qMetody shromažďování dat qStandardizované a nestandardizované postupy qNároky a možnosti standardizovaných metod, validita a reliabilita nástroje a dat Typy norem, možnosti využití nástroje qKladení otázek v dotazníku a v rozhovoru, vytváření proměnných z dat p p Co vše můžeme považovat za data? p pU dat můžeme spíše než u výzkumu jako celku definovat, zda jsou svojí povahou spíše kvantitativní nebo kvalitativní p pPatrně nejčastěji jsou v kvalifikačních pracích využívána data z vlastního výzkumu, získaná prostřednictvím dotazníku nebo rozhovoru pPřestože na jednotlivých pracovištích a v jednotlivých oborech se zpravidla „ustavuje“ několik nejvíce obvyklých forem výzkumu, daných i povahou dat, oblast zdrojů informací potenciálně užitečných na pomezí společenských a zdravotnických disciplín je nečekaně široká p pK dalším zdrojům může patřit např.: pexistující dokumentace (např. lékařská, dokumenty státní správy, soukromá); pvyžádaná nebo spontánní tvorba (např. obrázky); p„kulturní artefakty“ - umělecká tvorba (knihy, filmy...), pužitkové zařízení (uspořádání pracoviště, vybavení domácnosti, technické zázemí...), dokonce i odpad...; pvýkonové ukazatele (výsledky didaktických testů), pzáznamy pozorování apod.; pexistující datové soubory nabízené k analýze… p p Data kvantitativní a kvalitativní povahy pKvantitativní data pocházejí ze statistik o evidenci určitých jevů (např. úrazovost), z kvantifikovatelných výpovědí v dotaznících (např. ohledně míry zastávání určitého názoru, míry obvyklosti nějakého prožitku...), popř. představují výsledky testů (např. inteligenčních, didaktických), ale i výsledky kódování původně kvalitativních údajů (výpovědí, záznamů pozorování...) nZpravidla jsou to indikátory jevů, o kterých studie pojednává, nikoli jevy samotné (podstatné je vyřešit si otázku vztahu dat a teorie - „vědět, co mohu čekat“) nMetody k získávání dat kvantitativní povahy mohou a nemusejí být standardizované – tj. Se zajištěnou validitou a reliabilitou nástroje, s normami pro určitou populaci, s možností přepočtu hrubých výsledků na vážené skóry apod. nZpůsob práce s kvantitativními daty závisí na celkové koncepci výzkumu (heuristický – může stačit i popisná úroveň; konfirmační – hypotézy by měly být ověřeny adekvátními postupy) nJe užitečné (a mnohdy nezbytné) umět stanovit, jaká je úroveň měření pro daný typ dat – nominální (i alternativní), ordinální, intervalová a poměrová n Data kvantitativní a kvalitativní povahy pKvalitativní data pocházejí nejčastěji z rozhovorů, mohou však zastupovat cokoli, co představuje „text“ v užším (příběh, článek, deník, povídka…) i širším smyslu slova (film, obraz, budova... vše, co může „nést význam“) nMohou rovněž sloužit jako indikátory jevů (např. výpověď o aktuálních potížích jako indikátor důsledku nějaké životní situace, rozporuplné výpovědi jako indikátor zastírání něčeho nebo latentního konfliktu...) - vyžadují tedy rovněž analýzu a interpretaci nMetody k získávání dat kvalitativní povahy zpravidla standardizované nebývají, mohou ale sledovat určité principy standardizace - např. Vedení rozhovorů v co nejpodobnější atmosféře, využití vyhodnocovacích a interpretačních schémat atd.; nnamísto kritéria reliability jako opakovatelnosti nastupuje kritérium komplexnosti a informační saturace; validita jako statistická spolehlivost je vystřídána „validitou“ ve smyslu důvěryhodnosti (koherence, smysluplnost, sdělnost, dialogičnost) nData kvalitativní povahy nejsou sama o sobě určující pro typ výzkumu, vylučují ale statistické testování hypotéz a činí tak zbytečnou jejich formulaci (nikoli však formulaci výzkumných otázek) nJe užitečné uvědomit si, že na výzkum s kvalitativními daty nelze vztahovat stejné požadavky jako na výzkum na datech kvantitativních – hypotézy nezodpoví, výsledek by neměl aspirovat na reprezentativnost, ale na úplnost a sdělnost n Data kvantitativní a kvalitativní povahy – možné kombinace pČasto je vhodné kombinovat užití obou typů dat – například: p pVyužít rozhovory pro shromažďování informací a na jejich základě formulovat položky dotazníku pNaopak vybrat typické (popř. extrémní) respondenty na základě výsledků dotazníkového šetření a provést s nimi rozhovory pUrčitou část otázek distribuovat jako anonymní dotazník (pro určení parametrů vzorku), další výpovědi získávat v rámci rozhovorů p nMůže tedy dojít i k tomu, že jedna studie bude pracovat s dvojí metodou výběru v návaznosti na volbu metodik získávání kvalitativních a kvantitativních dat Populace, vzorek, výběr pPopulace je množinou všech subjektů, které jsou potenciálně předmětem zájmu (splňují kritéria inkluze a exkluze) pVzorek je ta část populace, se kterou studie přímo pracuje – oslovení, respondenti, zkoumané osoby… pVýběr je postup, kterým z populace utváříme výzkumný vzorek p p nPoznámka k diskusi: -poněkud nadužívaným kritériem je náhodnost výběru. Náhodný výběr má zaručit, že každý člen populace má stejnou pravděpodobnost, že se stane i součástí vzorku – jedině tak lze docílit, aby byl vzorek reprezentativní; ve velkých, zpravidla kvantitativních studiích, které aspirují na reprezentativnost vzorku vzhledem k populaci, je náhodnost důležitá; o reprezentativnosti dále rozhoduje velikost vzorku (viz např. Disman, 1997, s. 99) -Náhodnost zajišťují speciální postupy (tabulka náhodných čísel, losování, určení kroku…) – nelze ji tedy zaměňovat s nahodilostí -V kvalitativních studiích je analogickýcm kritériem teoretická saturace vzorku: vzorek je dostatečný tehdy, nevede-li jeho další zvětšení k nárustu objemu získaných informací Základní typy výběru pPravděpodobnostní (náhodnostní – probabilistic) postupy: pProstý náhodný výběr pStratifikovaný náhodný výběr pKvótní náhodný výběr pNepravděpoidobnostní (non-probabilistic) postupy: pTotální výběr pVýběr metodou sněhové koule (snowball sampling) pSamovýběr pPříležitostný výběr pZáměrný (účelový) výběr: pProstý záměrný výběr pStratifikovaný záměrný výběr pKvótní záměrný výběr (dle Miovský, 2006, s. 130) p pPoznámka k diskusi: na výsledné podobě vzorku se rostoucí měrou podílí ochota respondentů účastnit se – je proto potřeba počítat s tím, že může být podoba vzorku ve skutečnosti samovýběrem experimentální úmrtnost, ochota spolupracovat; výsledek pak odpovídá spíše anketě (např. rozložení názorů typu „J“ – menší kumulace extrémně kladných, minimum neutrálních, největší kumulace výrazně negativních) Další typy a principy výběru pMaximální variabilita (dokumentuje co nejvíce různých konfigurací) pHomogenita (napomáhá redukovat – zaostřit na určitý problém, téma; vhodné ve skupinových diskusích) pKritický případ (umožňuje zobecnění, aplikaci na jiné případy podobného typu) pPotvrzení a vyvrácení případem (vyhledávání výjimek vůči předpokladům) pSněhová koule, řetěz (identifikace dalších zajímavých osob na základě relevantních informací od „insiderů“) pExtrémní nebo deviantní případy (vysoce neobvyklé případy v rámci daného jevu) pTypický případ (osvětluje, co je běžné, „normální“, průměrné) pIntenzita (využití případů, které nejsou sice extrémní, ale jsou výjimečně informačně bohaté) pPoliticky důležité případy (případy pozornost přitahující nebo jí unikající) p… pOportunistický (využívá výhody nečekaného, sleduje nové trendy, možnosti) pNa základě výhodnosti, pohodlnosti (šetří náklady, ale může to být na úkor kvality, spolehlivosti) (dle Punch, 2008, s. 80) p Výběr – doplňující poznámky pZnáhodňovací postupy se neuplatňují jen při tvorbě vzorku, ale i při přiřazení do skupin pro srovnávání pPři srovnávání skupin nachází místo i párování (vyrovnávání v maximu potenciálně intervenujících charakteristikách) nebo princip kontrastu – víme, že skupiny se v něčem podstatném liší (a víme, v čem) pVyužívání internetových sběrů probíhá obvykle na bázi dobrovolnosti (e-mail) nebo motivace blízkým vztahem (facebook) – mívá tedy zpravidla povahu samovýběru nebo systematicky zatížené „sněhové koule“ – to nemusí být na škodu, ale je potřeba tento fakt adekvátně reflektovat p pPoznámka k diskusi: „Vzorek není tak dobrý, jek je velký nebo reprezentativní, ale jak umožní naplnit cíl výzkumu.“ p Typy studií s kvantitativními daty pExperimentální studie s kontrolní skupinou (RCT – randomized controled trial) - „ideál vědeckosti“ pKvaziexperiment pKorelační studie pHeuristické postupy – faktorová analýza, klastrová analýza… Typy studií s kvalitativními daty pPřípadová studie p Jednoduchá p Skupinová p Organizace, instituce pAnalýza dokumentů pTerénní výzkum p Akční výzkum pKvalitativní experiment („přirozený experiment“) pKvalitativní evaluace p Procesu p Výsledků p Literatura pPunch, K.(2008, 2015). Úspěšný návrh výzkumu. Praha: Portál nPunch, K. (2000). Developing effective research proposals. Sage. nPunch, K. F., & Oancea, A. (2014). Introduction to research methods in education. Sage. p pDalší rozšiřující materiály: nČlánek Day, R.A. (1989). The origins of the scientific paper: The IMRAD format. American Medical Writers Association Journal 4, 2, s. 16–18. p Děkuji za pozornost