Design výzkumu (DSP DCJ, PdF MU, Metodologie PS 2013) Kateřina Vlčková (bez jazykové a terminologické korektury!) Abychom rozuměli výzkumu potřebujeme znát: * postup výzkumu: 6 kroků ve výzkumu (stanovení výzkumného problému, rešerše literatury, specifikování cílů výzkumu, sběr dat, analýza a interpretace dat, prezentace a evaluace výzkumu), * výzkumné přístupy (kvalitativní a kvantitativní), * výzkumné designy (8 základních typů – 3 kvantitativní, 3 kvalitativní a 2 kombinované) – viz tab. * KV: metody sběru dat (př. participační pozorování, test), * KV: metody analýzy dat (př. otevřené kódování, IRT, strukturální modelování). Výzkumný design * „specifické postupy, které jsou zahrnuty (KV: především) ve 3 posledních krocích výzkumného postupu, tj. sběr dat, analýza dat a reportování z výzkumu v QN i QL výzkumu“ (Creswell, 2005, s. 597). * Výzkumný design se liší pro QN, QL a kombinovaný výzkum. Typy výzkumného problému a odpovídající designy výzkumu typ výzkumného problému (je třeba zjistit, zda ...) typ designu, který je vhodný pro výzkum určitého typu výzkumného problému QN 1 zjistit, zda má intervence vliv na výsledky (1 skupiny oproti druhé) experimentální design experimental design 2 zjistit, jaké proměnné jsou korelované s dalšími proměnnými (u 1 skupiny jedinců) korelační design correlation design 3 popsat trendy v populaci design výběrových (dotazníkových) šetření survey design QL 4 popsat sdílenou kulturu sociální skupiny etnografický design etnography design 5 zkoumat běžné zkušenosti jedinců s cílem vytvořit teorii design zakotvené teorie Grounded theory design (GTM) 6 zkoumat příběhy jednotlivců s cílem popsat (životní) příběhy lidí narativní výzkum narrative research Kombinovaný 7 umožnit lepší porozumění jevu díky kombinaci QL a QN než by poskytl jen 1 přístup smíšený design mixed methods design (MMD) 8 zlepšit, vyřešit praktické, místní problémy na škole, ve třídě v daném prostředí (kombinuje QN a QL, používán učitelem nebo někým z toho prostředí) design akčního výzkumu Action research design (upraveno dle Creswell, Clark: Mixed Methods Research, Sage, 2007 a Creswell, 2005 – kombinovaný design) Otázky: * Znáte další designy? Jedná se designy nebo metody? Je nebo není videostudie design? * Jaký je rozdíl mezi technikou, metodou, přístupem? Je „Q-metodologie“ technika, metoda, design, přístup, paradigma? * Co je evaluační výzkum, historický výzkum, případová studie atd.? * Je „výzkumný plán“ totéž co výzkumný design? Designy výzkumu dle Galla et al. (2006) Kvantitativní výzkumný design * Neexperimentální: deskriptviní a kauzálně-komparativní * Neeperiementální: korelační design * Experimetnální design Přístupy kvalitativního výzkumu: * Případová studie * QL výzkumná tradice * Historický výzkum Aplikace výzkumu: * Evaluační výzkum * Akční výzkum Gall, M. D., Borg, W. R., Gall, J. P. (1996): Educational research. London: Longman. Designy kvantitativního výzkumu (Creswell 2005) Experimentální design · Nazýván také „intervention studies“, „group comparison studies“ · Testuje, jestli určité pedagogické působení (činnost, učební materiál) má vliv na jedince, způsobuje rozdíly ve výsledcích jedince · Což se hodnotí tak, že dáme sadu úkolů, činností 1 skupině (intervence) a nerealizujeme je u druhé skupiny Korelační design · Někdy není možné rozdělit jedince do skupin nebo realizovat intervenci + spíše chceme zjistit vztah jedné nebo více proměnných, než zjišťovat vliv činnosti nebo materiálů · Měří míru asociace nebo vztahu mezi dvěma a více proměnnými za pomocí statistických technik korelační analýzy · Měřena je skupina jedinců, spíše než dvě nebo více skupin (viz experiment) Design výběrových šetření · Survey design, statistická šetření, observační studie = sledování bez záměrného ovlivňování · Snažíme se popsat trendy u široké populace jedinců · Administrován je dotazník nebo survey (průzkum, výběrové šetření) malé skupině lidí (vzorek) s cílem identifikovat trendy v postojích, názorech, chování nebo charakteristikách široké skupiny lidí (populace) Experimentální design · Náhodné přiřazení do skupin (randomizace – tabulky náhodných čísel, stat. software), náhodný výběr, ekvivalence skupin, vyrovnání účastníků/skupin (matching) · Kontrola vnějších proměnných (pretest, posttest, kovariáty – proměnné kt. statistikou kontrolujeme, homogenní vzorky, blokovaná proměnná) · Manipulace s podmínkami intervence (intervenující proměnná/é) · Měření výsledků: závisle (výkon žáka) a nezávisle proměnná (věk, pohlaví/gender, typ výuky) · Srovnání skupin · Rizika pro validitu o vnitřní validitu (problém příčina/následek): historie, zrání, regrese (extrémní hodnoty se ke konci měření dostanou k průměru, př. kuřák), výběr (vybráni ti ochotnější pro výzkum do exper. sk. apod.), interakce s výběrem (výše zmíněné efekty mohou mít vztah k výběru, mají vliv na skóre v testu, skupiny silných slabých kuřáků interpretují škálu o frekvenci kouření jinak atd.), nebezpečí sociální interakce: difuze nebo imitace intervence (kontrolní a exper. sk. komunikují), kompenzační rivalita, demoralizace z rozhořčení (u kontrolní sk., že nedostávají intervenci), kompenzační vyrovnání intervence (jedna skupina intervence, druhá např. materiály – tak aby každý měl užitek z výzkumu); o vnější validita: interakce výběru a intervence, interakce podmínek a intervence, historie a intervence · Typy experimentálního designu: o Design se dvěma skupinami: a) pravý experiment (pretest a postest, jen posttest), b) kvazi-experiment (pretest a postest, jen posttest), faktorový design – více než 1 faktor o Design s 1 skupinou, individuální design: a) time-series experiment (přerušovaný, ekvivalentní), b) opakovaná měření, c) single-subject experiment Výběrová šetření · Poskytuje pouze informaci o závislosti mezi ovlivňující (explanační) proměnnou a odpovědí (cílovou proměnnou), doklady o kauzálním vztahu velmi slabé · 5 kritérií příčinnosti – asociace mezi proměnnými je velmi silná, konzistentní, větší dávka má větší účinek, příčina předchízí účinek, příčina je teoreticky vysvětlitelná · Sběr malého množství dat ve standardizované podobě · Od malého výběru známé populace: dostupný výběr, záměrný, kvótní, náhodný – každý prvek má stejnou šanci být vybrán (a) prostý náhodný, b) náhrady: stratifikovaný náhodný, vícestupňový shlukový výběr – př. veřejné mínění, náhodnost na více úrovních výběru; systematický výběr – součet celkem, náhodně např. 1 z 50.) · Typy výběrového šetření: o Jednorázové průřezové šetření: výběr cílové populace o Panelové šetření: opakované, na stejném souboru osob o Opakované průřezové šetření: pokaždé nový soubor osob o Kontrolovaná prospektivní studie: delší dobu se sleduje více skupin jedinců, na začátku a na konci se zjišťují hodnoty explanačních proměnných (př. kuřáci, nekuřáci) o Kontrolovaná retrospektivní studie: zjišťuje se hodnota cílové proměnné, zkoumá se historie jedinců s cílem odhalit relevantní vysvětlující proměnné, pracuje se s paralelní skupinou, u niž nebyla zjištěna hodnota cílové proměnné (poslední dvě někdy nazývány kohortové longitudinální studie – pracuje se s kohortou – skupinou lidí, kteří mají podobné zkušenosti ve stejném čase) · Sběr dat pomocí dotazníků (tužka-papír, elektronický, on-line), interview (1na 1, focus group, telefonické), doprovodné dopisy · Konstrukce otázek, typy otázek; konstrukce dotazníku; tvorba dotazovacího schématu (interview), nácvik dotazujících se · Pilotáž; návratnost, chybějící data; response bias · Analýza dat dotazníků: průměr, SD, CFA/EFA, reliabilita, velikost účinku Korelační šetření · Zobrazení skórů – bodový diagram (scatterplot) a korelační matice, korelace – lineární vztah, nelineární, síla vztahu; parciální korelace, vícenásobná regrese aj. Creswell, J. W. (2005). Educational Research. Planning, conducting, and Evaluating Quantitative and Qualitative Research. Upper Sadler River: Pearson. Hendl, J. (2004). Přehled statistických metod zpracování dat. Praha: Portál