Kritéria kvality metod a výzkumného šetření Kateřina Vlčková Přednášky k Základům pedagogické metodologie PdF MU Brno Kritéria kvality metod a výzkumného šetření * Objektivita -- objektivita v provedení, vyhodnocování, interpretaci * Validita = platnost, pravdivost -- obsahová, konstruktová, kriteriální, souběžná, predikční; interní, externí * Reliabilita = spolehlivost, přesnost * Normování, standardizace * Pomocná kritéria -- ekonomičnost, -- užitečnost -- srovnatelnost -- akceptace výzkumné techniky Validita * = platnost a pravdivost * = schopnost výzkumného nástroje zjišťovat to, co zjišťovat má * Měříme to, o čem si myslíme, že měříme? * lze mluvit o různém stupni validity výzkumného nástroje Typy validity * Obsahová * Konstruktová * Kriteriální * Souběžná * Predikční * Vnější * Vnitřní Obsahová validita * Stanovuje, do jaké míry je obsah výzkumného nástroje v souladu s obsahem zjišťované oblasti * Stanovuje se posudkem expertů (škály) * učitel dá test posoudit kolegovi Př. Test -- vědomostí z anatomie -- Jsou v něm všechny důležité prvky učiva, které učitel probral? -- Jsou tyto prvky zastoupeny v testu proporcionálně? * Položky testu s nízkou validitou se přepracují Konstruktová validita * Konstrukt = abstraktní pojem * vědomost, dovednost, schopnost, strategie, inteligence, ... * Zjišťuje výzkumný nástroj konstrukt, který chceme zjišťovat? 2 způsoby zjišťování: * Výsledky jednoho nástroje se srovnají s jinými nástroji, o kt. je známo, že má vysokou validitu * Názor expertů Kriteriální validita * Míra shody mezi výsledky výzkumného nástroje a jiného hodnocení, měření udělaného podle známého a ověřeného kritéria * Souběžná validita -- Srovnání výsledků s určitým kritériem (př. jiným výzkumným nástrojem) -- Př. Výsledek testu tvořivosti se srovná s výtvory daných osob -- Míra shody se vyjadřuje pomocí korelačního koeficientu * Predikční validita -- Srovnání se uskutečňuje s časovým odstupem -- Př. výsledky testu studijních předpokladů se srovnají s výsledky studia na univerzitě Vnější validita * Reprezentativnost výzkumu * Zobecnitelnost výsledků (na jakou populaci) * Vnější validita je průkazná -- výsledky výzkumu mají predikční hodnotu pro další výzkumy i pro realitu * Př. Test, který by predikoval uplatnění absolventů PdF v praxi a výsledky testu by korelovaly s reálným uplatněním absolventů Vnitřní validita * Výzkumný nástroj umožňuje jednoznačnou interpretaci výsledků * Co negativně ovlivňuje vnitřní validitu? * Specifické události mezi měřeními -- Výměna učitele, změna vzdělávacího programu * Plynutí času -- K pozitivnímu zlepšení výuky může dojít pouhým plynutím času * Předchozí zkušennosti zkoumaných osob s podobným výzkumem * Nenáhodný výběr vzorku * Atd. Reliabilita = míra přesnosti a spolehlivosti výzkumného nástroje * Sluneční hodiny mají nižší reliabilitu než mechanické, jejich přesnost kolísá v závislosti na ročním období * Elektronické hodiny mají vyšší reliabilitu než mechanické (opotřebování atd.) * Dobré výzkumné výsledky nelze získat s nereliabilními výzkumnými nástroji Způsoby stanovení reliability * Opakování měření * Reliabilita je tím vyšší, čím menší jsou odchylky mezi opakovanými měřeními * Př. Test -- zda do výsledků nevstoupilo nic jiného, co by žákovy výsledky ovlivnilo * Ekvivalentní formy výzkumného nástroje u téže skupiny osob * Zjistit vnitřní konzistenci nástroje * půlení -- zjistit shodu ve výsledcích obou polovin * Shoda mezi posuzovateli * Oba použijí tentýž nástroj, pokud jsou jejich výsledky shodné, reliabilita je pravděpodobně dostatečná