1 Kritéria kvality metod a výzkumného šetření Kateřina Vlčková Přednášky k Základům pedagogické metodologie PdF MU Brno 2 Kritéria kvality metod a výzkumného šetření •Objektivita –objektivita v provedení, vyhodnocování, interpretaci •Validita = platnost, pravdivost –obsahová, konstruktová, kriteriální, souběžná, predikční; interní, externí •Reliabilita = spolehlivost, přesnost •Normování, standardizace •Pomocná kritéria –ekonomičnost, –užitečnost –srovnatelnost –akceptace výzkumné techniky 3 Validita •= platnost a pravdivost •= schopnost výzkumného nástroje zjišťovat to, co zjišťovat má • •Měříme to, o čem si myslíme, že měříme? • •Lze mluvit o různém stupni validity výzkumného nástroje. 4 Typy validity •Obsahová • •Konstruktová • •Kriteriální •Souběžná •Predikční • • •Vnější • •Vnitřní • 5 Obsahová validita •Stanovuje, do jaké míry je obsah výzkumného nástroje v souladu s obsahem zjišťované oblasti • •Stanovuje se posudkem expertů (škály) •učitel dá test posoudit kolegovi • •Př. Test – vědomostí z anatomie –Jsou v něm všechny důležité prvky učiva, které učitel probral? –Jsou tyto prvky zastoupeny v testu proporcionálně? • •Položky testu s nízkou validitou se přepracují 6 Konstruktová validita •Konstrukt = abstraktní pojem •vědomost, dovednost, schopnost, strategie, inteligence, … • •Zjišťuje výzkumný nástroj konstrukt, který chceme zjišťovat? • •2 způsoby zjišťování: a)Výsledky jednoho nástroje se srovnají s jinými nástroji, o kt. je známo, že má vysokou validitu b)Názor expertů c) 7 Kriteriální validita •Míra shody mezi výsledky výzkumného nástroje a jiného hodnocení, měření udělaného podle známého a ověřeného kritéria • •Souběžná validita –Srovnání výsledků s určitým kritériem (př. jiným výzkumným nástrojem) –Př. Výsledek testu tvořivosti se srovná s výtvory daných osob –Míra shody se vyjadřuje pomocí korelačního koeficientu – •Predikční validita –Srovnání se uskutečňuje s časovým odstupem –Př. výsledky testu studijních předpokladů se srovnají s výsledky studia na univerzitě • 8 Vnější validita •Reprezentativnost výzkumu •Zobecnitelnost výsledků (na jakou populaci) • •Vnější validita je průkazná – výsledky výzkumu mají predikční hodnotu pro další výzkumy i pro realitu • •Př. test, který by predikoval uplatnění absolventů PdF v praxi a výsledky testu by korelovaly s reálným uplatněním absolventů 9 Vnitřní validita •Výzkumný nástroj umožňuje jednoznačnou interpretaci výsledků • •Co negativně ovlivňuje vnitřní validitu? •Specifické události mezi měřeními –Výměna učitele, změna vzdělávacího programu •Plynutí času –K pozitivnímu zlepšení výuky může dojít pouhým plynutím času •Předchozí zkušenosti zkoumaných osob s podobným výzkumem •Nenáhodný výběr vzorku •Atd. 10 Reliabilita •= míra přesnosti a spolehlivosti výzkumného nástroje •Sluneční hodiny mají nižší reliabilitu než mechanické, jejich přesnost kolísá v závislosti na ročním období •Elektronické hodiny mají vyšší reliabilitu než mechanické (opotřebování atd.) • •Dobré výzkumné výsledky nelze získat s nereliabilními výzkumnými nástroji. 11 Způsoby stanovení reliability •Opakování měření •Reliabilita je tím vyšší, čím menší jsou odchylky mezi opakovanými měřeními •Př. test – zda do výsledků nevstoupilo nic jiného, co by žákovy výsledky ovlivnilo •Ekvivalentní formy výzkumného nástroje u téže skupiny osob •Zjistit vnitřní konzistenci nástroje •půlení – zjistit shodu ve výsledcích obou polovin •Shoda mezi posuzovateli •Oba použijí tentýž nástroj, pokud jsou jejich výsledky shodné, reliabilita je pravděpodobně dostatečná •