Zpracování a interpretace dat v empirickém kvantitativním výzkumu 1 Kateřina Vlčková Institut výzkumu školního vzdělávání Pedagogická fakulta Masarykovy univerzity Zpracování dat jako jedna z fází výzkumu • Následuje nejčastěji po všech přípravných fázích – formulace problému, – studium literatury, – formulování hypotéz, – vymezení základních pojmů, 2 – vymezení základních pojmů, – tvorba výzkumného nástroje, – volba výzkumného vzorku, – ověřování konstrukce a vlastností výzkumného nástroje aj. v předvýzkumu, – sběr dat. • Následuje fáze zpracování dat - odlišná fáze, dosti mechanická Rozdíl zpracování dat v kvalitativním a kvantitativním výzkumu • O tom, jak bude vypadat zpracování dat rozhoduje to, zda jsme dělali kvalitativní či kvantitativní výzkum: • u kvalitativního – budeme získaná data třídit, kategorizovat, 3 – budeme získaná data třídit, kategorizovat, – kvalitativní analýza (typické, reprezentativní příklady X atypické), – interpretovat, vysvětlovat, • u kvantitativního výzkumu – bylo o způsobu zpracování dat bylo už rozhodnuto předem, než se začala sbírat data!!!, – způsob zpracování byl také ozkoušen v předvýzkumu. • u smíšeného designu – kombinace obojího. Kvalitně a adekvátně statistice sbíraná data Problémy • Jednoznačné přiřazení do kategorií. • Dostatečně naplněné kategorie. • Dostatečný počet respondentů. 4 • Dostatečný počet respondentů. • Otevřené položky a jejich kategorizace. • Moc dlouhé otázky a náročné nebo nesmyslné. • Nečitelné odpovědi. • Zavádějící odpovědi respondentů. • Plán kódování dat. Předzpracování dat • Nejprve se data předzpracovávají – připravují pro zpracování, – zvažují se možné kategorizace dat, – zadávají se proměnné a jejich hodnoty do hlavičky databáze, 5 databáze, – pak se zadávají data převedená většinou do čísel. • vše už rovnou psát do počítače – do (nejlépe) statistického programu nebo alespoň do Excelu, – z něj se to dá převést do SPSS, Statistica aj. 6 databáze Databáze • databáze je uspořádaný soubor dat • uzavřený soubor dat • u longitudinálního výzkumu – otevřený • utřídění dat do databáze lépe umožňuje 7 • utřídění dat do databáze lépe umožňuje výsledky statisticky zpracovat • databázi zkontrolovat • bude tam dost chyb • např. vytisknout Typy proměnných 8 Typy proměnných • je důležité znát, o jaký typ proměnné se jedná, • zda je kategoriální či měřitelná, 9 • zda je kategoriální či měřitelná, • ve statistických programech se to zadává, • ovlivňuje to naše možnosti jaké stat. metody můžeme použít Nominální proměnné • Nejméně „kvalitní“, počítají se jen četnosti, • nejjednodušší forma přiřazení čísla charakteristikám proměnných – => přinese nejméně informací, • je to jen kategorizace – jednoduchá třídění do vzájemně se vylučujících kategorií • př. typ školy, pohlaví, vzdělání, druh motivace, 10 • př. typ školy, pohlaví, vzdělání, druh motivace, • číselné označení kategorií muž 2, žena 1 • neznamená určitou měřitelnou hodnotu, • napomáhá pouze klasifikaci dat, • místo 1, 2 jsi lze dát do databáze Ž,M • v dosti omezené míře lze statisticky zpracovávat – lze spočítat absolutní četnosti a relativní četnosti (% zastoupení jednotl. kategorií v celku) – nelze počítat průměry, SD, korelace – lze použít analýzy rozptylu, výpočtů chí-kvadrátu Ukázka zpracování nominálních dat Poměr dívek a hochů ve výzkumu hoši 34% Koláčový graf pro vyjádření poměru 11 dívky 66% Frekvenční tabulka rozložení pohlaví pohlaví absolutní četnosti kumulativní četnosti relativní četnosti (%) dívky 150 150 65,5 hoši 79 229 34,5 celkem 229 229 100,0 Ordinální proměnné • pořadí prvků je známo (př. pořadí v běhu) • nevím ale nic o rozdílech v jednotlivcích • nelze sčítat, odčítat, lze jen porovnávat rozdíl, co je víc a co míň • v pedagogice často nelze určit přesné hodnoty – píle žáků, snaha, míra spolupráce • => jen se relativním způsobem posoudí daná hodnota ve srovnání s jejich výskytem u jiných jedinců • => nejde o měření absolutních hodnot 12 • př. snahu 1 žáka srovnáme se snahou dalších, • dostaneme škálu od min. po max. a seřadíme žáky do pořadí, • známe jejich pořadovou hodnotu, • intervaly mohou být různé, ale to pořadové měření nezjistí • př. známky, výkon sportovců • více možností pro stat. zprac. dat – Me, směrodat. odchylka, kvartil – můžeme zjišťovat těsnost vztahů mezi růz, proměnnými • používá se postupů adaptovaných pro tuto úroveň měření – Spearmanův pořadový korelační koeficient Intervalové proměnné • lze sčítat i odčítat, víme, zda je to vetší či menší a o kolik, známe rozdíly mezi sousedními body + jsou konstantní • př. teplota na Celsiově stupnici – má 0 (ale jen dohodnutou – teplota 0°C neznamená, že není teplota – 0 bodů v testu neznamená, že nemá žádné vědomosti, jen to, že 13 – 0 bodů v testu neznamená, že nemá žádné vědomosti, jen to, že nestačily na ten test • nesmí se dělit (př. byl 2x lepší), násobit • lze počítat průměry, směrod. odchylky, parametrické testy rozdílů, Pearsonův korelační koeficient, regrese atd., pak i faktorová analýza ad. Ukázka prezentace výsledků intervalových dat Deskriptivní tabulka strategií průměr Me Mo četnost modu min. max. dolní kvartil horní kvartil percentil 10 percentil 90 rozptyl std. odchylka std. chyba 2,82 2,86 3,07 10 1,49 4,14 2,53 3,09 2,26 3,37 0,19 0,44 0,03 14 2,82 2,86 3,07 10 1,49 4,14 2,53 3,09 2,26 3,37 0,19 0,44 0,03 Korelační matice věku a používání nepřímých strategií učení nepřímé strategie metakognitivní afektivní sociální Pearsonův korelační koeficient 0,108 0,110 0,085 0,063 hladina významnosti p = 0,105 p = 0,097 p = 0,200 p = 0,341 Poměrové proměnné • číslo, které jev zastupuje se mu blíží tak dokonale, že vyjadřuje míru vlastnosti, kt. Měří • poměr intevalů mezi 2 sousedními body škály je stejný jako mezi dalšími 15 • lze násobit i dělit • u ped. jevů téměř nikdy • (max. jen měření výšky, váhy) • má to reálnou nulu, byť by v praxi byla nedosažitelná • (el. odpor, teplota) • geometrický průměr, variační koeficient atd. - všechny stat. m. pro intervalové měření Pozor • Známky ve škole jsou v podstatě nominální – max. ordinální – mezi stupni není stejná vzdálenost 16 vzdálenost – (NE intervalové) Volba statistického testu • Závisí na hypotéze • Na úrovni měření • Na rozložení dat • Na dalších požadavcích daných• Na dalších požadavcích daných statistických technik 17 Volba statistického testu 1 … nominální s více než 2 kategoriemi 2 … nominální se 2 kategoriemi 3 … ordinální 4 … intervalová a ne-normálně rozložená 5 … intervalová a normálně rozložená 18 1 s 1 Kontingenční tabulka s testem chí-kvadrát 1 s 2 Kontingenční tabulka s testem chí-kvadrát 1 s 3 Kontingenční tabulka s testem chí-kvadrát H-test podle Kruskala a Wallise 1 s 4 H-test podle Kruskala a Wallise 1 s 5 Jednofaktorová analýza rozptylu Volba statistického testu 1 … nominální s více než 2 kategoriemi 2 … nominální se 2 kategoriemi 3 … ordinální 4 … intervalová a ne-normálně rozložená 5 … intervalová a normálně rozložená 2 s 2 Kontingenční tabulka s testem chí-kvadrát (Kreuztabelle mit chi-kvadrat-Vielfeldertest) Přesný test podle Fischera a Yatese 19 Korelace (Vielfelderkorelation) Chí-kvadrát-test podle McNemara* 2 s 3 Kontingenční tabulka s testem chí-kvadrát U-test podle Manna a Whitneyho Pořadová korelace podle Spearmana Pořadová korelace podle Kendalla 2 s 4 U-test podle Manna a Whitneyho Pořadová korelace podle Spearmana Pořadová korelace podle Kendalla 2 s 5 t-test podle Studenta bodová biseriální korelace Volba statistického testu 1 … nominální s více než 2 kategoriemi 2 … nominální se 2 kategoriemi 3 … ordinální 4 … intervalová a ne-normálně rozložená 5 … intervalová a normálně rozložená 20 3 s 3 Kontingenční tabulka s testem chí-kvadrát H-test podle Kruskala a Wallise Pořadová korelace podle Spearmana Pořadová korelace podle Kendalla Wilcoxonův test* 3 s 4 H-test podle Kruskala a Wallise Pořadová korelace podle Spearmana Pořadová korelace podle Kendalla 3 s 5 Jednofaktorová analýza rozptylu Pořadová korelace podle Spearmana Pořadová korelace podle Kendalla Volba statistického testu 1 … nominální s více než 2 kategoriemi 2 … nominální se 2 kategoriemi 3 … ordinální 4 … intervalová a ne-normálně rozložená 5 … intervalová a normálně rozložená 21 4 s 4 Pořadová korelace podle Spearmana Pořadová korelace podle Kendalla Wilcoxonův test* 4 s 5 Pořadová korelace podle Spearmana Pořadová korelace podle Kendalla Wilcoxonův test* 5 s 5 Produkt-moment korelace Parciální korelace t-test pro nezávislé výběry Statistické programy pro zpracování dat 22 pro zpracování dat Zpracování údajů statistickými postupy • zpracování utříděných dat sám nebo se statistikem – statistická analýza 1/ primární zpracování dat (třídění 1. stupně) – zpracování skupin dat, zjišťujeme absolutní a relativní četnosti, 23 – zpracování skupin dat, zjišťujeme absolutní a relativní četnosti, průměr, Me , směrodatné odchylky u jednotl. proměnných 2/ sekundární zpracování dat (třídění 2. stupně) – zjišťují se vazby mezi jednotlivými proměnnými, příp. jejich skupinami – => výpočty korelací, regresí, použití růz. variant neparametrických výpočtů, faktorovou analýzu, trsovou analýzu atd., – testují se rozdíly mezi proměnnými, skupinami apod. (Studentův t-test nebo testem chí-kvadrát), uvede se, zda výsledky jsou nebo nejsou statisticky významné Statistické programy • Excel (je v balíku Microsoft Office), • statistické softwary – SPSS, Statistica, Stata, Statgraphic, Origin aj. – => vypočítají výsledky – a umožňují i grafické znázornění výsledků, – po zacvičení je práce s nimi velmi jednoduchá a rychlá, 24 – po zacvičení je práce s nimi velmi jednoduchá a rychlá, – umožňuje zkoušet různé možnosti výpočtů a vytěžit z údajů maximum • pozor: – počítač nebude protestovat, když ho budete nutit zpracovat údaje pro daný účel naprosto nevhodnou statistickou metodou, za výběr metod a interpretaci ručí výzkumník, lze požádat o pomoc matematika, statistika, sociology aj. • nepsát si údaje prve na papír, ale rovnou např. do Excelu Excel • Není statistický program • Mnohé jde zpracovat i v Excelu 25 • Mnohé jde zpracovat i v Excelu • Problém, jak pracovat s chybějícími daty • ručně 26 databáze Data lze filtrovat –vybrat si pro analýzy jen např. dívky 27 dívky Pomocí Excelu lze 28 Pomocí Excelu lze počítat mnohé statistické funkce Použití funkcí v 29 Použití funkcí v Excelu Tabulka výsledků 30 Ukázka grafického znázornění dat (Excel, sloupcový graf) Motivace k učení CJ 70 80 90 100 jícíchdanýmotivátor. 31 0 10 20 30 40 50 60 70 kariéra maturita cestování uspět baví absolvovat zájemopref.CJ zájemoCJ přátelé kultura rodiče učitel další býtlepší partnerskáškola %studentůuvádějícíchdanýmotivátor. Ukázka grafického znázornění dat (Excel, histogram) Používání metakognitivních strategií 7982 70 80 90 32 0 37 04 23 4 0 10 20 30 40 50 60 1 vybrat jen rozumné množství, 65 • => vybrat jen rozumné množství, – ve zprávě z výzkumu uvést jen podstatné výsledky vzhledem k cíli výzkumu Prezentace dat v práci • příliš velké množství tabulek ukazuje, že se výzkumník v datech ztratil, – neumí najít správnou hierarchii, a proto uvedl vše, co měl k dispozici 66 vše, co měl k dispozici • výzkumy z větším množstvím proměnných obyčejně vyžadují větší počet tabulek než jednodušší výzkumy Prezentace dat v práci • úlohu hraje i žánr textu, v němž se výsledky publikují – do článku se vejde méně tabulek a grafů než do výzkumné práce 67 • disertační, diplomové práce – hlavní tabulky jsou v příslušné části o zpracování údajů, – doplňující tabulky jsou v příloze Prezentace dat v práci Pořadí tabulek a grafů A/ nejprve ty, kt. obsahují hlavní a souhrnné informace • čtenář získá globální přehled o výsledcích, pak se hlavní výsledky přeměňují na drobné 68 B/ tematické řazení – dle výzkumného problému a hypotéz, • má-li výzkum 4 hypotézy, výsledky budou seřazeny do 4 okruhů Prezentace dat v práci Styl psaní • odborný, dosti suchý, neosobní, • pro účely zábavného čtení jsou populárněvědecké publikace, • psát srozumitelně, s ohledem na čtenáře, nikoli komplikovaně, 69 komplikovaně, • inspirovat se autory, kt. mají vhodný styl – i složité teoretické věci řeknou jasně a jednoduše • Průcha, Gavora, Jan Slavík, Jiří Mareš • psát v první osobě mn.č. a v minulém čase – př. mezi žáky nebyl žádný rozdíl – X není = neomezená platnost, té ale nelze dosáhnout Prezentace dat v práci Kritéria dobré prezentace • přehlednost grafů a tabulek • srovnávání vhodných skupin v komentáři ke grafům • komentář není převod čísel do slov, je třeba uplatnit nadhled 70 uplatnit nadhled • vyjádřit se ke svým hypotézám (očekávám, předpokládám…) • tematicky řadit údaje, tabulky a grafy • rozlišit jasně samotné údaje a svou interpretaci údajů – jde o vhodné formulace – srovnat své závěry s údaji z předcházejících výzkumů Interpretace dat v práci 71 Úmrtnost zapříčiněná motorovými vozidly věk muži ženy 1-4 10,5 8,0 5-14 10,4 5,4 15-19 54,2 16,4 20-24 76,3 12,7 25-44 35,6 9,1 45-64 33,1 12,9 65avíce 58,4 12,9 celková 32,9 11,1 72 celková 32,9 11,1 pozn.(úmrtnostzevšechpříčinje100%) Můžeme následující výroky prostřednictvím údajů z tabulky A) potvrdit, B) nemůžeme je potvrdit nebo C) je nemůžeme popřít ani potvrdit? *Úmrtnost zapříčiněná motorovými vozidly je vyšší u mužů než u žen. *Nehody zapříčiněné motorovými vozidly jsou hlavní příčinou úmrtí lidí ve věku 20 až 24 let. *Muži nad 65 let jezdí bezpečněji než mládež ve věku 15 – 19 let. *Největší počet úmrtí zapříčiněných motorovými vozidly je ve věku 65 let a starších. *U celkového součtu jen asi 11% úmrtí žen zavinila motorová vozidla. Úmrtnost zapříčiněná motorovými vozidly věk muži ženy 1-4 10,5 8,0 5-14 10,4 5,4 15-19 54,2 16,4 20-24 76,3 12,7 25-44 35,6 9,1 45-64 33,1 12,9 65avíce 58,4 12,9 celková 32,9 11,1 73 celková 32,9 11,1 pozn.(úmrtnostzevšechpříčinje100%) Můžeme následující výroky prostřednictvím údajů z tabulky A) potvrdit, B) nemůžeme je potvrdit nebo C) je nemůžeme popřít ani potvrdit? *Úmrtnost zapříčiněná motorovými vozidly je vyšší u mužů než u žen. A *Nehody zapříčiněné motorovými vozidly jsou hlavní příčinou úmrtí lidí ve věku 20 až 24 let. B - ženy i muži dohromady? X u žen může být ale nějaká jiná hlavní příčina *Muži nad 65 let jezdí bezpečněji než mládež ve věku 15 – 19 let. C *Největší počet úmrtí zapříčiněných motorovými vozidly je ve věku 65 let a starších. B *U celkového součtu jen asi 11% úmrtí žen zavinila motorová vozidla. A Interpretace dat • zpracované údaje jsou jen holými čísly, sama o sobě moc neznamenají • interpretace = vysvětlení a vyhodnocení – hlavním výstupem výzkumu nejsou údaje, ale jejich interpretace 74 – hlavním výstupem výzkumu nejsou údaje, ale jejich interpretace – slovní popis není interpretace – v kapitole „výsledky a interpretace“, „diskuse a závěry“ • po zapracování údajů je na chvíli odložit, – interpretace vyžaduje nadhled, – je to jiný druh činnosti než zpracovávání, – vyžaduje jiné naladění, hluboké zažití výsledků, jinak se člověk mezi čísly ztrácí Interpretace dat • vyžaduje pochopení číselných údajů získaných z matematicko-statistických výpočtů – a zároveň velký přehled a dobrou orientaci ve zkoumané problematice 75 • začátečníci mívají s interpretací velké problémy, – často je to nejtěžší etapa výzkumu • někdy důsledek zanedbání studia problematiky na začátku výzkumu • jsou-li výzkumné hypotézy postaveny špatně, potom se i obtížně interpretují (jdou-li vůbec zpracovat) a naopak. Interpretace • interpretace – srovnávat údaje mezi sebou a ptát se např. – Vyplývají z tohoto srovnání nějaké souvislosti? Jsou v údajích nějaké diskrepance? Jak se dají vysvětlit? – Vyjadřují údaje nějaký trend, směřování, linii, anebo jsou spíše 76 – Vyjadřují údaje nějaký trend, směřování, linii, anebo jsou spíše rozházené? – Jsou údaje v souladu s existující teorií o zkoumaném jevu? – Jsou údaje v souladu s údaji z jiných výzkumů? • Nejsou-li, proč? – Bylo to proto, že šlo o jinou populaci, jiné období, nebo proto, že výsledky byly zpracovány jiným způsobem? – Anebo to bylo proto, že z údajů „vystoupily“ neznámé, nekontrolované proměnné? Interpretace • naše zjištění konfrontujeme se stanovenými hypotézami a komentujeme • opíráme se o existující ped. teorii + své zkušenosti (viz hypotézy), – na základě nových zjištění hypotézy přehodnocujeme a dále 77 – na základě nových zjištění hypotézy přehodnocujeme a dále rozvíjíme • vyjádřit se o podmínkách a rozsahu platnosti hypotéz • vyjádřit se k tomu, zda se dají závěry široce zevšeobecňovat, nebo platí jen pro určitou omezenou populaci Chyby u začínajících • vedle legitimních, vytváří nelegitimní závěry – neopírající se o předcházející zjištění • přílišná zevšeobecnění 78 • přílišná zevšeobecnění • (na základě zjištění o parciálních nedostatcích učitele, udělají urychlený závěr o celkově špatné práci učitele, školy) • moralizování – dávají tam svůj světový názor, působí originálně X je to projev nedisciplinovanosti v myšlení Zásady interpretace údajů • Udělejte zřejmé zřejmým. • Udělejte zřejmé pochybným. 79 • Udělejte zřejmé pochybným. • Udělejte skryté zřejmým. Literatura GAVORA, P. Úvod do pedagogického výzkumu. Brno : Paido, 2002. GALL, M. D.; BORG, W. R.; GALL, J. P. Educational Research. An introduction. N.Educational Research. An introduction. N. Y. : Longman, 1996. 80