Specifika evaluačních výzkumů a jejich metodologie JS 2012, PdF MU Doktorský seminář z metodologie Kateřina Vlčková Institut výzkumu školního vzdělávání, Katedra pedagogiky PdF MU Evaluace něm. Evaluation angl. evaluation, self-evaluation X assessment evaluace x hodnocení Objasňující analýza jevů a činností a vyjádření užitku či hodnoty z nich plynoucí (Framework for Evaluating..1995) Určení hodnoty, kvality, efektivnosti; ocenění (Průcha 1998) Nejčastěji ve smyslu hodnocení vzdělávacích výsledků teoretický přístup metodologie proces (monitorování, měření), na různých úrovních vzděl. praxe (jedinec, systém), různé využití (explanace, řízení) = hodnocení edukačních jevů Pedagogická evaluace Proces hodnocení přínosu a hodnoty edukačních programů, metod, materiálů, organizací, jedinců Od r. 1965 (U.S. vláda – povinná evaluace vzděl. programů) Rozvoj evaluační metodologie Specializované soc..-vědní časopisy 1979 AERA – časopis Educational Evaluation and Policy Analysis Školní okrsky – oddělení evaluace Značná část ped. výzkumníků pracuje v této oblasti Důležitá pro analýzu politiky, proces politického rozhodování, management projektů, tvorbu kurikula např. zda program má přínos, výsledky, které ospravedlňují náklady na něho Evaluační výzkum vs. pedagogický výzkum EvaluaceEvaluace potřeba pro rozhodnutí v politice, managementu sběr dat, kt. podporuje rozhodnutí konkrétní program jak funguje – nezobecnitelné hodnotící soudy – data z hlediska jejich hodnoty, přínosu „program A byl lepší než program B“ Pedagogický výzkumPedagogický výzkum přispívá k pochopení určitého jevu zobecnitelné vztahy na populaci, na teorii nehodnotící „proměnná A má vliv na proměnnou B“ Překrývají se X rozdíly Oblasti evaluace vzdělávací potřeby vzdělávací programy učebnice výuka edukační prostředí, klima vzdělávací výsledky evaluace vzdělávání pomocí standardů efektů vzdělávání efektivnosti škol evaluace na základě indikátorů evaluace pedagogického výzkumu evaluace evaluace, metaevaluace Průcha 1996 Postup evaluace (Gall, Borg, Gall 1996) Podobné jako u výzkumu 1. Ujasnění si důvodů evaluace Zájmy jedince, instituce.. Pozor: redukce financí, ospravedlnění rozhodnutí, zajistit negativní informace na učitele => učitelé mohou sabotovat evaluaci Rozhovory s klíčovými osobami – zda je požadavek evaluace smysluplný a etický Pokud není etický, odmítnout ji ⇒volba vhodného evaluačního modelu/designu ⇒ odpovídá účelu evaluace Vytvořit evaluačníVytvořit evaluační skupinu / komisi učitelé různých programů, evaluátor, ředitel, výkonná rada, studenti, rodiče, zaměstnanci aj. Postup evaluace 2. Identifikace zainteresovaných osob Těch, co budou zahrnuti do evaluace; těch, které evaluace ovlivní; těch, co mají zájem o výsledky Pomohou ujasnit důvod, otázky, cíle, design, interpretace, prezentaci výsledků Jejich ignorování může vést k sabotování evaluace, jejímu zdiskreditování Vyžadují zahrnutí v různé míře Informování, ovlivňování Postup evaluace 3. Co je třeba evaluovat? Vymezení všech prvků programu Osoba v programu je nemusí znát všechny, může dojít k přehlédnutí nějaké komponenty a) Cíle programu Do jaké míry jsou naplňované se zeptat zainteresovaných b) Zdroje a postupy Lidské, vybavení a další náklady - Stačí nám zdroje? Není to moc drahé? Neubere nám to zdroje jinde? Jsou tam skryté náklady? Postupy, strategie, procesy pro dosažení cílů - Kolik je potřeba času? Jsou problémy v používání XY? Do jaké míry používají postup XY? Opakované pozorování Pomůže pochopit pozorované efekty programu Program neúspěšný X mohlo to být jen kvůli nedostatku zdrojů, že přišly pozdě, že byl učitel rušen atd. Sbírat data i k těmto informacím – jak dobře program funguje a proč c) Management programu Postupy řízení mohou být zabudovány do programu – popsat je Jsou efektivní? Záměrné? Postup evaluace 4. Identifikace evaluační otázky Výzk. problém může být ve formě otázky, hypotéz, cílů V eval. výzkumu nejčastěji otázky Divergentní fáze Generování seznamu všech otázek, témat Přispívají všichni zainteresovaní Evaluátor navrhuje možné otázky Z kritérií eval. výzkumu se vybírají otázky (viz dále) Konvergentní fáze Redukce počátečního seznamu otázek na zvládnutelné množství Nové otázky se objevují během sběru dat Důležité z nich vzít v potaz Postup evaluace 5. Návrh evaluačního designu a časového plánu Interní evaluátor zaměstnanec programu, škola, na které učí většinu evaluací může dělat pro sumativní evaluaci více vhodný externí Externí z třetí strany je zavázán zastupovat zájmy spotřebitele proto lépe externí z etických důvodů lze z evaluace vystoupit Často experimentální nebo kvazi-experimentální design primární otázka je, jak dobře funguje program problém externí a interní validity, kontrolní skupiny závisí na požadavcích zadavatele být vnímaví vůči tomu, jaké očekávání kvality je ne moc, ne málo pozor: často ustupujeme ze svých představ Postup evaluace 5. Návrh evaluačního designu a časového plánu Evaluace může být jak prospěšná, tak škodlivá Pozor: Program může být dobrý, nekvalitní evaluace ho špatně ohodnotí, bude zrušen Program může mít potenciál být dobrý, evaluace ho odepíše, vezmou mu finance Zvažovat možné následky evaluace Zajistit, aby pozitiva převážila negativa Minimalizovat potenciální škody Zahrnout důležité zainteresované osoby do designu evaluace Časový plán Výzkumné studie nemají často časové překážky pro své dokončení Evaluační studie – zainteresovaní mají obvykle termín dokdy chtějí závěrečnou zprávu Je třeba mít časový plán evaluace Např. schéma PERT (in Worthen, Sanders 1987 – Educational evaluation) Postup evaluace 6. Sběr a analýza evaluačních dat Podobné jako ve výzkumu Př.: Experimentální design s 1skupinou, pre- a post-testem (Maher 1982) 1) QN měření Goal Attainment Scaling – měří pokrok žáka v dosažení cíle Proškolení hodnotitelé Výsledek – standardizované skóre výsledků žáka Na začátku a na konci šk. roku 2) Posttest – škála – jak užitečný byl každý vzděl. program Percepce žáků ohledně silných a slabých stránek programu Otevřené otázky Analýza dat Průměr žáka – standardizované skóre dosažení cílů na zač. roku (M=35,20), na konci roku (M=45,21) Signifikantní rozdíly (p<0,05) Pořadí programů z hlediska výukové efektivity Skóre změny za žáka pro každý vzdělávací program Postup evaluace 7. Zpráva s výsledky Výzkum – 1 zpráva (disertace, zpráva z výzkumu) + kondenzovaná verze (článek, prezentace na konferenci) Evaluace – komplikovanější Různí zainteresovaní, různé cílové skupiny, každá má jiné informační potřeby Executive summary report – pro vedení, výkonnou radu Detailnější zpráva – pro učitele Popularizační – pro žáky Evaluační fórum – diskuse výsledků vedení, učitelé, návrhy opatření aj. Aj. Specifika reportování evaluace jako disertační práce Výsledky budete muset prezentovat ve více formách Disertace bude požadována dle formátu pro výzkumnou práci Přehled literatury to v evaluačních zprávách není Diskuse výsledků a jejich využití Př. diseminace na 2 setkáních, použito pro rozhodnutí, eval. procedura je nově součástí běžné praxe na škole Diskuse širšího významu studie Např. má teoretický význam, je to replika předchozích zjištění Evaluační projekty lze často chápat jako případové studie Nastavit diskusi z tohoto úhlu pohledu Aplikace určitého evaluačního modelu, jeho aplikovatelnost, problémy, na kt. jste narazili – pro navazující studie Přispění k zlepšování evaluační metodologie v pedagogice Metaevaluace – evaluace evaluace Diskuse slabých, silných stránek designu Možný vliv na validitu výsledků Použít kritéria dobré evaluační studie Program Evaluation Standards (1994) 30 kritérií pro evaluační výzkum Pro zhodnocení provedení eval. studie vlastní i těch, ze kt. čerpáme Díky nim zvýšení kvality evaluace Chrání před zkorumpovanými skupinami (evaluace zahrnuje politické zájmy) Zabraňuje, aby výsledky odrážely předsudky a vlastní zájmy Zvyšuje profesionalitu pedagogické evaluace Funguje podobně jako Standards for Educational and PsychologicalTests Existuje také Personnel Evaluation Standards (1991) Sage 21 standardů, podobné Na evaluaci zaměstnanců hlavně základních a středních škol Program Evaluation Standards (1994) Evaluační výzkum má splňovat 4 důležitá kritéria: 1) Užitečnost (utility) Informativní, odpovídá časově, užitečná pro osoby, kt. se týká 2) Proveditelnost (feasibility) Design vhodný pro dané podmínky, efektivní z hlediska nákladů 3) Náležitost, vhodnost (propriety) Realizován eticky a legálně Př. deklarovat jasně případný konflikt zájmů a jak mohl ovlivnit výsledky 4) Přesnost (accuracy) Míra do jaké produkuje reliabilní, validní, úplné informace pro možná rozhodnutí Př. Popsat kontext, kt. ovlivňoval evaluaci, meta-evaluace na základě standardu, zpráva bez zkreslujících informací Literatura Evaluace Průcha, J. (1996). Pedagogická evaluace. Brno: MU. Stockmann, R., & Meyer, W. (2010). Evaluation. Opladen: Budrich. Gall, M.D., Gall, J. P., & Borg, W. R. (2006). Educational research. London: Allyn & Bacon. Bortz, J., & N. Döring (2002). Forschungsmethoden und Evaluation für Human- und Sozialwissenschaftler. Berlin: Springer. Autoevaluace školy Chvál, M., Michek, S., & Pol, M. (2010) Evaluace ve škole. Orbis scholae, 4(1). http://www.orbisscholae.cz/archiv/2010_01.pdf Autoevaluace školy. Evaluační nástroje. http://www.nuov.cz/ae/manualy- evaluacnich-nastroju Macbeath, J., Schratz, M., Meuret, D., & Jakobsen, L. (2006). Serena aneb Autoevaluace škol v Evropě. Žďár nad Sázavou: Fakta. Rýdl, K., Horská, V., Dvořáková, M., & Roupec, P. (1998). Sebehodnocení školy. Jak hodnotit kvalitu školy. Praha: STROM. Vašťatková, J. (2006). Úvod do autoevaluace školy. Olomouc: UP. Vašťatková, J. (2010). Autoevaluace a benchmarking ve škole. Olomouc: Hanex. Časopisy Educational Research and Evaluation (EERA) Educational Evaluation and Policy Analysis (AERA) Další: American Journal of Evaluation (AJE) – Sage Evaluation and Program Planning – Elsevier Evaluation and the Health Profession – Sage Evaluation Review – A Journal of Applied Social Research – Sage Evaluation – Sage Journal of Evaluation in Clinical Practise – Blackwell Practical Assessment, Research and Evaluation (PARE) on-line Zeitschrift für Evaluation (ZfEv) –VS-Verlag