Ověřování a standardizace (evaluačních) nástrojů JS 2012, PdF MU Doktorský seminář z metodologie Kateřina Vlčková Institut výzkumu školního vzdělávání, Katedra pedagogiky PdF MU Standardizované nástroje Americké standardy Standards for Educational and PsychologicalTesting vytvořeny od American Educational Research Association (AERA),American Psychological Association (APA), National Council on Measurement in Education (NCME) diskuse od r. 1985, nyní vytváří revidovanou verzi http://www.apa.org/science/programs/testing/standards.aspx Český překlad: Standardy pro pedagogické a psychologické testování (APA). 1. české vydání,Testcentrum, Praha 2001 http://www.testcentrum.com/literatura/2 Evropské standardy Model recenze podle EFPA pro popis a hodnocení psychologických testů (2005). http://www.efpa.eu/professional-development/tests-and-testing Psychometrika Urbánek,T., Denglerová, D., Širůček, J. (2011). Psychometrika. Praha: Portál. Nástroje vydává Psychodiagnostika http://www.psychodiagnostika- sro.cz/cz/Katalog_novinky.asp Požadavky na standardizovaný nástroj Stand. nástroj = administrovaný a skórovaný jednotným, standartním způsobem, viz dále: Teorie, zdroje, validita Info o administraci, pokyny pro zadávající, kvalifikace zadávajících Podmínky zadávání, podmínky průběhu, uvést vše, co potřebují jak pracovat s integrovanými žáky (modifikace zadání, hodnocení) Tvorba skóre Tvorba norem, info o srovnatelnosti výsledků Psychometrické vlastnosti validita, reliabilita, standartní chyba měření, aj. Pokyny pro interpretaci, dokumentaci výsledků, sjednocení Etické standardy …. + požadavky na standardizované testování časový limit, doba testování, způsob sběru testů, čtení zadání, hlídání opisování atd. Zdroj EFPA Standards for Educational and Psychological Testing Part I:Test Construction, Evaluation, and Documentation 1.Validity 2. Reliability and Errors of Measurement 3.Test Development and Revision 4. Scales, Norms, and Score Comparability 5.Test Administration, Scoring, and Reporting 6. Supporting Documentation for Tests Part II: Fairness inTesting 7. Fairness in Testing and Test Use 8.The Rights and Responsibilities of Test Takers 9.Testing Individuals of Diverse Linguistic Backgrounds 10.Testing Individuals with Disabilities Part III:Testing Applications 11.The Responsibilities of Test Users 12. Psychological Testing and Assessment 13. Educational Testing and Assessment 14.Testing in Employment and Credentialing 15.Testing in Program Evaluation and Public Policy Zdroj APA Standardizovaný nástroj? U všech nástrojů jde o míru standardizace nikdy nemáme jistotu, že jsou všechny požadavky dodrženy Nástroje vyvíjené po dlouhá léta mají rozsáhlé manuály a vzdělávací kurzy k daným nástrojům např.Wechslerův inteligenční test (2002, Krejčířová, Boschek, Dan), Stanfordský Binnetův inteligenční test, Eysenkův osobnostní dotazník aj. Nové nástroje jsou kratší Číselný čtverec (Jirásek, 1975), Matějčkovy testy (test laterality a jiné) Více viz materiál z přednášky dr. Chvála, on-line na: ÚVRV PdF MU Ukázka: DOTAZNÍK SEBEPOJETÍ ŠKOLNÍ ÚSPĚŠNOSTI DĚTÍ – SPAS († Z. Matějček, M. Vágnerová (ČR) Popis testu: Dotazník poskytuje informace o postoji dítěte k vlastnímu školnímu výkonu. Obsahuje 48 položek, rozdělených do 6 škál (obecné schopnosti, matematika, čtení, pravopis, psaní, sebedůvěra) Umožňuje řešit problematiku školního prospěchu a adaptace na školu. SPAS je užitečný u dětí, které mají nějaké školské problémy, to znamená děti celkově neprospívající, děti se specifickými školskými poruchami, jako je dyslexie,ADHD a děti s poruchou adaptace na školu. Je hodné ho použít i u takových dětí, jejichž problémy zdánlivě se školou přímo nesouvisí, ale podrobnějším vyšetřením zjistíme, že škola zde přece jen hraje významnou úlohu – např. dítě s tělesnými potížemi, jako jsou bolesti břicha nebo hlavy, které má sice dobrý prospěch, ale trvalou úzkost, že si svoje známky neudrží. Použití: individuálně i skupinové, od 10 do 15 let Čas potřebný k administraci: 15 min. Čas potřebný k vyhodnocení a interpretaci: 5 min. Součásti testu: Příručka,Testový sešit, Šablona Složení PK: 1 PR, 100TZ, 2 Š Složení S: 100TZ http://www.psychodiagnostika-sro.cz/cz/Katalog_popis.asp?kod=589&ZozArg=1&Kateg=2&MT= T-22 TEST KOGNITIVNÍCH SCHOPNOSTÍ – TKS - R.L. Thorndike, E. Hagen, N. France (VB) , úprava: J. Vonkomer, J. Jílek Popis testu: VeVelké Británii patří mezi nejpopulárnější testy na zjišťování kognitivních schopností ve třech oblastech: a) verbální - klasifikuje slovní zásobu, schopnost sestavování vět, klade důraz na schopnost dětí uvažovat slovy a slovními spojeními a používat slova v kontextu. b) kvantitativní - hodnotí schopnost dítěte pracovat s čísly a symboly, což je spojeno s odhadem potenciálu dětí dosahovat dobré výsledky v přírodních vědách a matematice. c) neverbální - měří schopnost uvažovat s geometrickými nebo prostorovými prvky bez verbálního vlivu (klasifikace, analýza a syntéza obrazců). Test se skládá ze šesti úrovní A - F. Úrovně A, B a C jsou vhodné pro žáky základních škol ve věku 9.11 let a úrovně D, E a F jsou vhodné pro žáky středních škol. Úroveň D se nejčastěji využívá na zkoumání dětí při vstupu na střední školu.Všechny úrovně (A - F) jsou zahrnuty do jednoho testového sešitu.Test je vhodný pro psychology a učitele základních a středních škol. Použití: skupinové, od 7 do 16 let Čas potřebný k administraci: 10-12 min. (1 subtest) Součásti testu: Příručka,Testový sešit, Zácvičný test, Záznamový arch třídy, Odpověďový arch (pro každou úroveň A-F osobitne), Šablona Složení PK: 1 PŘ, 10 TS, 100 Zácvič.TS, 30 OA (z každé úrovně A-F), 10 ZA třídy, 2 Š Složení S: 100 Zácvič.TS, 30 OA (z každé úrovně A-F), 10 ZA třídy Ověřování a standardizace autoevaluačních nástrojů Projekt Autoevaluace škol Cesta ke kvalitě – autoevaluace školy http://www.nuov.cz/ae národní projekt MŠMT „AUTOEVALUACE -Vytváření systému a podpora škol v oblasti vlastního hodnocení“ (CZ.1.07/4.1.00/06.0014) Projekt partnersky realizují Národní ústav odborného vzdělávání a Národní institut pro další vzdělávání. financován z Evropského sociálního fondu a ze státního rozpočtu České republiky. je zaměřený na všestrannou podporu škol v oblasti vlastního hodnocení Oblasti kvality školy 1. Podmínky ke vzdělávání 1.1. demografické (motivace, postoje žáků ke škole) 1.2. personální 1.3. bezpečnostní a hygienické 1.4. ekonomické 1.5. materiální 2. Obsah a průběh vzdělávání 2.1. školní vzdělávací program 2.2. plánování výuky 2.3. podpůrné výukové materiály 2.4. realizace výuky 2.5. mimovýukové aktivity 3. Podpora školy žákům, spolupráce s rodiči, vliv vzájemných vztahů školy, žáků, rodičů a dalších osob na vzdělávání 3.1. klima školy 3.2. systém podpory žákům 3.3. zohlednění individuálních potřeb žáků 3.4. spolupráce s rodiči 3.5. spolupráce s odbornými institucemi a zřizovatelem 4.Výsledky vzdělávání žáků 4.1. hodnocení výuky 4.2. klíčové kompetence 4.3. znalosti a dovednosti 4.4. postoje 4.5. motivace 4.6. úspěšnost absolventů 5.Vedení a řízení školy, kvalita personální práce, kvalita dalšího vzdělávání ped. pracovníků 5.1. strategické řízení 5.2. organizační řízení školy 5.3. pedagogické řízení školy 5.4. profesionalita a rozvoj lidských zdrojů 5.5. partnerství školy a externí vztahy 6. Úroveň výsledků práce školy, zejména vzhledem k podmínkám vzdělávání a ekonomickým zdrojům 6.1. kvantitativní analýza 6.2. kvalitativní analýza Evaluační nástroj spolehlivá metoda nebo technika sběru dat pro účely (vlastního) hodnocení (školy) nebo postupy podporující různé fáze evaluačního procesu Příklady didaktické testy, dotazníky pro žáky, rodiče, učitele, hospitační protokoly, různé záznamové listy, kroniky akcí školy, rozhovory se žáky, rodiči, metody podporující diskusi, stanovení priorit, směřování rozvoje školy… prochází procesem ověřování a/nebo standardizace smyslem je získat a následně poskytnout uživatelům nástroje maximum informací o tom, jak nástroj používat a správně interpretovat výsledky. sběr zkušeností ze škol, u kvantit. nástrojů získání souhrnných výsledků ostatních škol, aby bylo možné s nimi konfrontovat výsledky vlastní školy a získat tak bohatší informaci. http://www.nuov.cz/ae/manualy-evaluacnich-nastroju Mapa evaluačních nástrojů Pozorování Skupinové rozhovory Dotazování jiných aktérů Dotazování žáků Evaluační nástroje poskytující kvantitativní indikátory Analýza dokumentů Plánuj Dělej Kontroluj Jednej Profesní portfolio učitele Rámec profesních kvalit učitele Klima školy Zpětná vazba absolventů a firem Dotazování rodičů Anketa pro rodiče Příprava na změnu. Metoda pro předjímání reakcí lidí. Výuka v odborném výcviku Skupinová bilance absolventů Učíme děti učit se Analýza dokumentace školy Metody, a formy výuky Dotazování učitelů Internetová prezentace školy Mapování cílů kurikula Zapojení ICT v životě školy – Profil školy21 Zjišťování a vyhodnocování výsledků vzdělávání žáků Klima učitelského sboru Poradenská role školy Anketa pro učitele Připravenost školy k inklusivnímu vzdělávání Předcházení problémům v chování žáků Společenství prvního stupně Strategie učení se cizímu jazyku Postoje žáků ke škole Školní výkonová motivace žáků Interakce učitele a žáků Anketa pro žáky Klima školní třídy Založeno na kvalitativním přístupu Dobrá škola. Metoda pro stanovení priorit školy 360° zpětná vazba pro střední úroveň řízení školy Založeno na více metodách Rámec pro vlastní hodnocení školy Seznam evaluačních nástrojů 1. Rámec pro vlastní hodnocení školy.Metodický průvodce 2. Anketa pro rodiče.Anketa škole na míru 3. Anketa pro žáky.Anketa škole na míru 4. Anketa pro učitele.Anketa škole na míru 5. Analýza dokumentace školy.Katalog kvantitativních indikátorů 6. Dobrá škola. Metoda pro stanovení priorit školy 7. Příprava na změnu. Metoda pro předjímání reakcí lidí 8. Rámec profesních kvalit učitele.Hodnoticí a sebehodnoticí arch 9. Profesní portfolio učitele. Soubor metod k hodnocení a sebehodnocení 10. 360° zpětná vazba pro střední úroveň řízení.Soubor dotazníků a metodických doporučení 11. Metody a formy výuky. Hospitační arch 12. Učíme děti učit se. Hospitační arch 13. Výuka v odborném výcviku.Hospitační arch 14. Klima školy. Soubor dotazníků pro učitele, žáky a rodiče 15. Klima školní třídy. Dotazník pro žáky 16. Klima učitelského sboru. Dotazník pro učitele 17. Společenství prvního stupně. Dotazník pro žáky formou počítačové hry 18. Interakce učitele a žáků. Dotazník pro žáky 19. Připravenost školy k inkluzivnímu vzdělávání.Dotazník pro učitele 20. Předcházení problémům v chování žáků. Dotazník pro žáky 21. Poradenská role školy. Posuzovací arch 22. Mapování cílů kurikula. Posuzovací arch 23. Strategie učení se cizímu jazyku. Dotazník pro žáky 24. Školní výkonová motivace žáků. Dotazník pro žáky 25. Postoje žáků ke škole. Dotazník pro žáky 26. Zjišťování a vyhodnocování výsledků vzdělávání žáků. Posuzovací archy 27. ICT v životě školy - Profil školy21. Metodický průvodce 28. Internetová prezentace školy. Posuzovací arch 29. Skupinová bilance absolventů.Metoda pro hodnocení průběhu školního vzdělávání 30. Zpětná vazba absolventů a firem. Dotazník pro absolventy a metoda rozhovoru pro zástupce spolupracujících firem Nástroje Rámec pro vlastní hodnocení školy. Metodický průvodce. Anketa pro rodiče.Anketa škole na míru. Anketa pro žáky.Anketa škole na míru. Anketa pro učitele.Anketa škole na míru. Analýza dokumentace školy. Katalog kvantitativních indikátorů. Dobrá škola. Metoda pro stanovení priorit školy. Příprava na změnu. Metoda pro předjímání reakcí lidí. Rámec profesních kvalit učitele. Hodnoticí a sebehodnotící arch. Profesní portfolio učitele. Soubor metod k hodnocení a sebehodnocení. 360° zpětná vazba pro střední úroveň řízení. Soubor dotazníků a metodických doporučení. Metody a formy výuky. Hospitační arch. Učíme děti učit se. Hospitační arch. Výuka v odborném výcviku. Hospitační arch. Klima školy. Soubor dotazníků pro učitele, žáky a rodiče. Klima školní třídy. Dotazník pro žáky. Klima učitelského sboru. Dotazník pro učitele. Společenství prvního stupně. Dotazník pro žáky formou počítačové hry. Interakce učitele a žáků. Dotazník pro žáky. Připravenost školy k inkluzivnímu vzdělávání. Dotazník pro učitele. Předcházení problémům v chování žáků. Dotazník pro žáky. Poradenská role školy. Posuzovací arch. Mapování cílů kurikula. Posuzovací arch. Strategie učení se cizímu jazyku. Dotazník pro žáky. Školní výkonová motivace žáků. Dotazník pro žáky. Postoje žáků ke škole. Dotazník pro žáky. Zjišťování a vyhodnocování výsledků vzdělávání žáků. Posuzovací archy. ICT v životě školy - Profil školy21. Metodický průvodce. Internetová prezentace školy. Posuzovací arch. Skupinová bilance absolventů. Metoda pro hodnocení průběhu školního vzdělávání. Zpětná vazba absolventů a firem. Dotazník pro absolventy a metoda rozhovoru pro zástupce spolupracujících firem. Pokrytí oblastí kvality školy Nástroje pokrývají jednu nebo více oblastí Např. rámcové vlastní hodnocení školy pokrývá všechny oblasti a podoblasti, ankety pro rodiče mohou pokrývat všechny oblasti a podoblasti z pohledu rodičů. nástroje kvantitativní povahy cílem je poskytnutí spolehlivých informací o aktuálním stavu doplňovány nástroji kvalitativními pomáhají určité procesy důležité pro vlastní hodnocení školy nastartovat (dobrá škola), či podpořit (analýza rizik zavádění změn). Ověřování a standardizace evaluačních nástrojů Posuzovací archy • Připravenost školy k inkluzivnímu vzdělávání • Poradenská role školy • Mapování cílů kurikula • Internetová prezentace školy • Zjišťování a vyhodnocování výsledků vzdělávání Připravenost školy k inkluzivnímu vzdělávání zjišťuje míru inkluze, screening vychází ze 2 zdrojů zejm. Ukazatel inkluze (2007), Košťálová (2005) 3 oblasti: inkluzivní politika, kultura, praxe pro ZŠ, i SŠ všichni učitelé, i vedení anonymní, on-line verze 30 položek – 3 tvrzení, nejlépe vystihující (0,1,2) zpráva index inkluze – porovnání s jinými školami co podporuje inkluzi a rezervy Připravenost školy k inkluzivnímu vzdělávání pilotáž od r. 2009, projekt CPIV diskuse se sbory stanovení priorit inkluzivního rozvoje školy NÚV 10 škol ověřování el. verze + zpětná vazba od škol, analýza výsledků => upřesnění instrukcí, položek, zprávy Poradenská role školy sebeposouzení kvality školních poradenských služeb zakotvených v legislativě ZŠ, SŠ, speciální školy vychází z legislativy, zkušenosti z projektů k poradenství (NÚV), konzultace s odborníky => 8 oblastí: person. zabezpečení, mater. vybavení, vize, organizace, spolupráce s adresáty, etika, publicita, sebehodnocení a zpětná vazba stanoven standard každé z oblastí základní a rozšířená verze nástroje Poradenská role školy ověřování papírová forma: 3 ZŠ, 1 spec. škola el. forma: 53 škol (38 ZŠ, 13 SŠ, 2 praktické) arch vyplňují pracovníci společně zpráva grafy, tabulky, max. počet bodů návrhy na opatření Mapování cílů kurikula jak se daří plnit výukové cíle definice cílů – realizace (učební úlohy) – posouzení výkonu žáků priorita cíle, míra plnění – škálované položky učitel hodnotí své působení východiska taxonomie cílů cílové požadavky RVP reflexe učitelů ZŠ, SŠ (ohniskové skupiny 4 skupiny polostrukturované rozhovory) expertní posouzení ověření manuálu – 7 učitelů ve výuce zpráva tvoří si učitel sám na základě příloh Internetová prezentace školy zamyšlení nad podobou, funkčností, problémy prezentace jako prostředku komunikace školy ZŠ, SŠ, pro vedení, vyplňuje vedení, učitel ICT, doptává se kolegů základní (24 ot.) a rozšířená verze (36 položek) on-line, odpovědi ano –ne vychází z výzkumů, i v ČR (Mareš, Lukas 2007,09), ověřovaný nástroj hledání okruhů otázek dle kritérií (praktičnost, využitelnost, nejvíc problémové pro školy) zohlednění požadavků dle velikosti školy srozumitelnost, vstřícnost, obecné požadavky na www, obsah dle vyhlášky, obsah, forma, tech. parametry Pilotáž výzkum: 205 škol ze 400 náhodný výběr z registru NÚV: 32 škol (12 ZŠ, 8 gymnázií, 9 SOŠ) Zpráva návrhy na řešení, z formulací inventáře doporučení editovatelná veWordu, škola si doplňuje doporučení pro tvorbu Zjišťování a vyhodnocování výsledků vzdělávání co chtít po didaktických testech Vychází z: rozhovorů s učiteli, řediteli, uživateli vlastních výzkumných zkušeností psychometriky,APA Check-listy – v příloze (s komentářem, bez) didaktický test autentická evaluační úlohy není dále popisováno, co s nimi dále dělat Zpráva negenerována Silné stránky ověřování posuzovacích archů několikanásobné pilotáže na vzorcích ZŠ i SŠ někdy i on-line a papírová verze validita nepřímo dokladována výzkumy a teoretickými východisky, včetně ověření v praxi reliabilita zajišťována pilotáží a snahou o určitou míru standardizace dobrým popisem zadávání, vyhodnocování, rizik (zejména interpretace) nástroje určeny běžným uživatelům bez supervize bez kvalifikace (učitel obvykle) edukační, návodné modifikace nástroje (2x) modifikace zpráv množství doplňkových informací uváděny příklady množství interpretací a objasnění zprávy spíše střední míra komplexnosti Literatura Autoevaluace školy Chvál, M., Michek, S., & Pol, M. (2010) Evaluace ve škole. Orbis scholae, 4(1). http://www.orbisscholae.cz/archiv/2010_01.pdf Autoevaluace školy. Evaluační nástroje. http://www.nuov.cz/ae/manualy-evaluacnich-nastroju Macbeath, J., Schratz, M., Meuret, D., & Jakobsen, L. (2006). Serena aneb Autoevaluace škol v Evropě. Žďár nad Sázavou: Fakta. Rýdl, K., Horská, V., Dvořáková, M., & Roupec, P. (1998). Sebehodnocení školy. Jak hodnotit kvalitu školy. Praha: STROM. Vašťatková, J. (2006). Úvod do autoevaluace školy. Olomouc: UP. Standardizace nástrojů Model recenze podle EFPA pro popis a hodnocení psychologických testů (2005). http://www.efpa.eu/professional- development/tests-and-testing Urbánek, T., Denglerová, D., Širůček, J. (2011). Psychometrika. Praha: Portál. Postup ověřování a standardizace evaluačního nástroje Strategie učení se cizímu jazyku. Dotazník pro žáky Viz manuál k nástroji Vlčková, K., Přikrylová, J. (2011). Strategie učení se cizímu jazyku. Dotazník pro žáky. Manuál. Praha: NÚV.