Pedagogicko-psychologická diagnostika v práci učitele Didaktický test Jana Kratochvílová, Eva Trnová Page  2 Cíle Seznámit se s typy didaktických testů. Zapamatovat si základní třídění položek didaktického testu Seznámit se s konstrukcí testu, jeho hodnocením Seznámit se s úpravami testů pro žáky se SVP Page  3 Test „Zkouška, úkol, identický pro všechny zkoumané osoby s přesně vymezenými způsoby hodnocení výsledků a jejich číselného vyjadřování.[1] Není to tedy jakákoliv zkouška, ale na test jsou kladeny jisté nároky. Testy schopností, osobnosti Didaktický test  [1] CHRÁSKA, M. Metody pedagogické diagnostiky. Olomouc: UP Olomouc, 1988. s.20. Page  4 Didaktický test Je to nástroj systematického zjišťování (měření) výsledků výuky. [1] Soustava úkolů, které jsou shodné pro skupiny žáků. Výsledkem výuky jsou myšleny změny v osobnostech žáků způsobené výukou - výsledků školního učení (vědomostí a dovedností žáků). Didaktický test je navrhován, ověřován, hodnocen a interpretován podle určitých, předem stanovených pravidel.  [1] BYČKOVSKÝ, P. Základy měření výsledků výuky. Tvorba didaktického testu. Praha: ČVUT, 1982. Page  5 Co je třeba vědět? 1) Didaktický test můžeme používat: • až po zvládnutí dovedností čtení a psaní • až po dosažení schopnosti formulovat samostatně odpověď 2) Střídat úlohy různé kognitivní náročnosti 3) Testy nejsou příliš vhodné pro žáky se specifickými poruchami učení a další žáky se SVP. Mnohdy vyžadují úpravu. Page  6 Klasifikační hledisko Druhy testů Měřená charakteristika výkonu rychlostní (speed) výkonu (power) Dokonalost přípravy testu a jeho příslušenství standardizované kvazistandar- dizované nestandardi- zované Povaha činnosti testovaného kognitivní psychomotorické Míra specifičnosti učení zjišťovaného testem výsledků výuky studijních předpokladů Interpretace výkonu testovaného relativního výkonu (rozlišující) absolutního výkonu (ověřující) Časové zařazení do výuky vstupní formativní (průběžné) sumativní (výstupní) Tematický rozsah monotematické polytematické Míra objektivity skórování objektivně skórovatelné subjektivně skórovatelné Page  7 Obecné požadavky na testy (vlastnosti testů) Objektivita - Nezávislost na administrátorovi testu. (Instrukce a manuály) a skór lži Reliabilita - Spolehlivost, se kterou test měří to, co měří. Přesnost měření bez ohledu na to, co měří. Stabilita v čase. Validita - Platnost, která vypovídá o jeho praktické využitelnosti. Měří to, co měřit má? Paralelní validita – nakolik zjišťuje současný stav Predikční validita Pojmová validita – které psychologické kvality měří (jakou část IQ?) Standardizace - Stanovení norem testu (někdy chápáno šířeji). Hrubé skóry, standardní skóry, percentily. Povinnosti uživatelů testů, práva a povinnosti testovaných osob, testování specifických skupin osob (handicapovaných, dětí, cizinců…) … upravují standardy testování Page  8 Položky didaktických testů  Stavebními kameny všech testů jsou jeho položky v podobě úkolů nebo problémů.  Mají formu otázky nebo příkazu.  Výběr nejvhodnější tvaru a obsahu položky je dán: - cílem testu, - věkem žáků, - schopnostmi žáků, - tvůrcem testu – jeho zkušenostmi a dovednostmi, - učivem - podmínkami, za jakých se test píše, atd. Page  9 Položky didaktických testů • Existuje řada způsobů řešení (odpovědí) položek: - písmeno, slovo, věta, několik vět, - číslo, výpočet, tabulka, graf, - značka, schématická kresba, obraz, technický symbol, - doplnění základní struktury (slepá mapa aj.), - různé kombinace. Page  10 Tvorba testu 1. Plánování • Vymezit účel testu – půjde o test monotematický? O test formativní, který má zjistit, jak žáci učivo chápou? Nebo chceme zjistit úroveň vědomostí a dovedností z matematiky na konci školního roku?… • Rámcově vymezit obsah testu – podle účelu vymezíme heslovitě obsah testu (Vyjmenovaná slova. Násobení a dělení – malá násobilka.) • Upřesnit rámcově vymezený obsah testu • Učební látka, která má být testována se převádí na seznam výukových cílů, kterých chceme ve výuce dosáhnout. Pro dané učivo formulujeme co největší počet výukových cílů. Začleňujeme jen takové cíle, na něž byla výuka skutečně zaměřena. • Zvážit počet úloh. Page  11 Tvorba testu 2.Konstrukce  Vytvoření jednotlivých testových úloh – otázka, úkol, problém obsažený v testu  Vytvoření prvního návrhu (prototypu) didaktického testu 3. Ověření testu na vzorku žáků za účelem odstranění nevhodných vlastnosti testu. Page  12 úlohy otevřené široké odpovědi (bez struktury, se strukturou) (produkční)  stručné odpovědi (produkční, doplňovací) úlohy uzavřené  dichotomické  s výběrem odpovědi  přiřazovací  uspořádací Základní třídění testových úloh Page  13 Tyto položky mají obvykle podobu esejí - širokých otevřených řešení úkolu položky, např.:  Navrhněte, popište a zakreslete jednoduchý demonstrační pokus (bez použití počítače a složitých zařízení) ověřující zákon zachování hmotnosti.  Popište potravní řetězec pastevně kořistnický.  Sestavte rovnice popisující výrobu železa.  Vysvětlete, proč někteří živočichové hybernují.  Uveďte příklad vnějších parazitů obratlovců.  Napiš, co víš o lišce (kde žije, jak vypadá, čím se živí) Úlohy otevřené se širokou odpovědí - produkční Page  14 Které diagnostické metody jsou vhodné pro zjištění zájmů žáků? 1……………………………………. 2……………………………………. 3…………………………………….  Napište fáze diagnostického procesu: ----------------------------------------------------------------------------------- Úlohy otevřené se stručnou odpovědí Produkční Page  15 Úlohy otevřené se stručnou odpovědí doplňovací testové úlohy  Doplnění jednoho slova (volná položka): Přístroj, kterým můžeme měřit výkon elektrického proudu se nazývá ......... .  Doplňování slov v logickém sledu (volná položka): Doplň jména chybějících planet ve správném pořadí podle vzdálenosti od Slunce: Merkur,....., Země, Mars, ....., ..... , ..... , ....., Pluto  Odpověď na otázky (částečně vázaná položka): Jak se jmenoval objevitel periodického zákona? D ... I… M…  Doplňování slov z výběru (částečné vázaná položka):  Vyber z každé skupiny označené číslem jedno správné slovo a dopiš je podle čísel do textu: Ve vzduchu je obsaženo 78 % /1/...... . Ve znečištěném vzduchu se nachází oxidy /2/...., které způsobují kyselé deště.  /1/ vodíku, kyslíku, dusíku,  /2/ síry, uhlíku, fosforu Page  16 • Doplňování slov výběrem (částečně vázaná položka): Vyber ze skupiny slov správná slova a dopiš je do textu: Při jízdě automobilem po dálnici sledujeme hodnotu okamžité rychlosti auta pomocí zařízení zvaného ... . Je-li pohyb auta ..., velikost této rychlosti se po celou dobu nemění. Průměrnou rychlost auta určíme jako ... celkové uražené dráhy a celkové doby potřebné na jízdu. • /součin, akcelerometr, dráhoměr, součet, rozdíl, tachometr, zpomalený, rovnoměrný, zrychlený, podíl/ Úlohy otevřené se stručnou odpovědí doplňovací testové úlohy Page  17 Úlohy otevřené se stručnou odpovědí doplňovací testové úlohy Doplňování slov ze skupiny slov (vázaná položka): Slova uvedená pod textem zařaď správně do textu: Blecha je nepříjemný…. Živí se … jedince, kterého si vybrala za hostitele. Zvlášť aktivní jsou samičky, které se musejí opakovaně vydatně nasát, aby byly schopny produkovat … . Nakladená vajíčka blech padají z napadených zvířat na zem, kde prodělávají postupný vývoj přes larvu, … až po dospělce. / kukla, potomstvo, krev, parazit / Page  18 Doporučení k otevřeným úlohám  Dávejte přednost produkčním úlohám před doplňovacími. Chcete-li použít doplňovací, dodržujte následující doporučení: – vynechávejte jen důležité údaje – z neúplné věty musí být patrné, co se má doplnit – údaj, který se má doplnit, umísťujte pokud možno na konec věty – pokud se má doplnit několik údajů, vynechte pro doplnění zhruba stejné místo. Page  19 Doporučení pro tvorbu úloh se stručnou odpovědí  Úloh užívejte jen tehdy, lze-li odpovědět velmi stručně (nejlépe jedním údajem)  Úlohu formulujte zcela jasně a jednoznačně.  Nevyžadujte doslovné opakování textu z učebnice.  Uvažte předem všechny možné odpovědi, a je-li jich mnoho, raději úlohu nepoužívejte.  Ponechejte v úlohách vždy dostatek místa pro uvedení odpovědi. Page  20 Úloha s výběrem odpovědí  Skládá se ze dvou částí: a) problému nebo otázky (tzv. kmenu úlohy) b) nabídnutých odpovědí. Vyskytují se v několika formách Page  21 Československá republika byla založena roku 1921. ano – ne Úlohy uzavřené dichotomické Žákovi jsou předkládány dvě alternativy odpovědi s tím, že jedna je správná a tu má označit. Snadno se navrhují, svádí však k testování jednotlivých detailů, pouhých faktů. Nedostatkem je velká pravděpodobnost jejich uhodnutí. Page  22  Cesta vlakem nám velmi rychle uběhla. Podtržený větný člen je: 1. podmět 2. předmět 3. přívlastek 4. příslovečné určení Úlohy uzavřené s výběrem odpovědi - jedna správná odpověď Síla, která nadlehčuje těleso ponořené do kapaliny je: (a) tlaková (b) tíhová (c) vztlaková (d) hydrostatická Page  23 Která z uvedených otázek není otevřenou otázkou?  Co dělá vaše dítě doma nejraději ve svém volném čase?  Jak vypadá jeho pracovní místo na učení?  Chodí vaše dítě do nějakého zájmového kroužku? Úlohy uzavřené s výběrem odpovědi – jedna nesprávná odpověď Page  24 Úlohy uzavřené s výběrem odpovědi – řešení jako kombinace výroků V neutrálním atomu uhlíku 12 6C je:  1. 6 elektronů a 6 protonů  2. 12 neutronů  3. 6 protonů a 6 neutronů  4. 12 elektronů  5. 18 elementárních částic Určete, která kombinace výroků jsou správná:  (a) 1.+ 2. (b) 2.+ 4. (c) 4.+ 5. (d) 1.+ 3.+ 5. Page  25 Kterými státy protéká řeka Odra? a) Německo b) Polsko c) Česká republika d) Rusko Joule je jednotka: (a) energie (b) výkonu (c) tepla (d) práce Úlohy uzavřené s výběrem odpovědi – vícenásobná odpověď Page  26 a) Švýcarsko b) Norsko c) Rakousko d) Německo e) Nizozemsko A Oslo B Dublin C Bern D Berlín E Helsinky F Amsterodam G Vídeň Úlohy uzavřené - přiřazovací Page  27 Úlohy uzavřené - uspořádací  Seřaď od nejmenšího k největšímu  0,5 12/18 - 0,001 15/60 Page  28 ANALÝZA VLASTNOSTÍ TESTOVÝCH ÚLOH Zaměřuje se zejména na: a) obtížnost úloh: kolik žáků je dokáže správně vyřešit. b) na citlivost úloh rozlišovací hodnota, diskriminační hodnota, rozlišovací ostrost nebo jako rozlišovací schopnost úloh. Vysokou citlivost má taková úloha, kterou řeší s velkým úspěchem žáci, kteří mají celkově lepší vědomosti, zatímco žáci, kteří mají celkově horší vědomosti, v této úloze dosahují výsledků špatných. Koeficient obtížnosti, hodnota +1 -1 c) na nenormované odpovědi: rozbor odpovědí vynechaných a nesprávných. základní a vedlejší chyby Page  29 Jméno žáka Počet bodů 1 D 2 C 3 B 4 A 5 D 6 B 7 C 8 A 9 C 10 D 11 B 12 B 13 D 14 B 15 A 16 D 17 B 18 D 1 . . . . . . . . . . . . . . . 2 . . . . . . . . . . . . . . . 3 . . . . . . . . . . . . . . . 4 . . . . . . . . . . . . . . . 5 . . . . . . . . . . . . . . . 6 . . . . . . . . . . . . . . . 7 . . . . . . . . . . . . . . . 8 . . . . . . . . . . . . . . . 9 . . . . . . . . . . . . . . . 10 . . . . . . . . . . . . . . 11 . . . . . . . . . . . . . . 12 . . . . . . . . . . . . . . 13 . . . . . . . . . . . . . . 14 . . . . . . . . . . . . . . 15 . . . . . . . . . . . . . . 16 . . . . . . . . . . . . . . 17 . . . . . . . . . . . . . . 18 . . . . . . . . . . . . . . 19 . . . . . . . . . . . . . . 20 . . . . . . . . . . . . . . 21 . . . . . . . . . . . . . . 22 . . . . . . . . . . . . . . 23 . . . . . . . . . . . . . . 24 . . . . . . . . . . . . . . 25 . . . . . . . . . . . . . . 26 . . . . . . . . . . . . . .  % 18 17 15 15 14 14 13 13 13 12 11 10 9 9 9 9 8 8 8 7 7 7 6 6 5 5 268 100 / / / / / / / / / B A / / / / / / / / / / / / / A / 23 88 / / / / A / / / / / / / / / / / A / / / / / / / / A 23 88 / / / / C / / / / / / / / / / / / / / / / / C A A C 21 81 / / / / / / / / / / / / / / / / / / B D / / / D C / 22 85 / / / / / C / / / / / / / / C / / / / / / C / / / C 22 85 / / / / / / / / / / / / / D / D / C / C D A / / C C 18 69 / / / / / / / / / / / B - - / / D / / B / / B D / / 19 73 / / / / / / / / B / / B B / / / / / / B B C C D C D 16 62 / / / / / B / A / A / / D / D B A B A / A / / D A D 13 50 / / / / / / B / / / / C - - / / B C C C C C A B B C 12 46 / / / / / / / / / C A C A / D D C A D A A A A A A C 10 38 / / / / / / / / / / / / / / / C / A A / C C C / / / 20 77 / C A - A / C C A / C A / A B A C B B B / B A / A A 6 23 / / C C C C / C C - / C - A C C / C D A A C C C D D 5 19 / / / / / / B / / / B C B - B B B / B / B D B B C B 11 42 / / B / / / / / B / B / B - B - B A B A B B A A B C 9 35 / / / A / / A D D D A D / - A D A D D A D A C C A - 6 23 / / / / / B B B / B B / A A B / B C / B A / A A / / 12 46 Page  30 1 2 3 4 5 6 7 8 9 10 skór Jarča / / / / / 0 / / / / 9 Michal / C / / / A / / 0 / 7 Jana / / / / / B / D 0 0 6 Honza / C / / / B A / 0 0 5 Petra / 0 / / / B D 0 0 0 4 Broňa / A / / B A 0 0 0 0 3 suma 6 2 6 6 5 0 3 3 1 2 X / = správná odpověď, 0 = chybějící odpověď A, B, C, D – písmena označující chybnou odpověď udanou žákem Diagnostický rozbor testu Na kvalitě úloh je totiž závislá také kvalita testu jako celku. Page  31 Index obtížnosti: p = (xS / x) . 100 [%] Hodnota obtížnosti: Q = 100 – p [%] Vhodné úlohy: p = <20,80> Podezřelé úlohy: p < 20 a p > 80 Zakázané úlohy: p se blíží k 0 Vlastnosti testových úloh Hodnota obtížnosti udává procento žáků ve vzorku, kteří danou úlohu zodpověděli nesprávně anebo ji vynechali. Index obtížnosti je procento žáků ve skupině, kteří danou úlohu zodpověděli správně. Page  32 Zásady pro tvorbu testových úloh  testové úlohy jsou navzájem nezávislé  zadání neobsahuje nápovědu pro správnou odpověď  nepoužíváme „chytáky“ (test postřehu)  máme promyšlené skórování(nevytváříme ho ex post)  připravíme více testových úloh, než kolik jich využijeme  formální úprava testu Page  33 Hodnocení 1) Intuitivní přístup ke klasifikaci: a) učitelé s velkou pedagogickou zkušeností b) posudku skupiny odborníků, průměr z jejich hodnocení 2) Klasifikace na základě procenta správných odpovědí 3) Klasifikace na základě normálního rozdělení četností (nejvíce žáků klasifikujeme stupněm 3, poněkud méně žáků stupněm 2 a 4 a nejméně žáků stupněm 1 a 5). Procento správně vyřešených úloh v testu - klasifikace běžná Klasifikační stupeň 91 – 100 81 – 90 71 – 80 61 – 70 0 - 60 1 2 3 4 5 Klasifikační stupeň Rozdělení ( % ) a b c Výborný (1) chvalitebný (2) dobrý (3) dostatečný (4) nedostatečný (5) 7 24 38 24 7 10 20 40 20 10 15 20 30 20 15 Page  34 Záporný rys klasických testů  hodnotí okamžitý výkon žáka v době testování  zaměřují se na výsledky a neberou v úvahu, jak jich bylo dosaženo  nepostihují žákovy myšlenkové procesy, které ho vedly k řešení Lze vytvořit test, který by toto postihoval? Dynamická diagnostika se toto pokouší řešit. Ukázka úlohy https://is.muni.cz/auth/el/1441/podzim2017/SZ6046/um/sem_4/ Page  35 Přizpůsobení standardizovaných testů 1) Přizpůsobené hodnocení (Braden et al., 2001): zahrnuje změny v procesu hodnocení, netýká se úpravy obsahu. Jeho cílem je zpřístupnit testy žákům se SVP pomocí různých opatření, např.:  časové: delší čas, přestávky v průběhu testu, rozdělení testu do dvou či více kratších úseků ;  prostorové: přizpůsobení nábytku, vymezení prostoru, poskytnutí rodinného prostředí;  administrativní: různé možnosti podání instrukcí k testu, např. velikost písma  záznamu odpovědí: nahrávka, sdělení, prostřednictvím PC a jiných technologií;  nárokům a dalším individuálním potřebám žáka. Cílem je, aby žáci měli možnost vyjádřit, co skutečně ovládají vzhledem ke stanovenému obsahu.  Page  36 Přizpůsobení standardizovaných testů 2) Alternativní hodnocení (Braden et al., 2001) týká se změny obsahové dimenze testu pro určitou skupinu žáků zdravotně postižených (ve smyslu hodnocení znalostí a dovedností na nižší úrovni či vynechání některých), kteří se nejsou schopni zúčastnit pravidelného národního hodnocení ani v podmínkách přizpůsobeného hodnocení. Opírá se o různorodé metody hodnocení jako pozorování učitele, výsledné produkty žáků, splněné učební úlohy, portfolio žáka, podklady k IVP – soubor prací studenta demonstrující výsledky žáka vycházející z cílů IVP, dílčích testů a prací žáka.… Braden, J. P., Schroeder, J. L., & Buckley, J. A. (2001). Secondary school reform, inclusion, and authentic assessment for youth with disabilities. Research institute on secondary education reform for youth with disabilities brief. Madison: Wisconsin Center for Education Research. Page  37 Při konstrukci testu si klaďte otázky  Zkouší navržené úlohy skutečně to, co má (validita) a co je v daném učivu nejdůležitější? Není něco podstatného vynecháno?  Jsou očekávané správné odpovědi jednoznačné?  Jsou otázky srozumitelné?  Jak jsou navržené úlohy obtížné?  Jsou úloh přizpůsobeny SVP žáků?  Jsou stanovena kritéria hodnocení a známa dopředu?  Vyhovuje formát žákům?