Didaktický test Kateřina Vlčková Přednášky Základy pedagogické metodologie Co je to didaktický test? n často chápán jako krátká písemná zkouška, při níž žák odpovídá výběrem z nabídnutých variant odpovědí n nástroj systematického zjišťování (měření) výsledků výuky n zkouška, orientující se na objektivní zjišťování úrovně zvládnutí učiva u určité skupiny osob n navrhován, ověřován, použit, hodnocen a interpretován podle určitých, předem stanovených pravidel n jeho vlastnosti jsou validita, reliabilita, praktičnost, obtížnost, citlivost Nechápat didaktický test zúženě! n test může trvat i několik hodin l Př. závěrečný při studiu předmětu n nemusí být písemný l testy psaní na stroji, řízení motorových vozidel aj., n nejen úlohy s výběrem odpovědí l řešení určitého problému, pojednání na určité téma - esej Funkce didaktického testu n kontrolní l pro učitele, žáka, užitých metod n opakovací l průběžný test v hodině n diagnostická l zjištění úrovně -- pretest, posttest, průběžný Didaktický test ve výzkumu n Zkoumáme žákovy výsledky vzdělávání l Např. znalosti, porozumění, aplikační schopnosti atd. l Např. v experimentu -- když zjišťujeme účinnost určitého postupu, formy výuky, učebnice,metody atd. Edukometrie n Disciplína zabývající se testováním, standardizací testů, didaktickými testy Druhy didaktických testů n podle charakteristiky testového výkonu: l testy rychlosti, t. úrovně n podle dokonalosti přípravy: l standardizované, nestandardizované, kvazistandardizované n podle povahy žákovy činnosti: l kognitivní a psychomotorické n podle specifičnosti učení: l testy výsledků výuky, studijních předpokladů n podle interpretace výkonu v testu: l rozlišující, ověřující n podle časového zařazení do výuky: l vstupní, průběžné, výstupní n podle tématického rozsahu: l monotematické, polytematické n podle míry objektivity při skórování: l skórovatelné objektivně, subjektivně n podle možnosti měnit průběžně obtížnost úloh, podle kvality žákových odpovědí: l adaptivní, neadaptivní Testy dělené podle charakteristiky testového výkonu n Testy rychlosti n Testy úrovně Testy rychlosti l zjišťuje se rychlost s jakou je žák s to řešit úlohy l pevně stanovený časový limit l velmi snadné úlohy l př. rychlost čtení, psaní na stroji Testy úrovně n žádné časové omezení l maximálně jen takové, že omezíme jen ty nejpomalejší, kt. prodloužením času už nedosahují lepších výsledků n výkon je dán úrovní vědomostí úlohy řazeny podle obtížnosti n kombinace -- za "ušetřenou minutu" bod navíc + 80% správně Testy podle dokonalosti přípravy n standardizované n nestandardizované n kvazistandardizované Standardizované testy n připravovány profesionálně, specializované instituce, n přesně popsané z hlediska zadání a interpretace, n výkonová norma jasně žáka zařazuje a říká, jaký výsledek testu je normální n testovací část, administrativní (cíl, pro jaké žáky), standardizace testu, zadání, podmínky, instrukce, n hodnocení testu -- skór úloh, celkové hodnocení na základě statistických parametrů, převod hodnocení na klasifikační stupnici n testová příručka/manuál, standard /testová norma pro hodnocení n vlastnosti: validita, reliabilita, citlivost, objektivita, ekonomická náročnost (viz téma dotazník) Testy nestandardizované n učitelské, neformální, n neproběhlo ověřování na větším vzorku žáků n není k dispozici testová příručka n není objektivně stanovený testový standard/norma n při konstrukci je třeba držet se určitých zásad Testy kvazistandardizované n na škole či několika školách, n známy některé jejich vlastnosti, n někdy i testová příručka k dispozici a standardy výsledků, n standardizace není provedena bezezbytku podle povahy žákovy činnosti n kognitivní l kvalita/úroveň poznání l př. test z matematiky, překlad n Psychomotorické l výsledky psychomotorického učení (psaní na stroji) n Pozn.: výsledky afektivního a sociálního učení se zjišťují dotazníky, škálami atd. podle specifičnosti učení n testy výsledků výuky l co se naučili n testy studijních předpokladů l obecné charakteristiky, l náročnější na konstrukci, l u přijímacího řízení by měly být na VŠ podle interpretace výkonu v testu n testy rozlišující / testy relevantního výkonu l jaký výkon dosáhl žák vzhledem k populaci, l zda je ve srovnání s ostatními slabý, průměrný atd. n testy ověřující / testy absolutního výkonu - kriteriální l ověřit úroveň vědomostí a dovedností v přesně vymezené oblasti l předem stanoven stupeň zvládnutí učiva l neusiluje se o diferencované hodnocení, ale o "zvládl X nezvládl" podle časového zařazení do výuky n testy vstupní n testy průběžné l formativní n testy výstupní l sumativní podle tématického rozsahu n testy monotematické n polytematické podle míry objektivity při skórování n testy objektivně skórovatelné l lze objektivně říci, zda byly úlohy řešeny správně či nesprávně l skórování může provádět kdokoli = výhoda n testy subjektivně skórovatelné l esej testy, l není možné objektivně stanovit jednoznačná pravidla pro skórování l př. úlohy široké otevřené, zkouší daleko komplexnější vědomosti podle možnosti měnit průběžně obtížnost úloh podle kvality žákových odpovědí n testy adaptivní n testy neadaptivní Postup při konstrukci did. testu n Konstrukce by neměla by začínat přímo navrhováním testových úloh l snadno by se navrhovaly, ale nevedly by k vyváženému didaktickému testu, l nepokrývaly by rovnoměrně celé učivo, l zaměřovaly by se na pouhou reprodukci zapamatovaných poznatků n nejsnadněji se navrhují úlohy zkoušející zapamatování l těchto úloh bývá u autorů nepoučených převaha 1. Vymezit si účel testu n K jakému účelu má test sloužit? Např. l zjištění výsledků výuky na konci tematického celku, pololetí, l zjištění, jak žáci učivo chápou a přijímají, kontrola, l výběr studentů pro vyšší typ školy l aj. 2. Rámcové vymezení obsahu testu Př. n skladba, tvarosloví n učivo 40 hodin ČJ, n 6.roč. ZŠ 3. Upřesnění obsahu -- co mají úlohy zkoušet n Jakou úroveň osvojení mají jednotlivé úlohy zkoušet l nezkoušet jen zapamatování, ale i vyšší cílové kategorie -- porozumění, používání n viz taxonomie výukových cílů n Kolik úloh má zkoušet jednotlivé prvky učiva l prvky učiva mají být reprezentovány počtem úloh odpovídajících jejich důležitosti/ významu a rozsahu n Kolik úloh musí obsahovat celý test l spodní hranice je 10 úloh, l jedině test s dostačujícím počtem úloh může poskytnout reliabilní = spolehlivou informaci, l horní hranice je dána čas. možnostmi, l u monotematických testů max. kolem 20 úloh 4. Konstrukce testu n = vytvoření jednotlivých testových úloh a prvního návrhu testu n testová úloha = otázka, úkol, problém obsažený v testu, n na jejich kvalitě závisí kvalita celého testování n autor by měl být dobrým odborníkem předmětu, ze kterého test připravuje, l měl by se také umět vcítit do žáků l být dobrým pedagogem a psychologem n zvážit, jaký typ testových úloh použít n každý má určité vlastnosti, výhody a nevýhody n viz druhy testových úloh 5. Návrh prototypu testu n je dobré návrh na několik dní odložit, pak se k němu kriticky vrátit n z úloh, které obstály při našem i cizím hodnocení sestavit test n konstruujeme-li rozlišující test, musíme úlohy seřadit podle vzrůstající obtížnosti n přibližně určíme čas k vypracování testu žáky l u jednodušších otevřených, úzkých úloh a jednodušších s výběrem odpovědi -- ca. 0,5 až 1,5 minuty na úlohu n časový limit stanovujeme velmi volně, v běžných případech bez čas. omezení 6. Ověření kvality vytvořeného didaktického testu n i když postupujeme a plánujeme pečlivě, nemůžeme si být nikdy jisti tím, jaké vlastnosti nakonec bude test mít n => ověřit ho na vzorku žáků n u nestandardizovaného -- pro naši potřebu stačí žáci, kt. učíme, n stačí jen odhad vlastností testu n X znát ty vlastnosti -- u standardiz. testů se s nimi setkáme n pak odstranit nevhodné vlastnosti testu nebo je alespoň zmírnit n získáme údaje o vlastnostech testových úloh i testu jako celku 7. Klasifikace výsledků testu n Problém převodu bodového hodnocení na klasifikační stupnici l intuitivně, l na základě procenta správných odpovědí, l na základě normálního rozložení 8. Diagnostický rozbor výsledků žáků n všímat si chyb, hledat jejich příčiny n výsledky třídy si zobrazit v histogramu četností n sloupkový diagram l dozvím se rozložení výsledků n kolik žáků má 3, 2 atd. Druhy testových úloh n každý druh úloh má určité vlastnosti, výhody a nevýhody n kritériem výběru je: l cíl testování, l obsah učiva, l podmínky, l autorova preference úloh n Druhy úloh: l podle způsobu, jakým žák odpovídá: n úlohy s otevřenou odpovědí n úlohy s uzavřenou odpovědí Druhy testových úloh podle typů odpovědí Bloomova taxonomie kognitivních výukových cílů a druhy vhodných testových úloh pro zjišťování dosažených vzdělávacích výsledků 1. Úlohy s otevřenou odpovědí podle rozsahu požadované odpovědi n otevřené široké úlohy n úlohy se stručnou odpovědí l produkční l doplňovací Ad a) otevřené široké úlohy n s nabídnutou strukturou odpovědi l Výroba surového železa (uveďte hlavní používané suroviny, nakreslete schéma pece a popište hlavní probíhající chemické reakce) n bez nabídnuté struktury l vyplývá z konvence, zjišťujeme ji l Př. Popište hlavní stádia tělesného vývoje dítěte do šesti let. Ad b) úlohy se stručnou odpovědí n produkční l Př. Které jsou tři základní složky lidské potravy?.................................... l Př. Napište Archimédův zákon........ n doplňovací l Př. Hlavním městem Švýcarska je ..... l Př. Po smrti českého krále Karla IV. v roce ......... nastoupil na trůn jeho syn ...... 2. úlohy s uzavřenou odpovědí n dichotomické úlohy n úlohy s výběrem odpovědi n jedna správná, n jedna nejpřesnější, n jedna nesprávná, n vícenásobná odpověď, n situační/ interpretační úlohy n přiřazovací úlohy n uspořádavací úlohy Dichotomické úlohy n Př. l Mistr Jan Hus byl upálen roku 1515. ANO -- NE l Při vypařování kapaliny se teplo spotřebovává - uvolňuje Úlohy s výběrem odpovědi -- jedna správná Př. Cesta vlakem nám velmi rychle uběhla. Podtržený větný člen je: l Podmět l Předmět l Přívlastek l Příslovečné určení Úlohy s výběrem odpovědi -- jedna nejpřesnější Př. Které z následujících tvrzení nejlépe odpovídá na otázku: "Co je chemický prvek?" n Prvek je látka, která se skládá z atomů stejného druhu. n Prvek je látka, kterou již dále nelze rozdělit n Prvek je látka složená z atomů, které mají stejné protonové číslo. n Žádné z předchozích tvrzení není naprosto správné. Úlohy s výběrem odpovědi -- jedna nesprávná n Který z následujících dějů není formou oxidačního procesu? lDýchání lHnití lDestilace lRezivění Úlohy s výběrem odpovědi -- vícenásobná odpověď Př. Kterými státy protéká (nebo se alespoň dotýká) Odra? lNěmecko lRusko lČR lSlovensko lPolsko Úlohy s výběrem odpovědi -- situační / interpretační úlohy Př. Na místo označené hvězdičkou napište takovou číslici, aby výsledné šesticiferné číslo bylo dělitelné sedmi: 823*43 přiřazovací úlohy Př. K názvům států v levém sloupci přiřaďte správně názvy jejich hlavních měst z pravého sloupce. Švýcarsko ( ) A Oslo Norsko ( ) B Dublin Island ( ) C Bern Finsko ( ) D Berlín Nizozemsko ( ) E Reykjavík F Helsinky G Amsterodam uspořádací úlohy Př. Seřaďte následující racionální čísla podle jejich velikosti tak, že k nejmenšímu z nich připíšete 1 a k největšímu 4. 0,5 ..... 12/18 ..... -0,001 ..... 15/60 ..... Vlastnosti testu standardizace testu l Objektivita l Validita l Reliabilita l Citlivost l Ekonomická náročnost Objektivita testu n zamezit zkreslení výsledku n podmínky objektivity: l odpověď je jediná l jednoznačné vyhodnocení l výkon je posuzován podle normativního systému Validita testu n měří to, co měřit má n typy validit (min. 20 typů): l obsahová -- do jaké míry úlohy zjišťují oblast, kterou zkoušíme, obsahová analýza l predikční -- do jaké míry je úspěšnost v testu s sto predikovat přijetí na VŠ, do jaké míry je v souladu se schopnostmi, stabilní výkon l pojmová, konstruktová -- jak vyjadřuje vztah teorie a řešení, týká se hypotéz Reliabilita testu n přesnost a spolehlivost testu n výsledky by se měly co nejméně lišit od skutečnosti l př. měření na jiné skupině dá stejné výsledky, l čím méně se budou výsledky lišit, tím lépe l je třeba potlačit náhodný rozptyl n vypočítává se koeficient reliability l má být kolem 1 Citlivost didaktického testu n měří rozdíly mezi žáky => musí být různé otázky n měří pravděpodobnost správné odpovědi n koeficient citlivosti l blízký 0 = lehká otázka, l 1 = těžká, l 0,2 0,8 Ekonomická náročnost n čas, n interpretace -- formulovat předpoklady užití Ověření kvality vytvořeného didaktického testu n Vlastnosti dobré testové úlohy: n Obtížnost n Citlivost n Vlastnosti dobrého didaktického testu jako celku: n Validita n reliabilita Obtížnost testové úlohy n posoudíme podle toho, kolik žáků dokáže položku správně vyřešit n hodnota obtížnosti Q udává procento žáků ve vzorku, kteří danou úlohu odpověděli nesprávně nebo ji vynechali Q = 100 (n[n]/n) Q......... hodnota obtížnosti n[n] ...... počet žáků, kteří odpověděli nesprávně nebo vůbec n ....... celkový počet testovaných žáků Obtížnost testové úlohy n index obtížnosti P je procento žáků ve skupině, kteří danou úlohu zodpověděli správně P = 100 (n[s]/n) P ...index obtížnosti n[s] .. počet žáků, kteří odpověděli správně n ... celkový počet žáků Obtížnost testové úlohy n Q > 80 l velmi obtížné úlohy (nemělo by jich být v testu mnoho, pokud se blíží hodnotě 100, jsou nevhodné,měli bychom je vyloučit) n Q< 20 l velmi snadné (extrémně snadné úlohy, blížící se 0, je vhodné dát z psychologických důvodů jako úvodní úlohu testu -- přispěje k uklidnění žáků) n nejvhodnější jsou úlohy s hodnotou obtížnosti kolem Q = 50 l platí pro rozlišující testy Citlivost testové úlohy n rozlišovací hodnota, rozlišovací schopnost úloh n vysokou citlivost má úloha l kterou řeší s úspěchem žáci, kteří mají celkově lepší vědomosti, l zatímco žáci s celkově horšími vědomostmi dosahují špatných výsledků Citlivost testové úlohy Zjišťuje se pomocí koeficientu citlivosti n je jich vícero n nabývá hodnoty od 1 do --1 n čím vyšší hodnotu má, tím lépe úloha rozlišuje mezi žáky s lepšími vědomostmi a horšími Hodnoty koeficientu citlivosti n pokud je kolem 0 l nerozlišuje dobře l žáci s lepšími vědomostmi a horšími vědomostmi jsou stejně úspěšní n záporné hodnoty koeficientu l úloha zvýhodňuje žáky, kteří mají v testu celkově horší výsledky n nízké hodnoty či záporné l u úloh, které jsou příliš komplikovaně formulované l lepší žáci hledají složitý způsob řešení a dopouští se chyb, slabí hádají l nebo např. u velmi obtížných úloh s výběrovými odpověďmi l nebo u úloh, kde se zkouší formálně zvládnuté učivo n přijatelné hodnoty jsou většinou vyšší než +0,2 Zjišťování citlivost testové úlohy u nestandardizovaných testů n u nestandardizovaných testů není třeba koeficienty vypočítávat l stačí si všimnout, jak v jednotlivých úlohách odpovídali "horší" a "lepší" žáci l jestliže lepších výsledků dosahovali horší žáci, znamená to, že s úlohou není něco v pořádku a má malou nebo i zápornou citlivost Validita didaktického testu n zda test zkouší skutečně to, co má být zkoušeno n shoda obsahu testu s cílem vyučování (obsahová validita) n obsah úloh testu by měl být reprezentativním vzorkem zkoušeného učiva n predikční validita n např. testů studijních předpokladů n posouzení validity prostřednictvím srovnání výsledků jiného testu Reliabilita didaktického testu n spolehlivost testu l za týchž podmínek má poskytovat týž výsledky n přesnost testu l nedochází k velkým chybám v měření n míra reliability se vyjadřuje koeficientem reliability <0,1>, l požaduje se alespoň 0,8 n je závislá na kvalitě testových úloh a jejich počtu l čím více testových úloh, tím větší reliabilita n u testů s malým počtem úloh dosahuje max. 0,60 Reliabilita didaktického testu n čím nižší reliabilita, tím skeptičtěji je třeba spolehlivost výsledků posuzovat n aby byl test dostatečně validní, musí mít vysokou reliabilitu (naopak ta záruka není) l test může spolehlivě a přesně měřit určité vědomosti, i když měří něco jiného než má n více viz Chráska 1998 Klasifikace výsledků testu n Problém převodu bodového hodnocení na klasifikační stupnici: l intuitivní přístup ke klasifikaci l klasifikace na základě procenta správných odpovědí l na základě normálního rozdělení Intuitivní přístup ke klasifikaci n u učitelů s velkou ped. a odbornou zkušeností hodnocení odpovídá n přiřazení klasifikačních stupňů na základě posouzení odborníky: l test necháme posoudit co nejvíce odborníkům-učitelům, l požádáme je o návrh klasifikační stupnice, l z posudků určíme průměr, l čímž eliminujeme extrémní názory Klasifikace na základě procenta správných odpovědí Klasifikace na základě procenta správných odpovědí n př. v matematice n 4 rozsáhlejší úlohy správně = 1 n 3 úlohy = 2, .... n problém: nepřihlíží k rozdílné obtížnosti úloh n vyhovuje u testů, které neobsahují extrémně snadné či složité úlohy n používá se u testů ověřujících zvládnutí základního učiva (kriteriálních) n dichotomické hodnocení Vyhověl-Nevyhověl, n musí splnit 80-90% úloh Klasifikace na základě normálního rozdělení n vychází se z předpokladu, že rozložení výsledků odpovídá Gausově křivce n nejvíce výkonů je vždy průměrných l nejvíce žáků klasifikujeme stupněm 3 Klasifikace na základě normálního rozdělení n existují také tzv. percentilové škály, C- škály, T-škály aj. pro vyjádření výkonu pomocí klasifikačních stupňů Diagnostický rozbor výsledků žáků n všímat si chyb, hledat jejich příčiny n výsledky třídy si zobrazit v histogramu četností (sloupkový diagram) l dozvím se rozložení výsledků n kolik žáků má 3, 2 atd. Literatura n BYČKOVSKÝ, P. Základy měření výsledků výuky. Tvorba didaktického testu. Praha : ČVUT, 1982. n BYČKOVSKÝ, P. Teorie testování. 1987 n HNILIČKOVÁ a kol. Didaktické testy.Praha: 1967. n HRABAL, V. Testy a testování ve škole,.Praha : UK, 1992. n CHRÁSKA, M. Didaktické testy v práci učitele. Olomouc : Krajský pedagogický ústav, 1998. n CHRÁSKA, M. Didaktické testy. Brno : Paido, 1998. n KOMENDA, Analýza náhodného v testech. Olomouc : 1987. n CHRÁSKA, M. Hodnocení vzdělávacích výsledků žáků. In OBST, O.; KALHOUS, Z. a kol. Školní didaktika. Praha : Portál, 2002, s.212-232. ISBN 80-7178-253-X. n PRŮCHA, J.; WALTEROVÁ, E.; MAREŠ, J. Pedagogický slovník. Praha : Portál, 2001. ISBN 80-7178-579-2. Ukázky didaktických testů