titlemaster_med Didaktický test Kateřina Vlčková KPed PdF MU, 24.3.2015 2 Co je to didaktický test? nčasto chápán jako krátká písemná zkouška, při níž žák odpovídá výběrem z nabídnutých variant odpovědí nnástroj systematického zjišťování (měření) výsledků výuky norientuje se na objektivní zjišťování úrovně zvládnutí učiva u určité skupiny osob nnavrhován, ověřován, použit, hodnocen a interpretován podle určitých, předem stanovených pravidel nVlastnosti: validita, reliabilita, praktičnost, obtížnost, citlivost > 3 Nechápat didaktický test zúženě! ntest může trvat i několik hodin lPř. závěrečný při studiu předmětu nnemusí být písemný ltesty psaní na stroji, řízení motorových vozidel aj., nnejen úlohy s výběrem odpovědí l řešení určitého problému, pojednání na určité téma - esej n > 4 Funkce didaktického testu nkontrolní lpro učitele, žáka, užitých metod l nopakovací lprůběžný test v hodině l ndiagnostická lzjištění úrovně – pretest, posttest, průběžný n > 5 Didaktický test ve výzkumu nZkoumáme žákovy výsledky vzdělávání lNapř. znalosti, porozumění, aplikační schopnosti atd. lNapř. v experimentu – když zjišťujeme účinnost určitého postupu, formy výuky, učebnice, metody atd. > 6 Edukometrie nDisciplína zabývající se testováním, standardizací testů, didaktickými testy > 7 Druhy didaktických testů > 8 Druhy didaktických testů npodle charakteristiky testového výkonu: ltesty rychlosti, t. úrovně npodle dokonalosti přípravy: lstandardizované, nestandardizované, kvazistandardizované npodle povahy žákovy činnosti: lkognitivní a psychomotorické npodle specifičnosti učení: ltesty výsledků výuky, studijních předpokladů npodle interpretace výkonu v testu: lrozlišující, ověřující npodle časového zařazení do výuky: lvstupní, průběžné, výstupní npodle tématického rozsahu: l monotematické, polytematické npodle míry objektivity při skórování: lskórovatelné objektivně, subjektivně npodle možnosti měnit průběžně obtížnost úloh, podle kvality žákových odpovědí: ladaptivní, neadaptivní > 9 Testy dělené podle charakteristiky testového výkonu nTesty rychlosti l nTesty úrovně > 10 Testy rychlosti lzjišťuje se rychlost s jakou je žák s to řešit úlohy l lpevně stanovený časový limit l lvelmi snadné úlohy l lpř. rychlost čtení, psaní na stroji l > 11 Testy úrovně nžádné časové omezení lmaximálně jen takové, že omezíme jen ty nejpomalejší, kt. prodloužením času už nedosahují lepších výsledků n nvýkon je dán úrovní vědomostí, úlohy řazeny podle obtížnosti n nkombinace lpř. za „ušetřenou minutu“ bod navíc l+ 80% správně > 12 Testy podle dokonalosti přípravy nstandardizované n nnestandardizované n nkvazistandardizované n > 13 Standardizované testy npřipravovány profesionálně, specializované instituce, npřesně popsané z hlediska zadání a interpretace, nvýkonová norma jasně žáka zařazuje a říká, jaký výsledek testu je normální ntestovací část, administrativní (cíl, pro jaké žáky), standardizace testu, zadání, podmínky, instrukce, nhodnocení testu – skór úloh, celkové hodnocení na základě statistických parametrů, převod hodnocení na klasifikační stupnici ntestová příručka/manuál, standard /testová norma pro hodnocení nvlastnosti: validita, reliabilita, citlivost, objektivita, ekonomická náročnost (viz téma dotazník) n > 14 Testy nestandardizované nučitelské, neformální nneproběhlo ověřování na větším vzorku žáků nnení k dispozici testová příručka nnení objektivně stanovený testový standard/norma npři konstrukci je třeba držet se určitých zásad n > 15 Testy kvazistandardizované nna škole či několika školách nznámy některé jejich vlastnosti nněkdy i testová příručka k dispozici a standardy výsledků nstandardizace není provedena bezezbytku n > 16 Podle povahy žákovy činnosti nkognitivní lkvalita/úroveň poznání lpř. test z matematiky, překlad l npsychomotorické lvýsledky psychomotorického učení (psaní na stroji) l l------- nPozn.: výsledky afektivního a sociálního učení se zjišťují dotazníky, škálami atd. n n > 17 Podle specifičnosti učení ntesty výsledků výuky lco se naučili l ntesty studijních předpokladů lobecné charakteristiky, lnáročnější na konstrukci, lu přijímacího řízení by měly být na VŠ > 18 Podle interpretace výkonu v testu ntesty rozlišující / testy relevantního výkonu ljaký výkon dosáhl žák vzhledem k populaci lzda je ve srovnání s ostatními slabý, průměrný atd. l ntesty ověřující / testy absolutního výkonu - kriteriální lověřit úroveň vědomostí a dovedností v přesně vymezené oblasti lpředem stanoven stupeň zvládnutí učiva lneusiluje se o diferencované hodnocení, ale o „zvládl X nezvládl“ > 19 Podle časového zařazení do výuky ntesty vstupní n ntesty průběžné lformativní l ntesty výstupní lsumativní n n n > 20 podle tématického rozsahu n ntesty monotematické n npolytematické n > 21 podle míry objektivity při skórování ntesty objektivně skórovatelné llze objektivně říci, zda byly úlohy řešeny správně či nesprávně lskórování může provádět kdokoli = výhoda l ntesty subjektivně skórovatelné lesej testy, lnení možné objektivně stanovit jednoznačná pravidla pro skórování lpř. úlohy široké otevřené, zkouší daleko komplexnější vědomosti > 22 podle možnosti měnit průběžně obtížnost úloh podle kvality žákových odpovědí ntesty adaptivní n ntesty neadaptivní n > 23 Postup při konstrukci didaktického testu > 24 Postup při konstrukci did. testu nKonstrukce by neměla by začínat přímo navrhováním testových úloh lsnadno by se navrhovaly, ale nevedly by k vyváženému didaktickému testu lnepokrývaly by rovnoměrně celé učivo lzaměřovaly by se na pouhou reprodukci zapamatovaných poznatků nnejsnadněji se navrhují úlohy zkoušející zapamatování ltěchto úloh bývá u autorů nepoučených převaha > 25 1. Vymezit si účel testu nK jakému účelu má test sloužit? n nNapř. lzjištění výsledků výuky na konci tematického celku, pololetí, lzjištění, jak žáci učivo chápou a přijímají, kontrola, lvýběr studentů pro vyšší typ školy laj. > 26 2. Rámcové vymezení obsahu testu nPř. nskladba, tvarosloví nučivo 40 hodin ČJ, n6.roč. ZŠ > 27 3. Upřesnění obsahu – co mají úlohy zkoušet nJakou úroveň osvojení mají jednotlivé úlohy zkoušet lnezkoušet jen zapamatování, ale i vyšší cílové kategorie – porozumění, používání nviz taxonomie výukových cílů nKolik úloh má zkoušet jednotlivé prvky učiva lprvky učiva mají být reprezentovány počtem úloh odpovídajících jejich důležitosti/ významu a rozsahu nKolik úloh musí obsahovat celý test lspodní hranice je 10 úloh ljedině test s dostačujícím počtem úloh může poskytnout reliabilní = spolehlivou informaci lhorní hranice je dána čas. možnostmi lu monotematických testů max. kolem 20 úloh > 28 4. Konstrukce testu n= vytvoření jednotlivých testových úloh a prvního návrhu testu ntestová úloha = otázka, úkol, problém obsažený v testu nna jejich kvalitě závisí kvalita celého testování nautor by měl být dobrým odborníkem předmětu, ze kterého test připravuje lměl by se také umět vcítit do žáků lbýt dobrým pedagogem a psychologem nzvážit, jaký typ testových úloh použít nkaždý má určité vlastnosti, výhody a nevýhody nviz druhy testových úloh > 29 5. Návrh prototypu testu nje dobré návrh na několik dní odložit, pak se k němu kriticky vrátit nz úloh, které obstály při našem i cizím hodnocení sestavit test nkonstruujeme-li rozlišující test, musíme úlohy seřadit podle vzrůstající obtížnosti npřibližně určíme čas k vypracování testu žáky lu jednodušších otevřených, úzkých úloh a jednodušších s výběrem odpovědi – ca. 0,5 až 1,5 minuty na úlohu nčasový limit stanovujeme velmi volně, v běžných případech bez čas. omezení > 30 6. Ověření kvality vytvořeného didaktického testu ni když postupujeme a plánujeme pečlivě, nemůžeme si být nikdy jisti tím, jaké vlastnosti nakonec bude test mít n=> ověřit ho na vzorku žáků nu nestandardizovaného – pro naši potřebu stačí žáci, kt. učíme nstačí jen odhad vlastností testu nX znát ty vlastnosti – u standardiz. testů se s nimi setkáme npak odstranit nevhodné vlastnosti testu nebo je alespoň zmírnit nzískáme údaje o vlastnostech testových úloh i testu jako celku > 31 7. Klasifikace výsledků testu nProblém převodu bodového hodnocení na klasifikační stupnici lintuitivně lna základě procenta správných odpovědí lna základě normálního rozložení > 32 8. Diagnostický rozbor výsledků žáků nvšímat si chyb, hledat jejich příčiny nvýsledky třídy si zobrazit v histogramu četností nsloupcový diagram ldozvím se rozložení výsledků nkolik žáků má 3, 2 atd. > 33 Druhy testových úloh > 34 Druhy testových úloh nkaždý druh úloh má určité vlastnosti, výhody a nevýhody n nkritériem výběru je: lcíl testování, lobsah učiva, lpodmínky, lautorova preference úloh l nDruhy úloh lpodle způsobu, jakým žák odpovídá núlohy s otevřenou odpovědí núlohy s uzavřenou odpovědí > 35 Druhy testových úloh podle typů odpovědí > 36 Testové úlohy vhodné pro zjišťování dosažených vzdělávacích výsledků dle Bloomovy taxonomie kognitivních výukových cílů > 37 1. Úlohy s otevřenou odpovědí podle rozsahu požadované odpovědi a)otevřené široké úlohy b) b)úlohy se stručnou odpovědí lprodukční ldoplňovací l > 38 Ad a) otevřené široké úlohy ns nabídnutou strukturou odpovědi lVýroba surového železa l (uveďte hlavní používané suroviny, nakreslete schéma pece a popište hlavní probíhající chemické reakce) l nbez nabídnuté struktury lvyplývá z konvence, zjišťujeme ji lPř. Popište hlavní stádia tělesného vývoje dítěte do šesti let. > 39 Ad b) úlohy se stručnou odpovědí nprodukční lPř. Které jsou tři základní složky lidské potravy?……………………………… lPř. Napište Archimédův zákon…….. l ndoplňovací lPř. Hlavním městem Švýcarska je ….. lPř. Po smrti českého krále Karla IV. v roce ……… nastoupil na trůn jeho syn …… > 40 2. úlohy s uzavřenou odpovědí ndichotomické úlohy núlohy s výběrem odpovědi njedna správná, njedna nejpřesnější, njedna nesprávná, nvícenásobná odpověď, nsituační/ interpretační úlohy npřiřazovací úlohy nuspořádavací úlohy > 41 Dichotomické úlohy nPř. lMistr Jan Hus byl upálen roku 1515. l ANO – NE l lPři vypařování kapaliny se teplo n spotřebovává - uvolňuje > 42 Úlohy s výběrem odpovědi – jedna správná nPř. n Cesta vlakem nám velmi rychle uběhla. n nPodtržený větný člen je: lPodmět lPředmět lPřívlastek lPříslovečné určení > 43 Úlohy s výběrem odpovědi – jedna nejpřesnější n Př. n Které z následujících tvrzení nejlépe odpovídá na otázku: „Co je chemický prvek?“ n a)Prvek je látka, která se skládá z atomů stejného druhu. b)Prvek je látka, kterou již dále nelze rozdělit c)Prvek je látka složená z atomů, které mají stejné protonové číslo. d)Žádné z předchozích tvrzení není naprosto správné. > 44 Úlohy s výběrem odpovědi – jedna nesprávná nKterý z následujících dějů není formou oxidačního procesu? n a)Dýchání b)Hnití c)Destilace d)Rezivění l > 45 Úlohy s výběrem odpovědi – vícenásobná odpověď nPř. n Kterými státy protéká (nebo se alespoň dotýká) Odra? n a)Německo b)Rusko c)ČR d)Slovensko e)Polsko > 46 Úlohy s výběrem odpovědi – situační / interpretační úlohy nPř. n Na místo označené hvězdičkou napište takovou číslici, aby výsledné šesticiferné číslo bylo dělitelné sedmi: n n 823*43 > 47 Přiřazovací úlohy nPř. n K názvům států v levém sloupci přiřaďte správně názvy jejich hlavních měst z pravého sloupce. n n Švýcarsko ( ) A Oslo n Norsko ( ) B Dublin n Island ( ) C Bern n Finsko ( ) D Berlín n Nizozemsko ( ) E Reykjavík n F Helsinky n G Amsterodam > 48 Uspořádací úlohy nPř. n Seřaďte následující racionální čísla podle jejich velikosti tak, že k nejmenšímu z nich připíšete 1 a k největšímu 4. n n 0,5 ….. n 12/18 ….. n -0,001 ….. n 15/60 ….. > 49 Vlastnosti testu > 50 Vlastnosti testu nstandardizace testu n lObjektivita lValidita lReliabilita lCitlivost lEkonomická náročnost n > 51 Objektivita testu nzamezit zkreslení výsledku npodmínky objektivity: 1)odpověď je jediná 2)jednoznačné vyhodnocení 3)výkon je posuzován podle normativního systému > 52 Validita testu nměří to, co měřit má ntypy validit (min. 20 typů): lobsahová – do jaké míry úlohy zjišťují oblast, kterou zkoušíme, obsahová analýza lpredikční – do jaké míry je úspěšnost v testu s sto predikovat přijetí na VŠ, do jaké míry je v souladu se schopnostmi, stabilní výkon lpojmová, konstruktová – jak vyjadřuje vztah teorie a řešení, týká se hypotéz > 53 Reliabilita testu npřesnost a spolehlivost testu nvýsledky by se měly co nejméně lišit od skutečnosti lpř. měření na jiné skupině dá stejné výsledky lčím méně se budou výsledky lišit, tím lépe lje třeba potlačit náhodný rozptyl nvypočítává se koeficient reliability lmá být kolem 1 > 54 Citlivost didaktického testu nměří rozdíly mezi žáky l => musí být různé otázky nměří pravděpodobnost správné odpovědi nkoeficient citlivosti lblízký 0 = lehká otázka, l1 = těžká, l0,2 0,8 > 55 Ekonomická náročnost n nčas ninterpretace – formulovat předpoklady užití > 56 Ověření kvality vytvořeného didaktického testu nVlastnosti dobré testové úlohy: nobtížnost ncitlivost n nVlastnosti dobrého didaktického testu jako celku: nvalidita nreliabilita > 57 Obtížnost testové úlohy nposoudíme podle toho, kolik žáků dokáže položku správně vyřešit nhodnota obtížnosti Q udává procento žáků ve vzorku, kteří danou úlohu odpověděli nesprávně nebo ji vynechali n n Q = 100 (nn/n) n nQ……… hodnota obtížnosti nnn …… počet žáků, kteří odpověděli nesprávně nebo vůbec nn ……. celkový počet testovaných žáků > 58 Obtížnost testové úlohy nindex obtížnosti P je procento žáků ve skupině, kteří danou úlohu zodpověděli správně n n P = 100 (ns/n) n nP …index obtížnosti nns .. počet žáků, kteří odpověděli správně nn … celkový počet žáků n > 59 Obtížnost testové úlohy nQ > 80 lvelmi obtížné úlohy (nemělo by jich být v testu mnoho, pokud se blíží hodnotě 100, jsou nevhodné, měli bychom je vyloučit) nQ< 20 lvelmi snadné (extrémně snadné úlohy, blížící se 0, je vhodné dát z psychologických důvodů jako úvodní úlohu testu – přispěje k uklidnění žáků) l nnejvhodnější jsou úlohy s hodnotou obtížnosti kolem Q = 50 lplatí pro rozlišující testy n > 60 Citlivost testové úlohy nrozlišovací hodnota, rozlišovací schopnost úloh n nvysokou citlivost má úloha lkterou řeší s úspěchem žáci, kteří mají celkově lepší vědomosti lzatímco žáci s celkově horšími vědomostmi dosahují špatných výsledků > 61 Citlivost testové úlohy nZjišťuje se pomocí koeficientu citlivosti n nje jich vícero nnabývá hodnoty od 1 do –1 nčím vyšší hodnotu má, tím lépe úloha rozlišuje mezi žáky s lepšími vědomostmi a horšími n > 62 Hodnoty koeficientu citlivosti npokud je kolem 0 lnerozlišuje dobře lžáci s lepšími vědomostmi a horšími vědomostmi jsou stejně úspěšní nzáporné hodnoty koeficientu lúloha zvýhodňuje žáky, kteří mají v testu celkově horší výsledky nnízké hodnoty či záporné lu úloh, které jsou příliš komplikovaně formulované llepší žáci hledají složitý způsob řešení a dopouští se chyb, slabí hádají lnebo např. u velmi obtížných úloh s výběrovými odpověďmi lnebo u úloh, kde se zkouší formálně zvládnuté učivo npřijatelné hodnoty jsou většinou vyšší než +0,2 > 63 Zjišťování citlivost testové úlohy u nestandardizovaných testů nu nestandardizovaných testů není třeba koeficienty vypočítávat lstačí si všimnout, jak v jednotlivých úlohách odpovídali „horší“ a „lepší“ žáci ljestliže lepších výsledků dosahovali horší žáci, znamená to, že s úlohou není něco v pořádku a má malou nebo i zápornou citlivost n n > 64 Validita didaktického testu nzda test zkouší skutečně to, co má být zkoušeno nshoda obsahu testu s cílem vyučování (obsahová validita) nobsah úloh testu by měl být reprezentativním vzorkem zkoušeného učiva npredikční validita nnapř. testů studijních předpokladů nposouzení validity prostřednictvím srovnání výsledků jiného testu > 65 Reliabilita didaktického testu nspolehlivost testu lza týchž podmínek má poskytovat týž výsledky npřesnost testu lnedochází k velkým chybám v měření nmíra reliability se vyjadřuje koeficientem reliability <0,1> lpožaduje se alespoň 0,8 nje závislá na kvalitě testových úloh a jejich počtu lčím více testových úloh, tím větší reliabilita nu testů s malým počtem úloh dosahuje max. 0,60 n > 66 Reliabilita didaktického testu nčím nižší reliabilita, tím skeptičtěji je třeba spolehlivost výsledků posuzovat naby byl test dostatečně validní, musí mít vysokou reliabilitu (naopak ta záruka není) ltest může spolehlivě a přesně měřit určité vědomosti, i když měří něco jiného než má nvíce viz Chráska 1998 > 67 Klasifikace výsledků testu > 68 Klasifikace výsledků testu nProblém převodu bodového hodnocení na klasifikační stupnici: n 1)intuitivní přístup ke klasifikaci 2) 2)klasifikace na základě procenta správných odpovědí 3) 3)na základě normálního rozdělení > 69 Intuitivní přístup ke klasifikaci nu učitelů s velkou ped. a odbornou zkušeností hodnocení odpovídá npřiřazení klasifikačních stupňů na základě posouzení odborníky: ltest necháme posoudit co nejvíce odborníkům-učitelům, lpožádáme je o návrh klasifikační stupnice, lz posudků určíme průměr, lčímž eliminujeme extrémní názory > 70 Klasifikace na základě procenta správných odpovědí > 71 Klasifikace na základě procenta správných odpovědí npř. v matematice n4 rozsáhlejší úlohy správně = 1 n3 úlohy = 2, …. nproblém: nepřihlíží k rozdílné obtížnosti úloh nvyhovuje u testů, které neobsahují extrémně snadné či složité úlohy npoužívá se u testů ověřujících zvládnutí základního učiva (kriteriálních) ndichotomické hodnocení Vyhověl-Nevyhověl, nmusí splnit 80-90% úloh > 72 Klasifikace na základě normálního rozdělení nvychází se z předpokladu, že rozložení výsledků odpovídá Gausově křivce nnejvíce výkonů je vždy průměrných lnejvíce žáků klasifikujeme stupněm 3 > 73 Klasifikace na základě normálního rozdělení nexistují také tzv. percentilové škály, C-škály, T-škály aj. pro vyjádření výkonu pomocí klasifikačních stupňů > 74 Diagnostický rozbor výsledků žáků nvšímat si chyb, hledat jejich příčiny nvýsledky třídy si zobrazit v histogramu četností (sloupkový diagram) ldozvím se rozložení výsledků nkolik žáků má 3, 2 atd. > 75 Literatura nBYČKOVSKÝ, P. Základy měření výsledků výuky. Tvorba didaktického testu. Praha : ČVUT, 1982. n nBYČKOVSKÝ, P. Teorie testování. 1987 n nHNILIČKOVÁ a kol. Didaktické testy.Praha: 1967. n nHRABAL, V. Testy a testování ve škole,.Praha : UK, 1992. n nCHRÁSKA, M. Didaktické testy v práci učitele. Olomouc : Krajský pedagogický ústav, 1998. n nCHRÁSKA, M. Didaktické testy. Brno : Paido, 1998. n nKOMENDA, Analýza náhodného v testech. Olomouc : 1987. n nCHRÁSKA, M. Hodnocení vzdělávacích výsledků žáků. In OBST, O.; KALHOUS, Z. a kol. Školní didaktika. Praha : Portál, 2002, s.212-232. ISBN 80-7178-253-X. n nPRŮCHA, J.; WALTEROVÁ, E.; MAREŠ, J. Pedagogický slovník. Praha : Portál, 2001. ISBN 80-7178-579-2. > 76 Ukázky didaktických testů > TIMSS, 2011 4. třída matematika 77 > TIMSS, 2011, 4. třída, matematika 78 >