Konstrukce a analýza
didaktických testů
Problematika konstrukce znalostních testů / SO RMU 1
Obsah příspěvku
testy znalostí
postup vytváření testu
analýza vlastností položek a testu
adaptivní testování
Problematika konstrukce znalostních testů / SO RMU 2
Zdroje poznatků
pedagogika, didaktika
psychometrika
etika (např. Standardy APA)
Problematika konstrukce znalostních testů / SO RMU 3
Testy znalostí
specifika testů znalostí
typy testů znalostí
podle měřeného výkonu
podle interpretace výsledku
podle účelu při hodnocení předmětu
podle míry standardizace
Problematika konstrukce znalostních testů / SO RMU 4
Postup konstrukce testu
koncepce testu
vymezení univerza znalostí
formát položek, délka testu
postup administrace, vyhodnocení
vytváření položkové banky
návrh a tvorba položek
oponentura, pilotáž
sestavení testu (příp. paralelních forem)
administrace testu a vyhodnocení
Problematika konstrukce znalostních testů / SO RMU 5
Koncepce testu
Než začneme vytvářet položky:
jaké znalosti, dovednosti či schopnosti chceme testem
zjišťovat?
jaká je role testu? (screeningový vstupní, zápočtový,
zkouškový – s odstupňovaným hodnocením)
forma testu, časový limit, formát položek…
Problematika konstrukce znalostních testů / SO RMU 6
Konstrukce testu - základní pojmy
Položka
Zadání, správná odpověď (odpovědi), distraktory
Položková banka
Souhrn všech položek obsahově pokrývajících určitou tematickou
oblast
Test
Sestava položek, vybraných z položkových bank za účelem
testování konkrétní osoby na základě předem definovaného
algoritmu
Problematika konstrukce znalostních testů / SO RMU 7
Konstrukce položkových bank a testů
Vymezení univerza znalostí – náplň oboru definovaného
např. sylabem vyučovaného předmětu
Test musí být reprezentativní vzhledem k univerzu znalostí
v daném oboru
Problematika konstrukce znalostních testů / SO RMU 8
Konstrukce testu – dosažení reprezentativnosti
Rozdělení univerza znalostí na subdomény
Při procesu vytváření položek slouží k zajištění toho, aby
položkové banky pokrývaly všechny oblasti, které má uchazeč
ovládat
Při procesu administrace testu slouží k tomu, aby konkrétní test
obsahoval položky ze všech těchto oblastí
Problematika konstrukce znalostních testů / SO RMU 9
Konstrukce testu – dosažení reprezentativnosti
Vytvoření položkových bank dostatečně pokrývajících všechny
aspekty daných subdomén
Posouzení navrhovaných položek více experty ze dvou obecných
hledisek (zajištění obsahové validity)
Kvalita navržené položky – jednoznačnost, správnost, tematická
relevantnost
Kvalita celé položkové banky – určení nepokrytých nebo
nedostatečně pokrytých témat problematiky
Problematika konstrukce znalostních testů / SO RMU 10
Konstrukce testu – dosažení reprezentativnosti
Navržení vhodného algoritmu pro výběr položek
z položkových bank do výsledných testů
Počet položek z každé položkové banky vybraných do konkrétního
testu by měl odpovídat důležitosti dané problematiky pokryté
položkovou bankou
Klasický náhodný výběr a jeho varianty
Doporučujeme zavést faktor obtížnosti položek a zohlednit ho při
výběru vedle obsahové stránky
Pozice položky v testu – možný efekt praxe a efekt únavy
Adaptivní administrace testu
Moderní, stále více používaný přístup, založený na Teorii odpovědi na
položku, nicméně stále technicky obtížně realizovatelný v našich
podmínkách (počítačové adaptivní testování - CAT)
Problematika konstrukce znalostních testů / SO RMU 11
IS: Sady otázek v odpovědníku
Problematika konstrukce znalostních testů / SO RMU 12
IS: Pořadí otázek v testu
Problematika konstrukce znalostních testů / SO RMU 13
Typy položek a jejich konstrukce
Eseje, překlady delších textů...
v ČR méně používaný typ
v zahraničí často významná součást přijímacích i jiných zkoušek
náročné na hodnocení a jeho objektivitu
Otevřené položky s rozsáhlou odpovědí
snadná konstrukce x nesnadné objektivní hodnocení
někdy naznačená struktura odpovědi
často vhodnější ústní zkoušení
Problematika konstrukce znalostních testů / SO RMU 14
Typy položek a jejich konstrukce
Otevřené položky s jednoznačnou odpovědí
Vhodné, pokud existuje jediná správná odpověď s omezeným
spektrem formulace odpovědi
Odbourání faktoru uhádnutelnosti
Příklady: doplnění nejvhodnějšího slova do textu v jazykovém
testu, výsledek výpočtu v matematických příkladech
Problematika konstrukce znalostních testů / SO RMU 15
Typy položek a jejich konstrukce
Dichotomní položky
Ano / Ne
Obrovský problém uhádnutelnosti, jediným řešením je penalizace
Spíše nepoužívat
Příklad:
Rozhodněte a napište (P nebo N), zda-li je výrok pravdivý (P) či
nepravdivý (N):
Nejrozšířenější náboženství na Filipínách je římskokatolické.
Problematika konstrukce znalostních testů / SO RMU 16
Typy položek a jejich konstrukce
Vícenásobná volba s jednou správnou odpovědí (radiobutton)
Nejčastěji používaný typ položky v testování znalostí
Problém uhádnutelnosti – řeší se množstvím kvalitně navržených distraktorů,
případně penalizací nesprávné odpovědi
Příklad
S termínem noogenní neuróza se můžeme setkat
a) v logoterapii V. E. Frankla
b) v psychoanalýze S. Freuda
c) v analytické psychologii C. G. Junga
d) v teorii pole K. Lewina
Problematika konstrukce znalostních testů / SO RMU 17
Typy položek a jejich konstrukce
Vícenásobná volba s různým množstvím správných odpovědí (checkbox)
nízká uhodnutelnost
problematický formát z hlediska skórování
Bod za správně určenou kombinaci odpovědí, nula v každém jiném případě
Nebo např. 1 bod za správně označenou možnost a -1 za nesprávně
Doporučujeme bodování 1 / 0 za celou položku, přičemž by mělo být možné
při znalosti principu odvodit správnou kombinaci odpovědí a položka by
neměla být formulačně komplikovaná
Problematika konstrukce znalostních testů / SO RMU 18
Typy položek a jejich konstrukce
Přiřazovací položky
vytvořit dvojice, seřadit možnosti (např. chronologicky)
opět problematické skórování
nižší uhádnutelnost
Příklad: Utvořte správné dvojice:
1 ropa A Doněcká pánev
2 železná ruda B poloostrov Kola
3 fosfáty a apatity C Povolží
4 černé uhlí D Bělorusko
Problematika konstrukce znalostních testů / SO RMU 19
Obecná doporučení pro vytváření položek
Zaměřte se na položky s jednou správnou odpovědí
možnosti odpovědí mohou být na kontinuu definovaném správností nebo
vhodností odpovědi (s výrazným odstupem mezi správnou odpovědí a
distraktory)
používejte dostatečný počet distraktorů (ideálně 3-5)
používejte formulaci „která odpověď nejlépe vystihuje…“
eliminujte tipování správné odpovědi odečtem části bodu za nesprávnou
odpověď (podle počtu distraktorů)
pravděpodobnost uhádnutí správného řešení snižíme i zařazením neurčité
odpovědi („žádná z nabízených není správná“)
Problematika konstrukce znalostních testů / SO RMU 20
Rady a doporučení – vytváření položek
U položek s různým množstvím správných odpovědí (checkbox)
pokud nespecifikujeme počet správných odpovědí, musí být každá
možnost jednoznačně správná nebo jednoznačně chybná (v praxi obtížně
proveditelné)
možné je specifikovat v zadání počet odpovědí, které mají být
identifikovány jako správné
Vyhýbejte se záporným formulacím nebo dokonce dvojitým záporům
Vyhýbejte se složitým větám v odpovědích – zadání může být dlouhé,
varianty odpovědi ale krátké, stručné, jednoznačné
Pozor na nezamýšlené nápovědi
Problematika konstrukce znalostních testů / SO RMU 21
Oponentura položek
posouzení položek nezávislými odborníky
odstranění chyb v položkách, nejednoznačných odpovědí, nejasných
formulací
posouzení vhodnosti obsahu položky
posouzení obtížnosti položky
posouzení distraktorů
doporučujeme použití strukturovaného hodnocení položek
Problematika konstrukce znalostních testů / SO RMU 22
Konstrukce testu – sestavení testu
podle požadovaného počtu položek / časové délky testu
rozdělení podle subdomén
v případě potřeby vytvoření paralelních forem
po jednotlivých položkách/doménách – srovnatelnost
obsahu
současně dbát na srovnatelnou obtížnost a časovou
náročnost položek
Problematika konstrukce znalostních testů / SO RMU 23
Pilotáž testu / pretest
často obtížně proveditelné
snadnější otestovat jednotlivé položky než test jako celek
požadavek na utajení
pilotování položek formou procvičovacího testu - jiné
odpověďové strategie než při testech
stanovení časového limitu
Problematika konstrukce znalostních testů / SO RMU 24
Konstrukce testu – skórování
skórování jednotlivých položek
nejčastěji 0/1 a prostý součet
někdy podle obtížnosti či časové náročnosti položek různé váhy
hodnocení výsledku testu
relativní vs. absolutní výkon
stanovení bodové hranice pro úspěšné zvládnutí učiva (či jeho
subdomén)
stanovení bodových hranic pro jednotlivé stupně hodnocení
Problematika konstrukce znalostních testů / SO RMU 25
Analýza vlastností testu
objektivita
spolehlivost (reliabilita)
platnost (validita)
citlivost (rozlišovací účinnost)
Problematika konstrukce znalostních testů / SO RMU 26
Analýza vlastností testu
Objektivita
nezávislost výsledků testování na osobě administrátora
testu, místě a čase testování atd.
dosahujeme standardizací instrukcí, přiblížením podmínek
testování jednotlivých studentů
u hodnocení otevřených otázek ideálně více hodnotitelů
Problematika konstrukce znalostních testů / SO RMU 27
Analýza vlastností testu
Reliabilita
Vyjadřuje přesnost měření
Relevantní metody zjišťování reliability
Reliabilita paralelních forem / split-half
Vyjadřuje míru shody mezi výsledky studentů se stejnou úrovní
schopnosti, kterým jsou předloženy srovnatelné formy testu (či
hypotetické poloviny).
Test – Retest
Míra shody mezi výsledky opakovaného testování stejných osob
Vnitřní konzistence testu
Užívá se v případě testů jednodimenzionálních
Problematika konstrukce znalostních testů / SO RMU 28
Reliabilita
požadovaná minimální hodnota záleží na účelu testu
odhad reliability ovlivněn např. počtem položek,
heterogenitou souboru testovaných osob, rychlostní
složkou v testu, obsahem i formou položek
Problematika konstrukce znalostních testů / SO RMU 29
IS: Export odpovědí pro analýzu vnitřní konzistence
Problematika konstrukce znalostních testů / SO RMU 30
IS: Export odpovědí pro analýzu vnitřní konzistence
Problematika konstrukce znalostních testů / SO RMU 31
Analýza vlastností testu
Validita testu
Nakolik skór v testu vyjadřuje skutečnou úroveň znalostí studenta
v dané oblasti
Relevantní metody zjišťování validity
Obsahová validita
Reprezentují položky celé uvažované spektrum znalostí?
Založena na expertním posouzení více experty
Kriteriální validita
Vyjadřuje míru shody výsledku testu s vnějším kritériem, např.
výsledkem ve srovnatelném testu, celkovou akademickou
úspěšností atd.
Problematika konstrukce znalostních testů / SO RMU 32
Psychometrická analýza položek
obtížnost položky
diskriminační (rozlišovací) účinnost položky
Problematika konstrukce znalostních testů / SO RMU 33
Psychometrická analýza položek
Obtížnost vyjadřuje podíl osob, které položku vyřešily správně
Ideální podíl mezi 20 – 80 %, současně analýza distraktorů
Jednoduchá položka (p=0,95):
Tato droga vyvolává halucinace již při nízkých dávkách. Halucinace mohou
být v podobě živých barev a zvuků nebo i mystické povahy. O jakou drogu se
jedná?
a) marihuana b) heroin c) LSD d) pervitin
Obtížná položka (p=0,15):
S Amesovou místností se můžeme setkat především ve výzkumech v oblasti:
a) psychologie motivace b) psychologie emocí
c) sociální psychologie d) psychologie vnímání
Problematika konstrukce znalostních testů / SO RMU 34
Analýza obtížnosti položky a distraktorů
Problematika konstrukce znalostních testů / SO RMU 35
0 200 400 600 800 1000 1200
psychologie motivace
psychologie emocí
sociální psychologie
psychologie vnímání
neřešilo
Amesova místnost
počet osob
Analýza obtížnosti položky a distraktorů
Problematika konstrukce znalostních testů / SO RMU 36
0 200 400 600 800 1000 1200
učení se pracovním dovednostem
učení se ve skupině
učení pozorováním jiné osoby nebo osob
učení v laboratorních podmínkách
neřešilo
Observační učení
počet osob
Analýza distraktorů při testování v IS
Problematika konstrukce znalostních testů / SO RMU 37
Analýza distraktorů při testování v IS
Problematika konstrukce znalostních testů / SO RMU 38
Psychometrická analýza položek
Diskriminační účinnost
je nejvyšší, pokud položku řeší správně osoby, které dosahují vysokého
celkového skóru a pokud ji nedokážou vyřešit osoby, které dosahují nízkého
celkového skóru
lze ji spočítat jako (korigovanou) korelaci skóru položky a celkového skóru
(v SPSS v rámci výpočtu vnitřní konzistence)
Nízká rozlišovací účinnost (r=-0,03)
Dětský mléčný chrup je tvořen dvaceti zuby. Oproti chrupu dospělého člověka chybí
a) zuby třenové b) řezáky c) stoličky d) špičáky
Vynikající rozlišovací účinnost (r=0,77)
Podíl geneticky podmíněné variance a celkové fenotypové variance znaku se označuje
a) koeficient dědivosti b) expresivita alel c) koeficient hybridizace d) intermediarita
Problematika konstrukce znalostních testů / SO RMU 39
Rozpoznání nevhodných úloh
nízká (záporná) diskriminační schopnost
příliš nízká obtížnost u testů s účelem rozlišovacím
příliš vysoká obtížnost a současně nízká diskriminační
schopnost
vysoký podíl neodpovězeno a současně nízká
diskriminační schopnost
nefunkční distraktory
není vždy nutné položku vyřadit z testové banky, někdy
stačí modifikace zadání, distraktorů…
Problematika konstrukce znalostních testů / SO RMU 40
Adaptivně administrované testy
Problematika konstrukce znalostních testů / SO RMU 41
výběr testovacích úloh se přizpůsobuje schopnostem
testované osoby
základem testu je kvalitní položková banka
soubor položek, které se vztahují k určitému konstruktu, a jsou
známy jejich parametry (např. obtížnost)
obsahuje velké množství položek
dostatečně pokrývá celé spektrum obtížnosti
obsahuje dostatečné množství úloh v každé tematické oblasti
testovaného konstruktu
v každém kroku adaptivní administrace je přepočítán (upřesněn)
odhad schopnosti testované osoby; na základě tohoto odhadu a
známých parametrů položek je vybrána nejvhodnější položka
CAT
Závěr testu
 dostatečně vysoká přesnost
odhadu (nízká chyba)
 speciální případy (administrace
předem stanoveného
maximálního počtu položek;
vyčerpání časové lhůty, aj.)
Způsoby zahájení adaptivní
administrace
 administrace několika položek se
střední úrovní obtížnosti
 stanovení předběžného odhadu
schopnosti
Výběr nejvhodnější položky
k pokračování testu
 informační přínos
 nadužívanost
 obsahová vyváženost
Adaptivní administrace testu
výhody
efektivita
možnost opakované administrace testu bez efektu učení
flexibilita
udržení motivace administrací vhodných položek
nevýhody
nároky na technické vybavení (zejména vývoj software či jeho pořízení)
Problematika konstrukce znalostních testů / SO RMU 43
Děkujeme za pozornost.
Problematika konstrukce znalostních testů / SO RMU 44