1. Odhad parametrů položky

Podívejte se na graf následující charakteristické funkce položky. O jaký IRT model nejspíše jde? Zkuste z obrázku odhadnout jeho parametry.

Z obrázku bylo patrné, že jde o IRT model pro dichotomickou položku, který popisoval vztah mezi pravděpodobností správné odpovědi a úrovní latentního rysu pomocí křivky, která:

• Nikdy neklesla pod cca p = 0,20
  
• Bod na půli vzdálenosti mezi spodní (0,2) a horní (1,0) asymptotou, tedy (1+0,2)/2 = 0,6, odpovídal velmi přesně úrovni theta = 2.
  
• Nebyla dramaticky strmá, nebo plochá.

Z toho šlo dovodit, že se mohlo jednat o ICC ze 3PL modelu se spodní asymptotou (parametrem pseudouhádnutelnosti) c = 0,2, obtížností b = 2 a diskriminačním parametrem zhruba a = 1-2. Konkrétní hodnoty by bylo nutné zjistit přímo z odhadnutých parametrů použitého modelu, ale parametry b, c lze z grafu odečíst poměrně snadno.   Pro přesnější odhad diskriminačního parametru by bylo potřeba odečíst z grafu více hodnot a dosadit je do rovnice, to by stejně ale bylo nepřesné a velmi náročné. 

Celkově se vám odhadování dařilo – u složitějších modelů je totiž obtížné vyčíst konkrétní hodnoty z grafu, takže je jasné, že tipy variují. Podstatné bylo rozpoznat přítomnost parametru pseudouhádnutelnosti, že je položka spíše obtížnější (pro respondenty s theta = 0) a že je její diskriminační parametr > 1.  Pokud vám otázka dělala problémy, zkuste si příště vybrat pár bodů na theta škále (osa x) a podívejte se, jaká jim odpovídá p. správné odpovědi (osa y). Pokud si takto vyberete velmi podprůměrné, průměrné a nadprůměrné respondenty, bude se vám lépe dovozovat, jaké parametry daná ICC nejspíše má. 

Někteří z vás v přípravě bojovali s přesným určením diskriminačního parametru – to je opravdu obtížné (až nemožné), bohatě stačí postup uvedený výše. Může být dobré nejprve uvažovat hrubě, tj. je křivka stoupající (pokud ne, pak je a < 0)? Je prohnutá (pokud nepříliš, pak je a blízké 0)? Je výrazně strmá (pokud ano, pak je a >> 1)? Odhad konkrétní odhady už je pak méně podstatný (např. rozdíl mezi 0,4 a 0,7). 

 

2. Popularita poměrně obtížné položky je p = .25. Odhadněte, jaká bude přibližně obtížnost této položky v 1PL Raschově modelu. Stručně zdůvodněte svůj postup - nespolehněte se na vysvětlení typu "řešení je tam a tam", ale skutečně se zamyslet, proč je odhad právě takový, jaký používáte.

Zde bylo možné použít více postupů. V každém případě je ale nutné vědět, jak vypadá vzorec pro Raschův model, konkrétně že v něm p. správné odpovědi závisí jen na vzdálenosti mezi schopností respondenta (theta) a obtížností položky (b či delta).  Roli tedy hraje jen parametr obtížnosti (b), diskriminační parametr je a = 1 a parametr pseudouhádnutelnosti je c = 0. 

Intuitivně lze tedy postupovat tak, že vyjdeme z toho, že má jít o obtížnou položku a její popularita je p = 0.25. To lze do řeči IRT přeložit tak, že průměrná respondentka má p. správné odpovědi právě p = 0.25. Víme-li, že obtížnost je u Raschova modelu definovaná jako hodnota theta, které odpovídá 50% p. správné odpovědi, znamená to, že obtížnost musí být zřetelně, ne však výrazně vyšší než 0. Kdyby byla výrazně vyšší, pak by byla odhadovaná pravděpodobnost správné odpovědi mnohem nižší než 25 %. Dá se tedy odhadnout, že obtížnost takové položky bude zřejmě kolem b = 1. 

Exaktně lze postupovat tak, že využijeme vzorec Raschova modelu. Řešíme zde vlastně identický problém jako v lineární regresi. Stejně jako můžeme v regresi dopočítat očekávanou hodnotu závislé proměnné pomocí součtu prediktorů váženého regresními koeficienty (Y = b1*X1 + b2*X2 + b3*X3), můžeme v IRT modelech přímo dopočítat očekávanou pravděpodobnost správné odpovědi. Stačí tedy dosadit do vzorce:

Dosazovat lze i do jiných variant vzorce, ale ty vyžadují složitější úpravy, proto bychom zde volili tuto. Za theta dosazujeme 0, protože informace o popularitě interpretujeme jako p. správné odpovědi pro průměrnou schopnost, tedy theta = 0. 

Řadě z vás se podařilo i druhé řešení, k čemuž gratulujeme! Pro úspěšné dokončení tohoto kurzu je ale dostačující ovládat první variantu (jen je otázka, nakolik je vlastně snazší :) ).

3.  Jedním z klíčových konceptů v rámci teorie odpovědi na položku je informační funkce položky a testu. Proč stojí za to tento koncept znát? K čemu nám může sloužit? Uveďte více různých příkladů, jak lze informační funkci položky využít.

Informační funkce položky vystihuje schopnost položky umisťovat respondenty různých schopností na theta škálu. Kde má položka vysokou informační funkci, tam o pozici respondentů říká nejvíce. Obecně vzato tedy slouží k posouzení toho, na jaké úrovně schopnosti respondentů (theta) jsou položky nejlépe zacílené a kde naopak spíše nepomáhají. Hlavní využití jsou 

-              při designu testu: pokud chceme měřit sníženou schopnost, pak potřebujeme položky, které mají nejvíce informace např. pro theta < 0

-              při odhadu chyby měření: suma informace pro daného respondenta (jeho úroveň schopnosti) ukazuje, jak precizně jsme jeho schopnost odhadli. Opakem informace je chyba měření, které ukazuje, jak nepřesně jsme jeho schopnost odhadli.

-              při počítačovém adaptivním testování (CAT): pro CAT je klíčové administrovat položky, které maximalizují informaci pro daného respondenta. Rovněž může informace, resp, chyba měření sloužit jako stopping rule – po snížení chyby měření na dostatečnou úroveň lze CAT ukončit.