Jak motivovat studenty
k průběžnému studiu
zkušenostizMikroekonomieI
Michal Kvasnička, ESF MU
Varování
Nemám pedagogické vzdělání. Náš systém
založen na ekonomii: lidé reagují (racionálně) na podněty
neprošel experimentálním testováním, že to funguje lépe než jiné
systémy
dá dost práce – bere čas na vědu / televizi
(naštěstí většina jsou fixní náklady: vynaložené jednou)
·
·
·
2/42
Filosofický základ
Co je potřeba, aby studenti studovali průběžně:
kvalitní zdroje, ze kterých se mohou studenti učit
motivace = průběžná práce musí být bodovaná
feedback – studenti potřebují průběžně vědět
·
·
cukr: body se musí počítat do známky – mohou si známku zlepšit
bič: pokud nezískají dost bodů za průběžnou práci, nedostanou se ke
zkoušce
-
-
·
že neví (pokud neví); nebo, že ví (pokud ví)
co neví (co a jak se učit)
jak je to správně
-
-
-
3/42
Mikroekonomie I
Mikroekonomie I: velikost předmětu
zapsáno 667 prezenčních studentů (rok 2016)
2 přednášky
31 seminárních skupin
9 cvičících (z velké části doktorandi)
·
·
·
·
5/42
Mikroekonomie I: obsah
Předmět je založen na standardní učebnici Mankiw: Principles of Economics.
Další zdroje:
nahrávky přednášek
slides v různých podobách
DSO s řešenými příklady
interaktivní grafy a simulace
rozšiřující čtení a poslech
·
·
·
·
·
6/42
Mikroekonomie I: průběžná práce:
cvičení tvoří 30 % známky
průběžné písemky tvoří 20 % známky
připuštění ke zkoušce: aspoň 1/2 bodů z průběžné práce
·
·
·
7/42
Cvičení
Cvičení: průběh
Neopakujeme přednášku – přestali by na ni chodit a učit se.
Očekáváme, že studenti přijdou připravení (učebnice, přednáška).
Studenti mají dopředu zadání příkladů
Studenti řeší u tabule příklady – za body.
Vyvoláváme náhodně – podle seznamu permutovaných jmen.
Jeden bod za účast.
·
·
·
všechna cvičení / všichni cvičící mají stejné zadání
cvičící mají řešení s postupem a pedagogickými hinty
-
-
·
tlak na použití teorie
tlak na učení se definic
-
-
·
·
9/42
Cvičení: výhody
Studenti jsou motivovaní učit se na každou hodinu.
Vždy mají motivaci přijít (bod za účast).
Učitel okamžitě reaguje a vysvětluje to, čemu studenti nerozumí.
Dostávají okamžitou zpětná vazbu – slovně i v podobě bodů.
·
·
·
·
body studenti vidí na konci týdne v poznámkovém bloku-
10/42
Cvičení: problémy a řešení
Problém:
Různí cvičící jsou různě přísní, různě rozdělují příklady, stihnou různý počet
příkladů, takže se liší počet bodů, které udělí.
Řešení:
normování bodů
normování "podle křivky", tj. tím víc bodů, čím mám víc než průměrný
student
normování přes všechny skupiny jednoho cvičícího
průměrný student má 70 % bodů
je to "vězňovo dilema" – dominantní strategií je se učit
·
·
·
·
11/42
Průběžné písemky
Průběžné písemky: původně
Průběžné písemky na semináři, opravované lidmi
Výhody:
Nevýhody:
můžeme kontrolovat, co studenti dělají
může obsahovat otevřené otázky
·
·
zabíjí čas na semináři, tj. čas na interakci
v pátek znají studenti zadání lépe než v pondělí
učitelům bere čas
·
·
·
13/42
Průběžné písemky: nyní
Průběžné testy píší studenti doma přes Internet v ISu
Výhody:
nezabírá čas na semináři
všichni mají zhruba stejné podmínky
šetří čas učitelů (opravování a vkládání bodů do ISu)
vcelku dobrá podpora v ISu
·
·
·
·
14/42
Průběžné písemky: nyní
Problémy:
studenti mohou spolupracovat (nevadí – něco se tím naučí)
někdo to může udělat za ně (podvod = problém)
je potřeba hodně zadání
když test spadne, je potřeba jej ručně zahodit
Teiresiás a nahrazování dělá problémy
není způsob, jak dál snadno kvalitní feedback
·
·
·
·
·
·
15/42
Průběžné písemky: problém zadání
Potřebujeme stovky různých srovnatelných zadání.
V rámci projektu FRMU jsme vyvinuli testgen =
generátor testových otázek ze šablony pro IS
Zájemcům jej nabízíme k dispozici.
maska zadání je drobný skript v jazyce R
testgen vygeneruje jedinečné zadání pomocí náhodných čísel
vytvoří potřebné grafy, tabulky nebo rovnice
vygeneruje testovou sadu pro IS
generuje ukázky v HTML pro snadnější testování
·
·
·
·
·
16/42
testgen (1)
sandbox <- function(){
# výpočty
...
# obecné zadání
addStory(paste0("Obrázek ukazuje čtyři rozpočtové linie, ",
" optimální indiferenční křivky a optimální ",
" spotřební koše spotřebitele, jehož důchod je ",
duchod, "."))
# zde se přidá tabulka, obrázek nebo rovnice
addFigure(graf, xbreaks=c(0, mx1, mx2), ybreaks=c(0, my1, my2),
ymin=0, ymax=max(my1, my2))
17/42
testgen (2)
# zde se přidávají jednotlivé úkoly
addTask(
# otázky
c(paste0("Které dva dílčí grafy by bylo možné použít k odvození ",
" poptávky po statku ", statek,
", když je cena statku ", druhystatek,
" rovna ", cena, "?")),
# správné odpovědi
spravna.odpoved,
# špatné odpovědi
c(spatne.odpovedi,
"Žádnou z těchto dvojic obrázků.")
)
}
18/42
testgen: výsledek
19/42
testgen: obrázky
20/42
testgen: obrázky
21/42
testgen: tabulky a rovnice
Výplatní matice:
Nabídka a poptávka:
Poptávková tabulka:
Nějaká rovnice:
22/42
Průběžné písemky: problém šizení
Studenti musejí v závěrečném zkouškovém testu získat určité minimum, aby
složili zkoušku.
Ti, kteří museli šidit, nesloží zkoušku.
23/42
Průběžné písemky: zpětná vazba
Nemáme dobrý způsob, jak dát studentům zpětnou vazbu.
Ideální řešení:
nechceme ukazovat elektronicky konkrétní testy
nemáme univerzální řešení, které bychom jim mohli ukázat
prezenční studenti se mohou podívat při konzultaci, ale
bere učitelům čas
většina studentů nepřijde
není k dispozici pro kombinované studenty
·
·
·
·
·
·
testgen vloží do sady otázek zpětnou vazbu
IS ji pošle studentům, kteří odpověděli špatně
·
·
24/42
Zkouška
Vyhodnocení zkoušky
Vyhodnocení zkoušky a udělení známky je snadné:
Body za všechny části průběžné zkoušky máme v poznámkových blocích.
Zkouškový test je generován a opravován ISem .
Známku spočítá skript uživatelské sumarizace.
·
·
·
26/42
Jiné předměty
Mikro I pro kombinované studium
Vše funguje stejně s výjimkou seminářů:
dáváme k dispozici nahrávku přednášky pro prezenční studium
na tutoriálu řeším příklady
studenti píší stejné průběžné testy
zkouškový test je stejný
známku vyhodnotí skript uživatelské sumarizace
·
·
·
·
·
28/42
Analýza a vizualizace ekon. dat v R
body za účast
bodované domácí úkoly
body za průběžnou účast se počítají do známky
minimální laťka pro připuštění ke zkoušce
·
·
opravované strojově-
·
·
29/42
Co jsme se naučili
(ze špatných zkušeností)
Co by měla průběžná práce splňovat
Průběžná práce se musí skládat z mnoha drobných částí – každá z nich musí
tvořit zanedbatelně malý počet bodů:
Studenti nesmí mít možnost cokoli opravovat nebo doplňovat:
Nahrazení testů jen kvůli exogenním šokům (nemoc, …).
zkažení jedné části nesmí ohrozit složení zkoušky·
to by vytvořilo motivaci učit se a skládat testy až na konec
zmizel by tlak na průběžné studium
chroničtí odkládači by měli na konci semestru problém
·
·
·
31/42
Pamatovat, co je cíl
Cílem není dokonalá spravedlnost, ale motivace k průběžné práci.
Je to opakovaná hra – každé "uhnutí" se později projeví v chování studentů.
Velký kurz musí běžet podle jasných pravidel:
je třeba nastavit očekávaní studentů jejich chování
bez jasných pravidel se učitel zblázní
· ⇒
·
32/42
Pravidla
Pokud má motivace k průběžné práci fungovat, musejí být pravidla detailní a
známá dopředu.
(I tak, někteří studenti na konci semestru tvrdí, že jim pravidla nikdo neřekl
nebo že zapomněli na některé testy.)
všechny dokumenty jsou v ISu
před začátkem semestru posílám mail s hlavními body a pokynem, aby si
pravidla přečetli
na prvním semináři se pravidla vysvětlují a odpovídají se dotazy
všechny termíny testů jsou od začátku semestru v ISu + je připomínám
mailem
·
·
·
·
33/42
Pravidla (2)
Další důvod detailních pravidel:
Máme v pravidlech:
pokud nejsou dost detailní studenti píšou maily s hloupými otázkami·
než student položí dotaz, má si přečíst pravidla a že
na dotazy, na které je v pravidlech odpověď, neodpovídáme
·
·
34/42
IS je klíčový
(pár změn by pomohlo)
Bez ISu by to nešlo
IS používáme k
komunikaci se studenty
poskytování studijních materiálů a pokynů
poznámkovým blokům (sdílení bodů od cvičících, komunikace bodů
studentům)
domácím testům
zkoušce pomocí skenovaných testů
vyhodnocování uživatelskou sumarizací bodů
…
·
·
·
·
·
·
·
36/42
Co nám v ISu chybí (1)
Poznámkové bloky generované z odpovědníků by měly mít unikátní
uživatelem zadané jméno.
teď se jméno zvolí náhodně, každý rok jiné
takže je každý rok potřeba upravit skripty uživatelské sumarizace
je to otravné a snadno vznikne chyba
·
·
·
37/42
Co nám v ISu chybí (2)
Teiresiás požaduje prodloužení času pro své studenty o 25, 50 nebo 100 %.
Odpovědníky by měly umět automaticky prodloužit čas.
nyní je v odpovědnících čas zadán natvrdo, takže je pro každý typ
prodloužení času potřeba vytvořit nový odpovědník
je to otravné, snadno vznikne chyba, v poznámkových blocích je zmatek a
uživatelské sumarizace je zbytečně složitá
·
·
38/42
Co nám v ISu chybí (3)
Pokud je někdo nemocný a potřebuje náhradní termín, je potřeba vytvořit
nový odpovědník.
Bylo by dobré přidat možnost omezit některý termín na některé skupiny
studentů.
nyní mají odpovědníky jen seznam termínů a seznam studentů
není možné omezit některé termíny jen pro některé studenty
·
·
39/42
Co nám v ISu chybí (4)
Neexistuje rozumná cesta, jak dát studentům feedback z odpovědníků.
Bylo by dobré moci u každé otázky definovat řetězec, který student dostane
mailem, pokud odpoví špatně.
buď se musí zveřejnit celé zadání (což nechceme)
nebo ukazovat testy osobně (což bere čas a není možné pro studenty
kombinovaného studia)
·
·
"Nerozumíte tomu a tomu, podívejte se v učebnici na s. XXX"
testgen to může generovat automaticky
·
·
40/42
Co nám v ISu chybí (5)
V ISu dochází ke změnám pokročilejších funkcí
Nikdy si nemůžeme být úplně jistí, že nám systém nepřestane fungovat pod
rukama.
(AVED: import bodů ze strojově opravovaných domácích úkolů.)
bez varování
bez dokumentace
·
·
41/42
Děkuji za pozornost