Cvičení 2. Trénování vícevrstvé dopředné sítě metodou zpětného šíření chyb Program (backprop.exe) a data (aceqstv.dat) jsou k dispozici z cviěení ě. 1.
Program a data si pro cvičení uložte do svého pracovního adresáře. Postup cvičení 2:
a) Cílem je porozumět funkci učící konstanty ß při trénování sítě. V menu Set vypněte šum (nastavte na noise off). V menu Run zvolte Initialize. Případně potvrďte, že chcete zrušit dosud natrénované váhy. V menu Run zapněte trénování {training on) a mode nastavte na continuous (průběžné učení). Uložtetuto nenatrénovanou síť pod nějakým jménem, abyste její počáteční stav mohli použít vícekrát.
b) V menu Set zvolte Set Parameters a nastavte ß na 0,1. Ujistěte se, že momentum je nastaveno na 0.
c) Trénujte síť stejně jako ve cviěení ě. 1 (zadání minulého cviěení ě. 1 je k dispozici v IS). Jakmile je si« znovu natrénována, zaznamenejte si, kolik průchodů trénovacími příklady bylo zapotřebí k naučení sítě rozpoznávat vzory. Opakujte body g), h) a i) ze cvičení la zaznamenejte si, jak dobře se síť naučila pro danou hodnotu ß vždy pro různé hladiny šumu (0%, 20%, 40%, 60%, 80%, 100%).
d) Opakujte kroky a), b) a c) a měňte postupně ß na 0,2, 0,3,..., 0,9. Pro každý experiment vždy načtěte inicializovanou síť, kterou jste si uložili v kroku a), aby trénování vždy začínalo za stejných podmínek.
Může se síť správně natrénovat pro ß=1.0? Proč ano či ne? Došlo někdy k tomu, že se síť zcela nenaučila?
e) Inicializujte znovu síť, nastavte ß—0,5, natrénujte síť a zaznamenejte si počet trénovacích průchodů příklady. Je tento počet stejný jako před tím? Proč ano nebo ne?
f) Pro ß=0,5 inicializujte síť a nejméně 1 Ox ji natrénujte, pokaždé si zaznamenejte potřebný počet průchodů příklady do natrénování. Jaký je min a max počet průchodů? Proč je či není počet průchodů pokaždé stejný?