ANALÝZA A KLASIFIKACE DAT

                                   prof. Ing. Jiří Holčík, CSc.

                                      V.  NEURONOVÉ SÍTĚ III.

                                  UČENÍ VÍCEVRSTVÉHO PERCEPTRONU
                                 ALGORITMUS ZPĚTNÉHO ŠÍŘENÍ CHYBY

                          (Back Propagation Algorithm – BackPropag – BP)

þ snahou je dosáhnout takového nastavení vah, aby odchylka (chyba) mezi aktuálními a požadovanými
výstupy sítě byla minimální

þ chyba sítě



   kde E[k] chyba odpovídající k-tému vzoru určená podle vztahu



   j je index pořadí neuronu ve výstupní vrstvě a d[kj] je j-tý element požadovaného výstupu k-tého
trénovacího vzoru

                                  UČENÍ VÍCEVRSTVÉHO PERCEPTRONU
                                 ALGORITMUS ZPĚTNÉHO ŠÍŘENÍ CHYBY

þ počáteční nastavení vah na malé hodnoty se střední hodnotou cca nula; heuristicky z intervalu
(-2/s, 2/s), kde s je počet vstupů neuronu;

þ po předložení všech vzorů učební množiny se zadaptují váhy sítě podle vztahu

                                  þ w[ij](t+1) = w[ij] + Dw[ij],

   kde pro w[ij ]je



   (0<h£1 je parametr učení)

   (akumulované učení – váhy se mění až po vyhodnocení reakce na všechny vzory)

                                  UČENÍ VÍCEVRSTVÉHO PERCEPTRONU
                                 ALGORITMUS ZPĚTNÉHO ŠÍŘENÍ CHYBY

þ díky linearitě derivace







þ



þ







                                  UČENÍ VÍCEVRSTVÉHO PERCEPTRONU
                                 ALGORITMUS ZPĚTNÉHO ŠÍŘENÍ CHYBY

þ parciální derivaci ¶y[j]/net[j] dostaneme derivací aktivační funkce (sigmoidy) a pomocí její
funkční hodnoty

















                                  UČENÍ VÍCEVRSTVÉHO PERCEPTRONU
                                 ALGORITMUS ZPĚTNÉHO ŠÍŘENÍ CHYBY

                                          Hopfieldova síť
                                            uspořádání

þ má tolik vstupů, kolik vstupů i výstupů (každý neuron je současně vstupní i výstupní);

þ výstup každého neuronu je veden přes váhy w[ij], i,j=1,2,…,n zpět na vstupy zbylých neuronů, tak
se vytváří uzavřené smyčky

                                          Hopfieldova síť
                                            uspořádání

þ na vstupy neuronů nejsou přiváděny vlastní výstupy

þ symetrická cyklická síť s diagonálně symetrickou maticí vah s nulovou hlavní diagonálou

                                          Hopfieldova síť
                                            uspořádání

þ hodnoty vstupů, stavů a tím i výstupů jsou bipolární (-1, +1), každý neuron počítá klasicky
(váhovaný součet vstupů – váhy jsou celočíselné) svůj vlastní potenciál a aktivuje svůj výstup
aktivační funkcí nejčastěji podle ostré prahové nelinearity

                                          Hopfieldova síť
                                               učení

þ  jednorázový neiterační proces, při kterém pro každý vkládaný vzor vytvoříme dílčí matici n x n
(n je počet neuronů) – prvky matice vzniknou vynásobením i-tého vstupu j-tým výstupem







                                                 ß

   symetrická matice s -1 a +1 s výjimkou nulové diagonály

þ  matice vah vznikne součtem dílčích matic všech vzorů z učební množiny

                                          Hopfieldova síť
                                               učení

þ Hebbův zákon:

   Změna váhy mezi dvěma neurony je úměrná jejich souhlasné aktivitě (lze vyjádřit součinem jejich
stavů).

   Podporovány jsou souhlasné aktivity a rozdílné aktivity váhy naopak potlačují.

                                          Hopfieldova síť
                                            vybavování

þ založeno na porovnávání vzorů pomocí Hammingovy vzdálenosti a za správnou odpověď se bere ten
vzor, který má tuto vzdálenost nejmenší.

þ na rozdíl od učení je vybavování iterační děj





                                          Hopfieldova síť
                                            vybavování

þ Nejprve jsou nastaveny počáteční stavy jednotlivých neuronů podle předloženého vzoru podle vztahu

                                      y[i](0)=x[i], i=1,2,…,n

   a dále jsou tyto stavy iteračně aktualizovány podle vztahu





   (f je aktivační funkce).



                                          Hopfieldova síť
                                            vybavování

þ po každé iteraci jsou výstupy poopraveny a slouží jako vstupy do sítě.

þ opakujeme tak dlouho, až se stavy (výstupy) všech neuronů během dvou po sobě následujících cyklů
nezmění.



                                          Hopfieldova síť
                                            vybavování

Dva způsoby aktualizace stavů:

þ  synchronní

è Napřed jsou všechny aktuální hodnoty stavů uschovány a pak následuje výpočet nových stavů s
pomocí uložených hodnot

   (k aktualizaci potřebujeme znát hodnoty ostatních stavů, které by byli při výpočtu změněny)

þ  asynchronní

è Systematicky či náhodně jsou vybírány neurony a nově vypočtená hodnota původní okamžitě nahradí Þ
ovlivní to (i pořadí) navazující výpočty a tím se i změní chování sítě.



                                          Hopfieldova síť
                                              použití

þ jako autoasociativní paměť;

þ pro řešení optimalizačních problémů;

                                          Hopfieldova síť
                                              příklad

þ  Učení a rekonstrukce osmi obrazů s následujícími vzory











þ  120 neuronů (obrázky jsou 10 x 12 = 120 bodů) a tedy 120^2 = 14 400 vah

þ  je vhodné aby vzory měly co největší Hammingovu vzdálenost

                                          Hopfieldova síť
                                              příklad

þ  Fáze vybavování (rekonstrukce)

                                          Hopfieldova síť
                                            vlastnosti

þ omezení při použití jako asociativní paměť:

è počet uložených obrazců (vzorů) (kapacita paměti) může být relativně malý – je určen poměrem
počtu trénovacích vzorů a počtu neuronů (naučíme-li síť příliš mnoho vzorů, může síť konvergovat k
nějakému zvláštnímu obrazci, kterému nebyla naučena); je třeba, aby bylo

                                 počet vzorů £ 0,138.počet neuronů

è nutnost volit co nejvzdálenější vzory, tj. maximalizovat Hammingovu vzdálenost

                                          kohonenova síť
                                 (SAMOORGANIZUJíCí SE MAPA – SOM)
                                             struktura

þ  obsahuje jedinou vrstvu v tzv. Kohonenově (kompetiční) vrstvě;

þ  vstupy jsou plně propojeny s neurony









þ  neurony mají mezi sebou postranní vazby, které definují topologickou mřížku sítě – nejčastěji
čtvercová

þ  váhy neuronů lze vnímat jako souřadnice neuronu v prostoru;

                                          kohonenova síť
                                             struktura

þ  neurony vycházejí  z formálních neuronů, které nemají práh – neurony radiálního typu;

þ  jejich výstup je zpravidla dvouhodnotový (aktivní, neaktivní);

þ  počet neuronů je volitelný (parametr sítě) – v praxi desítky až stovky;



                                          kohonenova síť
                                            vybavování

þ  nejdříve vypočítány vzdálenosti d[j] mezi předloženým vzorem a vahami všech neuronů v kompetiční
vrstvě, např. podle vztahu (Kohonen)





þ  kde index j prochází přes všechny neurony kompetiční vrstvy, kterých je m, x[i] jsou elementy
předloženého vzoru a w[ij] jsou váhy neuronů. Vybere se ten neuron j* s minimální vzdáleností od
předloženého vzoru





þ  výstup tohoto neuronu je aktivní, výstupy ostatních neuronů jsou neaktivní

                                          kohonenova síť
                                               učení

þ  učení je založeno na porovnávání vstupních vzorů a váhových vektorů uložených v každém neuronu;

þ  učící algoritmus se snaží rozmístit neurony v mřížce tak, aby jejich rozdělení aproximovalo
hustotu rozdělení trénovacích vzorů;

þ  jakmile je nalezen neuron nejbližší předloženému trénovacímu vzoru, jsou upraveny váhy tohoto
neuronu a dále váhy neuronu v jeho okolí; protože je počáteční nastavení vah náhodné, jsou i
neurony v prostoru umístěny náhodně a teprve vlivem učení se jejich rozmístění přibližuje rozdělení
trénovacích vzorů



                                          kohonenova síť
                                               učení

                                          kohonenova síť
                                               učení

þ  adaptace vah podle vztahu

                        w[ij](t+1) = w[ij](t)+h(t)h(,t)(x[i](t)-w[ij](t)),

                                                                                  i=1,…,n, j=1,…,m;

   parametr učení , 0<h<1; nejdříve blízký 1, posléze se zmenšuje; kolem každého neuronu je
definováno okolí, ve kterém jsou prováděny změny vah, pokud tento neuron bude vybrán v kompetici –
velikost, tvar a míra vlivu tohoto okolí jsou parametry sítě a mění se během učení;

þ  délku (dobu) učení určuje počet kroků, nikoliv chyba, která se v KS obtížně stanoví

                                          kohonenova síť
                                               učení

                                       LOKÁLNÍ OKOLÍ NEURONU

þ  slouží k tomu, aby neurony, které jsou v blízkosti vybraného neuronu, byly adaptovány podobným
způsobem – cílem učení KS je kromě aproximace hustoty rozdělení vzorů v trénovací množině i
rozmístění topologicky podobných neuronů do stejné oblasti prostoru;

þ  na počátku se velikost okolí volí velké a postupem výpočtu se monotónně zmenšuje;

                                          kohonenova síť
                                               učení

                                       LOKÁLNÍ OKOLÍ NEURONU

þ  h(,t) - adaptační funkce okolí

è ostře ohraničená funkce

è lineárně klesající

è Gaussova funkce (aproximace vlivu neuronu na okolí v biologických sítích

                                    h(n) = h[0].exp(-^2/^2),

   kde  je topologická vzdálenost v mřížce od středového neuronu

                                          kohonenova síť
                                            vlastnosti

þ  základní varianta bez učitele; pro klasifikaci byla vytvořena modifikace s učitelem

þ  výhody:

è odolnost vůči náhodnému šumu v trénovacích datech;

þ  nevýhody:

è značný počet trénovacích iterací;

è potřeba upravovat váhy v každém kroku výpočtu, včetně parametrů okolí vítězného neuronu;