PV021 Neuronové sítě

Fakulta informatiky
podzim 2015
Rozsah
2/0/2. 4 kr. (plus ukončení). Doporučované ukončení: zk. Jiná možná ukončení: k.
Vyučující
doc. RNDr. Tomáš Brázdil, Ph.D. (přednášející)
Mgr. Jiří Vahala (pomocník)
Garance
prof. RNDr. Mojmír Křetínský, CSc.
Katedra teorie programování – Fakulta informatiky
Kontaktní osoba: doc. RNDr. Tomáš Brázdil, Ph.D.
Dodavatelské pracoviště: Katedra teorie programování – Fakulta informatiky
Rozvrh
Čt 8:00–9:50 D3
Předpoklady
Doporučeno: znalosti v rozsahu kursů MB102 a MB103.
Omezení zápisu do předmětu
Předmět je nabízen i studentům mimo mateřské obory.
Mateřské obory/plány
předmět má 37 mateřských oborů, zobrazit
Cíle předmětu
Student se bude po absolvování předmětu schopen samostatně orientovat v problematice neuronových sítí a souvisejících oblastí strojového učení. Bude schopen samostatně nastudovat a vysvětlit problémy oblasti neuronových sítí. Bude schopen prakticky samostatně i týmově řešit problémy pomocí výsledků z oblasti neuronových sítí. Bude schopen kriticky interpretovat cizí řešení založená na neuronových sítích.
Osnova
  • Základy strojového učení a rozpoznávání vzorů: klasifikace a regrese; shluková analýza; učení s učitelem a bez učitele; příklady
  • Perceptron: biologická motivace; geometrická reprezentace; perceptronové učicí pravidlo; konvergence
  • Lineární modely: nejmenší čtverce (pseudoinverze, gradientní sestup, Widrow-Hoff pravidlo); souvislost s Bayesovským klasifikátorem; souvislost s metodou maximální věrohodnosti; regularizace; dekompozice bias/variance
  • Vícevrstvé neuronové sítě: nejmenší čtverce; gradientní sestup; zpětná propagace
  • Praktické otázky: příprava dat; techniky pro efektivní minimalizaci chyby sítě; bias vs variance; přeučení; výběr příznaků (feature selection); aplikace
  • Rekurentní sítě: vyjadřovací a výpočetní síla různých typů neuronových sítí
  • Hopfieldova síť: Hebbovo učení; energie; kapacita
  • Hluboké učení: omezený Boltzmannův stroj (náhodný výběr, učení založené na maximální věrohodnosti, metoda kontrastivní divergence); učení hlubokých neuronových sítí
  • Shluková analýza: odhad hustoty; metoda k středů; Kohonenovy mapy; LVQ
  • Redukce dimenze dat: analýza hlavních komponent; analýza nezávislých komponent; souvislost s neuronovými sítěmi
  • Kernelové metody: zobecněné lineární modely; sítě s radiálními bázovými funkcemi; metoda podpůrných vektorů; kernelový trik; kernelová metoda k středů; kernelová analýza hlavních komponent
  • Projekt: Softwarová implementace konkrétních modelů a jejich jednoduchá aplikace.
Literatura
  • ŠÍMA, Jiří a Roman NERUDA. Teoretické otázky neuronových sítí. Vyd. 1. Praha: Matfyzpress, 1996, 390 s. ISBN 80-85863-18-9. info
  • HAYKIN, Simon S. Neural networks and learning machines. 3rd ed. Upper Saddle River: Pearson, 2009, 934 s. ISBN 9780131293762. info
  • KOHONEN, Teuvo. Self-Organizing Maps. Berlin: Springer-Verlag, 1995, 392 s. Springer Series in Information Sciences 30. ISBN 3-540-58600-8. info
Výukové metody
Přednáška, skupinový semestrální projekt
Metody hodnocení
Nutnou podmínkou pro zakončení předmětu je vypracování domácího projektu, ve kterém studenti po skupinách (4-6 osob) implementují základní modely neuronových sítí, které aplikují na jednoduché úlohy. O své práci referují průběžně na několika společných seminářích a výsledný projekt prezentují ke konci semestru. Předmět je zakončen ústní zkouškou.
Další komentáře
Studijní materiály
Předmět je vyučován každoročně.
Nachází se v prerekvizitách jiných předmětů
Předmět je zařazen také v obdobích jaro 2003, jaro 2004, jaro 2005, jaro 2007, jaro 2009, jaro 2011, jaro 2012, jaro 2013, jaro 2014, podzim 2016, podzim 2017, podzim 2018, podzim 2019, podzim 2020, podzim 2021, podzim 2022, podzim 2023, podzim 2024.