PV021 Neural networks

Fakulta informatiky
podzim 2016
Rozsah
2/0/2. 4 kr. (plus ukončení). Doporučované ukončení: zk. Jiná možná ukončení: k.
Vyučující
doc. RNDr. Tomáš Brázdil, Ph.D. (přednášející)
Mgr. Jiří Vahala (pomocník)
Garance
prof. RNDr. Mojmír Křetínský, CSc.
Katedra teorie programování – Fakulta informatiky
Kontaktní osoba: doc. RNDr. Tomáš Brázdil, Ph.D.
Dodavatelské pracoviště: Katedra teorie programování – Fakulta informatiky
Rozvrh
Po 14:00–15:50 D3
Předpoklady
Recommended: knowledge corresponding to the courses MB102 and MB103.
Omezení zápisu do předmětu
Předmět je nabízen i studentům mimo mateřské obory.
Mateřské obory/plány
Cíle předmětu
At the end of the course student will have a comprehensive knowledge of neural networks and related areas of machine learning. Will be able to independently learn and explain neural networks problems. Will be able to solve practical problems using neural networks techniques, both independently and as a part of a team. Will be able to critically interpret third party neural-networks based solutions.
Osnova
  • Basics of machine learning and pattern recognition: classification and regression problems; cluster analysis; supervised and unsupervised learning; simple examples
  • Perceptron: biological motivation; geometry
  • Linear models: least squares (pseudoinverse, gradient descent, Widrow-Hoff rule); connection with Bayes classifier; connection with maximum likelihood; regularization; bias-variance decomposition
  • Multilayer neural networks: multilayer perceptron; loss functions; backpropagation
  • Practical considerations: basic data preparation; practical techniques for improving backpropagation; bias & variance tradeoff; overfitting; feature selection; applications
  • Hopfield network: Hebb's rule; energy; capacity
  • Deep learning: restricted Boltzmann machines (sampling, maximum-likelihood learning, contrastive divergence learning); learning in deep neural networks (vanishing gradient, pretraining with autoencoders, deep belief networks)
  • Convolutional networks
  • Recurrent networks: Elman and Jordan networks, LSTM
  • Clustering: density estimation; self-organizing maps
  • Project: Software implementation of particular models and their simple applications.
Literatura
    doporučená literatura
  • GOODFELLOW, Ian, Yoshua BENGIO a Aaron COURVILLE. Deep Learning. MIT Press, 2016. info
    neurčeno
  • ŠÍMA, Jiří a Roman NERUDA. Teoretické otázky neuronových sítí. Vyd. 1. Praha: Matfyzpress, 1996, 390 s. ISBN 80-85863-18-9. info
  • KOHONEN, Teuvo. Self-Organizing Maps. Berlin: Springer-Verlag, 1995, 392 s. Springer Series in Information Sciences 30. ISBN 3-540-58600-8. info
Výukové metody
Theoretical lectures, group project
Metody hodnocení
Lectures, class discussion, group projects (approx. 3 people per project). Several midterm progress reports on the respective projects, one final project presentation plus oral examination.
Vyučovací jazyk
Angličtina
Další komentáře
Studijní materiály
Předmět je vyučován každoročně.
Nachází se v prerekvizitách jiných předmětů
Předmět je zařazen také v obdobích jaro 2003, jaro 2004, jaro 2005, jaro 2007, jaro 2009, jaro 2011, jaro 2012, jaro 2013, jaro 2014, podzim 2015, podzim 2017, podzim 2018, podzim 2019, podzim 2020, podzim 2021, podzim 2022, podzim 2023, podzim 2024.