Workshop počítačové lingvistiky
Online workshop o neuronových sítích, 9. 12.
Co je třeba umět - s příklady počítáme v programovacím jazyce Python, prostředí Google Colab (nebo Jupyter Notebook), není třeba si nic instalovat, stačí webový prohlížeč.
Ohledně teoretických znalostí, sem
dopište, zda jsou Vám následující pojmy známé, nebo je máme vysvětlit:
- strojové učení
- učení s učitelem, trénovací a testovací data
- klasifikace, regrese
- neuronová síť
- backpropagation, gradient
- tokenizace
- vektorová reprezentace textu
- encoder - decoder
- Transformer
Náplň:
- Úvod do moderních neuronových sítí v oblasti NLP
Transformer architektury BERT/GPT/T5 a způsob jejich předtrénování a fine-tuningu - Hands-on ukázka natrénování text-to-text Transformeru T5
S využitím knihovny t5s, jedna z ukázek na GitHubu: https://github.com/honzas83/t5s/blob/main/examples/t5s_csfd_sentiment.ipynb - Hands-on ukázka natrénování GPT modelu
Pro ukázky použijeme prostředí Google Colab, tudíž bude možné pracovat rovnou z webového prohlížeče.
----------------------------------------------------------------------------------------------------------------------------
Podklady k předmětu KKY/APK, v rámci kterého učíme studenty Python. Link je platný do 8.1. V balíčku je starší přednáška z roku 2018 a pak novější verze (interaktivnější) s IPYNB soubory, které jdou otevřít přímo v prostředí Google Colab, k těm zase z dob covidových je screencast celé přednášky, takže záleží na vás, co vám bude vyhovovat.
Následující