PA154 Jazykové modelování

Fakulta informatiky
jaro 2021
Rozsah
2/0. 2 kr. (plus ukončení). Doporučované ukončení: zk. Jiná možná ukončení: k, z.
Vyučující
doc. Mgr. Pavel Rychlý, Ph.D. (přednášející)
RNDr. Miloš Jakubíček, Ph.D. (cvičící)
RNDr. Vojtěch Kovář, Ph.D. (cvičící)
Garance
doc. Mgr. Pavel Rychlý, Ph.D.
Katedra strojového učení a zpracování dat – Fakulta informatiky
Kontaktní osoba: doc. Mgr. Pavel Rychlý, Ph.D.
Dodavatelské pracoviště: Katedra strojového učení a zpracování dat – Fakulta informatiky
Rozvrh
Út 10:00–11:50 Virtuální místnost
Omezení zápisu do předmětu
Předmět je nabízen i studentům mimo mateřské obory.
Mateřské obory/plány
předmět má 51 mateřských oborů, zobrazit
Cíle předmětu
Cílem předmětu je seznámit studenty se soudobými, převážně statistickými metodami, algoritmy a nástroji, které se používají pro zpracování velkých textových korpusů při jejich vytváření a následné extrakci informací.
Tyto nástroje nacházející praktické využití v mnoha oblastech zpracování přirozeného jazyka (poloautomatická tvorba textových korpusů, morfologická analýza a desambiguace, syntaktická analýza, efektivní indexace a vyhledávání v textových korpusech, statistický strojový překlad, sémantická analýza aj.).
Výstupy z učení
Na konci kurzu budou studenti schopni: používat nástroje pracující s jazykovými modely; rozumět souvisejícím teoriím a algoritmům; navrhnout použití pravděpodobnostních modelů v aplikacích zpracování textů; implementovat vybrané techniky ve vlastních aplikacích.
Osnova
  • Základy pravděpodobnosti a informační teorie
  • Jazykové modelování, Noisy Channel Model
  • Vyhlazování, algoritmus Expectation-Maximization
  • Markovovy modely, Skryté Markovovy modely (HMMs)
  • Viterbiho algoritmus
  • Značkovací metody, značkování pomocí HMM, značkování založené na statistických transformačních pravidlech
  • Statistické zarovnávání a strojový překlad
  • Kategorizace a shlukování textu
  • Grafické modely
  • Paralelizace, MapReduce
Literatura
  • RYCHLÝ, Pavel. Korpusové manažery a jejich efektivní implementace. Brno, 2000, xiv, 128. info
  • MANNING, Christopher D. a Hinrich SCHÜTZE. Foundations of statistical natural language processing. Cambridge: MIT Press, 1999, xxxvii, 68. ISBN 0-262-13360-1. info
Výukové metody
přednáška
Metody hodnocení
Písemná zkouška.
Další komentáře
Studijní materiály
Předmět je vyučován každoročně.
Předmět je zařazen také v obdobích jaro 2003, jaro 2004, jaro 2005, jaro 2006, jaro 2007, jaro 2008, jaro 2009, jaro 2010, jaro 2011, jaro 2012, jaro 2013, jaro 2014, jaro 2015, jaro 2016, jaro 2017, jaro 2018, jaro 2019, jaro 2020, jaro 2022, jaro 2023, jaro 2024, jaro 2025.