PA154 Statistické nástroje pro korpusy

Fakulta informatiky
jaro 2014
Rozsah
2/0. 2 kr. (plus ukončení). Doporučované ukončení: zk. Jiná možná ukončení: k, z.
Vyučující
doc. Mgr. Pavel Rychlý, Ph.D. (přednášející)
RNDr. Miloš Jakubíček, Ph.D. (cvičící)
RNDr. Vojtěch Kovář, Ph.D. (cvičící)
Garance
prof. Ing. Václav Přenosil, CSc.
Katedra strojového učení a zpracování dat – Fakulta informatiky
Kontaktní osoba: doc. Mgr. Pavel Rychlý, Ph.D.
Dodavatelské pracoviště: Katedra strojového učení a zpracování dat – Fakulta informatiky
Rozvrh
St 10:00–11:50 G125
Omezení zápisu do předmětu
Předmět je nabízen i studentům mimo mateřské obory.
Mateřské obory/plány
předmět má 18 mateřských oborů, zobrazit
Cíle předmětu
Cílem předmětu je seznámit studenty se soudobými, převážně statistickými metodami, algoritmy a nástroji, které se používají pro zpracování velkých textových korpusů při jejich vytváření a následné extrakci informací.
Tyto nástroje nacházející praktické využití v mnoha oblastech zpracování přirozeného jazyka (poloautomatická tvorba textových korpusů, morfologická analýza a desambiguace, syntaktická analýza, efektivní indexace a vyhledávání v textových korpusech, statistický strojový překlad, sémantická analýza aj.).
Na konci kurzu budou studenti nejen schopni tyto nástroje používat, ale zejména budou rozumět souvisejícím teoriím a algoritmům, což často představuje klíčovou kompetenci pro správné (efektivní a korektní) použití těchto nástrojů.
Osnova
  • Sada nástrojů NLTK
  • Základy pravděpodobnosti a informační teorie
  • Jazykové modelování, Noisy Channel Model
  • Vyhlazování, algoritmus Expectation-Maximization
  • Markovovy modely, Skryté Markovovy modely (HMMs)
  • Viterbiho algoritmus
  • Značkovací metody, značkování pomocí HMM, značkování založené na statistických transformačních pravidlech
  • Statistické zarovnávání a strojový překlad
  • Kategorizace a shlukování textu
  • Grafické modely
  • Paralelizace, MapReduce
Literatura
  • RYCHLÝ, Pavel. Korpusové manažery a jejich efektivní implementace. Brno, 2000, xiv, 128. info
  • MANNING, Christopher D. a Hinrich SCHÜTZE. Foundations of statistical natural language processing. Cambridge: MIT Press, 1999, xxxvii, 68. ISBN 0-262-13360-1. info
Výukové metody
přednáška
Metody hodnocení
Písemná zkouška.
Další komentáře
Studijní materiály
Předmět je vyučován každoročně.
Předmět je zařazen také v obdobích jaro 2003, jaro 2004, jaro 2005, jaro 2006, jaro 2007, jaro 2008, jaro 2009, jaro 2010, jaro 2011, jaro 2012, jaro 2013, jaro 2015, jaro 2016, jaro 2017, jaro 2018, jaro 2019, jaro 2020, jaro 2021, jaro 2022, jaro 2023, jaro 2024, jaro 2025.