Významy
Podobnost kontextů ve velkých textových korpusech
PA154 Jazykové modelování (9.1)
Pavel Rychlý
pary@fi.muni.cz
April 27, 2021
Slovo (a jeho některé části) jsou základními nositeli významu
■ slovo bez kontextu - žádný význam, mnoho potenciálních významů
■ stejné slovo v různých kontextech - různé významy
■ slovo v pc        :h kontextech - stejný význam co to je kontext?
<tů ve velkých textových korpusech 2/
Co to je kontext?
Kontext jsou slova v okolí klíčového slova.
■ Jaké okolí?:
► následující slovo
► předcházející slovo
► okno, +1 až +5
► okno, -5 až -1
■ Ne všechna slova v okolí jsou důležitá.
■ Jak určíme důležitost?
nejčastější kolokace - ale to je "the"
► (statisticky) nejvýznamnější - jaký vzorec?
Word Sketch
Jednostránkový souhrn chování slova i research as noun 2E,537> ▼
usually in plurals [99,1%. percentile 21,9)
e velkých textových korpusech
=•= n x			:•: n X		= •
modifier		modifies			subject_of
scientific		grant			aim
recent		project			focus
cancer		laboratory	...		investigate
empirical		institute	...		show
market		finding			examine
further		contract			indicate
Cray-		programme			suggest
medical		council			reveal
historical		fellow			explore
applied		centre			concentrate
PA154 Jazykové		modelováni (9.1)	Podobnost kontext		j ve velkých textových korp
n x
Word Sketch
Jak jej lze vytvořit
Grammatical Relations Definition
■ Velký vyvážený korpus
■ Vyhledáme závislé prvky (subjects, objects, heads, modifiers etc)
■ Seznam kolokací pro každou gramatickou relaci
■ Statistika pro třídění každého seznamu Z Word Sketch můžeme vytvořit thesaurus.
plain text file
a set of queries for each GR
queries contain labels for keyword and collocate
processing options
elkých textových korpusech
PA154 Jazykové modeli
elkých textových korpusech 6/
Definice gramatických relací
Koeficient výnačnosti
# 'modifier' and 'modify' gramrels definition *DUAL
=modifier/modify 2:"AJ."  1:"N.."
# 'and/or' gramrel definition =and/or
*SYMMETRIC
1:[]   [word="and" |word="or"] 2:[] & l.tag = 2.tag
# 'adverb' gramrel definition =adverb
1: [] 2: "AV. " 2:"AV."  1: []
počty výskytů (word\, gramrel, word?) AScore{w1, R, w2) = 14 + log2 Dice(nwi'R'W211
i/i   ,  i 2-11 wi, R, w? 11
Podobnost kontextů ve velkých textových korpusech 7/17
Podobnost kontextů ve velkých textových korpusech 8/17
Koeficient podobnosti
Velikosti dat
porovnání profilů slov i*í a w2 pouze důležité (význačné) kontexty jaký je překryv
počty (wordi, {gramrel, wordf]) a (wordi, {gramrel, wordf])
^(tup^tup^itup^ntups^} A$i + ASj - [ASi - ASj)2/50
iim(wi, W2j
ľ
tup; G {tupWl LJ tupW2 }
AS;
Velikosti korpusů, jejich slovníků a počty slov v kontextech
Korpus	Velikost	Slov	Lemat	Různé k.	Všechny k.
BNC	lllm	776 k	722 k	23m	63m
SYN2000	114m	l,65m	776 k	19m	58m
OEC	l,12g	3,67m	3,12m	84m	569m
Itwac	l,92g	6,32m	4,76m	67m	587m
Velikosti slovníků i počty různých kontextů rostou sublineárně s velikostí korpusu.
<tů ve velkých textových korpusech 9/17
<tů ve velkých textových korpusech 10/17
Velikost matice
Praktické velikosti dat
Podobnost všech dvojic lemmat
Matice velikosti A/2, kde N je 700k - 5m
Počet prvků v řádech tera (1012)
Matice je naštěstí velice řídká
Většina hodnot je 0 nebo "skoro" 0
Dokonce většina celých řádků/sloupců je prázdných
Výpočet pouze pro slova s minimální četností Lépe limitovat počty kontextů než prostých výskytů Z kontextů brát pouze statisticky významné
Korpus	MIN	Lemmat	KWIC	CTX
BNC	1	152k	5.7m	608 k
BNC	20	68k	5.6m	588 k
OEC	2	269k	27.5m	994k
OEC	20	128k	27.3m	981k
OEC	200	48k	26.7m	965 k
Itwac	20	137k	24.8m	1.1m
elkých textových korpusech
PA154 Jazykové modeli
elkých textových korpusech 12/17
Praktické velikosti dat
Efektivní algoritmus
Matice velikosti A/2, kde N je 50k - 200k Počet prvků v řádech giga (1010)
Hodnota každého prvku vznikne aplikací funkce podobnosti na vektory délky K = 500k - lm.
Přímočarý algoritmus pro výpočet celé matice má časovou složitost 0{N2K).
Složitost je polynomiální, ale algoritmus je prakticky nepoužitelný pro dané rozsahy hodnot.
Odhadované doby výpočtu jsou v měsících až letech. Heuristiky snižují velikosti N a K na úkor přesnosti výsledných hodnot.
Doba výpočtu je potom v řádech dnů s chybou 1-4%.
I menší matice je velice řídká
Není potřeba počítat podobnost pro slova, která nemají nic společného,
tedy nemají žádný společný kontext.
Hlavní cyklus algoritmu tedy nevedeme přes slova, ale přes kontexty.
Podobnost kontextů ve velkých textových korpusech 13/17
Podobnost kontextů ve velkých textových korpu:
Efektivní algoritmus
Optimalizace
■ Vstup: seznam všech možných slov v kontextech, (w, r, v/'), s četnostmi výskytů v korpusu
■ Výstup: matice podobností slov sim(wi, v/2)
for (r, w') in CONTEXTS:
WLIST = set of all vi where {w, r, w') exists for w-i in WLIST: for w2 in WLIST:
sim(wi, W2)+ = f [frequencies)
Pokud \ WLIST\ > 10000, daný kontext přeskočíme.
Matici sim(wi, v/2) během výpočtu nedržíme celou v paměti.
Opakovaný běh hlavního cyklu pro omezený rozsah w\.
Místo sim(wi, v/2)+ = x generujeme na výstup (wi, v/2,x).
Výstupní seznam potom setřídíme a sčítáme jednotlivé x.
Využití TMMS (Two Phase Multi-way Merge Sort) s průběžným
sčítáním.
Místo několika stovek GB třídíme jednotky GB.
Podobnost kontextů ve velkých textových korpu:
Podobnost kontextů ve velkých textových korpu:
Výsledky
Algoritmus je řádově rychlejší než přímočarý algoritmus. (18 dnů hodiny)
Korpus	MIN	Lemmat	KWIC	CTX	čas
BNC	1	152k	5.7m	608k	13m 9s
BNC	20	68k	5.6m	588k	9m 30s
OEC	2	269 k	27.5m	994k	lh 40m
OEC	20	128k	27.3m	981k	lh 27m
OEC	200	48 k	26.7m	965k	lh 10m
Itwac	20	137k	24.8m	l.lm	lh 16m
Bez omezení přesnosti. Možnost snadné paralelizace.
Podobnost kontextů v
/elkých textových korpu: