K počítačové morfologické analýze češtiny Pavel Šmerk Centrum zpracování přirozeného jazyka Fakulta informatiky Masarykova univerzita http://nip.f i.muni.cz/ma, aurora:/nip/projekty/aj ka tyto slidy: http: //www. f i .muni . cz/~smerk/majka 26.9.2018 Pavel Šmerk (CZPJ Fl MU) □ S K počítačové morfologické analýze češtiny Morfologická analýza Morfologická analýza nejnižší rovina zpracování jazyka v textové podobě • (český text lze na slova dělit snadno, až na gen., byl-li, oč/očs ap.) morfologická analýza by měla pro každý slovní tvar vrátit • základní slovní tvar (lemma, položka slovníku) • možné gramatické významy („značky") — hodnoty relevantních gramatických kategorií jako např. slovní druh, pád, číslo, osoba atd. • např. pro slovní tvar stroj lze očekávat • stroj: podst. jm., mužský neživotný, singulár, nominativ/akusativ • strojit: sloveso, 2. os. j. č., rozkazovací způsob, nedokonavé + syntéza, lemmatizace (vracím jen lemma), ... • naopak nejde o rozklad na morfémy, jak by to někdo mohl chápat problém má tři části („osnova" zbytku slidů) • jakou informaci chceme/potřebujeme zachytit, popsat (zde s. 5-6) • jak si tuto informaci, tato data budeme organizovat (s. 7-9, 11-22) • jak implementovat analýzu či syntézu nad těmito daty (s. 10, 23-27) Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 2/28 Morfologická analýza Značky gramatická informace je reprezentována řetězcem znaků, tagevn poziční systém: značka kóduje jen hodnoty kategorií • kategorie je jednoznačně určena pozicíve značce • pražský systém — 16 pozic: slovní druh, specifikace, rod, číslo, pád, přiví, rod, přiví, číslo, osoba, čas, stupeň, negace, slovesný rod, volné (13, 14), styl, vid • NNIS4-----A----- • substantivum, obyčejné, muž. neživ., singulár, akuzativ, afirmace • http://wiki.korpus.cz/doku.php/seznamy:tagy atributový systém: dvojice atribut-hodnota bez ohledu na pořadí • brněnský systém — podobné kategorie i hodnoty jako pražský • např. atribut c znamená pád a může nabývat hodnot 1 až 7 • klgInSc4 = substantivum, muž. neživ, singulár, akuzativ • nezachycena specifikace a afirmace • výhody: přehlednější, úspornější, snadno rozšiřitelný, čitelné RE • http://nlp.f i.muni.cz/proj ekty/aj ka/tags.pdf Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 3/28 Morfologická analýza Značky „Heterogenní" systém (Bratislava) • vychází z pozičního systému, prázdné pozice jsou vynechávány • první znak udává slovní druh, ostatní kódují kategorii i hodnotu • tedy odpovídají dvojici znaků atributového systému • pořadí je závazné, ale každý znak je užit jen v jednom „významu" • pořadí by tedy mohlo být i volné, znaky se ovšem rychle vyčerpají • SSis4 • substantivum, subst. deklinace, muž. neživ., singulár, akuzativ • výhodou jsou nejkratší značky, na obrazovku se mi vejde víc info • nevýhodou je malá rozšiřitelnost a složitější programové zpracování • http://korpus.juls.savba.sk/morpho.html Jiný typ jazyka, zcela jiné řešení: BNC tagset • pevná množina několika desítek „hotových" značek, např. • AJO Adjective (general or positive) (e.g. good, old, beautiful) • AJC Comparative adjective (e.g. better, older) • AJS Superlative adjective (e.g. best, oldest) • PNX Reflexive pronoun (e.g. myself, yourself, itself, ourselves) • http://www.natcorp.ox.ac.uk/docs/c5spec.html_ Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 4/28 Morfologická analýza Co chceme popisovat • na první pohled se to zdá být učivo prvního stupně ZŠ • neshoda může být teoretická (lingvisté) i praktická (aplikace) • zejména je reálná: současné dva hlavní popisy téhož jazyka, pražský a brněnský nejsou „isomorfní", vzájemně převoditelné • sjednocení se řešilo mnoho let, asi se s tím už všichni smířili • různé možnosti lemmatizace • do jaké míry při určení základního tvaru zohlednit slovotvorbu/flexi • otcova otcův/otec, učený učený/učit, učení učení/učit • nejstaršího starý/nejstarší (vyhledávání: [věk]... člověk) • (a starší paní může být mladší než stará paní) • nebral brát/nebrat (úplatky); nemalý malý/nemalý • bakalářka z VŠMIE: pro online marketing se prý jednotné a množné číslo jmen považují za různá klíčová slova (detaily jsem nezjišťoval) • jak naložit s dubletami • mysli ^> myslet/myslit • kapitalismem kapitalismus/kapitalizmus • o diachronii (všechen/všecken) a varietách (okno/vokno) nemluvě Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 5/28 Morfologická analýza Co chceme popisovat různé možnosti volby gramatických kategorií a jejich hodnot • které slovní druhy: zkratky interpunkce, čísla, speciality (cos, aby) • které gramatické kategorie: druhy zájmen, číslovek, příslovcí, spojek, pád u předložky, životnost koho/čeho • jaké hodnoty kategorií: „duál" (pes se 4 nohama), druhy zájmen ap. vše dosud uvedené je ale ještě to nejmenší • větším problémem je, jaká slova budou mít jaké značky • ke kterým všem slovním druhům mají patřit a, ani, ať, až, ... • největším problémem je stanovení pravidel pro určení slovního tvaru v konkrétním větném kontextu • může-li mít slovní tvar značky A, B a C, musí být jasné, kterou pro konkrétní výskyt zvolit, mezianotátorská shoda musí být co nejvyšší • viz např. konec http://nlp.fi.muni.cz/projekty/desman/, vzít 100 výskytů jednotlivých slov a zkusit, jestli pravidla vždy postačí • pokud mluvčí nejsou schopni pravidla spolehlivě aplikovat, je otázka, jestli tato odrážejí nějakou jazykovou realitu Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 6/28 Původní morfologický analyzátor ajka Morfologický analyzátor ajka „původní" řešení (Osolsobě 1996, Sedláček 1999+2005) princip organizace dat • a priori mám dané, které slovní tvary patří k sobě (viz dříve) • slovní tvary lemmatu se rozdělí na společný základ a „koncovky" • lemmata mající shodné množiny koncovek patří k témuž vzoru • kluk\e jako vlk, ale ne jako pes či slon 1. p. j. č. vl-k p-es slon-0 2. p. j. č. vl-ka p-sa slon-a 3. p. j. č. vl-ku p-su slon-u 3. p. j. č. vl-kovi p-sovi slon-ovi 1. p. mn. č. vl-ci p-si slon-i ... ve skutečnosti mezi základem a koncovkou ještě intersegment • vl-k-0, p-es-0, slon-0-0; ... vl-c-i, p-s-i, slon-0-i; ... • ale to už je jen technické řešení, základní princip se nemění a1 Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 7/28 Původní morfologický analyzátor ajka Ukázka slovníku a definice vzorů • slovník • formát lemma: vzor, ! lze negovat, % reflexiva tantum + poznámky hanbit: barvit! */, 1793.1,167.1 zelený:nový!|148.1 osel:orel 1180.1 příklad definice vzoru • lemma vzoru + + seznam koncovkových množin +barvit NEWES717, NEWES744, konc44 NEWES710 NEWES705, NEWES778 <ě> NEWES757 <íc> NEWES759 Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 8/28 Původní morfologický analyzátor ajka Ukázka slovníku a definice vzorů příklad koncovkových množin • jména jsou arbitrárni, generovaná nějakým programem • množina dvojic koncovka + jí odpovídající značka =NEWES717 {t, k5aImF} =NEWES705 {y, k5aImAgFnP} {i, k5aImAgMnP} {a, k5aImAgFnS} • • • interpretace • z lemmatu odtrhnu první intersegment a koncovku vzoru, čímž dostanu slovní základ, k němu pripojujú intersegmenty a koncovky • hanbit ^> hanb + -i-t hanb-i-t k5aImF, ..., hanb-il-i k5aImAgMnP, ... K počítačové morfologické analýze češtiny 26.9.2018 9/28 Pavel Smerk (CZPJ Fl MU) Obecné statistiky koncovky 83 intersegmenty 3.265 kmeny 389.793 značky 1.201 kone. množiny 1.340 vzory 1.838 generované tvary 6.294.591 včetně hovorových 11.693.520 Vesměs automaticky generovaná část slovníku • Substantiva - deverbativa (32%) • Adjektiva - posesiva mužská (12%), ženská (5%), deverbativa (64%) • Slovesa - prefigovaná (78%) • Adverbia - odvozená z adjektiv (96%) Počet kmenů, vzorů a tvarů t ednotlivých SD Slovní druh Kmenů Vzorů Ivaru Včetně hovor. Podstatná jména 131.776 778 967.231 1.217.442 Přídavná jména 170.771 69 3.831.134 8.167.371 Zájmena 199 104 2.150 3.035 Číslovky 217 44 1.699 1.699 Slovesa 42.720 758 2.014.122 2.155.125 Příslovce 41.587 71 146.244 146.247 Předložky 333 6 350 350 Spojky 195 2 213 213 Částice 251 1 264 264 Citoslovce 1.039 1 1.085 1.085 Zkratky 689 2 689 689 Počty vzorů podle počtu kmenů Počet kmenů Počet vzorů Příklad vzorů 1 580 den, hůl, křest, vrzat 2 208 křemen (skřemen), líh (klíh) 3 120 okres (ples, expres) 4-10 345 ... ... ... 14071 i nově 14199 i nový 18634 i otcův 33335 i nesen 37689 i stavení Vztah ke klasickým vzorům - příklad Mužský životný Počet vzorů Mužský neživotný Počet vzorů pán 44+28 hrad 49+14 muž 22+2 les 15+1 předseda 15+3 stroj 17 soudce 2 hrad/les 14+1 pán/muž 4 les/stroj 2 stroj/hrad 6 výjimky 6 3 ind./adj ./pl.t. 2+8+5 2+1+28 celkem 141 153 Systém vzorů - příklad Klasický vzor pán: • kmen se nemění - nom. pl. -ové (slon), -é (občan), -/ (docent), -é (akrobat), -ové (filosof) • samohl. alternace kmene - nom. sg./zbytek (pes), sg./pl. (přítel) • souhl. alternace finály - k-c (vlk), h-z (vrah), ch-š (hroch), r-ř (doktor), r-ř (mistr), g-z (archeolog), k-č (člověk), h-z-ž (bůh) • alternace finální skupiny - medvídek, daněk, Achilles, brontosaurus, génius • cizí koncovka nom. sg. - Fero, Antonio 10 Původní morfologický analyzátor ajka Princip analýzy nad uvedenými daty analyzované slovo w^W2 ... Wj = Z + I + K základ Z, intersegment / i koncovka K mohou být nulové • např. slon-0-0, naopak O-člověk-0, 0-lid-é základem tedy může být e, , ..., ... w-, pro každý základ Z = ...wn nalezený v seznamu základů se v jeho vzoru zkusí dohledat kandidáti na ...Wj = l+K značky příslušné k nalezeným trojicím Z + I + K jsou výstupem ve skutečnosti se ještě počítá s možnými prefixy nej a ne a postfixy, např. s v Byls tam? Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 10/28 Nový formát dat morfologického analyzátoru Nevýhody stávajícího formátu dat morf. analyzátoru • současný stav: „pražský" a „brněnský" analyzátor • i přes dílčí odlišnosti je organizace dat v principu shodná • slovník základů + soubor vzorů, množin koncovek se značkami • pro každý základ jsou specifikovány vzory připojením jejich koncovek se získají tvary se značkami • základy i koncovky jsou řetězce, které se jen skládají k sobě • z posledního plyne zásadní nevýhoda: redundance popisu • Luděk/Luďka, Staněk/Staňka, vrah/vraha, medvídek/medvídka atp. se skloňují stejně či podobně, ale kvůli drobným odlišnostem vyžadují vlastní řešení (v Brně extra vzor, v Praze vzor či výjimky) • redundance vede k nekonzistenci při doplňování či opravách • (je to podobné jako mít konstanty přímo v programu) • příklad (vše m. živ): doplnění hovorového Gsg -a: muža • 217 vzorů, tedy nutno automaticky, Gsg -e -a • ovšem u cca 10 vzorů je -ě místo -e; u strašpytelů neumětel -a už je • kontrola obtížná, ne-li nemožná □ - = š -o Q, O K počítačové morfologické analýze češtiny 26.9.2018 11 /28 Pavel Smerk (CZPJ Fl MU) Nový formát dat morfologického analyzátoru Nevýhody stávajícího formátu dat morf. analyzátoru takových nekonzistencí nejrůznějších druhů je celá řada • (v Praze předpokládám podobný stav) na druhou stranu, jde vesměs o okrajové věci • nikdo to „nereklamuje", vyvstalo až při přeuspořádání takže jakékoli řešení (ať už prevence, nebo lék) je příliš drahé, protože náklady budou velké, ale reálný přínos bude malý • (podobné problémy má i IJP či SSJČ, obecně cokoli tvořené ručně) méně závažnou nevýhodou je formální, strukturní nekonzistence • tedy možnost popsat tutéž věc různými způsoby • důsledek skutečnosti, že struktura dat nemá interpretaci • původně byla daná hranice mezi intersegmentem a koncovkou a koncovkové množiny byly tvořeny podle pevných pravidel, později jen technické řešení Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 12/28 Nový formát dat morfologického analyzátoru Nový formát dat • zůstává slovník a soubor vzorů • snaha oddělit pravidelné (vzory, program) a nepravidelné (slovník) • slovník: specifické pro jednotlivá lemmata, co si musím pamatovat • vzory: vlastnosti koncovek, program: pravidla pro skládání • snaha o „interpretovatelnost" • různé cesty k témuž výsledku mohou mít odlišnou interpretaci • ovšem za předpokladu, že to vůbec chci nějak interpretovat • základy (slon:pán) ve slovníku, koncovky uspořádané do vzorů pán klgM nScl 0 nSc2 a nSc3 u, ovi • • • • základy se spojují s koncovkami: slon-0, slon-a, ... • odpovídající značky dostanu spojením části společné pro celý vzor a části specifické pro použitou koncovku: klgMnScl, ... _ Pavel Šmerk (CZPJ Fl MU) Nový formát dat morfologického analyzátoru Nový formát dat po spojení základu s koncovkou (slon-0) se slovní tvar získá aplikací předdefinovaných pravidel • triviálně je potřeba odstranit - a 0 • ňe —)► ně: tuleň-e —>► tuleňe (nebo tulen-ě) —)► tuleně • na pořadí pravidel někdy nezáleží z hlediska výsledky, ale může záležet z hlediska mezivýsledku, zde např. „zvuková" podoba • Ábel x ďábel^ Ábel x ďáb.el: .eC-0 -> eC-0, .eC-V -> C-V • (u Luď. ek lze tvrdit, že jde o kontext, u ďáb. el zjevně ne) • vlk-i —>► vlc-i (ale také pán-i —>► páň-i —>► páni —>► páni) použitelnost koncovek lze omezit podmínkou na konec základu • např. nPc6 ech, ich/ [ghk] | ch (ve vzoru) už jen toto málo stačí pro popis mnoha dosud oddělených vzorů • Luď. ek-0 -» Luďek-0 -» Luďek -» Luděk • pe j s . ek-ich —)► pe j sk-ich —>► pe j sc-ich —)► pe j scich Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 14/28 Nový formát dat morfologického analyzátoru Nový formát dat dále • tvorba vzorů děděním: soudce:muž nScl e nSc5 e • možné koncovky se při tvorbě vzoru defaultně přepisují • pokud bych před část značky uvedl +, přidají se • omezené vzory: despota :pán_nP + singulárové koncovky • pomocné vzory pro koncovky: -ové klgM nPcl ové • odvození z více vzorů: f ilozof :pán,-ové; dřevokaz:pán, +muž příklad rozdílné interpretace téhož výsledku g Npl jen g-ové • nPcl i/[~g], ové/ — tvary typu *mázisystémově nemožné • mág: f ilozof — shodou okolností takové slovo aktuálně neexistuje Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 15/28 Nový formát dat morfologického analyzátoru Nový formát dat dále • hovorové tvary: Npl (a Vpl) ?učitelové, ale *pokrytcé • obecně: 1) ne/lze -é; 2) které z koncovek -i a -oi/éjsou spisovné • filozof:pán,<-ové; občan:pán,<-é; akrobat:pán,<-i,+-é • (bez < bych musel substandardní koncovky definovat ve vzorech -é) • více slovních základů, nepravidelné tvary (tedy slovník) přítel:muž,<-é Marceli\ Marcelu • despot:žena_nS,-ovi,pán_nP gM gigol:město_nS,+-ovi,pán_nP gM (ě/!gM) (skládání značky, implicitní značka, implicitní vzor, ...) Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 17/28 Nový formát dat morfologického analyzátoru Od slovníku vzorů ke slovníku rysů • lze si ale myslet, že lidé si nepamatují vzory, ale ohýbají slova podle jiných vlastností: sémantických, strukturních či hláskových • u vlastních jmen je preferována -ové před -i • slova odvozená příponou tel jsou muž, <-é • životná maskulina zakončená v Nsg na d se skloňují tvrdě • skloňování určované slovotvornými příponami • =tel:muž,<-é do souboru vzorů • výhledově taky slovník, není to mnoho slov, ale jedna přípona • „výjimkou" je totiž spíše =tel, než datel • datel se skloňuje stejně jako ostatní klgM -/ • ve slovníku pak postačí uči=tel nebo např. pří=tel krejč=í • pokud sufixy připustím i v seznamu vzorů, mám derivaci • např. klgM:=°/0ov, kde klgM bude „předek" mužských vzorů Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 18/28 Nový formát dat morfologického analyzátoru Od slovníku vzorů ke slovníku rysů implicitní pravidla: typické, pravidelné chování podle zakončení základu nebo jeho rysů vyjádřených značkou ve slovníku $klgM \Ko město_nS,+-ovi,pán_nP,muž_nP/$M|i,-ové s/qJO muž,100 lemmat) je vidět, že pro >90 % životných maskulin stačí část značky, nebo i jen vyznačení přípony to asi odpovídá realitě lépe než předchozí model dat • lidé si ke slovu nepamatují vzor, natož jeden z cca 2000 • dítě umí skloňovat i s výjimkami ještě než jde do školy • stačí mi vědět, že gaučo je mužský životný a umím jej vyskloňovat • klgM možná odvozuju z nějaké sémantiky ale to už je celkem jedno ani u kok.eš-e si nepamatuju vzor, jen drobné upřesnění defaultu • navíc, v principu skutečně jde o slovníkovou informaci • (tedy nikoli vzor rozexpandovaný do slovníku) • já totiž nevím, proč to tak je, prostě to tak je v nějakém Zdroji, musím se to naučit a pamatovat si to: koksové, nikoli kokši — a toto si musím pro každé takové slovo pamatovat zvlášť • a nebo to důvod má, ta slova mají něco společného (a nemám je naučená zvlášť), no a pak je potřeba to adekvátně popsat, tím lépe Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 21 /28 Nový formát dat morfologického analyzátoru Vlastnosti a přínos nového formátu významná redukce dosavadní redundance výrazně vyšší „lingvistická přijatelnost" • slova lze řadit k tradičním vzorům • hranice mezi kmenem a koncovkou může odpovídat mluvnicím • lze zachytit pravidelné hláskové změny (alternace) • formát umožňuje slovotvorné vztahy a morfematickou analýzu • umožňuje rozlišit pravidelné, typické jevy od okrajových, u kterých navíc stačí popsat jen odchylku od většinového chování různé zápisy téhož lze zpravidla i různě interpretovat jednotlivé možnosti jsou vzájemně nezávislé, lze tedy některé nepoužívat celkově prokazuji, že pro popis dat nejsou potřeba žádná „technická" řešení, že není nutný zásadní rozdíl mezi lingvistickým popisem a popisem vhodným pro počítač Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 22/28 Nový morfologický analyzátor májka Nový morfologický analyzátor májka ajka byla už příliš složitá, a proto v podstatě nerozšiřitelná [allt] využití přístupu popsaného v disertační práci Jana Daciuka • analýza je realizována pouhým vyhledáním tvaru v seznamu WLT • data jsou vlastně seznam dotaz:odpověď ve formátu ježek:A:klgMnScl j ežka:Cek:klgMnSc2 j ežka:Cek:klgMnSc4 krtek:A:klgMnScl krtka:Cek:klgMnSc2 krtka:Cek:klgMnSc4 ježek ježka ježka krtek krtka krtka ježek:klgMnScl ježek:klgMnSc2 ježek:klgMnSc4 krtek:klgMnScl krtek:klgMnSc2 krtek:klgMnSc4 existuje pro něj DAFSA seznam lze chápat jako konečný jazyk • musí být minimalizovaný, jinak by byl nepoužitelně velký (viz i dále) • lemma je potřeba kódovat, jinak by minimalizace nepomohla • Daciuk nabízí inkrementální tvorbu zachovávající minimalizovanost (toto je nezávislé na předchozí části: z původních dat ajky lze generovat WLT, naopak z nových dat lze generovat data pro a j ku) Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 23/28 Nový morfologický analyzátor májka Nový morfologický analyzátor májka deterministický automat neminimalizovaný k e >o-»o- o->o-k A : klgMnScl -^o-—-—--—&-}o----- CekrklgMnSc 3^° ->o->o->o->o->o->o->o & >o->o->o->o-4 o->o——k k e >°->o- a o->o- A : klgMnScl -^o-—-—--—2_^0----- CekrklgMnSc 3^° ->o->o->o->o->o->o->o & >o->o->o->o-4 deterministický automat minimalizovaný k • A : k 1 g M n S c 1 e >°->o---->o->o->o->o->o--- 6 Ž o->o->cC k/ „ 2 >o j/ ^4 av :t Cv ev k, :v kv 1, gv M v nv Sv cv ^ J / />«-—>o—■—---——---———-—■—-—4 „analýza" je jen rychlé a jednoduché procházení tohoto FSA • deterministický průchod dle „dotazu" + dohledání všech „odpovědí" a1 Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 24/28 Nový morfologický analyzátor májka Nový morfologický analyzátor májka obdobně data pro lemmatizaci, generování, segmentaci atp. lemmatizace: krtek: A, krtka:Cek generování: krtek: ArklgMnScl, krtek:Cka:klgMnSc2 nebo generování z lemmatu a značky: krtek: klgMnSc2: Cka převod na původní strukturu: krtek:C.ek-0, mužova:D=°/0ov-a • až po aplikaci některých pravidel: krtek:Cek-0, krtka:Ck-a prefixy: nemalý: CA: k2*, malý: Ane : A: k2*/malý: ACneA: k2* pro čísla a složeniny (trojciferný, českopolský) gramatika FSA využitelné i obecně (frekvence slov v aplikaci Deriv) [judy?] obava z velkého seznamu (Gelbukh '03) není odůvodněná Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 25/28 Nový morfologický analyzátor májka Charakteristiky a výsledky analyzátoru májka statistické informace o (některých) slovnících slovník řádků zdroj MB slovník MB bytů/řádek w 13,609,590 186 3.3 0.240 w —> 1 14,101,767 240 4.0 0.287 w ->■ l+t 80,303,929 2,478 4.4 0.054 w —> w 957,464,060 19,993 6.1 0.006 porovnání s morfologickým analyzátorem ajka velikost dat čas v sekundách ajka májka ajka májka poměr analýza 4.4 18.22 2.88 6.3x lemmatizace 3.1 4.0 16.76 1.57 10.7x tvary 6.1 55.33 8.42 6.6x diakritika 3.3 8698.80 1.61 5403x analýza 4.6x rychlejší proti pražskému analyzátoru Morfo (11 MB) májka je používána např. v Seznam.cz a projektech IS MU Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 26/28 Nový morfologický analyzátor májka Výhody a přínosy nového řešení naprosto zásadní výhodou je jednoduchost: průchod automatem je nezávislý na konkrétních datech, funkcionalitu rozšiřuji, případně měním datovými soubory, nikoli změnami kódu analyzátoru • výjimkou mohou být složeniny • obslužné kódy pro jednotlivé datové soubory jsou nezávislé • to vše je obrovský rozdíl například proti analyzátoru ajka příjemnou výhodou je samozřejmě výrazné zrychlení • přičemž se nejedná o okrajový problém, který by dosud jen nebyl dostatečně řešen teoretický přínos • naprosté oddělení popisu dat a analyzátoru • prokazuji, že pro realizaci počítačové morfologické analýzy jazyků, jako je čeština (s morfologií na konci slova), nejsou potřeba žádné speciální datové struktury či algoritmy Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 27/28 Nový morfologický analyzátor májka Související a navazující aplikace umožňuje perfektní hašování X -> 1 ..|X| • => využito pro indexaci korpusů (obecně jazykových dat) • komprese dat srovnatelná se zip*, viz guesser derivační vztahy: derivancze desambiguace: test, pro uplatnění např. viz CzTenTen a1 Pavel Smerk (CZPJ Fl MU) K počítačové morfologické analýze češtiny 26.9.2018 28/28