PA153 Počítačové zpracování přirozeného jazyka 05 - Sémantika II (logická reprezentace, od věty k diskurzu) Karel Pala, Zuzana Nevěřilová Centrum ZPJ, Fl MU, Brno 24. října 2018 Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 1/26 Q Lexikální význam a kontext 0 Kontext Q Větná sémantika, logická sémantika Q Sloveso jako predikát Q Sémantika diskurzu Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 2/26 Lexikální význam a kontext lexikální význam: izolovaný význam slov plnovýznamové (autosémantické) lexikální jednotky (LU): o substantiva * adjektiva o verba • adverbia černý, moci, nechat, být, tak, vlastně pomocné (synsémantické) LU: z, proč, jak, ten ostatní: kykyryký Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 3/26 Kontext o verbální kontext (co bylo řečeno, co bude následovat) • situační kontext (místo, čas, počet komunikačních partnerů, jejich vzájemný vztah, presu pozice mluvčího) komunikační situace: KS = s, a, oi,..., on, p, ŕ, kde s - mluvčí, a - adresát, oi,..., on - promluvové objekty, p - místo komunikace, t - čas komunikace presupozice mluvčího: společná báze znalostí (to, co není třeba zmiňovat) • sociální kontext (vzdělání, zkušenost, životní podmínky, status sociální skupiny) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 4/26 Kontext • verbální kontext (co bylo řečeno, co bude následovat) • situační kontext (místo, čas, počet komunikačních partnerů, jejich vzájemný vztah, presu pozice mluvčího) komunikační situace: KS = s, a, oi,..., on, p, ŕ, kde s - mluvčí, a - adresát, oi,..., on - promluvové objekty, p - místo komunikace, t - čas komunikace presupozice mluvčího: společná báze znalostí (to, co není třeba zmiňovat) • sociální kontext (vzdělání, zkušenost, životní podmínky, status sociální skupiny) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 4/26 Kontext Jak zkoumat verbální kontext: • v době před korpusové" • konkordance v korpusu (středně velké korpusy) • slovní profily (word sketches) (velké korpusy) kandidát czTenTen12 [Majka] frekvence = 21357S {39.3 v milionu) a_imodifier prezidentský žhavý závislý vhodný republikánský navržený horký opoziční 90268 -1.4 5105 10.02 9.23 2404 4647 9792 1055 1516 2315 745 8.74 8.43 8.34 8.28 8.19 7.42 pc>5t_na post primátor prezident senátor eurokomisara pozice dekan rektor 45490 -7.3 2878 8.8 1617 8.14 3946 7.52 701 7.35 216 7.27 4181 7.2 382 7.15 321 7.03 22232 -0.9 258 7.01 161 6.62 139 6.49 272 6.31 109 6.28 1822 6.11 62 6.1 1 91 6.08 Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 5/26 Kontext a slovní profily (word sketches) Jak vypočítat slovní profily? Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka Kontext a slovní profily (word sketches) Jak vypočítat slovní profily? word sketch grammar (ukázka) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka Větná sémantika význam věty: význam slov + syntaktické vztahy mezi větnými složkami (princip kompozicionality) Compositionality Principle: • The meaning of the whole is a function of the meaning of the parts and the mode of combining them. • The meaning of a complex expression is uniquely determined by the meaning of its constituents and the syntactic construction used to combine them. Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 7 Logická sémantika • redukuje lexikální význam LU na logický typ (individuím, čas, ...) 9 zůstává predikátová struktura u sloves, příp. deverbativ o propozice mají pravdivostní hodnotu propozice1: informační obsah věty vyjádřený větou pronesenou v určitém kontextu více různých vět může vyjadřovat tutéž propozici: The Earth is round. Země je kulatá. Zeměkoule, to je koule. http://plato.stanford.edu/entries/propositions-structured/ ÍV%9 05 - Sémantika II 8 Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka Logická sémantika a predikátová logika Predikátová logika 1. řádu (First Order Predicate Logic) [Mendelson, 1997] 9 termy: proměnné (x), funkce (f(x)) • predikátové symboly (P(x)) • logické spojky (V, A, -n, =4>, 44>) 9 kvantifikátory (V, 3) • symbol rovnosti (=) • mimologické symboly (aritmetické symboly, řetězce atd.) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 9/26 Logická sémantika a predikátová logika Kdo nebude znát malou násobilku, dostane hodnocení F. Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 10/26 Logická sémantika a predikátová logika Kdo nebude znát malou násobilku, dostane hodnocení F. Vx : -"Z(x," malá násobilka1) =>► H(x," F") (Z(x, y) - x zná y, /-/(x, y) - x dostal hodnocení y) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 10/26 Logická sémantika a predikátová logika Kdo nebude znát malou násobilku, dostane hodnocení F. Vx : -"Z(x," malá násobilka1) =>► H(x," F") (Z(x, y) - x zná y, /-/(x, y) - x dostal hodnocení y) Petr nezná malou násobilku. Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 10/26 Logická sémantika a predikátová logika Kdo nebude znát malou násobilku, dostane hodnocení F Vx : -"Z(x," malá násobilka1) =>► H(x," F") (Z(x, y) - x zná y, /-/(x, y) - x dostal hodnocení y) Petr nezná malou násobilku. -nZ(" Petr"," malá násobilka") Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 10/26 Logická sémantika a predikátová logika Kdo nebude znát malou násobilku, dostane hodnocení F. Vx : -"Z(x," malá násobilka1) =>► H(x," F") (Z(x, y) - x zná y, /-/(x, y) - x dostal hodnocení y) Petr nezná malou násobilku. -nZ(" Petr"," malá násobilka") Usudek: -.Z(" Petr"," malá násobilka") H(" Petr"," F") Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 10/26 Logická sémantika a predikátová logika Kdo nebude znát malou násobilku, dostane hodnocení F. Vx : -"Z(x," malá násobilka1) =>► H(x," F") (Z(x, y) - x zná y, /-/(x, y) - x dostal hodnocení y) Petr nezná malou násobilku. -nZ(" Petr"," malá násobilka") Usudek: -.Z(" Petr"," malá násobilka") H(" Petr"," F") je pravdivý Logická sémantika a predikátová logika Vyzkoušejte: Komu se nelení, tomu se zelení. Honza se odrazil od podlahy a vyskočil do dvou metrů Tahle vláda není ani ryba ani rak. Logická sémantika a predikátová logika Vyzkoušejte: Komu se nelení, tomu se zelení. Vx : N {x) Z(x) Honza se odrazil od podlahy a vyskočil do dvou metrů Tahle vláda není ani ryba ani rak. Karel Pala, Zuzana Nevěřilová 153 Zpracování přirozeného jazyka Logická sémantika a predikátová logika Vyzkoušejte: Komu se nelení, tomu se zelení. Vx : N (x) Z (x) Honza se odrazil od podlahy a vyskočil do dvou metrů. 0(" Honza1," podlaha1) V("Honza11 ,"2 metry11) Tahle vláda není ani ryba ani rak. Logická sémantika a predikátová logika Vyzkoušejte: Komu se nelení, tomu se zelení. Vx : N (x) Z (x) Honza se odrazil od podlahy a vyskočil do dvou metrů. 0(" Honza1," podlaha1) V("Honza11 ,"2 metry11) Tahle vláda není ani ryba ani rak. -"(" tahle vláda11 =" ryba11) A tahle vláda11 =" rak11) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 11 / 26 Limity predikátové logiky • ne všechny konstrukce v přirozeném jazyce jsou propozice ► Dobrý den. Děkuji vám. ► Kdybych tak měl milión . . . ► Nedá se nic dělat. • ne všechny propozice jsou 1. řádu Všichni lidé mají společné vlastnosti. 3Wx : V(x) • v přirozeném jazyce je mnohem víc kvantifikátorů ► většina ► velká část ► kdekdo ► pár lidí, skoro nikdo, pokud vůbec někdo a implicitní existence Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 12/26 Predikátová logika, typy argumentů Z(x,y) - x žije v y Honza žil v Brně. Z(" Honza1," Brr?o") Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka Predikátová logika, typy argumentů Z(x,y) - x žije v y Honza žil v Brně. Z(" Honza1," Brr?o") Honza žil ještě v sobotu. Z(" Honza1," sobota11) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka Predikátová logika, typy argumentů Z(x,y) - x žije v y Honza žil v Brně. Z(" Honza1," Brr?o") Honza žil ještě v sobotu. Z(" Honza11," sobota11) Z(x, y) - x žije v y a y je místo Predikátová logika, typy argumentů Z(x,y) - x žije v y Honza žil v Brně. Z(" Honza1," Brr?o") Honza žil ještě v sobotu. Z(" Honza11," sobota11) Z(x, y) - x žije v y a y je místo typované logiky Sloveso jako predikát sloveso (příp. deverbativum) jako predikát, větné členy jako argumenty predikátu valence Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 14/26 Sloveso jako predikát Kluk rozbil okno. Kámen vletěl do okna a rozbil ho. Okno se rozbilo. rozbít: AG(osoba) ART(výrobek) INS(nástroj) Sloveso jako predikát Kluk rozbil okno. Kámen vletěl do okna a rozbil ho. Okno se rozbilo. rozbít: AG(osoba) ART(výrobek) INS(nástroj) kluk osoba kámen nástroj okno výrobek Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 15/26 Valenční slovníky české: • Vallex: VALLEX 2.x obsahuje okolo 2 730 lexémů, které tvoří celkem asi 6 460 lexikálnách jednotek ("významů"). 2 9 Verba Lex: 3 ► 21032 literálů (sloveso + význam) ► 10469 slovesných lemmat anglické: • VerbNet: 8 537 sloves represented 4 http://ufal.mff.cuni.cz/vallex/2.6/doc/home.html http://nlp.fi.muni.cz/cs/VerbaLex 4http://verbs.Colorado.edu/verb-index/index.php Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 16/26 Valenční slovníky: Vallex VALLEX 2.6 class functors forms aspect control reflex. recipr. complexity VALEVAL ■ F (10) • zlobit, zlobívat • zlobit se, zlobívat se • zlomit se, zlámat se • zmáčknout, zmačkat • zmáčknout se, zmačkat se • zmáhat, zmoci/zmoct • zmáhat se, zmoci se/zmoct se • zmapovat a. zmariť1 |~3~| ~ zkazit; zničit -frame: AClf PAT*1 BEN*P MEANS?P -example: zmaňl celé jednání svou nezodpovědností; zmařil mu život -rfl: pass: jeho podvratné plány se naštěstí dopředu zmaňly • H (51) • CH (22) • I[17) • J C") • K (73) • L (37) • M (53) • N (133) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 17/26 Valenční slovníky: VerbaLex Verb classes • admit-64 (65) • adopt-91 (4) • allow-63 (69) • animal sounds-38 (60) • approve-75 (91} Verb class "destroy 44 ~ • babrat * bořit1 zmařitf zničitpf rozbítpf 3 5 3 mařitinnpf ničitimpf rozbíjetmpf 3 5 ■* 3 • bořit., 2 * bourat | 1 | zmařit3, marrt^ b • assessment-34 (50) 1 * bourat, * brakovat^ * brát27 * břídi^ * demolovat1 lavoid-52 (51)1 | 1 | rozbít^, rozbijet^, zničit^, ničít^ k * oanisn-iu.^ * battle-36.3 (8) * bodyinternalmotion-49 (131) * build-26.1^(7) -frame: GROUP institution:1> obl VERB obl GROUP obl il i4 -example: policie rozbila zločinecký aana (pf) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 18/26 Valenční slovníky: VerbNet Roles • Agent [+int_control] • Patient [+concrete] • Instrument [+concrete] Frames NPVNP EXAMPLE "The Romans destroyed the city." syntax Agent V Patient semantics cause(Agent, E) destroyed(result(E), Patient) NPVNP PP.INSTRUMENT EXAMPLE MThe builders destroyed the warehouse with explosives." SYNTAX AGENT V PATIENT {WITH} INSTRUMENT SEMANTICS CAUSE(AGENT, E) USE(DURTNGCE), AGENT, INSTRUMENT) DESTROYED(RESULTCE), PATIENT) NP. INSTRUMENT V NP EXAMPLE MThe explosives destroyed the warehouse/' SYNTAX INSTRUMENT V PATIENT SEMANTICS CAUSE(?AGENT, E) USE(DURING(E), ?AGENT, INSTRUMENT) DESTROYED(RESULT(E), PATIENT) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 19/26 Zachycení významu ve valenčním rámci zmařiť zničitpf rozbítpf Verb classes • admit-64 (65) • adopt-91 (4) • allow-63 (69) • animal_sounds-38 (60) • approve-75 (91) • assessment-34 (50) -SB • banish-ÍO.2 (55) • battle-36.3 (8) • bodyinternalmotion-49 (131) • build-26.1^ (7) Verb class "destroy 44 * babrat1 * bořit1 * bořit^ * bourat^ * bourat, * brakovat3 * brát2? * bndit^ * demolovat. mařit^pf ničiť"11* rozbíjet I 1 I zmařit^, marrt^ k impf I 2 I rozbity rozbijet3, zničit^, ničit^ frame: GROUP institution: 1> VERB GROUP obl il -example: policie rozbila zločinecký gang (pf) sloveso a jeho synonyma (synset) překlad slovesná třída (slovesa komunikace, slovesa ničení ... [Wu and Palmer, 1994]) slovesné rámce (jednotlivé případy užití slovesného synsetu) počet argumentů (slotů) syntaktické informace (větné členy: pořadí, pád, příp. předložka) sémantické role výběrová omezení (typický reprezentant) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 20 Semantic Role Labeling vstupem je věta, výstupem jsou struktury predikát(argumenty*) pro všechna tvrzení ve větě (statement) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II Semantic Role Labeling vstupem je věta, výstupem jsou struktury predikát(argumenty*) pro všechna tvrzení ve větě (statement) John told Pat to cut off the tree. ask(v=ask, argO=John, argl=to cut off the tree, arg2=Pat) cut(v=cut off, argO=Pat, argl=the tree) Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 21/26 Semantic Role Labeling vstupem je věta, výstupem jsou struktury predikát(argumenty*) pro všechna tvrzení ve větě (statement) John told Pat to cut off the tree. ask(v=ask, argO=John, argl=to cut off the tree, arg2=Pat) cut(v=cut off, argO=Pat, argl=the tree) K řešení SRL se dosud vždy používala syntaktická analýza. V roce 2017, [He et al., 2017] použili hluboké neuronové sítě, výsledek je lepší než předchozí přístupy. Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 21/26 Propojení valenčnřch rámců: FrameNet Definition: This transparent noun frame is concerned with ^^s for measuring the \ of regions. Hillary lives in the middle of ^ Paul owns ^ IIiaifelMaď BTiHBBl. ldACRESlofwhea ■ Semantic Type: Transparent Noun FEs: Core: II Excludes: Occupant The region whose surface is being measured. Klaas has a 10 ^^^^ peach orch Count [; The number of ^^s. Smiley owns [JJJJj fifleenlHECTARESlof prime real estate Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka Sémantika diskurzu (discourse semantics) Dvě kávy a ovocný dortík. Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 23/26 Sémantika diskurzu (discourse semantics) Dvě kávy a ovocný dortík. o Co si dáte? • Přejete si platit? • Cos dnes jedl? • Co se ti v noci zdálo? • Co po tobě ten člověk chtěl? • Co po tobě ten člověk mrštil? o Co je v té knížce, že je tak špinavá? Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 23/26 Sémantika diskurzu (discourse semantics) Honza/ ztratil peněženku/. [On]; Hledal ji/ v zadním voze tramvaje^ nejmíň půl hodiny. Nakonec ho/ odtud/c vyhodili, přestože [On]; ji/ nenašel. [On]; Byl z toho? pěkně naštvaný. Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka Sémantika diskurzu (discourse semantics) Honza/ ztratil peněženku/. [Oř?]/ Hledal jiy v zadním voze tramvaje/c nejmíň půl hodiny. Nakonec ho/ odtud/c vyhodili, přestože [Oř?]/ jiy nenašel. [Oř?]/ Byl z toho? pěkně naštvaný. seznam objektů promluvy (promluvový objekt, PO; discourse entity): 9 množina prvků znalostní báze (knowledge base, KB), které byly zmíněny a mohou být odkazovány pomocí zájmen o pokud prvek nebyl zmíněn, a přesto může být odkazován, byl evokován typický PO: jmenná fráze Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 24/26 Sémantika diskurzu (discourse semantics) Honza/ ztratil peněženku/. [Oř?]/ Hledal jiy v zadním voze tramvaje/c nejmíň půl hodiny. Nakonec ho/ odtud/c vyhodili, přestože [Oř?]/ jiy nenašel. [Oř?]/ Byl z toho? pěkně naštvaný. seznam objektů promluvy (promluvový objekt, PO; discourse entity): 9 množina prvků znalostní báze (knowledge base, KB), které byly zmíněny a mohou být odkazovány pomocí zájmen o pokud prvek nebyl zmíněn, a přesto může být odkazován, byl evokován typický PO: jmenná fráze Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 24/26 Analýza promluvy: krabicový model A: Už jsi ten motor smontoval? - Provleč lano tím okem na horní straně motoru. - Jo, mimochodem, koupils už ten benzín? B: Jasně, koupil, když jsem sháněl disk do sekačky. - Zapomněl jsem vzít kanystr, tak jsem koupil nový. A: Byl drahý? B: Ne, ale bude se mi hodit do auta. A: Fajn. - Už to máš provlečené? Odkazy I He, L, Lee, K., Lewis, M., and Zettlemoyer, L. (2017). Deep semantic role labeling: What works and what's next. In Proceedings of the Annual Meeting of the Association for Computational Linguistics. Mendelson, E. (1997). Introduction to Mathematical Logic. Discrete Mathematics and Its Applications Series. Chapman & Hall. Wu, Z. and Palmer, M. (1994). Verbs semantics and lexical selection. In Proceedings of the 32nd annual meeting on Association for Computational Linguistics, ACL '94, pages 133-138, Stroudsburg, PA, USA. Association for Computational Linguistics. Karel Pala, Zuzana Nevěřilová PA153 Zpracování přirozeného jazyka 05 - Sémantika II 26/26