PLIN021 SÉMANTICKÁ ANALÝZA V PRAXI ZUZANA NEVĚŘILOVÁ 2020/21 A bowl of oranges LEXIKÁLNÍ DESAMBIGUACE SHRNUTÍ DOSAVADNÍCH ZNALOSTÍ ¡Lexikální desambiguace je přirazení slova v daném kontextu významu v určitém repozitáři významů (např. Slovníku). ¡Leskův algoritmus řeší úlohu porovnáním kontextu slova se slovy z definice významu. ¡Úspěch algorimu silně závisí na použitém slovníku. Slovníky ale nebyly napsány s cílem být zdrojem pro algoritmus WSD. ¡Yarowského algoritmus pracuje s korpusovými daty: keyword in context (KWIC) ¡Trénovací data se musí pořídit ručně nebo ze slovníku kolokací. Stačí jich ale menší množství. ¡Yarowského algoritmus nemusí rozhodnout všechny výskyty slova v kontextu. ¡To ale lidé také pokaždé nedokážou. ¡Je WSD vůbec dobře definovaná úloha? LEXIKÁLNÍ DESAMBIGUACE: INVENTÁŘ VÝZNAMŮ LEXIKÁLNÍ ZDROJE PRO NLP ¡Historicky: slovníky ¡Nevýhody: chybějící explicitní informace ¡Vysoká cena → ne moc častá aktualizace ¡Později až do současnosti: korpusy ¡Nevýhody: chyby v anotaci ¡Vyváženost? Reprezentativnost? ¡Ontologie / sémantické sítě 4. A schematic example of the natural language processing analysis of... | Download Scientific Diagram https://www.researchgate.net/publication/277248905_Analysing_landmarks_ in_nature_and_elements_of_geospatial_images_to_support_wayfinding/ figures?lo=1 ONTOLOGIE – SÉMANTICKÉ SÍTĚ ¡ ¡ ¡Explicitní: co je řečeno, platí. Co není řečeno, neplatí. ¡Sdílené: lidé by se na tom shodli. ¡Konceptualizace: entity existují a existují i relace mezi nimi Ontologie = explicitní specifikace sdílené konceptualizace (Gruber, 1995) konceptualizace sdílené explicitní specifikace WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Barrage •Přehrada •Baráž Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Diagram Description automatically generated Barrage •Přehrada •Baráž Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Diagram Description automatically generated Barrage •Přehrada •Baráž Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Diagram, radar chart Description automatically generated 1.Nalezení kořenového uzlu 2.Nalezení minimální kostry Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Chart, diagram, radar chart Description automatically generated 1.Nalezení kořenového uzlu 2.Nalezení minimální kostry Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Diagram, radar chart Description automatically generated 1.Nalezení kořenového uzlu 2.Nalezení minimální kostry Diagram, radar chart Description automatically generated WSD BEZ INVENTÁŘE VÝZNAMŮ – HYPERLEX, 2004 Chart, diagram, radar chart Description automatically generated 1.Nalezení kořenového uzlu 2.Nalezení minimální kostry WORD SENSE DISCRIMINATION WORD SENSE INDUCTION ¡Grafy spoluvýskytu (sousednost, spoluvýskyt v pevně daném okně kontextu) Co-occurrence graphs ¡Slovní klastry Word clusters ¡Kontextové klastry Context clusters WSD – ÚSPĚCH? KVALITA? ¡Soutěž SENSEVAL (www.senseval.org) ¡vyhodnocení systémů pro WSD ¡od roku 1998 (Senseval-1, -2, -3, Semeval-2007, -2010) ¡od Semeval-1 jsou úkoly různé (např analýza sentimentu, detekce metonymie) ¡data z proběhlých kol jsou k dispozici ¡Soutěž SemEval ¡2010 WSI (word sense induction) ¡2013 Task 12, 2015 Task 13 - Multilingual WSD LITERATURA ¡ ¡Gruber, Thomas. Toward Principles for the Design of Ontologies Used for Knowledge Sharing. International Journal Human-Computer Studies Vol. 43, Issues 5-6, Novemer 1995, p.907-928. https://tomgruber.org/writing/onto-design.pdf ¡Ide N., Wilks Y. (2007) Making Sense About Sense. In: Agirre E., Edmonds P. (eds) Word Sense Disambiguation. Text, Speech and Language Technology, vol 33. Springer, Dordrecht. https://doi.org/10.1007/978-1-4020-4809-8_3. http://staffwww.dcs.shef.ac.uk/people/Y.Wilks/papers/ide-wilks_final.pdf ¡Jean Véronis, HyperLex: lexical cartography for information retrieval, Computer Speech & Language, Volume 18, Issue 3, 2004, pages 223-252, ISSN 0885-2308, https://doi.org/10.1016/j.csl.2004.05.002. http://www.sciencedirect.com/science/article/pii/S0885230804000142 ¡