Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím PLIN037 Sémantika a počítače OP VK Mezi bohemistikou a informatikou www. proj e kt- i n ova. cz Zuzana Nevěřilová xpopelkOf i.muni.cz Centrum zpracování přirozeného jazyka, B203 Fakulta informatiky, Masarykova univerzita 31. března 2016 Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím C- v x viceni najděte 20 dvojic parafrází: ■ ve vlastních textech ■ v novinových článcích ■ v překladech ■ v testech čtenářských dovedností Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Textové vyplývaní a parafráze Textual Entailment A text t entails a hypothesis h (ŕ =4> h) if humans reading t will infer that h is most likely true. [Dagan et al., 2007] Paraphrase Paraphrase sř of sentence s is a sentence that has the same or almost the same meaning as s in a given context. Paraphrase = mutual entailment Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Vyhodnocení parafrází ■ každý dostane 1 sadu parafrází svého kolegy ■ každou dvojici vět s± a S2 označí T nebo F, pokud uzná, že s± je parafrází S2 (a naopak) ■ výsledkem budou datové sady jako: 1: T 2: F 3: T Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Matice záměn matice záměn (confusion matrix): můžeme použít pro klasifikační úlohy o dvou třídách co určil systém správná klasifikace + — + true positive false negative — false positive true negative Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Vytvoření matice záměn anotátor původce shoda 1 T T ok 2 F T ne 3 T T ok Parafráze Vyhodnocení Mezianotátorská shoda Vytvoření matice záměn Strojové učení Zpět k parafrázím anotátor původce shoda 1 T T ok 2 F T ne 3 T T ok co určil systém (původce) správna klasifikace + — + 2 0 — 1 0 Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Co plyne z matice záměn? co určil systém správná klasifikace + — + true positive false negative — false positive true negative TP+T/V celková správnost (overall accuracy):/4cc = 7-p+7-/v+Fp+F/v celková chyba (overall error):Err = fp+fn tp+tn+fp+fn Parafráze Vyhodnocení Mezianotátorská shoda Co plyne z matice záměn? Strojové učení co určil systém správná klasifikace + — + true positive false negative — false positive true negative celková správnost (overall accuracy):/4cc = Tp+^+™+/r/v celková chyba (overall error):Err = Tp fjfj^^ FN tp přesnost (precision): TP+FP pokrytí/úplnost (recall)- TP TP+F/V Parafráze Vyhodnocení Mezianotátorská shoda Co plyne z matice záměn? Strojové učení co určil systém správná klasifikace + — + true positive false negative — false positive true negative celková správnost (overall accuracy):/4cc = Tp+^+™+/r/v celková chyba (overall error):Err = Tp fjfj^^ FN tp přesnost (precision): TP+FP pokrytí/úplnost (recall)- TP TP+F/V průměr: míra Fl (Fl score): Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Co plyne z matice záměn? co určil systém (původce) správná klasifikace + — + 2 0 — 1 0 tp přesnost (precision). TP+FP pokrytí/úplnost (recall): Tp+FN míra Fl (Fl score)- 2PR p+r Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Mezianotátorská shoda ■ počet anotací, na kterých se dva anotátoři neshodli / celkový počet anotací ■ co když se neshodnou náhodou? ■ co když se shodnou náhodou? ■ co když je anotátorů více? Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Mezianotátorská shoda ■ počet anotací, na kterých se dva anotátoři neshodli / celkový počet anotací ■ co když se neshodnou náhodou? ■ co když se shodnou náhodou? ■ co když je anotátorů více? výpočty Kj (najdete v příručkách z ekonomie) Cohen k pro dva anotátory Fleiss k pro více anotátorů Fleiss k pro dva anotátory neodpovídá Cohen n Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Strojové učení ■ máme hotový program ■ program mění svoje chování na základě trénovacích dat ■ správnost programu ověříme na testovacích datech Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Jak trénovat a testovat férově ■ testovací data bychom nikdy neměli vidět ■ testovací data částečně vidět můžeme, ale výsledek to může zkreslit: development a evaluation ■ křížová validace Parafráze Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrázím Zpět k parafrázím Rahul Bhagat, Eduard Hovy: What Is a Paraphrase? 1. přečtěte si článek 2. pokuste se vlastní parafráze (aspoň ty, které byly anotovány jako parafráze) klasifikovat 3. pokud to bude těžké, najděte jiné parafráze 4. celkem byste měli mít 20 klasifikovaných parafrází 5. výsledek mi pošlete do příští středy Vyhodnocení Mezianotátorská shoda Strojové učení Zpět k parafrá Androutsopoulos, I. and Malakasiotis, P. (2009). A survey of paraphrasing and textual entailment methods. CoRR, abs/0912.3747. Bhagat, R. and Hovy, E. (2013). What is a paraphrase? Computational Linguistics, 39(3):463-472. Dagan, I., Roth, D., and Zanzotto, F. M. (2007). Tutorial notes. In 45th Annual Meeting of the Association of Computational Linguistics, Prague, Czech Republic. The Association of Computational Linguistics.