Dialogové systémy Luděk Bártek Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2016 Multimodalní dialogová rozhraní Dialogové systémy Luděk Bártek ■ Multimodalní dialogové rozhraní - mimo mluvenou řeč Multimodalní dialogová umožňuje alternativní způsoby komunikace člověk rozhraní počítač: ■ textová komunikace ■ grafická komunikace ■ emoce ■ Výhody: ■ lepší přístupnost - např. pro uživatele s poruchami sluchu/řeči. ■ možnost přesnějšího odvození pragmatiky projevu, ■ . .. Multimodální komunikace počítač —>► člověk Dialogové systémy Luděk Bártek ■ Textová: ■ Mimo hlasový výstup je navíc zobrazen odpovídající textový výstup. ■ Lze využít např. prostředky pro IM, SMS, .... ■ Grafická: ■ Talking Heads - mimo hlasový výstup je navíc zobrazena tvář, jejíž pohyby, zejména úst odpovídají řeči (ukázky[l]). ■ Komunikace znakovou řečí ■ Zobrazeny ruce, které se pohybují synchronně s řečí.[2] ■ Často jako doplněk mluvící hlavy nebo formou avatara. ■ Emoce - emoce získány způsobem popsaným dříve. Multimodální komunikace člověk —>► počítač Dialogové systémy Luděk Bártek Velmi široké spektrum možností zadávání vstupu jinak než asem: ■ klávesnice (počítač, DTMF, SMS, ...) ■ rukou psaný vstup - dotyková obrazovka + pero ■ různá ústy ovládaná zařízení ■ ovládání pomocí pohybů očí a víček ■ rozpoznávání řeči pomocí sond detekujících činnost svalů a mozku [4] - pomocí EEG, EMG, ... ■ rozpoznávání emocí - pomáhá při určení pragmatiky projevu Často jako doplněk řečového vstupu Multimodální rozhraní Nástroje na tvorbu Dialogové systémy Luděk Bártek Proprietami řešení: ■ součást CSLU Toolkitu [3] ■ projekt August[5] Otevřená řešení: ■ Doporučení W3C týkající se multimodálního přístupu existují platformy, které některé z nich implementují. ■ Využívají a propojují i další standardy W3C (CCXML, XHTML, VoiceXML, SVG, SMIL, ...). ■ Výstup W3C Multimodal Interaction Working Group Návrhy standardů Multimodal Interaction WG Dialogové systémy Luděk Bártek ■ Multimodal Architecture and Interfaces - popis architektury a podporovaných rozhraní. ■ EMMA (Extensible MultiModal Annotation Markup Language) - standard pro výměnu údajů mezi jednotlivými komponentami multimodálního dialogového systému. ■ InkML - standard pro data zadaná pomocí dotykových obrazovek a elektronického pera. ■ EmotionML - slouží k anotování dat z pohledu emocí. Multimodal Initiative WG Návrh architektury systému Dialogové systémy Luděk Bártek Interaction Manager Transport Mechanism A- "*l Data Componant -Transport Mechanism B Event Transport Layer Modality Component Modality Component _r^r^im^rarineworl( _ Obrázek: Návrh architektury multimodálního systému (převzato ze specifikace W3C) Dialogové systémy Luděk Bártek Massaro, D., Cohen, M. M. - Demos From The Perceptual Science Lab, dostupne na adrese http://mambo.ucsc.edu/demos.html (kveten 2011). Guimeraes, K., Antunes, D. R., Guilhermino, de F. Guilhermino, D., Lopes da Silva, R. A., Garcia, L. S. -Structure of the Brazilian Sign Language (Libras) for Computational Tools: Citizenship and Social, in Organizational, Busines, and Technological Aspects of the Knowledge Society, CCIS vol. 112, Springer, Heidelberg, 2010, pp. 365 - 370. Barnard, E. et all - CSLU Toolkit, dostupne na adrese http://www.cslu.ogi.edu/toolkit/index.html (kveten 2011). Schultz, T. - Silent and Weak Speech Based on Elektromyography, in Proceedings of 12th Internation Conference ICCHP 2010 Part 1, Wien, Springer, Heidelberg, pp. 595 - 604, 2010. the August Home Page, http://www.speech.kth.se/august/ (květen 2011) □ s