Dialogové systémy M ultimoda dialogová rozhraní Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2015 M ultimodalní dialogová rozhraní Dialogové systémy Luděk Bártek ■ Multimodální dialogové rozhraní - mimo mluvenou řeč M ultimodalní dialogová umožňuje alternativní způsoby komunikace člověk o rozhraní počítač: ■ textová komunikace ■ grafická komunikace ■ emoce ■ ■ ... ■ Výhody: ■ lepší přístupnost - např. pro uživatele s poruchami sluchu/řeči. ■ možnost přesnějšího odvození pragmatiky projevu, ■ .. . Multimodální komunikace počítač —> člověk Dialogové systémy Textová: ■ Mimo hlasový výstup je navíc zobrazen odpovídající textový výstup. ■ Lze využít např. prostředky pro IM, SMS, .... Grafická: ■ Talking Heads - mimo hlasový výstup je navíc zobrazena tvář, jejíž pohyby, zejména úst odpovídají řeči (ukázky[l]). ■ Komunikace znakovou řečí ■ Zobrazeny ruce, které se pohybují synchronně s řečí.[2] ■ Často jako doplněk mluvící hlavy nebo formou avatara. Emoce - emoce získány způsobem popsaným dříve. M ultimodalní komunikace člověk —> počítač Dialogové systémy Luděk Bártek M ultimodalní ■ Velmi široké spektrum možností zadávání vstupu jinak než dialogová rozhraní hlasem: ■ klávesnice (počítač, DTMF, SMS, . ..) ■ rukou psaný vstup - dotyková obrazovka + pero ■ různá ústy ovládaná zařízení ■ ovládání pomocí pohybů očí a víček ■ rozpoznávání řeči pomocí sond detekujících činnost svalů a mozku [4] - pomocí EEG, EMG, . .. ■ ■ Často jako doplněk řečového vstupu. Multimodální rozhraní Nástroje na tvorbu Dialogové systémy ■ Proprietami řešení: ■ součást CSLU Toolkitu [3] ■ projekt August[5] ■ Otevřená řešení: ■ Doporučení W3C týkající se multimodálního přístupu -zatím ve stádiu návrhů, bez implementace. ■ Využívají a propojují i další standardy W3C (CCXML, XHTML, ■ Výstup W3C Multimodal Interaction Working Group VoiceXML, SVG, SMIL,...). Návrhy standardů Multimodal Interaction WG Dialogové systémy Luděk Bártek M ultimodalní ■ Multimodal Architecture and Interfaces - popis dialogová rozhraní architektury a podporovaných rozhraní. ■ EMMA (Extensible MultiModal Annotation Markup Language) - standard pro výměnu údajů mezi jednotlivými komponentami multimodálního dialogového systému. ■ InkML - standard pro data zadaná pomocí dotykových obrazovek a elektronického pera. ■ ■ EmotionML - slouží k anotování dat z pohledu emocí. Multimodal Initiative WG Návrh architektury systému Dialogové systémy M ultimodalní dialogová rozhraní Eiient Transport Layer Modálny Gompcnem Modality ConipůňSňt Obrázek: Návrh architektury multimodálního systému (převzato ze specifikace W3C) Dialogové systémy Luděk Bártek M ultimodalní dialogová rozhraní Q Massaro, D., Cohen, M. M. - Demos From The Perceptual Science Lab, dostupné na adrese http://mambo.ucsc.edu/demos.html (květen 2011). _] Guimeraes, K., Antunes, D. R., Guilhermino, de F. Guilhermino, D., Lopes da Silva, R. A., Garcia, L. S. -Structure of the Brazilian Sign Language (Libras) for Computational Tools: Citizenship and Social, in Organizational, Busines, and Technological Aspects of the Knowledge Society, CCIS vol. 112, Springer, Heidelberg, 2010, pp. 365 - 370. _] Barnard, E. et all - CSLU Toolkit, dostupne na adrese http://www.cslu.ogi.edu/toolkit/index.html (kveten 2011). U Schultz, T. - Silent and Weak Speech Based on Elektromyography, in Proceedings of 12th Internation Dialogové systémy Conference ICCHP 2010 Part 1, Wien, Springer, Heidelberg, pp. 595 - 604, 2010. the August Home Page, http://www.speech.kth.se/august/ (květen 2011).