Multimodální dialogové systémy Dialogové systémy a emoce Dialogové systémy Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2022 Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce Q Multimodální dialogové systémy O Dialogové systémy a emoce Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce Multimodální dialogová ro zhraní • Mimo mluvenou řeč umožňuje i další způsoby komunikace člověk - počítač: • textová komunikace • grafická komunikace • emoce «... • Výhody • lepší přístupnost. • uživatelé s poruchami sluchu, • uživatelé s poruchami řeči, «... o lepší pochopení pragmatiky projevu • možnost pracovat i s emočním rozpoložením - může mít vliv na pragmatiku projevu. Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce ocitac - clovek • Textová: o Mimo hlasový výstup je navíc zobrazen i odpovídající textový výstup. • Lze využít prostředky pro IM, SMS, ... • Grafická: • Talking Heads - mimo hlasový výstup je navíc zobrazena tvář (hlava, celý člověk, .. .jejíž pohyby, zejména úst, odpovídají mluvené řeči. • Komunikace znakovou řečí - mluvené slovo je překládáno na znakovou řeč (viz Guimeraes et al. - Structure of the Brazilian Sign Language (Libras) for Computational Tools: Citizenship and Social, in Organizational, Busines, and Technological Aspects of the Knowledge Society, CCIS vol. 112, Springer, Heidelberg, 2010, pp. 365 — 370. ) • Znaková řeč prezentována pomocí rukou nebo avatara. Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce Mu Itimod álr 1Í komui nikace ( človek - pocitac • Široké spektrum možností zadávání vstupu uživatelem jinak než hlasem: • klávesnice (počítač, DTMF, SMS, ... o rukou psaný vstup - dotyková obrazovka + pero, ... • ústy ovládaná zařízení • ovládání pomocí pohybů očí a víček • rozpoznávání řeči pomocí sond detekujících činnost svalů a mozku (viz Schultz, T. - Silent and Weak Speech Based on Elektromyography, in Proceedings of 12th Internation Conference ICCHP 2010 Part 1, Wien, Springer, Heidelberg, pp. 595-604, 2010. ) • rozpoznávání znakové řeči «... • Často jako doplněk řečového vstupu. Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce tandardy Proprietami řešení: • Součást CSLU Toolkitu. 9 Projekt August. Otevřená řešení: 9 Návrhy doporučení W3C týkající se multimodálního přístupu - zatím bez implementace. • Využívají a propojují i další standardy W3C (CCXML, XHTML, VoiceXML, SVG, SMIL, ... • Výstup W3C Multimodal Interaction WG Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce ka multimodální syntetizované řeči Luděk Bártek Dialogové systémy Luděk Bártek Dialogové systémy • "This is a very tough question, that has produced significant amounts of headaches to scientists in the past ...","... many researchers have to opted to study systematically phenomena that most consider emotional." (Laval University of Quebec) • "Only mathematics is certain, so all must be based on mathematics." (R. Descartes) o Delení emocí: • Primární (základní) - vyskytují se u všech lidí a u části vyssich živočichu. o Sekundární (vyšší) - mohou být intelektuální, morální a estetické. Mohou se lišit mezi jednotlivými kulturami. • Velkých šest: • hněv • zklamání Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce Velkých šest (R. Descartes): • hněv 9 zklamání o smutek • strach o překvapení Další autoři: a Arnold - hněv, averze, odvaha, sklíčenost, touha, zoufalství, strach, nenávist, láska, smutek. o Ekman, Friesen, Ellsworth - hněv, odpor strach, radost, smutek, překvapení. o Frijda — touha, štěstí, zájem, překvapení, údiv, zármutek, Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce Lze provádět pomocí detekce změn různých biometrických vlastností. • Změny galvanických vlastností kůže. Změny tlaku krve a pulsu ■ Luděk Bártek Dialogové systémy Použitelné biometrické charakteristiky: o změny dýchání změny elektrické aktivity mozku • změny charakteristik řeči • výraz tváře (Yale Face Database). • ... Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce • Radost Smutek Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ ase • Ospalost • Překvapení Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce z istik pro smutek a hněv Luděk Bártek Dialogové systémy Multimodální dialogové systémy Dialogové systémy a emoce ém rozhraní Dialogová rozhraní informačních systémů • uzpůsobení dialogové strategie emočnímu stavu uživatele (klid, stres, hněv, ...) • přepojení uživatele na lidského operátora. Výukové DS: o uzpůsobení dialogové strategie koncentraci uživatele. Luděk Bártek Dialogové systémy