PLS CCXML State Chart XML Sim ulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Dialogové systémy Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2014 Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce O PLS O CCXML O State Chart XML Q Simulace dialogu metodou Wizard of Oz Q Multimodální dialogové systémy Q Dialogové systémy a emoce Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Pronunciation Lexicon Specification (PLS) a Standard W3C • Aktuální verze 1.0 (říjen 2008) • Definuje značkování pro specifikaci slovníků výslovnosti pro podporu syntézy a rozpoznávání řeči. • Specifikace na stránkách W3C Specifikace na stránkách W3C Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Základní elementy PLS • Kořenový element - lexicon • atributy - xmlns - specifikace jmenného prostoru (http://www.w3.org/2005/01/pronunciation-lexicon) • xmklang - jazyk dokumentu • version - verze dokument (1.0) • alphabet - abeceda použitá pro fonetický přepis • lexeme - obsahuje popis pro jednu lexikální jednotku (slovo, zkratku,... • musí obsahovat aspoň jeden dceřiný element grapheme • phoneme - obsahuje fonetický přepis dané lexikální jednotky (většinou se používá IPA). Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázka lexikonu color k' Ala _ Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázka propojení lexikonu a gramatiky • XML format SRGS Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázka propojení lexikonu a gramatiky • ABNF format SRGS #ABNF VI.0 ISO-8859-1; language en-US; lexicon ; lexicon

; Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázka použití lexikonu v SSML tokens here are looked up in lexicon.pis tokens here are looked up first in strange-words.file and then, if not found, in lexicon.pis tokens here are looked up in lexicon.pis tokens here are not looked up in lexicon documents ... Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Call Control XML • Slouží k ovládání a řízení telefonních hovorů v průběhu interaktivních hlasových služeb. • Může být doplňkem dialogových systémů na bázi VoiceXML, který poskytuje pokročilé telekomunikační funkce: • konferenční hovory • umožňuje přiřazení VoiceXML interpretrů jednotlivým příchozím hovorům, «... • Může být použit dialogovým systémem pro ovládání spojení uživatele a DS. • Platformy, které CCXML implementují mohou použít libovolnou z definici ovládání telefonního spojení (např. JAIN Call Control, ECMA CSTA, ...) Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Architektura systému využívaj CCXML System Architecture I" Figure : Architektura CCXML Aplikace (převzato ze specifikace CCXML) Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Struktura CCXML Aplikace • Aplikace se skládá z dokumentů, které popisují ovládání a správu: • CCXML sezení (session) - zpracování CCXML dokumentu, který může být identifikován a odkazován. • Spojení - hovor nebo zdroj, který interaguje s hlasovým dialogem. • Konferenční objekt - slouží k sestavení a řízení konferenčních hovorů. • Dialog - může interagovat s různými spojeními a konferenčními objekty. • Manipulace s těmito entitami je definována v CCXML, které umožňuje i zpracování asynchronních událostí. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Životní cyklus CCXML aplikace • Začátek • Příchozí telefonní hovor. • Zpracování elementu createccxml CCXML aplikací. • Požadavek na nové sezení z vnějšku. • Pro vytvoření sezení je nutné znát: • URI počátečního CCXML dokumentu • parametry, které mohou ovlivnit získání tohoto dokumentu. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázka CCXML dokumentu Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázka CCXML dokumentu Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Vítejte v registraci IS MU Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Způsob ukončení Předmět Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Metoda Wizard of Oz • Simulace dialogového rozhraní modelem člověk - člověk. • Založena na principu popsaném v knize The Wonderful Wizard of Oz (Lyman Frank Baum) • Princip: • Funkce dialogového rozhraní je (skrytě) simulována člověkem, a Průběh dialogu je protokolován. • Průběh se řídí navrženou dialogovou strategií. • Pokud je dostupný prototyp může Wizard pouze modifikovat a předávat komunikaci mezi uživatelem a systémem. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Metoda Wizard of Oz • Občas snaha navodit zdání, že uživatel komunikuje s dialogovým systémem - využívají se různé prostředky: • vzdálená komunikace kde osoba simulující dialogové rozhraní komunikuje prostřednictvím TTS • použití vokodérů, které změní hlas osoby, která provádí testování, aby zněl jako výstup TTS » .. . Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Tvorba dialogového rozhraní pomocí metody WoZ • Z korpusu dialogů na dané téma (pro danou doménu) lze vygenerovat dialogové rozhraní následovně: O Vytvoříme iniciální korpus metodou WoZ • Komunikace pouze čaroděj - uživatel. Q Odstraní se konflikty a na základě korpusu se vytvoří dialogové rozhraní. O Kombinovaně vytvoříme nový korpus. • "Čaroděj" se snaží maximálně využívat navržené dialogové rozhraní.. O Odstranění konfliktů a vygenerování nové verze dialogového rozhraní. O Pokud je rozhraní v pořádku, generování končí, jinak se pokračuje krokem 3. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Multimodální dialogová rozhraní • Mimo mluvenou řeč umožňuje i další způsoby komunikace člověk - počítač: • textová komunikace • grafická komunikace • emoce «... • Výhody • lepší přístupnost. • uživatelé s poruchami sluchu, • uživatelé s poruchami řeči, • ... • lepší pochopení pragmatiky projevu • možnost pracovat i s emočním rozpoložením - může mít vliv na pragmatiku projevu. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Multimodální komunikace počítač - člověk • Textová: • Mimo hlasový výstup je navíc zobrazen i odpovídající textový výstup. • Lze využít prostředky pro IM, SMS, ... • Grafická: • Talking Heads - mimo hlasový výstup je navíc zobrazena tvář (hlava, celý člověk, .. Jejíž pohyby, zejména úst, odpovídají mluvené řeči. • Komunikace znakovou řečí - mluvené slovo je překládáno na znakovou řeč (viz Guimeraes et al. - Structure of the Brazilian Sign Language (Libras) for Computational Tools: Citizenship and Social, in Organizational, Busines, and Technological Aspects of the Knowledge Society, CCIS vol. 112, Springer, Heidelberg, 2010, pp. 365 — 370. ) • Znaková řeč prezentována pomocí rukou nebo avatara. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Multimodální komunikace člověk - počítač • Široké spektrum možností zadávání vstupu uživatelem jinak než hlasem: • klávesnice (počítač, DTMF, SMS, ... • rukou psaný vstup - dotyková obrazovka + pero, . .. • ústy ovládaná zařízení • ovládání pomocí pohybů očí a víček • rozpoznávání řeči pomocí sond detekujících činnost svalů a mozku (viz Schultz, T. - Silent and Weak Speech Based on Elektromyography, in Proceedings of 12th Internation Conference ICCHP 2010 Part 1, Wien, Springer, Heidelberg, pp. 595 - 604, 2010. ) • rozpoznávání znakové řeči «... • Často jako doplněk řečového vstupu. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Existující nástroje a standardy • Proprietami řešení: • Součást CSLU Toolkitu. • Projekt August. • Otevřená řešení: • Návrhy doporučení W3C týkající se multimodálního přístupu -zatím bez implementace. • Využívají a propojují i další standardy W3C (CCXML, XHTML, VoiceXML, SVG, SMIL, ... » Výstup W3C Multimodal Interaction WG Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázka multimodální syntetizované řeči Ukázka avatara Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Co jsou to emoce? • "This is a very tough question, that has produced significant amounts of headaches to scientists in the past many researchers have to opted to study systematically phenomena that most consider emotional." (Laval University of Quebec) • "Only mathematics is certain, so all must be based on mathematics." (R. Descartes) • Dělení emocí: • Primární (základní) - vyskytují se u všech lidí a u části vyšších živočichů. • Sekundární (vyšší) - mohou být intelektuální, morální a estetické. Mohou se lišit mezi jednotlivými kulturami. • Velkých šest: • hněv • zklamání o Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Základní emoce • Velkých šest (R. Descartes): • hněv • zklamání • smutek • strach • překvapení • Další autoři: • Arnold - hněv, averze, odvaha, sklíčenost, touha, zoufalství, strach, nenávist, láska, smutek. • Ekman, Friesen, Ellsworth - hněv, odpor strach, radost, smutek, překvapení. • Frijda —touha, štěstí, zájem, překvapení, údiv, zármutek, Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Detekce emocí • Lze provádět pomocí detekce změn různých biometrických vlastností. » Změny galvanických vlastností kůže. • Změny tlaku krve a pulsu. Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Detekce emocí • Použitelné biometrické charakteristiky: • změny dýchání • změny elektrické aktivity mozku • změny charakteristik řeči • výraz tváře (Yale Face Database). Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázky z Yale Face Database • Radost • Smutek Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázky z Yale Face Database • Ospalost • Překvapení Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Ukázky průběhů charakteristik pro smutek a hněv ANGER GRIEF n s os i n no i mo s mo b &oe icon i ton soon Luděk Bártek Dialogové systémy PLS CCXML State Chart XML Simulace dialogu metodou Wizard of Oz Multimodální dialogové systémy Dialogové systémy a emoce Využití emocí v dialogovém rozhraní • Dialogová rozhraní informačních systémů • uzpůsobení dialogové strategie emočnímu stavu uživatele (klid, stres, hněv, ...) • přepojení uživatele na lidského operátora. • Výukové DS: • uzpůsobení dialogové strategie koncentraci uživatele. • . . . Luděk Bártek Dialogové systémy