VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Řečová interakce a sociální sítě Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2018 Luděk Bártek Řečová interakce a sociální sítě O VoiceXML O SRGS O SISR Q Emoce a dialogové systémy Q Multimodální dialogová rozhraní O Sociální sítě Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Tvorba dialogového rozhraní i se smíšenou iniciativou • Formulář obsahuje element initial: • Definuje 1. krok dialogu, kdy je iniciativa na straně uživatele. • Pokusí se pomocí gramatiky formuláře získat tolik hodnot vstupních polí, kolik uživatel zadá a odpovídajícím vstupním polím formuláře se přiřadí získaná hodnota. • Promluvy rozpoznávané v elementu initial jsou popsány gramatikou přiřazenou formuláři. • Vstupy, které bud uživatel nezadal a nebo nebyly rozpoznány, se získají pomocí vstupních polí formuláře (viz algoritmus FIA). • Detaily viz příklad (http://www.fi.muni.cz/~bar/pb095/dialog.xml) (možnost bezplatně otestovat přes Skype: +990009369996160530 nebo SIP: 9996160530@sip.voxeo.net , komunikace v angličtině). Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Gramatiky pro podporu rozp< oznávání řeči (SRGS) • Standard (http://www.w3.org/TR/speech-grammar/) W3C Voice Browser Activity • Aktuální verze 1.0 (březen 2004) • Náhrada za JSGF (http://www.w3.org/TR/jsgf/) - stále využíván některými platformami. • Textový popis bezkontextové gramatiky pomocí: • XML formátu • ABNF formátu Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Struktura XML formátu grar natiky • Kořenový element - grammar o povinné atributy - version (verze SRGS), xmhlang (přirozený jazyk použitý v gramatice), root (odkaz na kořenové pravidlo gramatiky) • obsahuje seznam pravidel gramatiky. • Pravidla gramatiky - rule • povinný atribut - id - slouží k identifikaci pravidla v gramatice -hodnota musí být jedinečná. • Více viz příklady (http: //www. f i . muni . cz/~bar /pt>095/pizza. grxml). Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě I_I I I I I I L £^ICMIIIIICM Obsah • Obsahuje: • sekvenci - posloupnost elementů item, které obsahují jednotlivé části rozpoznávané sekvence. • volbu - element one-of - skládá se z několika elementů item, které obsahují jednotlivé možnosti. elementy tag - slouží k popisu sémantické interpretace promluvy. Mohou se vyskytovat na začátku elementu (inicializace, před tím než započne analýza podle tohoto pravidla) nebo na konci elementu (dokončení interpretace pravidla). • V jednotlivých položkách (elementy item) - interpretace položky. • V elementu item může být nahrazen atributem tag se stejným významem. Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Sémantická interpretace pro rozpoznávání reči 9 Standard (http://www.w3.org/TR/semantic-interpretation/) W3C Voice Browser Activity. o Umožňuje přiřadit sémantickou interpretaci (význam) promluvě rozpoznané pomocí SRGS - definuje možný obsah elementu tag v SRGS. o Postaven na výrazech jazyka ECMAScript • Sémantická interpretace se přiřazuje pomocí výrazů, které jsou součástí: • SRGS elementu tag o SRGS atributu tag (element item, ...) Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Přenesení výsledku sémantici dokumentu <é interpretace do VoiceXML • SISR umožňuje přiřadit výsledek interpretace: • pravidlu SRGS • vstupnímu poli VoiceXML formuláře. • Stínové proměnné pro přenos sémantické informace: out - výstup pravidla • out.name - vstupní pole name • rules - pro zpřístupnění neterminálních symbolů na pravé straně pravidla. • rules.city - sémantická interpretace neterminálního symbolu city • Viz ukázka dialogu se smíšenou iniciativou. Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě o Schopnost určit emocionální stav může vést k přizpůsobení dialogové strategie: • klidný uživatel vs. spěchající uživatel • klidný uživatel vs. rozčilený uživatel • rostoucí napětí uživatele • ... • Emocionální stav souvisí např. s prozódií: • TTS může modelovat emoce. • Při rozpoznávání lze detekovat emoce pomocí prozódie. Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Co jsou to emoce? • This is a very tough question, that has produced significant amounts of headaches to scientist in the past ... (Laval University Quebec) • ... many researchers have opted to study systematically phenomena that most consider emotional. (Laval University Quebec) • Dělení emocí: • Primární (základní) - vyskytují se u všech lidí a části vyšších v ■ v ■ I o živočichu. • Sekundární (vyšší) - mohou být intelektuální, morální a estetické; mohou lišit mezi jednotlivými kulturami. Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Základní emoce - Velkých šest 9 Velkých šest: • hněv • zklamání • štěstí • smutek • strach • překvapení. Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě • Způsoby zjišťování emocí: • změny galvanických vlastností kůže (změna odporu) 9 změny tlaku krve a pulsu • změny dýchání • změny elektrické aktivity mozku • výraz tváře - Yale Face Database. Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Zjištovánř emoc IBM Blue Eyes Project kamera 9 emoční myš Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Smutek Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě logová rozhraní? Kromě hlasové podporují i další způsoby komunikace: • text • video • hmat • emoce • ... Výhoda oproti hlasové komunikaci - vyšší přístupnost (např. pro uživatele s postižením řeči nebo sluchu). • neslyšící, nedoslýchavý, ... 9 němý, lidé s postižením hlasivek (příliš tichá řeč, ...) • lidé se silným cizím přízvukem 9 lidé hovořící místním dialektem • ... Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě Zařízení pro multimodální ko munikaci • Audio: • mikrofon, reproduktor, headset, ... • Video: • obrazovka (telefon, počítač, ...) • kamera. • Hmat: 9 braillský řádek • Text: • klávesnice (telefon, počítač, ...) obrazovka (telefon, počítač), braillský řádek o Emoce - viz Emoce a dialogové systémy • ... Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodálnř dialogová rozhraní Sociální sítě • Hlas • Obraz: • Text • Člověk • živý • avatar - počítačová simulace člověka, která co nejpřesněji napodobuje mimiku tváře, pohyb rtů (odezírání ze rtů), pohyb rukou (znaková řeč, .. .), vyjádření emocí (výraz tváře, prozódie). Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodálnř dialogová rozhraní Sociální sítě Standardy pro tvorbu multimodálních rozhraní • XHTML+Voice • Využívá jmenné prostory v XML. • Umožňuje vyplňování formulářů na webu: • hlasem - pomocí dialogu popsaného pomocí standardů W3C Voice Browser Activity • z klávesnice. • Omezená podpora na straně prohlížečů - nutnost vlastnit Operu + Windows + IBM ViaVoice. • W3C Multimodal Interaction Activity: • Ve stádiu návrhů. • Řeší komunikaci pomocí různých kanálů a jejich synchronizaci. • Zatím chybí uživatelští agenti, kteří by tyto návrhy standardů podporovaly. • AIML - vyvinuto mezi lety 1995 a 2002 Dr. Richardem Wallacem a free software komunitou jako základ pro rozšíření FIÍ7V na7\/anp AI I f F_ Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Sociální sítě • Sociální sít: • Komunikující skupina lidí udržující se vzájemně v kontaktu. • Graf, kde uzly jsou lidé a hrany představují relace mezi nimi (příbuzenské vztahy, přátelství, ...). 9 Výzkum započat v 1. polovině 20. století • Způsoby komunikace v sociální síti: • tvarí v tvar • pomocí klasických telekomunikačních služeb/pošty • elektronicky (e-mail - emailové konference - většinou tématicky zaměřené), usenet groups, IRC, IM, on-line nástroje pro tvorbu a udržování sociálních sítí. Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Stávající sociální sítě • Mohou mít různé zaměření (cílovou skupinu uživatel):. • obecné • tématicky zaměřené. • Obecné sociální sítě: • Facebook • Google+ • MySpace • Twitter • Lide.cz • spoluzaci.cz • ... Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodal ní dialogová rozhraní Sociální sítě Stávající sociální sítě Tématické sociální sítě e> Linkedln - zaměřena na vyhledávání pracovníků a odborníků v daných oblastech. 9 Last.fm - on-line rádio a sociální hudební platforma. • Opera community - sociální sít uživatelů prohlížeče Opera (obsahuje blogy, fotogalerie, fóra). Umožňuje výměnu vzhledů a nastavení pro tento prohlížeč. • Get Involved With Mozilla - dtto. • GUG, TUG, LUG, WUG, .... • Nástroje pro kolaborativní tvorbu a vývoj. Luděk Bártek Řečová interakce a sociální sítě