VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Řečová interakce a sociální sítě Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2013 VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Q| VoiceXML 0 SRGS 0 SISR Q Emoce a dialogové systémy Q Multimodální dialogová rozhráň Q Sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Tvorba dialogového rozhraní se smíšenou iniciativou • Formulář obsahuje element initial: • Definuje 1. krok dialogu, kdy je iniciativa na straně uživatele. • Pokusí se pomocí gramatiky formuláře získat tolik hodnot vstupních polí, kolik uživatel zadá a odpovídajícím vstupním polím formuláře se přiřadí získaná hodnota. • Promluvy rozpoznávané v elementu initial jsou popsány gramatikou přiřazenou formuláři. • Vstupy, které bud uživatel nezadal a nebo nebyly rozpoznány, se získají pomocí vstupních polí formuláře (viz algoritmus FIA). • Detaily viz příklad (http://www.fi.muni.cz/~bar/pb095/dialog.xml) (možnost bezplatně otestovat přes Skype: +990009369996160530 nebo SIP: 9996160530@sip.voxeo.net , komunikace v angličtině). VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Gramatiky pro podporu rozpoznávání řeči (SRGS) • Standard (http://www.w3.org/TR/speech-grammar/) W3C Voice Browser Activity • Aktuální verze 1.0 (březen 2004) • Náhrada za JSGF (http://www.w3.org/TR/jsgf/) - stále využíván některými platformami. • Textový popis bezkontextové gramatiky pomocí: • XML formátu • ABNF formátu VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Struktura XML formátu gramatiky • Kořenový element - grammar • povinné atributy - version (verze SRGS), xmhlang (přirozený jazyk použitý v gramatice), root (odkaz na kořenové pravidlo gramatiky) o obsahuje seznam pravidel gramatiky. • Pravidla gramatiky - rule • povinný atribut - id - slouží k identifikaci pravidla v gramatice hodnota musí být jedinečná. • Více viz příklady (http://www.fi.muni.cz/~bar/pb095/pizza.grxml). VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Element grammar Obsah Obsahuje: • sekvenci - posloupnost elementů item, které obsahují jednotlivé části rozpoznávané sekvence. • volbu - element one-of - skládá se z několika elementů item, které obsahují jednotlivé možnosti. • elementy tag - slouží k popisu sémantické interpretace promluvy. Mohou se vyskytovat na začátku elementu (inicializace, před tím než započne analýza podle tohoto pravidla) nebo na konci elementu (dokončení interpretace pravidla). • V jednotlivých položkách (elementy item) - interpretace položky. • V elementu item může být nahrazen atributem tag se stejným významem. VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Sémantická interpretace pro rozpoznávání řeči • Standard (http://www.w3.org/TR/semantic-interpretation/) W3C Voice Browser Activity. • Umožňuje přiřadit sémantickou interpretaci (význam) promluvě rozpoznané pomocí SRGS - definuje možný obsah elementu tag v SRGS. • Postaven na výrazech jazyka ECMAScript • Sémantická interpretace se přiřazuje pomocí výrazů, které jsou součástí: • SRGS elementu tag • SRGS atributu tag (element item, ...) VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Přenesení výsledku sémantické interpretace do VoiceXML dokumentu • SISR umožňuje přiřadit výsledek interpretace: • pravidlu SRGS o vstupnímu poli VoiceXML formuláře. • Stínové proměnné pro přenos sémantické informace: • out - výstup pravidla • out.name - vstupní pole name • rules - pro zpřístupnění neterminálních symbolů na pravé straně pravidla. o rules.city - sémantická interpretace neterminálního symbolu city • Viz ukázka dialogu se smíšenou iniciativou. VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě ialogové systémy a emoce • Schopnost určit emocionální stav může vést k přizpůsoben dialogové strategie: • klidný uživatel vs. spěchající uživatel • klidný uživatel vs. rozčilený uživatel • rostoucí napětí uživatele o ... • Emocionální stav souvisí např. s prozódií: • TTS může modelovat emoce. • Při rozpoznávání lze detekovat emoce pomocí prozódie. VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Co jsou to emoce? • This is a very tough question, that has produced significant amounts of headaches to scientist in the past ... (Laval University Quebec) • ... many researchers have opted to study systematically phenomena that most consider emotional. (Laval University Quebec) • Dělení emocí: • Primární (základní) - vyskytují se u všech lidí a části vyšších živočichů. • Sekundární (vyšší) - mohou být intelektuální, morální a estetické; mohou lišit mezi jednotlivými kulturami. VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě á klad ní emoce - Velkých šest Velkých šest: • hněv • zklamání • štěstí • smutek • strach • překvapení. VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Způsoby zjištování emocí • Způsoby zjištování emocí: • změny galvanických vlastností kůže (změna odporu) • změny tlaku krve a pulsu • změny dýchání • změny elektrické aktivity mozku • výraz tváře - Yale Face Database. VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Zjištování emocí IBM Blue Eyes Project • kamera • emoční myš VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě Rozdíly charakteristik Hněv/Smutek ANGER GRIEF \i JH IC3Q IWC 1 [KID D EDD IND 1 iC-íl 2QCD VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě Co jsou to multimodální dialogová rozhraní? • Kromě hlasové podporují i další způsoby komunikace: • text • video • hmat • ... • Výhoda oproti hlasové komunikaci - vyšší přístupnost (nap pro uživatele s postižením řeči nebo sluchu). • neslyšící, nedoslýchavý, ... • němý, lidé s postižením hlasivek (příliš tichá řeč, ...) • lidé se silným cizím přízvukem • lidé hovořící místním dialektem VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě Zařízení pro multimodální komunikaci • Audio: • mikrofon, reproduktor, headset, ... • Video: • obrazovka (telefon, počítač, ...) » kamera. • Hmat: • braillský řádek • Text: • klávesnice (telefon, počítač, ...) • obrazovka (telefon, počítač), braillský řádek VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě Druhy výstupu • Hlas • Obraz: • Text • Člověk • živý • avatar - počítačová simulace člověka, která co nejpřesněji napodobuje mimiku tváře, pohyb rtů (odezírání ze rtů), pohyb rukou (znaková řeč, . . .). a .... Luděk Bártek Řečová interakce a sociální sítě VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě Standardy pro tvorbu multimodálních rozhraní • XHTML+Voice • Využívá jmenné prostory v XML. • Umožňuje vyplňování formulářů na webu: • hlasem - pomocí dialogu popsaného pomocí standardů W3C Voice Browser Activity • z klávesnice. • Omezená podpora na straně prohlížečů - nutnost vlastnit Operu + Windows + IBM ViaVoice. • W3C Multimodal Interaction Activity: • Ve stádiu návrhů. • Řeší komunikaci pomocí různých kanálů a jejich synchronizaci. • Zatím chybí uživatelští agenti, kteří by tyto návrhy standardů podporovaly. VoiceXML SRGS SISR Emoce a dialogové systémy Multimodální dialogová rozhraní Sociální sítě Sociální sítě • Sociální sít: Komunikující skupina lidí udržující se vzájemně v kontaktu. • Graf, kde uzly jsou lidé a hrany představují relace mezi nimi (příbuzenské vztahy, přátelství, ...). • Výzkum započat v 1. polovině 20. století • Způsoby komunikace v sociální síti: • tváří v tvář • pomocí klasických telekomunikačních služeb/pošty • elektronicky (e-mail - emailové konference - většinou tématicky zaměřené), usenet groups, IRC, IM, on-line nástroje pro tvorbu a udržování sociálních sítí. VoiceXML SRGS SISR Emoce a dialogové systémy M ultimodální dialogová rozhraní Sociální sítě Stávající sociální sítě • Mohou mít různé zaměření (cílovou skupinu uživatel): • obecné • tématicky zaměřené. • Obecné sociální sítě: • Facebook • Google+ • MySpace • Twitter • Lide.cz • spoluzaci.cz • Linkedln - zaměřena na vyhledávání pracovníků a odborníků v daných oblastech. • Last.fm - on-line rádio a sociální hudební platforma. • Opera community - sociální sít uživatelů prohlížeče Opera (obsahuje blogy, fotogalerie, fóra. Umožňuje výměnu vzhledů a nastavení pro tento prohlížeč. • Get Involved With Mozilla - dtto. • GUG, TUG, LUG, WUG, ....