VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste  Recova interakce a socialn ste Ludek Bartek Fakulta informatiky Masarykova univerzita podzim 2017 Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Obsah 1 VoiceXML 2 SRGS 3 SISR 4 Emoce a dialogove systemy 5 Multimodaln dialogova rozhran 6 Socialn ste Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Tvorba dialogoveho rozhran se smsenou iniciativou Formular obsahuje element initial: De nuje 1. krok dialogu, kdy je iniciativa na strane uzivatele. Pokus se pomoc gramatiky formulare zskat tolik hodnot vstupnch pol, kolik uzivatel zada a odpovdajcm vstupnm polm formulare se prirad zskana hodnota. Promluvy rozpoznavane v elementu initial jsou popsany gramatikou prirazenou formulari. Vstupy, ktere bud uzivatel nezadal a nebo nebyly rozpoznany, se zskaj pomoc vstupnch pol formulare (viz algoritmus FIA). Detaily viz prklad (http://www.fi.muni.cz/~bar/pb095/dialog.xml) (moznost bezplatne otestovat pres Skype: +990009369996160530 nebo SIP: 9996160530@sip.voxeo.net , komunikace v anglictine). Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Gramatiky pro podporu rozpoznavan reci (SRGS) Standard (http://www.w3.org/TR/speech-grammar/) W3C Voice Browser Activity Aktualn verze 1.0 (brezen 2004) Nahrada za JSGF (http://www.w3.org/TR/jsgf/) - stale vyuzvan nekterymi platformami. Textovy popis bezkontextove gramatiky pomoc: XML formatu ABNF formatu Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Struktura XML formatu gramatiky Korenovy element - grammar povinne atributy - version (verze SRGS), xml:lang (prirozeny jazyk pouzity v gramatice), root (odkaz na korenove pravidlo gramatiky) obsahuje seznam pravidel gramatiky. Pravidla gramatiky - rule povinny atribut - id - slouz k identi kaci pravidla v gramatice hodnota mus byt jedinecna. Vce viz prklady (http://www.fi.muni.cz/~bar/pb095/pizza.grxml). Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Element grammar Obsah Obsahuje: sekvenci - posloupnost elementu item, ktere obsahuj jednotlive casti rozpoznavane sekvence. volbu - element one-of - sklada se z nekolika elementu item, ktere obsahuj jednotlive moznosti. elementy tag - slouz k popisu semanticke interpretace promluvy. Mohou se vyskytovat na zacatku elementu (inicializace, pred tm nez zapocne analyza podle tohoto pravidla) nebo na konci elementu (dokoncen interpretace pravidla). V jednotlivych polozkach (elementy item) - interpretace polozky. V elementu item muze byt nahrazen atributem tag se stejnym vyznamem. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Semanticka interpretace pro rozpoznavan reci Standard (http://www.w3.org/TR/semantic-interpretation/) W3C Voice Browser Activity. Umoznuje priradit semantickou interpretaci (vyznam) promluve rozpoznane pomoc SRGS - de nuje mozny obsah elementu tag v SRGS. Postaven na vyrazech jazyka ECMAScript Semanticka interpretace se prirazuje pomoc vyrazu, ktere jsou soucast: SRGS elementu tag SRGS atributu tag (element item, ...) Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Prenesen vysledku semanticke interpretace do VoiceXML dokumentu SISR umoznuje priradit vysledek interpretace: pravidlu SRGS vstupnmu poli VoiceXML formulare. Stnove promenne pro prenos semanticke informace: out - vystup pravidla out.name - vstupn pole name rules - pro zprstupnen neterminalnch symbolu na prave strane pravidla. rules.city - semanticka interpretace neterminalnho symbolu city Viz ukazka dialogu se smsenou iniciativou. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Dialogove systemy a emoce Schopnost urcit emocionaln stav muze vest k prizpusoben dialogove strategie: klidny uzivatel vs. spechajc uzivatel klidny uzivatel vs. rozcileny uzivatel rostouc napet uzivatele ... Emocionaln stav souvis napr. s prozodi: TTS muze modelovat emoce. Pri rozpoznavan lze detekovat emoce pomoc prozodie. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Co jsou to emoce? This is a very tough question, that has produced signi cant amounts of headaches to scientist in the past ... (Laval University Quebec) ... many researchers have opted to study systematically phenomena that most consider emotional. (Laval University Quebec) Delen emoc: Primarn (zakladn) - vyskytuj se u vsech lid a casti vyssch zivocichu. Sekundarn (vyss) - mohou byt intelektualn, moraln a esteticke; mohou lisit mezi jednotlivymi kulturami. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Zakladn emoce { Velkych sest Velkych sest: hnev zklaman stest smutek strach prekvapen. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Zpusoby zjistovan emoc Zpusoby zjistovan emoc: zmeny galvanickych vlastnost kuze (zmena odporu) zmeny tlaku krve a pulsu zmeny dychan zmeny elektricke aktivity mozku vyraz tvare - Yale Face Database. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Zjistovan emoc IBM Blue Eyes Project kamera emocn mys Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Rozdly charakteristik Hnev/Smutek Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Co jsou to multimodaln dialogova rozhran? Krome hlasove podporuj i dals zpusoby komunikace: text video hmat emoce ... Vyhoda oproti hlasove komunikaci - vyss prstupnost (napr. pro uzivatele s postizenm reci nebo sluchu). neslysc, nedoslychavy, ... nemy, lide s postizenm hlasivek (prlis ticha rec, ...) lide se silnym cizm przvukem lide hovorc mstnm dialektem ... Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Zarzen pro multimodaln komunikaci Audio: mikrofon, reproduktor, headset, ... Video: obrazovka (telefon, poctac, ...) kamera. Hmat: braillsky radek Text: klavesnice (telefon, poctac, ...) obrazovka (telefon, poctac), braillsky radek Emoce - viz Emoce a dialogove systemy ... Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Druhy vystupu Hlas Obraz: Text Clovek zivy avatar - poctacova simulace cloveka, ktera co nejpresneji napodobuje mimiku tvare, pohyb rtu (odezran ze rtu), pohyb rukou (znakova rec, . . . ), vyjadren emoc (vyraz tvare, prozodie). . . . Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Standardy pro tvorbu multimodalnch rozhran XHTML+Voice Vyuzva jmenne prostory v XML. Umoznuje vyplnovan formularu na webu: hlasem - pomoc dialogu popsaneho pomoc standardu W3C Voice Browser Activity z klavesnice. Omezena podpora na strane prohlzecu - nutnost vlastnit Operu + Windows + IBM ViaVoice. W3C Multimodal Interaction Activity: Ve stadiu navrhu. Res komunikaci pomoc ruznych kanalu a jejich synchronizaci. Zatm chyb uzivatelst agenti, kter by tyto navrhy standardu podporovaly. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Socialn ste Socialn st: Komunikujc skupina lid udrzujc se vzajemne v kontaktu. Graf, kde uzly jsou lide a hrany predstavuj relace mezi nimi (prbuzenske vztahy, pratelstv, ...). Vyzkum zapocat v 1. polovine 20. stolet Zpusoby komunikace v socialn sti: tvar v tvar pomoc klasickych telekomunikacnch sluzeb/posty elektronicky (e-mail { emailove konference { vetsinou tematicky zamerene), usenet groups, IRC, IM, on-line nastroje pro tvorbu a udrzovan socialnch st. Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Stavajc socialn ste Mohou mt ruzne zameren (clovou skupinu uzivatel):. obecne tematicky zamerene. Obecne socialn ste: Facebook Google+ MySpace Twitter Lide.cz spoluzaci.cz ... Ludek Bartek Recova interakce a socialn ste VoiceXML SRGS SISR Emoce a dialogove systemy Multimodaln dialogova rozhran Socialn ste Stavajc socialn ste Tematicke socialn ste LinkedIn - zamerena na vyhledavan pracovnku a odbornku v danych oblastech. Last.fm - on-line radio a socialn hudebn platforma. Opera community - socialn st uzivatelu prohlzece Opera (obsahuje blogy, fotogalerie, fora. Umoznuje vymenu vzhledu a nastaven pro tento prohlzec. Get Involved With Mozilla - dtto. GUG, TUG, LUG, WUG, .... Ludek Bartek Recova interakce a socialn ste