Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML  Recova interakce a socialn ste Ludek Bartek Fakulta informatiky Masarykova univerzita Brno podzim 2017 Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Obsah 1 Zpusoby implementace dialogovych rozhran 2 Dialogova komunikace 3 Standardy W3C Voice Browser Activity 4 VoiceXML Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Historie Prostredky logickeho programovan (Prolog, ...) uchovan databaze znalost { pomoc faktu v jazyce Prolog prubeh dialogu byl rzen interpretem jazyka na zaklade pravidel pro logicke programovan. Vyss programovac jazyky C - prklad system AudiC vyvjeny na FI; dialogovy system na programovan v jazyce C ... Proprietarn nastroje { CSLU Toolkit RAD nastroj pro tvorbu a vyzkum recove komunikace { vyvinut na Center for Spoken Language Understanding of Oregon Graduate Institute (nyn Oregon Health&Science University) Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Historie Znackovac jazyky pro popis dialogovych rozhran: 2. polovina 90. let 20. stolet. VoxML (1999) Standardy W3C VoiceBrowser Activity { prelom 20. a 21. stolet Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Standardy W3C Voice Browser Activity VoiceXML { popis dialogove strategie. SRGS { popis gramatiky pro rozpoznavan reci. SISR { doplnen SRGS o semantickou interpretaci promluvy. SSML { popis prozodickych vlastnost generovane promluvy. a dals viz stranky W3C Voice Browser Working Group Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Komunikace uzivatel $ system PSTN: Uzivatel pouzva ke komunikaci verejnou telefonn st. Poctac je pripojen k verejne telefonn st - zaverecna digitalizace probha na strane poskytovatele sluzby (server(y), telefonn ustredna poskytovatele, ...). VoIP: Komunikace digitalizovana na strane uzivatele: uzivateluv poctac VoIP telefon. Komunikace uzivatelsky poctac $ server: prostrednictvm nektereho VoIP protokolu: SIP H.323 proprietarn protokoly (Skype, ...) ... Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Komunikace uzivatel $ system Textova komunikace: SMS IM webove rozhran DTMF Vyrovnan rozdlu mezi ruznymi protokoly - standard Call Control XML Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Rozpoznavan reci a semanticka interpretace Je vhodne umoznit co nejprirozenejs komunikaci - nutnost rozpoznavan souvisle promluvy a schopnost korektnho urcen zadanych dat. Relativne nzke uspesnost rozpoznavan - pro zvysen se pouzvaj gramatiky (JSGF, SRGS, . . . ). Zskan relevantnch dat z rozpoznane promluvy - semanticka interpretace. Byva soucast gramatiky pro rozpoznavan reci - pravidlum je prirazena semanticka interpretace. atribut dceriny element. Lze provadet odvozovan semantiky na zaklade semantiky cast promluvy - pomoc vyrazu v jazyce ECMAScript. JSGF - soucast speci kace. SRGS - souvisejc standard SISR. Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML  Rzen prubehu dialogu Prubeh dialogu rzen dialogovou strategi. Jazyky pro zapis dialogove strategie: VoiceXML CallXML Jedna se o znackovac jazyky - nutnost interpretace VoiceXML platformy: JVoiceXML VoiceGlue Voxeo (Aspect) Prophecy Tellmee [24]7 Studio OptimTalk ... Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Generovan promluvy a synteza reci Generovan promluvy: Ramce vystupnch promluv jsou soucast dialogove strategie (VoiceXML). Vlastn promluva zapsana pomoc jazyku pro popis syntetizovane reci: SABLE SSML Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Dialogove korpusy Dialogovy korpus rozsahla databaze prubehu dialogu mluvena resp. textova textovy muze obsahovat bud prepisy hlasovych dialogu nebo zaznam textove komunikace. Muze obsahovat navc informace: ucastnci (vek, pohlav, obeznamenost s tematem, ...) tema dialogu vysledek dialogu hodnocen prubehu dialogu z pohledu obou ucastnku ... Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Tvorba dialogoveho korpusu 1 Zaznam realnych dialogu zivych lid ruzne zdroje zaznamy rozhovoru mezi lidmi zaznamy z linek podpory zaznamy komunikace s existujcm dialogovym rozhranm nebo jeho prototypem on-line diskuse/ dialogy na Internetu. 2 Simulace prubehu dialogu metoda Wizard of Oz ... Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Metoda Wizard of Oz Vychaz z pohadky L F. Bauma - The Wonderfull Wizard of Oz. Dialogove rozhran je nahrazeno lidskym operatorem, ktery simuluje chovan dialogoveho rozhran. Mel by se drzet navrzene dialogove strategie. Prubeh dialogu je zaznamenavan. Lze pouzt prostredky pro zvysen duveryhodnosti komunikace uzivatele s poctacem: operator vyuzva odpovdajc IS - prevad uzivatelske dotazy do formy vhodne pro IS operator nekomunikuje s uzivatelem prmo a prostrednictvm TTS a prpadne ASR Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Generovan dialogovych rozhran z korpusu Korpus - rozsahla databaze oznackovanych dat" recove korpusy textove korpusy dialogove korpusy. Na zaklade korpusu lze generovat dialogove rozhran, ktere korpusu vyhovuje: 1 Vytvor se korpus metodou Wizard of Oz (komunikuje pouze "carodej"). 2 Odstranen kon iktu a prevod korpusu na dialogove rozhran. 3 Kombinovane vytvoren noveho korpusu Carodej se snaz v maximaln mozne mre vyuzvat navrzene dialogove rozhran. 4 Odstranen kon iktu a vytvoren dals verze dialogoveho rozhran. 5 Pokud je rozhran v poradku, proces konc, jinak se pokracuje krokem 3. Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML W3C Voice Browser Activity 1999 - zalozena W3C Voice Browser Group. Cl - navrh standardu umoznujcch prstup k Webu pomoc hlasu a telefonu. Clenove: Hewlet-Packard Nuance Communication Lucent Technologies Motorola ScanSoft IBM Tellme Networks Vocalocity ... Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Standardy W3C Voice Browser Activity VoiceXML - jazyk pro popis dialogovych strategi. Speech Recognition Grammar Speci cation - jazyk pro zapis gramatik pro podporu rozpoznavan reci. Semantic Interpretation for Speech Recognition - jazyk pro podporu semanticke interpretace rozpoznane promluvy. Speech Synthesis Markup Language - jazyk pro popis prozodickych charakteristik pro syntezu reci. Pronunciation Lexicon Speci cation - jazyk pro popis vyslovnosti pro rozpoznavan a syntezu reci. Call Control XML - jazyk pro popis rzen telefonnho spojen uzivatele a systemu. State Chart XML - jazyk pro popis obecne pouzitelnych stavovych automatu. Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Implementace dialogovych rozhran - nastroje Standardy W3C jsou znackovac jazyky - nutna interpretace. Existuje rada platforem: volne dostupne desktopove - JVoiceXML, Public VoiceXML, . . . komercn desktopove - OptimTalk drve existovala volne dostupna verze laborator LSD ma zakoupenou licenci na laboratorn stroje. Volne dostupne on-line - VoIP ustredna Asterisk + VoiceGlue/OpenVXI, ... Komercn on-line - Voxeo Prophecy Voxeo Prophecy, . . . (viz Prehled dostupnych implementac u W3C) Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML VoiceXML Znackovac jazyk pro popis dialogovych strategi. Historie: 1995 - zapocat vyvoj Phone Markup Language (PML, AT&T) 1998 - zalozeno VoiceXML forum (AT&T, IBM, Lucent, Motorola) - spojen usil pri navrhu jednotneho standardu jazyka pro popis a navrh dialogovych rozhran. 2000 - VoiceXML forum uvolnilo VoiceXML 1.0. Prijato mezi doporucen W3C. Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML VoiceXML Cle Minimalizace interakce mezi klientem a serverem - vce interakc v jednom dokumentu. Odstnen vyvojare od nzkourovnovych a platforme zavislych detailu. Oddelen UI od aplikacn logiky. Prenositelnost sluzeb mezi implementacnmi platformami. Snadna pouzitelnost pro jednoduche dialogy a podpora komplexnch dialogovych rozhran. Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Zakladn pojmy Korenovy element vxml - povinne atributy: version - cslo verze - aktualne 2.1 xmlns - deklarace jmenneho prostoru dokumentu . Mus obsahovat http://www.w3.org/2001/vxml Dialogy a dlc dialogy (subdialogy) - reprezentace pomoc elementu form - sklada se ze vstupnch pol, ... (viz dale) menu - obsahuje polozky, ktere se odkazuj na dals formulare dialogu. subdialog - odpovda volan funkce ve strukturovanem programovan. grammar - gramatika prirazena dialogu de nice a osetren udalost.- throw/catch Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Zpusob interpretace dokumentu - Form Interpretation Algorithm 1 Vyber vstupnho pole - vybere se prvn vstupn pole, ktere vyhovuje (nema prirazenu hodnotu a pokud obsahuje vstupn podmnku, tak ta je splnena). Pokud takove pole nen, dialog konc. 2 Prehraje se jeho vyzva. 3 Zskaj se vstupy od uzivatele a osetr se prpadne udalosti (nomatch, noinput, lled) 4 Pokracuje se krokem 1. Ludek Bartek Recova interakce a socialn ste Zpusoby implementace dialogovych rozhran Dialogova komunikace Standardy W3C Voice Browser Activity VoiceXML Form Obsahuje: vstupn pole: eld record transfer object subdialog rdc prkazy: block initial Ukazky dialogu s iniciativou systemu - dokumenty dostupne na adrese http://www.fi.muni.cz/~bar/pb095/ Ludek Bartek Recova interakce a socialn ste