Dialogové systémy Bártek I ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ i nterpretace ^ ^ ■ Dialogové systémy Řízení průběhu _ Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2012 Sémantická interpretace promluvy Dialogové systémy Cíl - počítači srozumitelná interpretace informací zadaných uživatelem. Příklad: Chtěl bych si koupit Zkrocení zlé ženy od Shakespeara. ■ akce — nákup ■ titul — Zkrocení zlé ženy ■ autor — Shakespeare Reprezentace - dvojice (atribut, hodnota). Implementace: ■ pravidlům gramatiky pro rozpoznávání řeči přidáme atributy, do kterých ukládáme jejich sémantickou reprezentaci. ■ Na atributech lze provádět operace sloužící k sestavení sémantické interpretace celé promluvy z interpretací jednotlivých pravidel. 4 □ ► 4 S ► 4 1 -00.0 Popis Sémantické Interpretace Dialogové systémy Luděk Bártek ■ JSGF: Sémantická ■ přiřazena pomocí značek (tags) interpretace promluvy ■ zápis - {sémantická interpretace} Řízení průběhu < sentence >=< intro >< titul > od < autor > dialogu < titul >= Pejska a kočičku {Povídání o pejskovi a kočičce} (Zlou ženu Zkrocení zlé ženy) {Zkrocení zlé ženy} ... ■ SRGS - standard SISR : ■ standard W3C Voice Browser Activity. Je postaven na jazyce ECMAScript. ■ K pravidlům se přidává pomocí značky nebo atributu tag. ■ Do dialogu je interpretace vracena ve formátu JSON. ■ . . . Základní pojmy Dialogové systémy Luděk Bártek ■ Dialog - rozhovor dvou a více účastníku (sled promluv). Sémantická interpretace ■ Promluva - Souvislé sdělení, které učiní jeden účastník promluvy dialogu směrem k druhému. Řízení průběhu dialogu ■ Obrat - Promluva a reakce druhého účastníka na ni. ■ Dialogová strategie ■ Postup, který k dané promluvě přiřazuje následující promluvu. ■ Využívá znalost stavu dialogu: ■ zadané a požadované informace ■ schopnosti účastníků dialogu ■ ■ Je vlastnostní každého účastníka dialogu. Základní pojmy Dialogová komunikace Dialogové systémy Hodnotící funkce: ■ funkce přiřazující každému dialogu reálné číslo. ■ Označuje se E(L), kde Z. je dialog. Dialogová komunikace - Uspořádaná čtveřice M = {S1,S2,E1,E2) ■ Si, i G {1,2} - dialogová strategie příslušného účastníka. ■ E;, i G {1, 2} - hodnotící funkce příslušného účastníka. Základní pojmy Kooperativita dialogu Dialogové systémy Dialogovou komunikaci M = (Si, S2, Ei, £2) nazveme: ■ Kooperativní •<=> £1 = £2. Oba účastníci dialogu mají stejný cíl a snaží se spolupracovat. ■ Nekooperativní <ř=> £1 7^ £2. Cíle obou účastníků dialogu se odlišují. ■ S nulovým součtem •<=> £1 — —£2. Cíle obou účastníků dialogu jsou protichůdné. Toto hodnocení vychází z teorie her: ■ na dialog lze pohlížet jako na hru dvou účastníků. Pravidla pro vedení kooperativního dialogu Dialogové systémy Luděk Bártek ■ Dialogový systém by se měl snažit o kooperativní dialog. Sémantická ■ Autor Herbert Paul Grice - anglický jazykovědec. interpretace promluvy ■ Aspekt informativnosti: Řízení průběhu Q Buď přiměřeně informativní - ne méně než je potřeba, ale dialogu ani ne více než je potřeba. ■ Aspekt přesvědčivosti: Q Neuváděj nepravdivé informace. Q Neuváděj informace, které nelze dokázat nebo doložit. ■ Aspekt způsobu: Q Informace v replice by měla být co nejvíce explicitní. Q Vyhýbejte se nejednoznačnostem. Q Usilujte o stručnost. Q Buďte disciplinovaní, udržujte v dialogu pořádek. Pravidla pro vedení kooperativního dialogu pokračování Dialogové systémy ■ Aspekt zdvořilosti, empatie a etiky: Luděk Bártek Q Minimalizujte nároky vůči komunikačnímu partnerovi, Sémantická maximalizujte výhody pro něj. interpretace promluvy B Minimalizujte nedostatky komunikačního partnera a Řízení průběhu maximalizujte jeho přednosti. dialogu B Maximalizujte souhlas s partnerem a minimalizujte jeho Teorie nesouhlas. Q Maximalizujte empatii vůči partnerovi. ■ Aspekt asymetrie: Q Informujte uživatele o všech důležitých charakteristikách, které vybočují z očekávaného normálního průběhuj dialogu, a která by měl vzít v úvahu k zajištění kooperativity. B Zajistěte stručné, avšak dostatečné informování uživatele o možnostech systému a jeho omezeních. Q Informujte srozumitelně a dostatečně o způsobu interakce se systémem. Pravidla pro vedení kooperativního dialogu Komunikace člověk — počítač Dialogové systémy Luděk Bártek ■ Aspekt znalostí a schopností: Sémantická Q Vezměte v úvahu relevantní znalosti uživatele. interpretace promluvy B Vezměte v úvahu možné uživatelovy chybné analogie. Řízení průběhu Q Rozlišujte mezi začínajícím a zkušeným uživatelem dialogu systému. Q Vezměte v úvahu legitimní představy uživatele o znalostech a schopnostech systému. ■ Aspekt vyjasňování a odstraňování chyb: Q V případě selhání komunikace iniciujte meta komunikuci zajišťující odstranění chyby nebo její vysvětlení. B Zajistěte vysvětlující meta komunikaci v případě nekonsistentních nebo nejednoznačných uživatelových vstupních dat. Aspekty komunikace kooperativního dialogového systému Dialogové systémy Dialogový systém při komunikaci s uživatelem by měl brát ohled na následující aspekty: ■ aspekt informativnosti ■ aspekt přesvědčivosti ■ aspekt způsobu ■ aspekty zdvořilosti, empatie a etiky ■ aspekt asymetrie ■ aspekt znalostí a schopností uživatele ■ aspekt vyjasňování a odstraňování chyb. Iniciativa v dialogu Dialogové systémy Luděk Bártek Sémantická ■ Další krok dialogu je vždy určen dialogovou strategií jedné interpretace promluvy z komunikujících stran. Řízení průběhu ■ Jedna strana klade dotazy, druhá na ně odpovídá. dialogu ■ V případě komunikace člověk — počítač lze rozlišit: ■ dialog s iniciativou uživatele ■ dialog s iniciativou systému ■ dialog se smíšenou iniciativou. ■ Reálné systémy používají: ■ dialogy se smíšenou iniciativou ■ dialogy s iniciativou systému. Iniciativa v d ialogu Příklady Dialogové systémy ■ Dialog s iniciativou systému: Luděk Bártek Systém: Zadejte Vaše uživatelské jméno Uživatel: xyz Sémantická interpretace Systém: Aby Vás bylo možné ověřit řekněte větu: promluvy „Můj hlas je můj pas. Ověř si mě." Řízení průběhu dialogu Uživatel: Můj hlas je můj pas. Ověř si mě. ■ Dialog se smíšenou iniciativou: Uživatel: Chtěl bych je dnes vlakem z Adamova do Kerkyry. Systém: Chcete nalézt přímý spoj nebo spojení s přestupy? Uživatel: Chtěl bych jet bez přestupů. Systém: Je mi líto, ale přímý vlak z Adamova do Kerkyry nejezdí. Zpětná vazba v dialogovém systému Dialogové systémy Luděk Bártek ■ Před tím, než systém zpracuje získané informace, je Sémantická vhodné provés jejic verifikaci: interpretace ■ oprava chyb rozpoznávání řeči promluvy ■ oprava chyb uživatele Řízení průběhu dialogu ■ ... Teorie ■ Způsoby ověření získaných dat: ■ Sumarizující zpětná vazba - po zadání veškerých dat uživatelem je zopakuje a případně umožní jejich opravu. ■ Zpětná vazba „echo" - po zadání každého údaje ho uživateli zopakuje, poskytne mu možnost případné opravy. ■ Implicitní zpětná vazba - posledně zadaná data jsou součástí dotazu na následující údaj. ■ Explicitní zpětná vazba - systém validuje zadaná data pomocí explicitních dotazů na jejich hodnoty. Zpětná vazba Příklady v dialogovém systému Dialogové systémy Luděk Bártek ■ Sumarizujjící zpětná vazba: Sémantická Uživatel: Chci jet vlakem z Adamova do Kerkyry. interpretace promluvy Systém: Hledaný druh spojení Vlak. Odjezd Adamov, Řízení průběhu cílová stanice Kerkyra. dialogu ■ Zpětná vazba „echo": Systém: Čím chcete jet? Uživatel: Vlakem. Systém: Chcete jet vlakem. Odkud chcete jet? Uživatel: Z Adamova. Systém: Chcete jet z Adamova. Kam chcete jet? Uživatel: Do Kerkyry. Zpětná vazba v dialogovém systému Příklady Dialogové systémy Luděk Bártek Sémantická ■ Implicitní zpětná vazba: interpretace promluvy Systém: Jméno studenta. Řízení průběhu Uživatel: Jan Novák. dialogu Systém: Ve kterém městě se Jan Novák narodil. ■ Explicitní zpětná vazba: Systém: Zadejte jméno studenta. Uživatel: Jan Novák. Systém: Student se jmenuje Jan Novák. Je to tak? Ukázka opravného dialogu Dialogové systémy Uživatel: Jmenuji se Jan Horák a narodil jsem se 8.8. 1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narození 8.8. 1988 a místo narození ABC. Uživatel: Ne jméno je Jan Horák. Systém: Zadal jste jméno Jan Horňák. Datum narození 8.8. 1988 a místo ABC. Uživatel: Ne, jméno má být Jan Novák. Systém: Zadal jste jméno Jan Novák, datum narození 8.8. 1988 a místo ABC. Další aspekty dialogových strategií Dialogové systémy Luděk Bártek ■ Možnost přerušit systém. Sémantická ■ Možnost iniciovat korekce a metakomunikaci uživatelem: interpretace promluvy Uživatel: Mohl, byste prosím zopakovat poslední dotaz? Řízení průběhu ■ Možnost získání nápovědy: dialogu Uživatel: Mohl byste mi upřesnit požadované údaje? ■ Detekce znalostí a schopností uživatele: ■ Částečně lze odvodit z předchozího průběhu dialogu: ■ počet chyb uživatele ■ počet žádostí o nápovědu ■ ... ■ Uzpůsobení iniciativy dialogového systému. ■ Přizpůsobení dialogové strategie - např. uživatel ve spěchu, vystresovaný uživatel, ... Další aspekty dialogových strategií Dialogové systémy ■ Detekce emocí uživatele: Luděk Bártek ■ na základě neverbálních charakteristik hlasu - nutná Sémantická podpora v modulu rozpoznávání řeči interpretace ■ pomocí dalších čidel - EEG, EKG, .. . promluvy Řízení průběhu ■ vícejazyčnost (multilingualita). dialogu ■ multimodalita ■ rozhovor vede avatar (talking head) - vhodné např. pro uživatele s poruchou slyšení. ■ alternativní způsob vstupu: ■ klávesnice ■ snímání obličeje ■ . . . ■ zdvořilost ■ prozódie ■ učení se z chyb.