Dialogová komunikace Uvod do počítačového zpracování řeči Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2019 Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Luděk Bártek Úvod do počítačového zpracování řeči o Dialogová komunikace - uspořádaná čtveřice M = (Si,^,E1,E2). • každý účastník má svou hodnotící funkci (E<\, E2). • Dialogová strategie S,: Zobrazení UxQ UxQ. • U - promluva • Q - stav a Určuje následující krok dialogu v závislosti na stavu dialogu a vstupní promluvě. • Hodnotící funkce dialogu E přiřazuje danému dialogu reálné číslo popisující úspěšnost dialogu z pohledu dané strany. • Dělení dialogů z hlediska hodnotící funkce: o d je kooperativní dialog - E\ (d) = E2{d) • d je nekooperativní dialog - E\ (d) ^ E2{d) • d je dialog s nulovým součtem - E^ (d) = -E2{d) Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace ^^^^^^^^^^^^^^^^^^^^^^^ ativního dialogu (H. R • Autorem Herbert Paul Grice - anglický jazykovědec • Aspekt informativnosti O Bucf přiměřeně informativní (ne méně než je potřeba, ne více než je potřeba). • Aspekt přesvědčivosti O Neuváděj nepravdivé informace. O Neuváděj informace, které nelze dokázat nebo doložit. • Aspekt způsobu O Informace v replice by měla být co nejvíce explicitní O Vyhýbejte se nejednoznačnostem. O Usilujte o stručnost. O Buďte disciplinovaní, udržujte v dialogu pořádek. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Pravidla Pokračování [wJÉl perativního dialogu • Aspekt zdvořilosti, empatie a etiky O Minimalizujte nároky vůči komunikačnímu partnerovi, maximalizujte výhody pro něj. O Minimalizujte nedostatky komunikačního partnera a maximalizujte jeho přednosti. O Maximalizujte souhlas s partnerem a minimalizujte nesouhlas. O Maximalizujte empatii vůči partnerovi. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Pravidla pro vedení kooperativního dialogu (H. R Grice) - komunikace člověk počítač • Aspekt asymetrie O Informujte uživatele o všech důležitých charakteristikách, která vybočují z očekávaného normálního průběhu dialogu a která by měl vzít v úvahu k zajištění kooperativity. O Zajistěte stručné avšak dostatečné informování uživatele o možnostech systému a jeho omezeních. O Informujte srozumitelně a dostatečně uživatele o způsobu interakce ze systémem. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace ravidla pro vedení kooperativního dialogu (H Grice) - komunikace člověk počítač Pokračování P. • Aspekt znalostí a schopností O Vezměte v úvahu relevantní znalosti uživatele. O Vezměte v úvahu možné uživatelovy chybné analogie. O Rozlišujte mezi začínajícím a zkušeným uživatelem systému. O Vezměte v úvahu legitimní představy uživatele o znalostech a schopnostech systému. • Aspekt vyjasňování a odstraňování chyb O V případě selhání komunikace iniciujte metakomunikaci zajištující odstranění chyby nebo její vysvětlení. O Zajistěte vysvětlující metakomunikaci v případě nekonsistentních nebo nejednoznačných uživatelových vstupních dat. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Aspekty komunikace kooperativního dialogového systému • aspekt informativnosti • aspekt přesvědčivosti • aspekt způsobu • aspekt zdvořilosti, empatie a etiky • aspekt asymetrie • aspekt znalostí a schopností uživatele • aspekt vyjasňování a odstraňování chyb Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace • Další krok dialogu je vždy určen dialogovou strategií jedné z komunikujících stran - jedna strana klade dotazy, druhá na ně odpovídá. • V případě komunikace člověk - počítač lze rozlišit • dialog s iniciativou uživatele © dialog s iniciativou systému • dialog se smíšenou iniciativou. • V reálném nasazení se používají: • dialogy se smíšenou iniciativou • dialogy s iniciativou systému. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace • Dialog s iniciativou systému: Systém: Zadejte Vaše křestní jméno Uživatel: Jan Systém: Zadejte Vaše příjmení Uživatel: Novák * Dialog s iniciativou uživatele: Uživatel: Chtěl bych bych si rezervovat knihu XY Systém: Dobře. Uživatel: A film UV. Systém: Dobře. Uživatel: To je vše. Systém: Vaše rezervace knihy XY a fulmu UV byla při jata. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace • Dialog se smíšenou iniciativou: Uživatel: Chtěl bych si zaregistrovat předmět PB Systém: S jakým zakončením? Uživatel: Zkouška. Systém: Registruji Vám předmět PB123 se zakončen zkouškou. Souhlasí? Uživatel: Ano. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Zpětná vazba v dialogové íim systému • Před tím, něž systém předá získané informace k dalšímu zpracování je vhodné provést jejich verifikaci. • chyby rozpoznávání řeči © chyba uživatele • ... • Způsoby ověření získaných dat • sumarizující zpětná vazba • zpětná vazba "echo" • implicitní zpětná vazba o explicitní zpětná vazba. • V případě nesouhlasné reakce uživatele následuje opravný dialog. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace • Sumarizující zpětná vazba: Uživatel: Jmenuji se Jan Novák a narodil jsem se 8.8. 1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narozer 8.8. 1988 a místo narození ABC. • Zpětná vazba "echo": Systém: Jak se jmenujete? Uživatel: Jan Novák. Systém: Jmenujete se Jan Novák. Kdy jste se národ: Uživatel: 8.8. 1988 Systém: Narodil jste se 8.8. 1988. Ve kterém měst€ Uživatel: ABC Systém: Narodil jste se v městě ABC. Luděk Bártek Úvod do počítačového zpracování řeči • Implicitní zpětná vazba: Systém: Jméno studenta. Uživatel: Jan Novák. Systém: Ve kterém městě se Jan Novák narodil? • • • • Explicitní zpětná vazba: Systém: Zadejte jméno studenta. Uživatel: Jan Novák Systém: Student se jmenuje Jan Novák, je to tak? Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace U Uživatel: Jmenuji se Jan Horák a narodil jsem se 8.8. 1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narození 8.8. 1988 a místo narození ABC. Uživatel: Ne. Jméno je Jan Horák. Systém: Zadal jste jméno Jan Horňák, datum narození 8.8. 1988 a místo ABC. Uživatel: Ne, jméno má být Jan Novák. Systém: Zadal jste jméno Jan Novák, datum narození 8.8. 1988 a místo ABC. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Další aspekty dialogových strategií • Možnost přerušit systém. • Možnost iniciovat korekce a metakomunikaci uživatelem: * „ Nerozumím, mohl byste to prosím zopakovat?" • Možnost získání nápovědy: • „ Nevím, co po mě požadujete." • Detekce znalostí a schopností uživatele. o Částečně lze odvodit z předchozího průběhu dialogu, o Uzpůsobení iniciativy dialogové strategie - iniciativa systém vs. smíšená iniciativa. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Další aspekty dialogových rozhraní • Přizpůsobení dialogové strategie - např. uživatel ve spěchu, vystresovaný uživatel, ... • Detekce emocí uživatele: • na základě neverbálních charakteristik hlasu o nutná podpora v modulu rozpoznávání řeči. • Vícejazyčnost (multilingualita): • nutnost podpory na straně použité platformy: • rozpoznávání řeči sémantická analýza řeči • syntéza řeči. Možnost pokusit se o automatickou detekci použitého jazyka. 9 Paralelní rozpoznávání všemi dostupnými rozpoznávací -použije se výstup s maximální pravděpodobností. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Další aspekty dialogových rozhraní o Multimodalita: • Umožňuje paralelní komunikaci více kanály - (obraz, zvuk, hmat). • Zlepšuje přístupnost © Příklady multimodálních rozhraní: o Rozhovor vede avatar (talking head) - vhodné pro uživatele s poruchou slyšení. o Ruce/avatar (celé tělo resp. horní polovina) - provádí tlumočení do znakové řeči. • Alternativní způsoby vstupu - klávesnice, kamera, snímače aktivity mozku, svalů (krk, obličej, ...), různé joysticky, ... • Nutnost synchronizace jednotlivých kanálů. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace i rozhraní • Zdvořilost - viz pravidla vedení kooperativního dialogu • Prozódie - určení sémantiky a pragmatiky promluvy: • určení druhu věty (tázací (data/masse-dotaz . wav)/oznamovací (data/masse-ozn. wav)), ... • detekce emocí • ... • Učení se z chyb. o Zapamatování si nerozpoznané promluvy a pokud uspěje opravný dialog (zpětná vazba), pokus o analýzu původní promluvy a přidání typu promluvy do lingvistických znalostí. Luděk Bártek Úvod do počítačového zpracování řeči