Dialogová komunikace Uvod do počítačového zpracování řeči Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2023 Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace E Q Dialogová komunikace Luděk Bártek Úvod do počítačového zpracování řeči o Dialogová komunikace - uspořádaná čtveřice M = (Si,^,E1,E2). © každý účastník má svou hodnotící funkci {Ei, E2). • Dialogová strategie S,: Zobrazení UxQ UxQ. 9 U - promluva • Q - stav • Určuje následující krok dialogu v závislosti na stavu dialogu a vstupní promluvě. • Hodnotící funkce dialogu E přiřazuje danému dialogu reálné číslo popisující úspěšnost dialogu z pohledu dané strany. • Dělení dialogů z hlediska hodnotící funkce: o d je kooperativní dialog - (d) = E2{d) • d je nekooperativní dialog - E^ (d) ^ E2{d) • d je dialog s nulovým součtem - E^ (d) = -E2{d) Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Pravidla pro vedení kooperativního dialogu (H. R Grice) • Autorem Herbert Paul Grice - anglický jazykovědec • Aspekt informativnosti O Bucf přiměřeně informativní (ne méně než je potřeba, ne více než je potřeba). • Aspekt přesvědčivosti O Neuváděj nepravdivé informace. O Neuváděj informace, které nelze dokázat nebo doložit. • Aspekt způsobu O Informace v replice by měla být co nejvíce explicitní O Vyhýbejte se nejednoznačnostem. O Usilujte o stručnost. O Buďte disciplinovaní, udržujte v dialogu pořádek. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Pravidla Pokračování perativního dialogu o Aspekt zdvořilosti, empatie a etiky O Minimalizujte nároky vůči komunikačnímu partnerovi, maximalizujte výhody pro něj. O Minimalizujte nedostatky komunikačního partnera a maximalizujte jeho přednosti. O Maximalizujte souhlas s partnerem a minimalizujte nesouhlas. O Maximalizujte empatii vůči partnerovi. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Pravidla pro vedení kooperativního dialogu (H. R Grice) - komunikace člověk počítač • Aspekt asymetrie O Informujte uživatele o všech důležitých charakteristikách, která vybočují z očekávaného normálního průběhu dialogu a která by měl vzít v úvahu k zajištění kooperativity. O Zajistěte stručné avšak dostatečné informování uživatele o možnostech systému a jeho omezeních. O Informujte srozumitelně a dostatečně uživatele o způsobu interakce ze systémem. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Pravidla pro vedení kooperativního dialogu (H. R Grice) - komunikace člověk počítač Pokračování 9 Aspekt znalostí a schopností O Vezměte v úvahu relevantní znalosti uživatele. O Vezměte v úvahu možné uživatelovy chybné analogie. O Rozlišujte mezi začínajícím a zkušeným uživatelem systému. O Vezměte v úvahu legitimní představy uživatele o znalostech a schopnostech systému. • Aspekt vyjasňování a odstraňování chyb O V případě selhání komunikace iniciujte metakomunikaci zajištující odstranění chyby nebo její vysvětlení. O Zajistěte vysvětlující metakomunikaci v případě nekonsistentních nebo nejednoznačných uživatelových vstupních dat. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Aspekty komunikace koop< systému srativního dialogového • aspekt informativnosti • aspekt přesvědčivosti • aspekt způsobu • aspekt zdvořilosti, empatie a etiky • aspekt asymetrie • aspekt znalostí a schopností uživatele • aspekt vyjasňování a odstraňování chyb Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace • Další krok dialogu je vždy určen dialogovou strategií jedné z komunikujících stran - jedna strana klade dotazy, druhá na ně odpovídá. • V případě komunikace člověk - počítač lze rozlišit • dialog s iniciativou uživatele o dialog s iniciativou systému • dialog se smíšenou iniciativou. • V reálném nasazení se používají: * dialogy se smíšenou iniciativou * dialogy s iniciativou systému. Luděk Bártek Úvod do počítačového zpracování řeči • Dialog s iniciativou systému: Systém: Zadejte Vaše křestní jméno Uživatel: Jan Systém: Zadejte Vaše příjmení Uživatel: Novák • Dialog s iniciativou uživatele: Uživatel: Chtěl bych bych si rezervovat knihu XY Systém: Dobře. Uživatel: A film UV. Systém: Dobře. Uživatel: To je vše. Systém: Vaše rezervace knihy XY a fulmu UV byla přijata. Luděk Bártek Úvod do počítačového zpracování řeči • Dialog se smíšenou iniciativou: Uživatel: Chtěl bych si zaregistrovat předmět PB123. Systém: S jakým zakončením? Uživatel: Zkouška. Systém: Registruji Vám předmět PB123 se zakončením zkouškou. Souhlasí? Uživatel: Ano. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace m systému • Před tím, něž systém předá získané informace k dalšímu zpracování je vhodné provést jejich verifikaci. • chyby rozpoznávání řeči o chyba uživatele • ... • Způsoby ověření získaných dat • sumarizující zpětná vazba • zpětná vazba "echo" • implicitní zpětná vazba o explicitní zpětná vazba. • V případě nesouhlasné reakce uživatele následuje opravný dialog. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace U kázl ky z pěti né vaz by • Sumarizující zpětná vazba: Uživatel: Jmenuji se Jan Novák a narodil jsem se 8.8. 1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narození 8.8. 1988 a místo narození ABC. • Zpětná vazba "echo": Systém: Jak se jmenujete? Uživatel: Jan Novák. Systém: Jmenujete se Jan Novák. Kdy jste se narodil . Uživatel: 8.8. 1988 Systém: Narodil jste se 8.8. 1988. Ve kterém městě? Uživatel: ABC Systém: Narodil jste se v městě ABC. Luděk Bártek Úvod do počítačového zpracování řeči • Implicitní zpětná vazba: Systém: Jméno studenta. Uživatel: Jan Novák. Systém: Ve kterém městě se Jan Novák narodil? • • • • Explicitní zpětná vazba: Systém: Zadejte jméno studenta. Uživatel: Jan Novák Systém: Student se jmenuje Jan Novák, je to tak? Luděk Bártek Úvod do počítačového zpracování řeči Uživatel: Jmenuji se Jan Horák a narodil jsem se 8.8. 1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narození 8.8. 1988 a místo narození ABC. Uživatel: Ne. Jméno je Jan Horák. Systém: Zadal jste jméno Jan Horňák, datum narození 8.8. 1988 a místo ABC. Uživatel: Ne, jméno má být Jan Novák. Systém: Zadal jste jméno Jan Novák, datum narození 8.8. 1988 a místo ABC. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace strategií • Možnost přerušit systém. • Možnost iniciovat korekce a metakomunikaci uživatelem: • „ Nerozumím, mohl byste to prosím zopakovat?" • Možnost získání nápovědy: • „ Nevím, co po mě požadujete." • Detekce znalostí a schopností uživatele. • Částečně lze odvodit z předchozího průběhu dialogu. o Uzpůsobení iniciativy dialogové strategie - iniciativa systém vs. smíšená iniciativa. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace rozhraní • Přizpůsobení dialogové strategie - např. uživatel ve spěchu, vystresovaný uživatel, ... • Detekce emocí uživatele: • na základě neverbálních charakteristik hlasu o nutná podpora v modulu rozpoznávání řeči. • Vícejazyčnost (multilingualita): • nutnost podpory na straně použité platformy: • rozpoznávání řeči sémantická analýza řeči • syntéza řeči. Možnost pokusit se o automatickou detekci použitého jazyka. • Paralelní rozpoznávání všemi dostupnými rozpoznávací použije se výstup s maximální pravděpodobností. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace rozhraní • Multimodalita: • Umožňuje paralelní komunikaci více kanály - (obraz, zvuk, hmat). • Zlepšuje přístupnost o Příklady multimodálních rozhraní: e Rozhovor vede avatar (talking head) - vhodné pro uživatele s poruchou slyšení, o Ruce/avatar (celé tělo resp. horní polovina) - provádí tlumočení do znakové řeči. • Alternativní způsoby vstupu - klávesnice, kamera, snímače aktivity mozku, svalů (krk, obličej, ...), různé joysticky, ... • Nutnost synchronizace jednotlivých kanálů. Luděk Bártek Úvod do počítačového zpracování řeči Dialogová komunikace Další as Pokračování jura logových rozhraní • Zdvořilost - viz pravidla vedení kooperativního dialogu • Prozódie - určení sémantiky a pragmatiky promluvy: • určení druhu věty (tázací (data/masse-dotaz . wav)/oznamovací (data/masse-ozn. wav)), ... • detekce emocí • ... • Učení se z chyb. o Zapamatování si nerozpoznané promluvy a pokud uspěje opravný dialog (zpětná vazba), pokus o analýzu původní promluvy a přidání typu promluvy do lingvistických znalostí. Luděk Bártek Úvod do počítačového zpracování řeči