Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2015 Pravidla pro vedení kooperativního dialogu Dialogové systémy Dialogový systém by se měl snažit o kooperativní dialog. Autor Herbert Paul Grice - anglický jazykovědec. Aspekt informativnosti: Q Buď přiměřeně informativní - ne méně než je potřeba, ale ani ne více než je potřeba. Aspekt přesvědčivosti: Q Neuváděj nepravdivé informace. Q Neuváděj informace, které nelze dokázat nebo doložit. Aspekt způsobu: Q Informace v replice by měla být co nejvíce explicitní. Q Vyhýbejte se nejednoznačnostem. Q Usilujte o stručnost. Q Buďte disciplinovaní, udržujte v dialogu pořádek. Pravidla pro vedení kooperativního dialogu pokračování Dialogové systémy Aspekt zdvořilosti, empatie a etiky: Q Minimalizujte nároky vůči komunikačnímu partnerovi, maximalizujte výhody pro něj. B Minimalizujte nedostatky komunikačního partnera a maximalizujte jeho přednosti. Q Maximalizujte souhlas s partnerem a minimalizujte jeho nesouhlas. B Maximalizujte empatii vůči partnerovi. Aspekt asymetrie: Q Informujte uživatele o všech důležitých charakteristikách, které vybočují z očekávaného normálního průběhu dialogu, a která by měl vzít v úvahu k zajištění kooperativity. B Zajistěte stručné, avšak dostatečné informování uživatele o možnostech systému a jeho omezeních. B Informujte srozumitelně a dostatečně o způsobu interakce se systémem. 4 □ ► 4 S ► 4 1 -00.0 Pravidla pro vedení kooperativního dialogu Komunikace člověk — počítač Dialogové systémy Aspekt znalostí a schopností: Q Vezměte v úvahu relevantní znalosti uživatele. B Vezměte v úvahu možné uživatelovy chybné analogie. Q Rozlišujte mezi začínajícím a zkušeným uživatelem systému. Q Vezměte v úvahu legitimní představy uživatele o znalostech a schopnostech systému. Aspekt vyjasňování a odstraňování chyb: Q V případě selhání komunikace iniciujte meta komunikaci zajišťující odstranění chyby nebo její vysvětlení. B Zajistěte vysvětlující meta komunikaci v případě nekonsistentních nebo nejednoznačných uživatelových vstupních dat. Aspekty komunikace kooperativního dialogového systému Dialogové systémy Dialogový systém při komunikaci s uživatelem by měl brát ohled na následující aspekty: ■ aspekt informativnosti ■ aspekt přesvědčivosti ■ aspekt způsobu ■ aspekty zdvořilosti, empatie a etiky ■ aspekt asymetrie ■ aspekt znalostí a schopností uživatele ■ aspekt vyjasňování a odstraňování chyb. Iniciativa v dialogu Dialogové systémy Další krok dialogu je vždy určen dialogovou strategií jedné z komunikujících stran. ■ Jedna strana klade dotazy, druhá na ně odpovídá. V případě komunikace člověk — počítač lze rozlišit: ■ dialog s iniciativou uživatele ■ dialog s iniciativou systému ■ dialog se smíšenou iniciativou. Reálné systémy používají: ■ dialogy se smíšenou iniciativou ■ dialogy s iniciativou systému. Iniciativa v d ialogu Příklady Dialogové systémy ■ Dialog s iniciativou systému: Luděk Bártek Systém: Zadejte Vaše uživatelské jméno Uživatel: xyz Řízení průběhu dialogu Systém: Aby Vás bylo možné ověřit řekněte větu: Dotazovací „Můj hlas je můj pas. Ověř si mě." systémy pro relační Uživatel: Můj hlas je můj pas. Ověř si mě. databáze Databáze, vyhledávací ■ Dialog se smíšenou iniciativou: Dialogové Uživatel: Chtěl bych je dnes vlakem z Adamova systémy a emoce do Kerkyry. Systém: Chcete nalézt přímý spoj nebo spojení s přestupy? Uživatel: Chtěl bych jet bez přestupů. Systém: Je mi líto, ale přímý vlak z Adamova do Kerkyry nejezdí. Zpětná vazba v dialogovém systému Dialogové systémy Před tím, než systém zpracuje získané informace, je vhodné provést jejich verifikaci: ■ oprava chyb rozpoznávání řeči ■ oprava chyb uživatele Způsoby ověření získaných dat: ■ Sumarizující zpětná vazba - po zadání veškerých dat uživatelem je zopakuje a případně umožní jejich opravu. ■ Zpětná vazba „echo" - po zadání každého údaje ho uživateli zopakuje, poskytne mu možnost případné opravy. ■ Implicitní zpětná vazba - posledně zadaná data jsou součástí dotazu na následující údaj. ■ Explicitní zpětná vazba - systém validuje zadaná data pomocí explicitních dotazů na jejich hodnoty. 4Ľ3k4l3*4 = k4 = * -š -O^O Zpětná vazba Příklady v dialogovém systému Dialogové systémy Luděk Bártek ■ Sumarizující zpětná vazba: Řízení průběhu Uživatel: Chci jet vlakem z Adamova do Kerkyry. dialogu Dotazovací Systém: Hledaný druh spojení Vlak. Odjezd Adamov, systémy pro cílová stanice Kerkyra. databáze ■ Zpětná vazba „echo": atributy a vyhledávací Systém: Čím chcete jet? stromy Uživatel: Vlakem. Dialogové systémy a Systém: Chcete jet vlakem. Odkud chcete jet? emoce Uživatel: Z Adamova. Systém: Chcete jet z Adamova. Kam chcete jet? Uživatel: Do Kerkyry. Zpětná vazba v dialogovém systému Příklady Dialogové systémy Implicitní zpětná vazba: Systém: Jméno studenta. Uživatel: Jan Novák. Systém: Ve kterém městě se Jan Novák narodil. Explicitní zpětná vazba: Systém: Zadejte jméno studenta. Uživatel: Jan Novák. Systém: Student se jmenuje Jan Novák. Je to tak? Ukázka opravného dialogu Řízení průběhu dialogu Dotazovací systémy pro relační databáze Databáze, atributy a vyhledávací Dialogové systémy a emoce Uživatel: Jmenuji se Jan Horák a narodil jsem se 8.8. 1988 v ABC. Systém: Bylo zadáno jméno Jan Novák, datum narození 8.8. 1988 a místo narození ABC. Uživatel: Ne jméno je Jan Horák. Systém: Zadal jste jméno Jan Horňák. Datum narození 8.8. 1988 a místo ABC. Uživatel: Ne, jméno má být Jan Novák. Systém: Zadal jste jméno Jan Novák, datum narození 8.8. 1988 a místo ABC. Další aspekty dialogových strategií Dialogové systémy Možnost přerušit systém. Možnost iniciovat korekce a metakomunikaci uživatelem: Uživatel: Mohl, byste prosím zopakovat poslední dotaz? Možnost získání nápovědy: Uživatel: Mohl byste mi upřesnit požadované údaje? Detekce znalostí a schopností uživatele: ■ Částečně lze odvodit z předchozího průběhu dialogu: ■ počet chyb uživatele ■ počet žádostí o nápovědu ■ Uzpůsobení iniciativy dialogového systému. Přizpůsobení dialogové strategie - např. uživatel ve spěchu, vystresovaný uživatel, ... Další aspekty dialogových strategií Dialogové systémy ■ Detekce emocí uživatele: Luděk Bártek ■ na základě neverbálních charakteristik hlasu - nutná Řízení průběhu dialogu podpora v modulu rozpoznávání řeči ■ pomocí dalších čidel - EEG, EKG, .. . Dotazovací systémy pro ■ vícejazyčnost (multilingualita). relační databáze ■ multimodalita Databáze, atributy a vyhledávací Dialogové systémy a emoce ■ rozhovor vede avatar (talking head) - vhodné např. pro uživatele s poruchou slyšení. ■ alternativní způsob vstupu: ■ klávesnice ■ snímání obličeje ■ . . . ■ zdvořilost ■ prozódie ■ učení se z chyb. Dotazovací systémy pro relační databáze Dialogové systémy Luděk Bártek Řízení průběhu dialogu Dotazovací systémy pro ■ Struktura databáze je určena relačním schématem relační databáze (systémem atributů). atributy a vyhledávací ■ Systém se snaží na základě uživatelem zadaných hodnot atributů (ne nezbytně všech) nalézt požadovanou Dialogové systémy a emoce odpověď. Pawlakův informační systém Dialogové systémy Luděk Bártek ■ Autor — Zdzislaw 1. Pawlak (1926 — 2006), polský Řízení průběhu matematik, člen polské Akademie věd. dialogu Dotazovací ■ Pawlakův informační systém - čtveřice S = (U, T, V, f): systémy pro m U - množina objektů databáze ■ T - množina atributů Databáze, atributy a ■ V - množina hodnot atributů vyhledávací ■ f : U x T -^V Dialogové systémy a ■ Pawlakův informační systém formálně popisuje vztahy emoce mezi objekty, jejich atributy a jejich hodnotami. ■ Souvislost s dialogovými systémy - hledání minimální množiny hodnot atributů, které nám určují jednotlivé objekty. Pawlakův informační systém Příklad Dotazovací systémy pro relační databáze Databáze, atributy a vyhledávací Dialogové systémy a emoce Prveki Prvek2 Prvek?, Prvekq Atribut 1 1 0 0 Atribut2 0 1 1 1 Atributy 1 1 1 0 Pawlakův informační systém Vyhledávací strom Dialogové systémy Konstrukce vyhledávacího stromu pro Pawlakův IS: Q Postupně bereme jednotlivé atributy obsažené v IS a ptáme se na jeho přítomnost (hodnotu). Q Listy jsou jednotlivé prvky, uložené v IS. Souvislost s dialogovým rozhraním (s iniciativou systému): ■ Na každé úrovni stromu se ptáme na hodnotu/přítomnost odpovídajícího atributu. ■ Uživatelova odpověď určuje pokračování dialogu. Lze použít i dialog se smíšenou iniciativou: Q Uživatel zadá hodnoty libovolného počtu atributů. Q Systém odpověď zpracuje a doptá se na chybějící hodnoty. Pawlakův informační systém Příklady vyhledávacích stromů Dialogové systémy atribut Luděk Bártek Řízení průběhu dialogu Dotazovací atribut atribut 1 ' 1*0 *~ ^ A' prvek2 prvekl prvek3 prvek4 systémy pro relační databáze Obrázek: Vyhledávací strom pro Pawlakův IS 16 Databáze, atributy a vyhledávací Dialogové systémy a emoce atribut p atribut P4 atributy Obrázek: Jiný vyhledávací strom pro Pawlakův IS 16 i -00.0 Pawlakův informační systém Zajímavé problémy Dialogové systémy Z daného systému atributů vybrat minimální systém jednoznačně rozlišující jednotlivé prvky. Prveki Prvek2 Prvek?, Prvekq atributi 1 1 1 0 atribut2 1 1 0 1 atributy 1 0 1 1 atributy 1 1 0 0 atributy 1 0 1 0 ■ Bylo dokázáno, že tento problém je NP-úplný. Na základě atributů vybrat optimální vyhledávací strom. ■ Kritérium - např. výška stromu - problém je opět NP-úplný. Existují aproximativní algoritmy. Dotazovací systémy Příklady Dialogové systémy Dialogové systémy a Všeobecný dotazovací systém Start Dotazovací systém pro klinické lékaře Hermes Neudržovaný dotazovací systém UIO z NLP Fl Dialogové systémy a emoce Řízení průběhu dialogu Dotazovací systémy pro relační databáze Databáze, atributy a vyhledávací Dialogové systémy a emoce ■ Počítače pracující s emocemi - počítače, které mají schopnost vyjádřit emoce, rozpoznat emoce a měnit své chování podle emocí uživatele. ■ Schopnost určit emocionální stav uživatele - přizpůsobení dialogové strategie: ■ klidný uživatel vs. spěchající uživatel ■ klidný uživatel vs. rozčilený uživatel ■ rostoucí napětí uživatele ■ .. . ■ Emocionální stav má souvislost s prozódií. ■ TTS může modelovat emoce pomocí prozódie. ■ Při rozpoznávání lze detekovat emoce pomocí prozódie. Dialogové systémy a emoce Oblasti využití Dialogové systémy Luděk Bártek Řízení průběhu dialogu Dotazovací systémy pro relační databáze ■ Dialogová rozhraní informačních systémů -spokojenost/nespokojenost, spěch, . .. ■ DS pro výuku - uživatel se nudí, je napjaty, unavený, ... Databáze, atributy a ■ Umělá (počítačová) empatie. ■ Automobilové systémy. D ia logo ve systémy a emoce ■ Systémy bojových letadel, vrtulníků, simulace vojenských operací. ■ ... Co jsou to emoce? Řízení průběhu dialogu Dotazovací systémy pro relační databáze Databáze, atributy a vyhledávací Dialogové systémy a emoce This is a very tough question, that has produced significant amounts of headaches to scientists in the past ... ■ ... many researchers have opted to study systematically phenomena that most consider emotional. (Laval University Quebec) ■ René Descartes: ,,Only mathematics is certain, so all must be based on mathematics" ■ Dělení emocí: ■ Primární (základní) - vyskytují se u všech lidí a u části vyšších živočichů. ■ Sekundární (vyšší) - mohou být intelektuální, morální a estetické; mohou se lišit mezi jednotlivými kulturami. ■ Velkých šest - hněv, zklamání, štěstí, smutek, strach, překvapení. Emoce Další autoři Dialogové systémy Arnold - hněv, averze, odvaha, sklíčenost, touha, zoufalství, strach, nenávist, naděje, láska, smutek. Ekman, Friesen, and Ellsworth - hněv, odpor, strach, radost, smutek, překvapení. Frijda - touha, štěstí, zájem, překvapení, údiv, zármutek. Gray - vztek a hrůza, touha, radost. Izard - hněv, pohrdání, odpor, rozrušení, strach, vina, zájem, potěšení, hanba, překvapení. James - obava, žal, láska, vztek. Panksepp - očekávání, obava, vztek, panika. Emoce Centra výzkumu Dialogové systémy Luděk Bártek Řízení průběhu dialogu Dotazovací ■ University of Geneva (Klaus Scherer) systémy pro relační ■ Laval University, Quebec (Arvid Kappas) databáze Databáze, atributy a ■ Queen's University, Belfast (R. Cowie) vyhledávací ■ MIT Media Laboratory (R. W. Picard) Dialogové systémy a ■ IBM (Almanden Labs) emoce ■ University of California, Berkeley. 1 -00.0 Zjišťování emocí Dialogové systémy ■ Lze provádět pomocí: Luděk Bártek ■ Změn galvanických vlastností kůže (změna odporu): Řízení průběhu dialogu Dotazovací systémy pro databáze Databáze, atributy a vyhledávací v v Dialogové systémy a emoce ■ Změn tlaku krve a pulsu: Zjišťování emocí pokračování Zjišťování emocí Rozdíly charakteristik Hněv/Smutek Zjišťování emocí IBM Blue Eyes Project Řízení průběhu dialogu Dotazovací systémy pro relační databáze Databáze, atributy a vyhledávací stromy Dialogové systémy a emoce Výrazy tváře - Yale Face Database Výrazy tváře - Yale Face Database