Dialogové systémy Struktura dialogového systému Uvod do počítačového zpracování řeči Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2023 Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému h Q Dialogové systémy Q Struktura dialogového systému Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému M loti iva ce o Dialogový systém - informační systém s dialogovým (hlasovým/textovým) rozhraním. • Přirozenější způsob komunikace pro většinu uživatelů než GUI. • Poskytují nové způsoby komunikace s aplikacemi: • telefon • hlasová komunikace prostřednictvím počítače s náhlavní soupravou (mikrofonem, reproduktory). 9 Možnost komunikace bez použití končetin. • Zlepšují přístupnost pro uživatele s různými druhy postižení: • zrakově postižení • imobilní uživatelé • ... o Při dobře navrženém dialogovém rozhraní může být komunikace podobně efektivní jako GUI. grafická komunikace - paralelní • hlasová komunikace - sekvenční Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Historie dialogových systémů • počátek 60. let • počítačová simulace rozhovoru s psychoterapeutem • textové komunikace v přirozeném jazyce o Parry • autor K. M. Colby (1963) • simulace paranoidního pacienta - reakce na Elizu • v řadě dialogů nebylo možné jednoznačně určit, zda se jedná o simulaci nebo reálného pacienta Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému i i i i / i . / o i Historie aia Expertní systémy 10] govycr i systému • Pracují se znalostní databází vytvořenou experty v dané oblasti o Znalostní databáze obsahují: • fakta o inferenční pravidla - pravidla pro odvozování závěrů na základě zjištěných faktů. • DENDRAL - expertní systém z oblasti organické chemie • INTERNIST I- expertní systém pro pomoc při diagnostice (1970, University of Pittsburgh Medicíne School) • MYCIN • Stanford University (70. léta) • navazuje na INTERNIST I (jeden z auto společného jednoho z • obsahoval i pokročilá odvozovací pravidla o diagnostika bakteriálních onemocnění • ve 3/4 případů shoda s lidským expertem Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému gových systémů Fl MU • Laboratoře: • LSD (http://lsd.fi.muni.cz/) - Laboratoř vyhledávání a dialogu • vedoucí - doc. Kopeček, prof. Zezula • zaměření - vyhledávání, dialogové systémy, zpracování zvuku, item asistivní technologie, ... • NLP (http://nlp.fi.muni.cz) - Laboratoř zpracování přirozeného jazyka • Vedoucí - doc. P. Rychlý • zaměření - textové korpusy, slovníky, morfologie, syntaktická analýza, sémantická analýza, ... Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému vých systémů CR • FIT VUT Brno: • analýza signálu • rozpoznávání řeči • systémy pro automatizovaný záznam a zpracování konferencí • ... • ZČU Plzeň • rozpoznávání řeči • syntéza řeči • dialogové systémy • ... • ČVUT Praha • syntéza řeči • počítačová lingvistika • ... Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Aktuální stav oblasti dialogových systémů Ve světě • World Wide Web Consortium Voice Browser Working Group (http://www.w3.org/Voice/) • vývoj a správa standardů pro tvorbu dialogových rozhraní • vývoj a správa standardů pro tvorbu multimodálních dialogových rozhraní • členové: IBM, Nuance Communication, Lucent Technologies, Motorola, ScanSoft, Telíme Networks, Vocalocity, ... • MIT • Carnegie Mellon University (CMU) • OGI • EPF Lausane Luděk Bártek Úvod do počítačového zpracování řeči 9 Dialogové informační systémy o dopravních spojeních. • Dialogové ovládání některých systémů v automobilech • navigace • telefon • ... • Dialogové systémy pro zdravotně postižené - • Vojenské aplikace. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému On-line dostupné ukázky dialogových systému • Eliza • Platforma pro tvorbu a hostování on-line chatbotů • Talk-Bot • Platforma pro tvorbu on-line chatbotů • . .. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Dotazová ci i systei rr íy v OS o iOS - Siri o Windows 10/Mobile - Cortana o Android, Google Chrome - Google Voice Search • různí chatboti pro mobilní platformy Luděk Bártek Úvod do počítačového zpracování řeči Zá Dialogové systémy Struktura dialogového systému 9 Dialogový systém - informační systém disponující dialogovým rozhraním. 9 Dialogové rozhraní - UI, které umožňuje uživateli komunikaci s aplikací prostřednictvím dialogu. o Dialog - komunikace dvou účastníků (pro nás člověk počítač). 9 Promluva - souvislé sdělení jednoho účastníka dialogu. o Obrat - promluva a reakce druhého účastníka na ni. • Dialogová strategie - určuje ke každé promluvě následníka. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému >vých systémů Převládající řečová komunikace. • Problémy s rozpoznáváním řeči - řešení: • omezení problémové domény • gramatiky pro rozpoznávání řeči. • Bývá doplněna o vstup pomocí: • DTMF - telefonní aplikace • klávesnice - webové aplikace komunikující dialogem v přirozené řeči. Tendence ke komunikaci přirozenou řečí s co nejmenšími omezeními. • Vede na rozpoznávání plynulé řeči. • Řešení např. omezením množiny akceptovaných promluv pomocí gramatik. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Charakteristické rysy dialogových systémů Pokračování Snaha o co největší efektivitu a optimalitu komunikace. • Změny dialogové strategie v závislosti na zkušenostech uživatele - lze odhadnou z průběhu komunikace: • zkušený uživatel - průběh dialogu určuje spíše uživatel • nezkušený uživatel - DS se snaží uživatele co nejvíce vést a poskytovat mu co nejvíce nápovědy. Luděk Bártek Úvod do počítačového zpracování řeči Uživatelský profil Doménové znalosti Rozpoznávaní reci Lingvistické znalosti Sémantický analyzátor Kontext dialogu Dialogový manažer Syntetizér Generátor reci sdělení Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Komponenty dialogového sys ;tému • Rozpoznávání řeči - rozpoznání promluvy • rozpoznání promluvy ke zvýšení úspěšnosti využívá • lingvistické znalosti • uživatelský profil 9 Sémantický analyzátor • zjištění významu promluvy • využívá: • uživatelský profil • doménové znalosti o kontext dialogu • Dialogový manažer • na základě známých faktů rozhoduje o dalším kroku dialogu ze strany systému. • Generátor sdělení • generuje sdělení podle požadavků dialogového manažeru. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Informace využívané dialogo\ /ým systémem • Lingvistické znalosti - jazykový model, ... • Uživatelský profil - model řečníka, emoční model, ... • Doménové znalosti - informace o oblasti DS použitelné pro interpretaci rozpoznané promluvy, pro rozhodování dialogové strategie, ... • informace od oblasti dialogového systému • použitelné pro: 9 interpretaci rozpoznávané promluvy • rozhodování o dalším kroku dialogu (dialogovou strategii) • patří sem: • např. jaká data je zapotřebí zadat • Kontext dialogu: • uchovává aktuální stav dialogu zadané údaje • informace o chybách (nerozpoznané promluvy, chyby v zadávaných údajích) • lze použít např. pro použití vhodné gramatiky pro sémantickou interpretaci rozpoznané promluvy. Luděk Bártek Úvod do počítačového zpracování řeči