Dialogové systémy Struktura dialogového systému Uvod do počítačového zpracování řeči Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2019 Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému h O Dialogové systémy Q Struktura dialogového systému Luděk Bártek Úvod do počítačového zpracování řeči <* Dialogový systém - informační systém s dialogovým (hlasovým/textovým) rozhraním. • Přirozenější způsob komunikace pro většinu uživatelů než GUI. • Poskytují nové způsoby komunikace s aplikacemi: • telefon • hlasová komunikace prostřednictvím počítače s náhlavní soupravou (mikrofonem, reproduktory). • Možnost komunikace bez použití končetin. • Zlepšují přístupnost pro uživatele s různými druhy postižení: • zrakově postižení • imobilní uživatelé • ... o Při dobře navrženém dialogovém rozhraní může být komunikace podobně efektivní jako GUI. grafická komunikace - paralelní • hlasová komunikace - sekvenční Luděk Bártek Úvod do počítačového zpracování řeči • počátek 60. let • počítačová simulace rozhovoru s psychoterapeutem • textové komunikace v přirozeném jazyce o Parry • autor K. M. Colby (1963) • simulace paranoidního pacienta - reakce na Elizu 9 v řadě dialogů nebylo možné jednoznačně určit, zda se jedná o simulaci nebo reálného pacienta Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Historie dialogových systémů Expertní systémy • Pracují se znalostní databází vytvořenou experty v dané oblasti o Znalostní databáze obsahují: • fakta o inferenční pravidla - pravidla pro odvozování závěrů na základě zjištěných faktů. • DENDRAL - expertní systém z oblasti organické chemie • INTERNIST I- expertní systém pro pomoc při diagnostice (1970, University of Pittsburgh Medicíne School) • MYCIN • Stanford University (70. léta) 9 navazuje na INTERNIST I (jeden z auto společného jednoho z • obsahoval i pokročilá odvozovací pravidla o diagnostika bakteriálních onemocnění • ve 3/4 případů shoda s lidským expertem Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Aktuální stav oblasti dialogových systémů Fl MU • Laboratoře: • LSD (http://lsd.fi.muni.cz/) - Laboratoř vyhledávání a dialogu • vedoucí - doc. Kopeček, prof. Zezula • zaměření - vyhledávání, dialogové systémy, zpracování zvuku, item asistivní technologie, ... • NLP (http://nlp.fi.muni.cz) - Laboratoř zpracování přirozeného jazyka • Vedoucí - doc. Pala • zaměření - textové korpusy, slovníky, morfologie, syntaktická analýza, sémantická analýza, ... Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému \/ých systémů CR • FIT VUT Brno: • analýza signálu • rozpoznávání řeči • systémy pro automatizovaný záznam a zpracování konferencí • ... • ZČU Plzeň • rozpoznávání řeči • syntéza řeči • dialogové systémy • ... • ČVUT Praha • syntéza řeči • počítačová lingvistika • ... Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Aktuální stav oblasti dialogových systémů Ve světě • World Wide Web Consortium Voice Browser Working Group (http://www.w3.org/Voice/) • vývoj a správa standardů pro tvorbu dialogových rozhraní • vývoj a správa standardů pro tvorbu multimodálních dialogových rozhraní • členové: IBM, Nuance Communication, Lucent Technologies, Motorola, ScanSoft, Telíme Networks, Vocalocity, ... • MIT • Carnegie Mellon University (CMU) • OGI • EPF Lausane Luděk Bártek Úvod do počítačového zpracování řeči 9 Dialogové informační systémy o dopravních spojeních. 9 Dialogové ovládání některých systémů v automobilech: • navigace • telefon • ... • Dialogové systémy pro zdravotně postižené - • Vojenské aplikace. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému On-li ne d lost u pné u ikázl ky dialogových systému • Eliza o Placení chatboti z různých oblastí • Talk-Bot Luděk Bártek Úvod do počítačového zpracování řeči iOS - Siri Windows 10/Mobile - Cortana Android, Google Chrome - Google Voice Search různí chatbots pro mobilní platformy Luděk Bártek Úvod do počítačového zpracování řeči o Dialogový systém - informační systém disponující dialogovým rozhraním. • Dialogové rozhraní - UI, které umožňuje uživateli komunikaci s aplikací prostřednictvím dialogu. o Dialog - komunikace dvou účastníků (pro nás člověk počítač). • Promluva - souvislé sdělení jednoho účastníka dialogu. o Obrat - promluva a reakce druhého účastníka na ni. • Dialogová strategie - určuje ke každé promluvě následníka. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému •vých systémů • Převládající řečová komunikace. • Problémy s rozpoznáváním řeči - řešení: • omezení problémové domény • gramatiky pro rozpoznávání řeči. • Bývá doplněna o vstup pomocí: • DTMF - telefonní aplikace • klávesnice - webové aplikace komunikující dialogem v přirozené řeči. • Tendence ke komunikaci přirozenou řečí s co nejmenšími omezeními. • Vede na rozpoznávání plynulé řeči. • Řešení např. omezením množiny akceptovaných promluv pomocí gramatik. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Charakteristické rysy dialogových systémů Pokračování o Snaha o co největší efektivitu a optimalitu komunikace. • Změny dialogové strategie v závislosti na zkušenostech uživatele - lze odhadnou z průběhu komunikace: • zkušený uživatel - průběh dialogu určuje spíše uživatel • nezkušený uživatel - DS se snaží uživatele co nejvíce vést a poskytovat mu co nejvíce nápovědy. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Uživatelský profil Rozpoznávaní reci Sémantický analyzátor i Lingvistické znalosti Kontext dialogu Syntetizér reci Generátor sdělení Doménové znalosti Dialogový manažer IS Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Komponenty dialogového sys it é m u • Rozpoznávaní řeči - rozpoznaní promluvy • rozpoznání promluvy ke zvýšení úspěšnosti využívá • lingvistické znalosti • uživatelský profil a Sémantický analyzátor • zjištění významu promluvy • využívá: • uživatelský profil • doménové znalosti • kontext dialogu • Dialogový manažer • na základě známých faktů rozhoduje o dalším kroku dialogu ze strany systému. • Generátor sdělení • generuje sdělení podle požadavků dialogového manažeru. Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Informace využívané dialogo\ /ým systémem • Lingvistické znalosti - jazykový model, ... 9 Uživatelský profil - model řečníka, emoční model, ... o Doménové znalosti - informace o oblasti DS použitelné pro interpretaci rozpoznané promluvy, pro rozhodování dialogové strategie, ... • informace od oblasti dialogového systému • použitelné pro: o interpretaci rozpoznávané promluvy • rozhodování o dalším kroku dialogu (dialogovou strategii) • patří sem: • např. jaká data je zapotřebí zadat • Kontext dialogu: • uchovává aktuální stav dialogu zadané údaje • informace o chybách (nerozpoznané promluvy, chyby v zadávaných údajích) • lze použít např. pro použití vhodné gramatiky pro sémantickou interpretaci rozpoznané promluvy. Luděk Bártek Úvod do počítačového zpracování řeči