Dialogové systémy Struktura dialogového systému Uvod do počítačového zpracování řeči Luděk Bártek Fakulta informatiky Masarykova univerzita podzim 2022 Luděk Bártek Uvod do počítačového zpracování řeči Q Dialogové systémy Q Struktura dialogového systému Luděk Bártek U vod do počítačového zpracování řeči o Dialogový systém - informační systém s dialogovým (hlasovým/textovým) rozhraním. • Přirozenější způsob komunikace pro většinu uživatelů než GUI. • Poskytují nové způsoby komunikace s aplikacemi: • telefon • hlasová komunikace prostřednictvím počítače s náhlavní soupravou (mikrofonem, reproduktory). 9 Možnost komunikace bez použití končetin. • Zlepšují přístupnost pro uživatele s různými druhy postižení: • zrakově postižení • imobilní uživatelé • ... o Při dobře navrženém dialogovém rozhraní může být komunikace podobně efektivní jako GUI. grafická komunikace - paralelní • hlasová komunikace - sekvenční Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Historie dialogových systémů • počátek 60. let • počítačová simulace rozhovoru s psychoterapeutem • textové komunikace v přirozeném jazyce o Parry • autor K. M. Colby (1963) • simulace paranoidního pacienta - reakce na Elizu • v řadě dialogů nebylo možné jednoznačně určit, zda se jedná o simulaci nebo reálného pacienta Luděk Bártek U vod do počítačového zpracování řeči • Pracují se znalostní databází vytvořenou experty v dané oblasti o Znalostní databáze obsahují: • fakta o inferenční pravidla - pravidla pro odvozování závěrů na základě zjištěných faktů. • DEN DRAL - expertní systém z oblasti organické chemie • INTERNIST I- expertní systém pro pomoc při diagnostice (1970, University of Pittsburgh Medicíne School) • MYCÍ N • Stanford University (70. léta) • navazuje na INTERNIST I (jeden z auto společného jednoho z • obsahoval i pokročilá odvozovací pravidla diagnostika bakteriálních onemocnění • ve 3/4 případů shoda s lidským expertem Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Fl MU • Laboratoře: • LSD (http://lsd.fi.muni.cz/) - Laboratoř vyhledávání a dialogu • vedoucí - doc. Kopeček, prof. Zezula • zaměření - vyhledávání, dialogové systémy, zpracování zvuku, item asistivní technologie, ... • NLP (http://nlp.fi.muni.cz) - Laboratoř zpracování přirozeného jazyka • Vedoucí - doc. Pala • zaměření - textové korpusy, slovníky, morfologie, syntaktická analýza, sémantická analýza, ... Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému dialogových systémů FIT VUT Brno: • analýza signálu • rozpoznávání řeči • systémy pro automatizovaný záznam a zpracování konferencí • ... ZČU Plzeň • rozpoznávání řeči • syntéza řeči • dialogové systémy • ... ČVUT Praha • syntéza řeči • počítačová lingvistika • ... Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Aktuální stav oblasti dialogových systémů Ve světě • World Wide Web Consortium Voice Browser Working Group (http://www.w3.org/Voice/) • vývoj a správa standardů pro tvorbu dialogových rozhraní • vývoj a správa standardů pro tvorbu multimodálních dialogových rozhraní • členové: IBM, Nuance Communication, Lucent Technologies, Motorola, ScanSoft, Telíme Networks, Vocalocity, ... • MIT • Carnegie Mellon University (CMU) • OGI • EPF Lausane Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Současné oblasti použití • Dialogové informační systémy o dopravních spojeních. • Dialogové ovládání některých systémů v automobilech: • navigace • telefon • ... • Dialogové systémy pro zdravotně postižené - • Vojenské aplikace. Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému On-I ine d ostí ipné u ikázl kyd ial logových systému Eliza Platforma pro tvorbu a hostování on-line chatbotů Talk-Bot Platforma pro tvorbu on-line chatbotů Luděk Bártek Úvod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému iy v OS o iOS - Siri o Windows 10/Mobile - Cortana o Android, Google Chrome - Google Voice Search • různí chatboti pro mobilní platformy Luděk Bártek U vod do počítačového zpracování řeči Základní Dialogové systémy Struktura dialogového systému 9 Dialogový systém - informační systém disponující dialogovým rozhraním. o Dialogové rozhraní - Ul, které umožňuje uživateli komunikaci s aplikací prostřednictvím dialogu. o Dialog - komunikace dvou účastníků (pro nás člověk počítač). • Promluva - souvislé sdělení jednoho účastníka dialogu. o Obrat - promluva a reakce druhého účastníka na ni. • Dialogová strategie - určuje ke každé promluvě následníka. Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému •vých systémů • Převládající řečová komunikace. • Problémy s rozpoznáváním řeči - řešení: • omezení problémové domény • gramatiky pro rozpoznávání řeči. • Bývá doplněna o vstup pomocí: • DTMF - telefonní aplikace • klávesnice - webové aplikace komunikující dialogem v přirozené řeči. • Tendence ke komunikaci přirozenou řečí s co nejmenšími omezeními. • Vede na rozpoznávání plynulé řeči. v • Řešení např. omezením množiny akceptovaných promluv pomocí gramatik. Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Charakteristické rysy dialogových systémů Pokračování o Snaha o co největší efektivitu a optimalitu komunikace. • Změny dialogové strategie v závislosti na zkušenostech uživatele - lze odhadnou z průběhu komunikace: • zkušený uživatel - průběh dialogu určuje spíše uživatel • nezkušený uživatel - DS se snaží uživatele co nejvíce vést a poskytovat mu co nejvíce nápovědy. Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Dialogový systém Uživatelský profil Rozpoznávaní reci Sémantický analyzátor i Lingvistické znalosti i Kontext dialogu Syntetizér reci Generátor sdělení Doménové znalosti Dialogový manažer IS Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému Komponenty d ia /stému • Rozpoznávání řeči - rozpoznání promluvy • rozpoznání promluvy ke zvýšení úspěšnosti využívá • lingvistické znalosti • uživatelský profil 9 Sémantický analyzátor • zjištění významu promluvy 9 využívá: • uživatelský profil • doménové znalosti o kontext dialogu • Dialogový manažer • na základě známých faktů rozhoduje o dalším kroku dialogu ze strany systému. • Generátor sdělení • generuje sdělení podle požadavků dialogového manažeru. Luděk Bártek U vod do počítačového zpracování řeči Dialogové systémy Struktura dialogového systému £J M £] IBS rým systémem • Lingvistické znalosti - jazykový model, ... • Uživatelský profil - model řečníka, emoční model, ... o Doménové znalosti - informace o oblasti DS použitelné pro interpretaci rozpoznané promluvy, pro rozhodování dialogové strategie, ... • informace od oblasti dialogového systému • použitelné pro: • interpretaci rozpoznávané promluvy • rozhodování o dalším kroku dialogu (dialogovou strategii) patří sem: • např. jaká data je zapotřebí zadat • Kontext dialogu: • uchovává aktuální stav dialogu zadané údaje • informace o chybách (nerozpoznané promluvy, chyby v zadávaných údajích) • lze použít např. pro použití vhodné gramatiky pro sémantickou interpretaci rozpoznané promluvy. Luděk Bártek U vod do počítačového zpracování řeči