Dialogové systémy Luděk Bártek Aktuální stav Struktura DS Dialogové systémy Luděk Bártek Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity, Brno jaro 2022 Co je dialogový systém? Dialogové systémy Luděk Bártek Úvod do dialogových systémů Aktuální stav ■ Dialogový systém - systém komunikující s uživatelem pomocí dialogu v přirozeném jazyce ■ většinou se jedná o dialogové rozhraní ke klasickému IS. Struktura DS ■ Častá komunikace mluvenou řečí. ■ Alternativně: ■ komunikace pomocí DTMF ■ textová komunikace přirozenou řečí ■ multimodální komunikace: ■ řeč + obraz (simulace lidské tváře, titulky ve znakové řeči, ...) ■ řeč + text ■ ... Výhody a nevýhody dialogových systémů ■ Výhody: + Přirozenější způsob komunikace. + Přístupnost: ■ zrakově a motoricky postižení uživatelé ■ další uživatelé, kterým činí problémy ovládání počítače standardním způsobem ■ možnost podrobnějšího vedení uživatele krok za krokem celým procesem ■ dalším krokem k lepší přístupnosti - multimodální rozhraní. □ ť3? - = Výhody a nevýhody dialogových systémů Dialogové systémy Luděk Bártek Aktuální stav Struktura DS Výhody: + Větší množství potenciálních uživatelů: ■ počet uživatelů počítačů a Internetu vs. počet uživatelů telefonu. + ... Nevýhody: - rychlost komunikace ■ sekvenční vnímání zvuku vs. paralelní vnímání obrazu ■ lze částečně eliminovat pomocí vhodné dialogové strategie Aktuální práce v oblasti dialogových systémů Fl MU Dialogové systémy Luděk Bártek Aktuální stav Struktura DS Laboratoře: ■ LSD - doc. Kopeček ■ zaměřuje se na: ■ dialogové systémy a zpracování zvuku ■ sociální sítě ■ sociální informatika ■ NLP - doc. Pala ■ zaměřuje se na: ■ korpusy ■ slovníky ■ morfologii ■ syntaktickou analýzu ■ sémantiku Aktuální práce v oblastech souvisejících s dialogovými systémy Výzkum Česká republika Dialogové systémy Luděk Bártek Úvod do dialogových systémů Aktuální stav Struktura DS ■ FIT VUT Brno ■ analýza signálu ■ rozpoznávání řeči ■ systém pro automatizované zpracování konferencí ■ . .. ■ ZČU v Plzni ■ rozpoznávání řeči ■ dialogové systémy ■ . .. ■ ČVUT - syntéza řeči 1 <\(y Aktuální práce v oblastech souvisejících s dialogovými systémy Komerční sféra - Česká republika Dialogové systémy Luděk Bártek Úvod do dialogových systémů Aktuální stav Struktura DS ■ FROG Systems s.r.o. - CS-voice 97 ■ OptimSys s.r.o - VoiceXML platforma OptimTalk Aktuální práce v oblasti dialogových systémů Výzkum a práce ve světě Dialogové systémy Luděk Bártek Aktuální stav Struktura DS W3C Voice Browser Working Group ■ IBM ■ Nuance Communication ■ Lucent Technologies ■ Motorola ■ ScanSoft ■ Tel I me Networks ■ Vocalocity W3C Multimodal Interaction Working Group MIT OGI EPF Lausane Struktura dialogového systému Dialogové systémy Luděk Bártek Aktuální stav Struktura DS Uživatelský prolil Lingvistické znalosti Syn teti zér feCi Sémantický analyzátor Korí text dialogu Doménové zn alosti tt t Dialogový manažer Generátor sdílen í r Komponenty dialogového systému Dialogové systémy Luděk Bártek Aktuální stav Struktura DS Uživatel - koncové zařízení, které uživateli umožňuje komunikovat s dialogovým systémem: ■ telefon - komunikace prostřednictvím PSTN přes VoIP gateway - VoIP gateway převádí hlas na data a zpět ■ VoIP klient - komunikace prostřednictvím VoIP protokolu přímo s dialogovým systémem (SIP, H.323, Skype, .. .) ■ textový klient - komunikace prostřednictvím protokolů DTMF+VolP protokol, telnet, ssh, XMPP,. .. Rozpoznávání řeči: ■ převádí mluvené slovo na text ■ využívá se: ■ rozpoznávání plynulé řeči ■ rozpoznávání izolovaných slov ■ pro zvýšení úspěšnosti se používají gramatiky popisující množinu očekávaných vstupů. Komponenty dialogového systému Dialogové systémy Luděk Bártek Aktuální stav Struktura DS Sémantický analyzátor ■ získává relevantní údaje z rozpoznaného textu ■ využívají se např. atributové gramatiky Dialogový manažer ■ konečný automat ■ na základě aktuálního stavu a vstupu od uživatele rozhoduje o dalším průběhu dialogu. Generátor promluv - na základě údajů od dialogového manažeru generuje promluvy, které jsou následně syntetizovány. Řečový syntetizér - převádí promluvy od generátoru promluv na mluvenou řeč, která je poslána uživateli. Údaje používané dialogovým systémem Dialogové systémy Luděk Bártek Aktuální stav Struktura DS Lingvistické znalosti - údaje o jazyce, které využívá rozpoznávač řeči pro zvýšení úspěšnosti (pravděpodobnosti výskytů jednotlivých sekvencí řečových segmentů, gramatika, ...). Uživatelský profil - informace o uživatelích (charakteristiky hlasu, vyjadřování, používané fráze, ...). Doménové znalosti - informace odvoditelné z oblasti dialogového systému (gramatika, ...). Kontext dialogu - informace o aktuálním stavu dialogu (krok dialogu, uživatelský vstup, chybovost uživatele, ...).