Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy SIN04: Řečová interakce a sociální sítě Luděk Bártek Fakulta informatiky Masarykova univerzita Brno podzim 2014 Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy O Rozpoznávaní plynulé řeči Q Dialogová komunikace Q Dialogové systémy Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Rozpoznávání plynulé řeči • Hlavní rozdíly oproti rozpoznávaní izolovaných slov: • nelze vytvořit databázi vzorů • nutno brát zřetel na prozodické faktory • nutno určovat hranice mezi slovy • nutno vypořádat se s výplňkovými zvuky a chybami řeči. • Řešení - statistický přístup: • jazykový model - popis promluv daného jazyka včetně jejich četností. • model uživatele • popis stylu vyjadřování daného uživatele • akustické charakteristiky hlasu daného uživatele «... • Příklad: HMM vrátí stejnou pravděpodobnost pro slova máma a nána • nejspíše se použije máma - je častější. Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Rozpoznávání plynulé řeči Úskalí • Problém - úspěšnost obecného rozpoznávání může klesnout až k cca 50 • Metody pro zvýšení úspěšnosti: • znalost domény (money vs. honey). • specifikování rozpoznávaných promluv. • např. pomocí gramatiky pro rozpoznávání řeči (JSGF, SRGS, ...) - více u dialogových systémů. Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Dialog - základní pojmy • Dialog - z řeckého dialogos (od slovesa dialogemai -rozvažovat, rozmlouvat). • Dialog - komunikace dvou účastníků (člověk- člověk, člověk-počítač, ...), skládá se z promluv. • Promluva - souvislé sdělení jednoho z účastníků dialogu. • Obrat - promluva a reakce druhé strany na ní. • Průběh dialogu každého účastníka se řídí jeho dialogovou strategií. • Hodnotící funkce E(L) - přiřazuje dialogu reálné číslo -ohodnocení dialogu daným účastníkem. • Uspořádanou čtveřici M = (Si, S2, Ei, E2), kde S/ jsou dialogové strategie a E; hodnotící funkce účastníků nazveme dialogová komunikace. Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Dialogová strategie » Zobrazení UxQ —> RxQ • U - množina vstupních promluv (Utterances) • R - množina výstupních promluv (Responses) • Q - množina stavů. • Určuje následující krok dialogu v závislosti na vstupní promluvě a stavu dialogu (jeho předchozím průběhu). • Hodnotící funkce dialogu E přiřazuje danému dialogu reálné číslo popisující jeho úspěšnost z pohledu daného účastníka dialogu. Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Klasifikace dialogových strategií • Dělení dialogu z pohledu hodnotící funkce: o d je kooperativní dialog pokud Ei(d) — E2(d) • d je nekooperativní dialog pokud Ei(d) ^ £2(^0 • d je dialog s nulovým součtem pokud Ei(d) — —£2(0/) • Další krok dialogu je vždy určen dialogovou strategií jedné z komunikujících stran. • Např. jedna strana se ptá, druhá odpovídá. • U dialogové komunikace člověk (uživatel) - počítač rozlišujeme: • strategii s iniciativou systému - systém se ptá, uživatel odpovídá • strategii s iniciativou uživatele - uživatel se ptá, systém odpovídá • strategii se smíšenou iniciativou - strany se v určování průběhu dialogu střídají. Většinou je z počátku iniciativa ponechána na uživateli. Systém se ujímá iniciativy pokud uživatel nezadal korektně všechny potřebné údaje. Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávání plynulé řeči Dialogová komunikace Dialogové systémy Pravidla pro vedení kooperat ivního dialogu (H. P. Grice) • Autorem britský jazykovědec Herbert Paul Grice. • Pokud chtějí dva lidé vést kooperativní dialog měli by se držet následujících aspektů: O Aspekt informativnosti: • Buď přiměřeně informativní - nesděluj druhé straně ani méně ani více informací, než je pro daný dialog potřeba. Q Aspekt přesvědčivosti: • Neuváděj nepravdivé informace. • Neuváděj informace, které nelze dokázat nebo doložit. O Aspekt způsobu: • Informace v replice by měla být co nejvíce explicitní. • Vyhýbejte se nejednoznačnostem. • Usilujte o stručnost. • Buďte disciplinovaní, udržujte v dialogu pořádek, např. neměňte bezdůvodně cíl/téma dialogu. Luděk Bártek SIN04: Řečová interakce a sociáli lí sítě Rozpoznávání plynulé řeči Dialogová komunikace Dialogové systémy Pravidla pro vedení kooperativního dialogu (H. P. Grice) Dokončení O Aspekt zdvořilosti, empatie a etiky: • Minimalizujte nároky vůči komunikačnímu partnerovi, maximalizujte výhody pro něj. • Minimalizujte nedostatky komunikačního partnera, maximalizujte jeho přednosti. • Maximalizujte souhlas s partnerem a minimalizujte nesouhlas. < Maximalizujte empatii vůči komunikačnímu partnerovi. Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Způsoby vedení dialogu Hlasový dialog: • tváří v tvář • pomocí telekomunikačních prostředků - telefon, vysílačka, • hlasový IM (Skype, Jabber/Gmail Talk, IP telefonie, ...) Textový dialog: • pošta - nevýhoda - délka trvání jednoho obratu. • elektronická pošta • IM • různé formy IRC Luděk Bártek SIN04: Řečová interakce a sociáli lí sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Dialogový systém - základní pojmy • Dialogový systém - informační systém komunikující s uživatelem formou dialogu v přirozeném jazyce. • Většinou se jedná o dialogové rozhraní ke klasickému IS. • Často komunikace mluvenou řečí. • Alternativně: • komunikace pomocí DTMF • textová komunikace přirozenou řečí • multimodální komunikace: • řeč + obraz (simulace lidské tváře, titulky ve znakové řeči, ...) • řeč + text Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Výhody dialogových rozhraní oproti GUI • Přirozenější způsob komunikace • v ideálním prípade by uživatel neměl poznat, že komunikuje s počítačem. • umožňuje vedení uživatele procesem zadávání údajů krok za krokem. • Lepší přístupnost pro lidi s různými druhy postižení: o zrakově postižení uživatelé • motoricky postižení uživatelé • uživatelé mající problémy s ovládáním počítače pomocí GUI. o zlepšení přístupnosti - multimodální rozhraní. • umožňuje přístup ke službám IS bez nutnosti použití vlastnit počítač - stačí telefon. Luděk Bártek SIN04: Řečová interakce a sociáli lí sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Nevýhody dialogových rozhraní oproti GUI • Nevýhody: • Rychlost komunikace: • sekvenční vnímaní zvuku vs. paralelní vnímaní obrazu. • lze částečně eliminovat pomocí vhodné dialogové strategie. Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Historie dialogových systémů • Eliza • počátek 60. let • počítačová simulace rozhovoru s psychoterapeutem • textové komunikace v přirozeném jazyce • Parry • autor K. M. Colby (1963) • simulace paranoidního pacienta - reakce na Elizu • v řadě dialogů nebylo možné jednoznačně určit, zda se jedná o simulaci nebo reálného pacienta • Expertní systémy • pracují se znalostní databází vytvořenou experty v dané oblasti • znalostní databáze obsahují: • fakta • inferenční pravidla - pravidla pro odvozování závěrů na základě zjištěných faktů • DENDRAL - expertní systém z oblasti organické chemie Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Historie dialogových systémů 2. • Expertní systémy (dokončení): • INTERNIST I - expertní systém pro pomoc při diagnostice (1970, University of Pittsburgh Medicine School) • MYCIN • Stanford University (70. léta) • navazuje na INTERNIST I (jeden z autorů společný) • obsahoval i pokročilá odvozovací pravidla • diagnostika bakteriálních onemocnění • ve 3/4 případů shoda s lidským expertem Luděk Bártek SIN04: Řečová interakce a sociáli lí sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Aktuální stav oblasti dialogových systémů Fl MU • Laboratoře: • LSD - Laboratoř vyhledávání a dialogu - vedoucí - doc. Kopeček, prof. Zezula • zaměření: • vyhledávání • dialogové systémy • zpracování zvuku • asistivní technologie • ... • NLP - Laboratoř zpracování přirozeného jazyka - vedoucí doc. Pala • zaměření: • textové korpusy • slovníky • morfologie • syntaktická analýza • sémantická analýza Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Aktuální stav oblasti dialogových systémů ČR • FIT VUT Brno: • analýza signálu o rozpoznávaní řeči • systémy pro automatizovaný záznam a zpracování konferencí • ... • ZČU Plzeň o rozpoznávání řeči • syntéza řeči • dialogové systémy a ... • ČVUT Praha • syntéza řeči • počítačová lingvistika a ... Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Aktuální stav oblasti dialogových systémů Zbytek světa • World Wide Web Consortium Voice Browser Working Group • vývoj a správa standardů pro tvorbu dialogových rozhraní • vývoj a správa standardů pro tvorbu multimodálních dialogových rozhraní • členové: • IBM • Nuance Communication • Lucent Technologies • Motorola • Scan Soft • Telíme Networks • Vocalocity • ... Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Aktuální stav oblasti dialogových systémů Akademická sféra • MIT • Carnegie Mellon University (CMU) • OGI • EPF Lausane Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Lingvistické znalosti J __ Rozpoznávání Sémantický řeči analyzátor Doménové znalosti Kontext — Uživatelský dialogu Dialogový profil manažer Syntetizér řeči Generátor sdělení Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Komponenty dialogového systému (1.) • Uživatel - koncové zařízení, které zprostředkovává komunikaci uživatel o dialogový systém. • telefon • IP telefon • IM klient • ... • Rozpoznávání řeči: • Převádí mluvené slovo na text. • Využívá se: • rozpoznávání plynulé řeči • rozpoznávání izolovaných slov o Pro zvýšení úspěšnosti se používají lingvistické znalosti (n-gramy, gramatiky pro rozpoznávání řeči). • Používané standardy: • JSGF - definována v Java Speech API • SRGS - standard W3C Voice Browser WG Luděk Bártek SIN04: Řečová interakce a sociáli lí sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Komponenty dialogového systému (2.) • Sémantický analyzátor: • Snaží se získat relevantní informace z rozpoznaného textu. • např.. hodnoty vstupních polí • Využíva db. lingvistických znalostí (atributové gramatiky, ...). • Dialogový manažer • Řídí průběh komunikace s uživatelem na základě: • aktuálního stavu dialogu - informace o dosavadním průběhu (zadané údaje, chybovost uživatele, chybovost rozpoznávání řeči pro daného uživatele, ...) • použité dialogové strategie. • K implementaci lze využít standard VoiceXML Luděk Bártek SIN04: Řečová interakce a sociáli ií sítě Rozpoznávaní plynulé reči Dialogová komunikace Dialogové systémy Komponenty dialogového systému (3.) • Generátor promluv • Na základě sémantických informací od dialogového manažeru generuje smysluplnou promluvu pro uživatele. • Lze použít např. rámce a sloty. • rámec - předpřipravená promluva • slot - proměnlivá část rámce, doplněná informací od dialogového manažeru. a Výstup může být doplněn o prozodické informace. • Výstup může být popsán pomocí standardů: • SABLE • SSML • Syntetizér řeči • Na základě promluvy od generátoru provádí syntézu dané promluvy. Luděk Bártek SIN04: Řečová interakce a sociáli lí sítě