Dialogová komunikace Dialogové systémy
SIN04: Řečová interakce a sociální sítě
Fakulta informatiky Masarykova univerzita Brno
podzim 2015
SIN04: Řečová interakce a sociální sítě
sa
Dialogová komunikace Dialogové systémy
Q Dialogová komunikace
O Dial ogove systémy
SIN04: Řečová interakce a sociální sítě
• Dialog - z řeckého dialogos (od slovesa dialogemai -rozvažovat, rozmlouvat).
• Dialog - komunikace dvou účastníků (člověk- člověk, člověk -počítač, ...), skládá se z promluv.
• Promluva - souvislé sdělení jednoho z účastníků dialogu.
• Obrat - promluva a reakce druhé strany na ní.
• Průběh dialogu každého účastníka se řídí jeho dialogovou strategií.
• Hodnotící funkce E(L) - přiřazuje dialogu reálné číslo -ohodnocení dialogu daným účastníkem.
• Uspořádanou čtveřici M = (Si, S2, £1, £2), kde S; jsou dialogové strategie a £/ hodnotící funkce účastníků, nazveme dialogová komunikace.
SIN04: Řečová interakce a sociální sítě
Di
Dialogová komunikace Dialogové systémy
• Zobrazení UxQ —> RxQ
• U - množina vstupních promluv (Utterances)
• R - množina výstupních promluv (Responses)
• Q - množina stavů.
• Určuje následující krok dialogu v závislosti na vstupní promluvě a stavu dialogu (jeho předchozím průběhu).
• Hodnotící funkce dialogu E přiřazuje danému dialogu reálné číslo popisující jeho úspěšnost z pohledu daného účastníka dialogu.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Klasifikace dialogových strategií
• Dělení dialogu z pohledu hodnotící funkce:
• d je kooperativní dialog pokud Ei(d) = ^(d)
• d je nekooperativní dialog pokud Ei(d) / ^{d)
• d je dialog s nulovým součtem pokud Ei(d) = —E2(d)
• Další krok dialogu je vždy určen dialogovou strategií jedné z komunikujících stran.
• Např. jedna strana se ptá, druhá odpovídá.
• U dialogové komunikace člověk (uživatel) - počítač rozlišujeme:
o strategii s iniciativou systému - systém se ptá, uživatel odpovídá
• strategii s iniciativou uživatele - uživatel se ptá, systém odpovídá
• strategii se smíšenou iniciativou - strany se v určování průběhu dialogu střídají. Většinou je z počátku iniciativa ponechána na uživateli. Systém se ujímá iniciativy pokud uživatel nezadal korektně všechny potřebné údaje.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Pravidla pro vedení kooperativního dialogu (H. P. Grice)
• Autorem britský jazykovědec Herbert Paul Grice.
• Pokud chtějí dva lidé vést kooperativní dialog měli by se držet následujících aspektů:
O Aspekt informativnosti:
• Bud přiměřeně informativní - nesděluj druhé straně ani méně ani více informací, než je pro daný dialog potřeba.
Q Aspekt přesvědčivosti:
o Neuváděj nepravdivé informace.
• Neuváděj informace, které nelze dokázat nebo doložit. O Aspekt způsobu:
• Informace v replice by měla být co nejvíce explicitní.
• Vyhýbejte se nejednoznačnostem.
• Usilujte o stručnost.
• Buďte disciplinovaní, udržujte v dialogu pořádek, např. neměňte bezdůvodně cíl/téma dialogu.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Pravidla pro vedení kooperativního dialogu (H. P. Grice)
Dokončení
O Aspekt zdvořilosti, empatie a etiky:
• Minimalizujte nároky vůči komunikačnímu partnerovi, maximalizujte výhody pro něj.
• Minimalizujte nedostatky komunikačního partnera, maximalizujte jeho přednosti.
• Maximalizujte souhlas s partnerem a minimalizujte nesouhlas. 9 Maximalizujte empatii vůči komunikačnímu partnerovi.
SIN04: Řečová interakce a sociální sítě
Hlasový dialog:
• tvarí v tvar
• pomocí telekomunikačních prostředků - telefon, vysílačka,
• hlasový IM (Skype, Jabber/Gmail Talk, IP telefonie, ...)
Textový dialog:
• pošta - nevýhoda - délka trvání jednoho obratu.
• elektronická pošta
• IM
• různé formy IRC
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy								
							ladní	pojmy
• Dialogový systém - informační systém komunikující s uživatelem formou dialogu v přirozeném jazyce.
• Většinou se jedná o dialogové rozhraní ke klasickému IS.
• Často komunikace mluvenou řečí.
• Alternativně:
• komunikace pomocí DTMF
9 textová komunikace přirozenou řečí
• multimodální komunikace:
• řeč + obraz (simulace lidské tváře, titulky ve znakové řeči, ...)
• řeč + text
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
ani oproti GUI
• Přirozenější způsob komunikace
• v ideálním případě by uživatel neměl poznat, že komunikuje s počítačem.
• umožňuje vedení uživatele procesem zadávání údajů krok za krokem.
• Lepší přístupnost pro lidi s různými druhy postižení:
• zrakově postižení uživatelé
• motoricky postižení uživatelé
• uživatelé mající problémy s ovládáním počítače pomocí GUI.
• zlepšení přístupnosti - multimodální rozhraní.
• umožňuje přístup ke službám IS bez nutnosti použití vlastnit počítač - stačí telefon.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Nevýhody dialogových rozhraní oproti GUI
• Nevýhody:
• Rychlost komunikace:
• sekvenční vnímání zvuku vs. paralelní vnímání obrazu.
• lze částečně eliminovat pomocí vhodné dialogové strategie.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy			
Historie d	ia	logových systémů	
• Eliza
• počátek 60. let
• počítačová simulace rozhovoru s psychoterapeutem
• textové komunikace v přirozeném jazyce
• Parry
• autor K. M. Colby (1963)
• simulace paranoidního pacienta - reakce na Elizu
• v řadě dialogů nebylo možné jednoznačně určit, zda se jedná o simulaci nebo reálného pacienta
• Expertní systémy
• pracují se znalostní databází vytvořenou experty v dané oblasti
• znalostní databáze obsahují:
• fakta
• inferenční pravidla - pravidla pro odvozování závěrů na základě zjištěných faktů
• DENDRAL - expertní systém z oblasti organické chemie
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
emu
• Expertní systémy (dokončení):
• INTERNIST I - expertní systém pro pomoc při diagnostice
(1970, University of Pittsburgh Medicine School)
• MYCIN
• Stanford University (70. léta)
• navazuje na INTERNIST I (jeden z autorů společný)
• obsahoval i pokročilá odvozovací pravidla
• diagnostika bakteriálních onemocnění
• ve 3/4 případů shoda s lidským expertem
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy						
					ogových systémů	
Fl MU
• Laboratoře:
• LSD - Laboratoř vyhledávání a dialogu - vedoucí - doc.
Kopeček, prof. Zezula
• zaměření:
• vyhledávání
• dialogové systémy
• zpracování zvuku
o asistivní technologie
• ...
• NLP - Laboratoř zpracování přirozeného jazyka - vedoucí doc. Pala
• zaměření:
• textové korpusy
• slovníky
• morfologie
• syntaktická analýza
• sémantická analýza
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Aktuální stav oblasti dialogových systémů
CR
• FIT VUT Brno:
• analýza signálu
• rozpoznávání řeči
• systémy pro automatizovaný záznam a zpracování konferencí
• ...
• ZČU Plzeň
• rozpoznávání řeči
• syntéza řeči
• dialogové systémy
• ...
• ČVUT Praha
• syntéza řeči
• počítačová lingvistika
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy						
					ogových systémů	
Zbytek světa
• World Wide Web Consortium Voice Browser Working Group
• vývoj a správa standardů pro tvorbu dialogových rozhraní
• vývoj a správa standardů pro tvorbu multimodálních dialogových rozhraní
• členové:
• IBM
• Nuance Communication
• Lucent Technologies
• Motorola
• Scan Soft
• Telíme Networks
• Vocalocity
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Aktuální stav oblasti dialogových systémů
Akademická sféra
• MIT
• Carnegie Mellon University (CMU)
• OGI
• EPF Lausane
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
gového systému
Lingvistické znalosti
Uživatelský profil
Sémantický analyzátor
~~f
Kontext ľ dialogu
Syntetizér	__-_
řeči	
Generátor sdělení
Doménové znalosti
Dialogový manažer
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Komponenty dialogového systému (1.)
• Uživatel - koncové zařízení, které zprostředkovává komunikaci uživatel <H> dialogový systém.
• telefon
• IP telefon
• IM klient
• ...
• Rozpoznávání řeči:
• Převádí mluvené slovo na text.
• Využívá se:
• rozpoznávání plynulé řeči
• rozpoznávání izolovaných slov
• Pro zvýšení úspěšnosti se používají lingvistické znalosti (n-gramy, gramatiky pro rozpoznávání řeči).
• Používané standardy:
• JSGF - definována v Java Speech API
• SRGS - standard W3C Voice Browser WG
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Komponenty dialogového systému (2.)
• Sémantický analyzátor:
• Snaží se získat relevantní informace z rozpoznaného textu.
• např.. hodnoty vstupních polí
• Využívá db. lingvistických znalostí (atributové gramatiky ...).
• Dialogový manažer
• Řídí průběh komunikace s uživatelem na základě:
• aktuálního stavu dialogu - informace o dosavadním průběhu (zadané údaje, chybovost uživatele, chybovost rozpoznávání řeči pro daného uživatele, ...)
• použité dialogové strategie.
• K implementaci lze využít standard VoiceXML
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy					
		Eg		10 systému (3.)	
• Generátor promluv
• Na základě sémantických informací od dialogového manažeru generuje smysluplnou promluvu pro uživatele.
• Lze použít např. rámce a sloty.
• rámec - předpřipravená promluva
• slot - proměnlivá část rámce, doplněná informací od dialogového manažeru.
• Výstup může být doplněn o prozodické informace.
• Výstup může být popsán pomocí standardů:
• SABLE
• SSML
• Syntetizér řeči
• Na základě promluvy od generátoru provádí syntézu dané promluvy.
SIN04: Řečová interakce a sociální sítě