Dialogová komunikace Dialogové systémy
SIN04: Řečová interakce a sociální sítě
Fakulta informatiky Masarykova univerzita Brno
podzim 2018
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Q Dialogová komunikace
O Dialogové systémy
SIN04: Rečová interakce a sociální sítě
• Dialog - z řeckého dialogos (od slovesa dialogemai -rozvažovat, rozmlouvat).
• Dialog - komunikace dvou účastníků (člověk - člověk, člověk - počítač, ...), skládá se z promluv.
• Promluva - souvislé sdělení jednoho z účastníků dialogu.
• Obrat - promluva jedné strany a reakce druhé strany na ní.
• Průběh dialogu každého účastníka se řídí jeho dialogovou strategií.
• Hodnotící funkce E(L) - přiřazuje dialogu reálné číslo -ohodnocení dialogu daným účastníkem.
o Uspořádanou čtveřici M = (S-i, S2, Ei, £2), kde S, jsou dialogové strategie a E, hodnotící funkce účastníků, nazveme dialogová komunikace.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
• Dialogová strategie - zobrazení UxQ RxQ
• U - množina vstupních promluv (Utterances)
• R - množina výstupních promluv (Responses) a Q - množina stavů dialogu.
• Určuje následující krok dialogu v závislosti na vstupní promluvě a stavu dialogu (jeho předchozím průběhu).
• Hodnotící funkce dialogu E přiřazuje danému dialogu reálné číslo popisující jeho úspěšnost z pohledu daného účastníka dialogu.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Klasifikace dialogových strategií
• Dělení dialogu z pohledu hodnotící funkce:
« d je kooperativní dialog pokud E\ (d) = E2{d) o d je nekooperativní dialog pokud E<\ (d) ^ E2{d)
• d je dialog s nulovým součtem pokud E<\ (d) = -E2{d)
• Další krok dialogu je vždy určen dialogovou strategií jedné z komunikujících stran.
• Např. jedna strana se ptá, druhá odpovídá.
• U dialogové komunikace člověk (uživatel) - počítač rozlišujeme:
• strategii s iniciativou systému - systém se ptá, uživatel odpovídá
• strategii s iniciativou uživatele - uživatel se ptá, systém odpovídá
• strategii se smíšenou iniciativou - strany se v určování průběhu dialogu střídají. Většinou je z počátku iniciativa ponechána na uživateli. Systém se ujímá iniciativy pokud uživatel nezadal korektně všechny potřebné údaje.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Pravidla pro vedení kooperativního dialogu (H. R Grice)
• Autorem britský jazykovědec Herbert Paul Grice.
o Pokud chtějí dva lidé vést kooperativní dialog měli by se držet následujících aspektů: O Aspekt informativnosti:
• Buď přiměřeně informativní - nesděluj druhé straně ani méně ani více informací, než je pro daný dialog potřeba.
O Aspekt přesvědčivosti:
• Neuváděj nepravdivé informace.
9 Neuváděj informace, které nelze dokázat nebo doložit.
O Aspekt způsobu:
• Informace v replice by měla být co nejvíce explicitní.
• Vyhýbejte se nejednoznačnostem.
• Usilujte o stručnost.
• Buďte disciplinovaní, udržujte v dialogu pořádek, např. neměňte bezdůvodně cíl/téma dialogu.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Pravidla pro vedení kooperativního dialogu (H. R Grice)
Dokončení
Q Aspekt zdvořilosti, empatie a etiky:
• Minimalizujte nároky vůči komunikačnímu partnerovi, maximalizujte výhody pro něj.
• Minimalizujte nedostatky komunikačního partnera, maximalizujte jeho přednosti.
• Maximalizujte souhlas s partnerem a minimalizujte nesouhlas.
• Maximalizujte empatii vůči komunikačnímu partnerovi.
SIN04: Řečová interakce a sociální sítě
• Hlasový dialog:
• tváří v tvář
• pomocí telekomunikačních prostředků - telefon, vysílačka,
• hlasový IM (Skype, Jabber/Gmail Talk, IP telefonie, ...)
• Textový dialog:
© pošta - nevýhoda - délka trvání jednoho obratu.
• elektronická pošta
• IM
• různé formy IRC
9 ...
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy	
Dialogový systém - základ	ní pojmy
• Dialogový systém - informační systém komunikující s uživatelem formou dialogu v přirozeném jazyce.
• Většinou se jedná o dialogové rozhraní ke klasickému IS.
• Často komunikace mluvenou řečí.
• Alternativně:
• komunikace pomocí DTMF
o textová komunikace přirozenou řečí
• multimodální komunikace:
• řeč + obraz (simulace lidské tváře, titulky ve znakové řeči,...) řeč + text
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy								
Výf	"lod	yd	ia	log	ových	rozh	ire	iní oproti GUI
• Přirozenější způsob komunikace
• V ideálním případě by uživatel neměl poznat, že komunikuje s počítačem.
• Umožňuje vedení uživatele procesem zadávání údajů krok za krokem.
• Lepší přístupnost pro lidi s různými druhy postižení:
o zrakově postižení uživatelé, o motoricky postižení uživatelé,
o uživatelé mající problémy s ovládáním počítače pomocí GUI,
• zlepšení přístupnosti - multimodální rozhraní,
• umožňuje přístup ke službám IS bez nutnosti použití vlastnit počítač - stačí telefon.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
hraní oproti GUI
Rychlost komunikace: • sekvenční vnímání zvuku vs. paralelní vnímání obrazu, o lze částečně eliminovat pomocí vhodné dialogové strategie.
Špatná přístupnost/nepřístupnost pro uživatele s postižením sluchu
řešení - multimodální dialogová rozhraní.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy	
Historie dialogových systéi	mů
o Eliza
o počátek 60. let,
• počítačová simulace rozhovoru s psychoterapeutem, 9 textové komunikace v přirozeném jazyce.
• Parry
• autor K. M. Colby (1963),
• simulace paranoidního pacienta - reakce na Elizu,
• v řadě dialogů nebylo možné jednoznačně určit, zda se jedná o simulaci nebo reálného pacienta.
o Expertní systémy
• pracují se znalostní databází vytvořenou experty v dané oblasti.
• Znalostní databáze obsahují:
• fakta,
9 inferenční pravidla - pravidla pro odvozování závěrů na základě zjištěných faktů.
• DENDRAL - expertní systém z oblasti organické chemie
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy					
				r            3" W	nů
• Expertní systémy (dokončení):
• INTERNIST I - expertní systém pro pomoc při diagnostice (1970, University of Pittsburgh Medicine School).
• MYCIN
• Stanford University (70. léta),
• navazuje na INTERNIST I (jeden z autorů společný),
• obsahoval i pokročilá odvozovací pravidla,
• diagnostika bakteriálních onemocnění,
o ve 3/4 případů shoda s lidským expertem.
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Aktuální stav oblasti dialogových systémů
Fl MU • Laboratoře:
« LSD - Laboratoř vyhledávání a dialogu - vedoucí - doc.
Kopeček, prof. Zezula • zaměření:
• vyhledávání
• dialogové systémy
• zpracování zvuku
• asistivní technologie
• NLP - Laboratoř zpracování přirozeného jazyka - vedoucí
doc. Pala 9 zaměření:
• textové korpusy « slovníky
o morfologie
o syntaktická analýza
• sémantická analýza
SIN04: Rečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
'   " 'ialogových systémů
• FIT VUT Brno:
o analýza signálu
• rozpoznávání řeči
• systémy pro automatizovaný záznam a zpracování konferencí
9 ...
• ZČU Plzeň
• rozpoznávaní reci
• syntéza řeči
• dialogové systémy
9 ...
ČVUT Praha
• syntéza řeči počítačová lingvistika
9 ...
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
"ialogových systémů
Zbytek světa
• World Wide Web Consortium Voice Browser Working Group:
o vývoj a správa standardů pro tvorbu dialogových rozhraní o vývoj a správa standardů pro tvorbu multimodálních
dialogových rozhraní 9 členové:
a IBM
o Nuance Communication
• Lucent Technologies
• Motorola
• ScanSoft
• Telíme Networks 9 Vocalocity
• ...
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Aktuální stav oblasti dialogových systémů
Akademická sféra
• MIT
• Carnegie Mellon University (CMU)
• OGI
• EPF Lausane
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Struktura dialogového systému
Lingvistické
Uživatelský profil
Doménové znalosti
Sémantický analyzátor
Kontexty dialogu
Dialogový manažer
Syntetizér	
řeči	
Generátor sdělení
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy							
	Korr	iponenty d	ia	log	over	10 í	systému (1.)
o Uživatel - koncové zařízení, které zprostředkovává komunikaci uživatel ^ dialogový systém.
• telefon
o IP telefon « IM klient
• textový klient
9 ...
• Rozpoznávání řeči:
• Převádí mluvené slovo na text. o Využívá se:
• rozpoznávání plynulé řeči
o rozpoznávání izolovaných slov
9 Pro zvýšení úspěšnosti se používají lingvistické znalosti (n-gramy, gramatiky pro rozpoznávání řeči).
• Používané standardy:
• JSGF - definována v Java Speech API
9 SRGS - standard W3C Voice Browser WG
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy
Komponenty dialogového systému (2.)
Sémantický analyzátor:
• Snaží se získat relevantní informace z rozpoznaného textu.
• např. hodnoty vstupních polí
• Využívá db. lingvistických znalostí (atributové gramatiky,
Dialogový manažer
• Řídí průběh komunikace s uživatelem na základě:
• aktuálního stavu dialogu - informace o dosavadním průběhu (zadané údaje, chybovost uživatele, chybovost rozpoznávání řeči pro daného uživatele, ...)
• použité dialogové strategie.
• K implementaci lze využít standard VoiceXML
SIN04: Řečová interakce a sociální sítě
Dialogová komunikace Dialogové systémy							
	Korr	iponenty d	ia	log	over	10 í	systému (3.)
• Generátor promluv
o Na základě sémantických informací od dialogového manažeru generuje smysluplnou promluvu pro uživatele.
• Lze použít např. rámce a sloty.
• rámec - předpřipravená promluva
• slot - proměnlivá část rámce, doplněná informací od dialogového manažeru.
• Výstup může být doplněn o prozodické informace.
• Výstup může být popsán pomocí standardů:
• SABLE o SSML
• Syntetizér řeči
• Na základě promluvy od generátoru provádí syntézu dané promluvy.
SIN04: Řečová interakce a sociální sítě