Dialogové systémy
Luděk Bártek
Laboratoř vyhledávání a dialogu, Fakulta Informatiky Masarykovy Univerzity,
Brno
jaro 2013
Základy fonetiky
Dialogové systémy
Zkoumá zvukovou stránku jazyka z různých aspektů. Základní pojmy, které souvisejí s dialogovými systémy:
■ foném
■ samohlásky - formanty
■ souhlásky - znělost/neznělost souhlásek
■ koartikulace
■ spodoba znělosti
	Fonémy a fonetická transkripce	
Dialogové		
systémy		
Luděk Bártek	■	Foném - elementární zvukový segment, který je vymezen
Základy fonetiky		na základě své schopnosti diferencovat vyšší, znakové
		jednotky jazykového systému (morfémy).
Úvod do počítačového	■	Fonetická transkripce (přepis) - převod psaného textu do
zpracování zvuku		odpovídající fonetické podoby:
Komunikace uživatel -		na shledanou —> na zhledanou   na schledanou
dialogový systém	■	Fonetická abeceda - slouží k zápisu fonetického přepisu
Vol P SIP		■ Mezinárodní fonetická abeceda (IPA) - součástí standardu
Zpracování di-		UNICODE
gitalizovaného signálu		■ Řečové vyhodnocení metod fonetické abecedy (SAMPA) -
Analýza digitalizovaného		sedmibitový přepis fonetické abecedy, využívá se při
		automatizovaném zpracování (např. řečový syntetizér
Analýza digitalizovaného		MBrola, ...)..
signálu ve frekvenční		<!►    1 -o^O
Samohlásky
Dialogové systémy
Samohláska - samostatně tvoří slabiku Rozdělení samohlásek:
■ krátké: a, e, i, o, u
■ dlouhé: á, é, í, ó, ú
■ dvojhlásky: eu, au, ou
Obsahují:
■ základní hlasivkový tón - frekvence kmitání hlasivek (100 — 400 Hz)
■ formanty - frekvence vzniklé a zesílené rezonancí v hlasových dutinách.
Formanty
Dialogové systémy
Frekvence vzniklé a zesílené rezonancí v hlasových dutinách
■ Fl - vzniká rezonancí v dutině ústní.
■ F2 - vzniká rezonancí v dutině hrdelní.
Existují i vyšší formanty (F3, ...) - výskyt je často individuálni.
Výskyt a intenzita formantu se může lišit v závislosti na:
■ pohlaví - muž/žena
■ věku - dětství/dospívání/dospělost/seniorský věk
■ zdravotním stavu - např. nachlazení, ochraptělost, nemoci hlasivek a hrtanu, . ..
Formanty Fl a F2 pro české samohlásky
Dialogové systémy
Samohláska	Formant Fl	Formant F2
a	700 — 1100 Hz	1100 — 1500 Hz
e	500 — 700 Hz	1500 — 2000 Hz
i	300 — 500 Hz	2000 — 3000 Hz
o	500 — 700 Hz	900 — 1200 Hz
u	300 — 500 Hz	600 — 1000 Hz
Tabulka : Formanty Fl a F2 u samohlásek
Četnost výskytu samohlásek
Komunikace uživatel -dialogový systém Vol P SIP
Zpracování digitalizovaného signálu
Analýza
digitalizovaného Analýza
digitalizovaného frekvenční
Samohláska(y)	Relativní četnost
[e]	10 %
[a]. M, H	6 — 7 %
[í]	4 %
[á], [u], [é], [ou], [ú]	< 4 %
[ó], [au], [eu]	pouze nepatrná frekvence
Souhlásky
Komunikace uživatel -dialogový systém Vol P SIP
Zpracování digitalizovaného signálu
Analýza
digitalizovaného Analýza
digitalizovaného frekvenční
■ Na rozdíl od samohlásek jsou souhlásky dynamické děje.
■ Silně závisí na kontextu, ve kterém se nacházejí.
■ Tónový charakter mají pouze části některých souhlásek:
■ Dělí se podle:
■ znělé - vznikají v hltanu, obsahují základní hlasivkový tón.
■ neznělé - vznikají v řečových dutinách (nosohltanové, ústní, .. .), mohou mít charakter šumu (např. sykavky):
■ problematická detekce začátku promluvy při zašuměném zdroji.
■ Znělé a neznělé samohlásky se mohou vyskytovat v párech (párové souhlásky) např.:
■ r/l
■ b/p
■ d/t
	Digitalizace zvuku
Dialogové systémy	
Luděk Bártek	
Základy fonetiky	
Úvod do počítačového zpracování zvuku Komunikace uživatel -dialogový systém Vol P SIP	■ Kroky digitalizace zvuku: Q vzorkování - snímání aktuální hodnoty signálu s danou frekvencí (vzorkovací frekvence) Q kvantizace - převod reálných hodnot na celočíselné Q kódování průběhu vlny - způsob ukládání informací o průběhu zvuku.
Zpracování digitalizovaného signálu Analýza digitalizovaného	
Analýza digitalizovaného frekvenční	
	Vzorkování	
Dialogové systémy Luděk Bártek		
	■	Snímání aktuální hodnoty signálu s danou frekvencí -vzorkovací frekvence.
Základy fonetiky	■	Vzorkovací frekvence - měla by být minimálně
Úvod do počítačového zpracování		dvojnásobkem nejvyšší frekvence, která je v signálu přítomna, aby bylo možné původní signál bez ztráty
Komunikace		informace zrekonstruovat (Shannonův vzorkovací teorém).
uživatel -dialogový	■	Získané hodnoty musí být následně kvantizovány a
systém Vol P		vhodným způsobem uloženy.
SIP	■	Nej používanější vzorkovací frekvence:
Zpracování digitalizovaného		■ 8 kHz - telefonní kvalita
signálu Analýza		■ 16 kHz
digitalizovaného		■ 22050 Hz - rozhlasová kvalita
Analýza		■ 44100 Hz - CD kvalita
digitalizovaného frekvenční		■ 48 kHz - DVD kvalita
		<!►    1 -o^O
Metoda převodu spojitých hodnot na diskrétní. Princip:
■ Pokud hodnota signálu překročí n. násobek kvantizačního kroku je jí přiřazena hodnota n.
■ kvantizační krok — rozsah hodnot měřené veličiny/počet diskrétních hodnot
■ kvantizační chyba - zaokrouhlován chyba způsobená velikostí kvantizačního kroku, přímo úměrná velikosti kvantizačního kroku.
Běžně používané kvantizace:
■ zpracování zvuku:
■ 28
■ 216
■ 224
■ zpracování obrazu, .. . navíc
■ 232
	Způsoby kódování průběhu vlny	
Dialogové systémy		
Luděk Bártek Základy fonetiky Úvod do počítačového zpracování zvuku Komunikace uživatel -dialogový systém Vol P SIP	■	Přímé ukládání hodnot získaných kvantizací- kódování PCM (Pulse-Code Modulation). ■ relativně pomalé změny průběhu zvukového signálu - malé rozdíly mezi sousedními vzorky. ■ Velká redundance dat. ■ Problém v případě příliš velkého rozptylu amplitud v signálu - příliš velký kvantizační krok - příliš velká kvantizační Chyba, příliš malý kvantizační krok - přetečení v okamžiku zvětšení amplitudy signálu.
Zpracování digitalizovaného	■	Diferenční PCM - ukládá se rozdíl mezi sousedními vzorky
signálu Analýza digitalizovaného Analýza digitalizovaného	■	Adaptivní diferenční PCM — diferenční PCM s proměnou velikostí kvantizačního kroku.
frekvenční		
Vychází z předpokladů:
Rozdíl dvou po sobě jdoucích vzorků je podstatně menší hodnota než hodnota vzorku.
Následující vzorek lze poměrně přesně odhadnout jako lineární kombinaci předchozích vzorků.
s"(n) - odhad hodnoty řečového vzorku s'(n) - rekonstruovaný signál, získaný jako součet kvantizovaného signálu S'(n) a s"(n) S(n) = s(n) - s"{n)
	Adaptivní pulsní kódová modulace
Dialogové systémy	
Luděk Bártek	
Základy fonetiky Úvod do počítačového zpracování zvuku Komunikace uživatel -dialogový systém Vol P	■ Možné velké změny amplitudy signálu: ■ Nepřesné zachycení slabého signálu - amplituda je příliš malá, srovnatelná s kvantizačním krokem (příliš velký kvantizační krok). ■ Zkreslení (ořezání) silného signálu - dojde k přetečení rozsahu hodnot určených pro zakódování signálu (příliš malý kvantizační krok).
SIP Zpracování digitalizovaného signálu Analýza digitalizovaného	■ Řešení: přizpůsobení kvantizačního kroku amplitudě signálu.
Analýza digitalizovaného frekvenční	
Způsoby komunikace uživatele s dialogovým systémem
Dialogové systémy
Hlasová:
■ komunikace většinou prostřednictvím telefonní sítě (PSTN, VoIP).
■ Digitalizace hlasu probíhá:
■ Na straně uživatele - komunikace pomocí VoIP.
■ Na straně telefonní ústředny - DS používá VoIP, uživatel používá PSTN.
■ Na straně DS - uživatel i DS používají PSTN.
■ Rozpoznávání řeči probíhá většinou na straně DS.
Způsoby komunikace uživatele s dialogovým systémem
Dialogové systémy
textová:
■ uživatel komunikuje s DS buď pomocí specializovaného klienta nebo pomocí běžných protokolů z rodiny TCP/IP.
■ Odpadá nutnost rozpoznávání řeči.
■ Využívá se hlavně pro vývoj a ladění.
hlasová+textová:
■ komunikace s DS bud' VolP nebo specializovaný klient.
■ V případě VolP text bud' pomocí DTMF nebo simulace SMS.
IP Telefonie
Používané protokoly
Komunikace uživatel -dialogový systém Vol P SIP
Zpracování digitalizovaného signálu
Analýza
digitalizovaného Analýza
digitalizovaného frekvenční
■ VolP - rodina protokolů pro řízení průběhu hlasové komunikace a přenos hlasu přes internet (síť na bázi IP).
■ Využívá se pro IP telefonii.
■ Využívá protokoly:
■ UDP (transportní vrstva):
■ Stará se o přenos paketů přes počítačovou síť mezi dvěma body.
■ Není zajištěno doručení paketů ani jejich pořadí.
■ Výhoda - nízká režie přenosu dat.
■ Nevýhody - možná ztráta dat a možnost velkých rozdílů v rychlosti doručení jednotlivých paketů
■ RTP (relační vrstva):
■ Využívá se pro přenos multimediálních dat.
■ Zajišťuje doručení paketů.
■ Umožňuje řízení parametrů přenosu - zajistí malé rozdíly v rychlosti doručení paketů.
	IP telefonie
	Používané protokoly
Dialogové	
systémy	
Luděk Bártek	
Základy fonetiky	■ VolP - řada implementací
Úvod do	■ liší se
počítačového zpracování	■ použitými standardy - H.323 (na ústupu, standard ITU,
zvuku	komplexní, relativně komplikovaný), SIP (jednodušší
Komunikace uživatel -	náhrada H.323, v současnosti velmi rozšířený), firemní-
dialogový systém Vol P	Skinny (Cisco), HFA (Siemens), .. .
	■ službami - telefonie, TV (DVB), fax, zasílání zpráv, .. .
SIP	■ signalizací - závisí na zvoleném standardu a použitých
Zpracování digitalizovaného	protokolech.
signálu	■ .. .
digitalizovaného	
Analýza	
digitalizovaného	
frekvenční	
	Session Initiation Protocol (SIP)
Dialogové	
systémy	
Luděk Bártek	
Základy	■ protokol pro řízení signalizace pro VolP na aplikační vrstvě
fonetiky	OSI modelu
Úvod do počítačového	■ textový protokol pracující v režimu klient-server,
zpracování zvuku	poskytující mechanismy pro:
Komunikace	■ přesměrování hovoru
uživatel -dialogový	■ číselnou identifikaci volajícího a volaného
systém	■ osobní mobilitu
Vol P SIP	■ autentizaci volajícího a volaného
Zpracování di-	■ podpora konferenčních hovorů prostřednictvím
gitalizovaného signálu Analýza digitalizovaného	vícesměrového zasílání dat (multicast). ■ .. .
Analýza digitalizovaného frekvenční	
SIP -
pokračovaní
Identifikace účastníka - URI ve tvaru sip:číslo@adresa_počítače
m číslo - číslo přidělené uživateli na daném stroji (VolP ústředně)
■ adresa počítače - adresa (FQDN/IP) ústředny, na které je uživatel registrován.
SIP relace může být:
■ přímá - navázána přímo komunikujícími stranami
■ s použitím SIP proxy serveru/ů - tyto slouží jako registrátoři účastníků.
Činnosti protokolu SIP:
■ Lokalizace účastníka - pomocí identifikace
■ Zjištění stavu účastníka - připravenost k přijetí hovoru vs. obsazeno/přesměrováno
■ Zjištění možností účastníka - dostupné kodeky, dostupná šířka pásma, podpora audia/videa, .. .
■ Vlastní navázání spojení - využívá se protokol SDP
■ popisuje navazované spojení,
1 -00.0
Řízeni průběhu spojení pomocí protokolu SIP
Dialogové systémy
telefon Alice
SIP proxy Atlanta
SIP proxy Biloxi
telefon Boba
		
* íoä^ŕtvírig	"*—Tro RmgW	*—ÍBČTŘW^
*-2ÔÓÔK	+-2Ô0ÔK ACK	*--2ÔÔÔK
	multimediální relace	
4---	bve	
	100 OK	--*■
► Zvoní
h Zavěsil
Zpracování digitalizovaného signálu
Dialogové systémy
Zvuk je neměnný pouze na krátkých časových úsecích -metody krátkodobé analýzy.
Tento interval se nazývá mikrosegment - velikost   10 — 40 ms.
Metody krátkodobé analýzy:
■ V časové oblasti - zpracovávají se přímo hodnoty jednotlivých vzorků.
■ Ve frekvenční oblasti - ze vzorků se získávají frekvenční charakteristiky, které jsou následně zpracovány.
Modelování funkce Cortiho ústrojí - pomocí diferenciálních rovnic se simuluje rezonance na určitých vlákénkách Cortiho ústrojí.
Při krátkodobé analýze předpokládáme, že signál je v okolí mikrosegmentu periodický se stejnou periodou jako uvnitř.
Vzniklá chyba se kompenzuje použitím „okénka".
Okénko - posloupnost vah pro vzorky v mikrosegmentu.
Tyto váhy by měly odpovídat tomu, jak je daný vzorek ovlivněn okolím mikrosegmentu. Nejčastěji používané typy okének:
■ pravoúhlé okénko
■ Hammingovo okénko
Hammingovo okénko
Komunikace uživatel -dialogový systém Vol P
Zpracování digitalizovaného signálu
Analýza
digitalizovaného Analýza
digitalizovaného frekvenční
Vychází z předpokladu, že čím jsou vzorky blíže středu mikrosegmentu, tím méně jsou ovlivněny okolím.
■ Pro výpočet vah se používá vzorec:
, ,     Ín = 0.../V-1   0.54 - 0A6cos(j£") w(n) = < { >-)
[n<0Vn>« 0
■ Průběh vah okénka na mikrosegmentu:
1 -00.0
	Pravoúhlé okénko
Dialogové systémy	
Luděk Bártek	
Základy fonetiky	■ Vychází se z předpokladu:
Úvod do počítačového zpracování	Q vzorky mikrosegmentu nejsou pro naše potřeby ovlivněny okolím mikrosegmentu
zvuku	B všechny vzorky mikrosegmentu jsou ovlivněny stejně.
Komunikace uživatel -dialogový systém Vol P Zpracování digitalizovaného signálu	■ Všechny vzorky mikrosegmentu mají shodnou váhu. , .     ÍO < n < N 1 w(n) = < |/)<0Vn>« 0
Analýza digitalizovaného Analýza digitalizovaného	
frekvenčn i	<!►    1 -o^O
Analýza digitalizovaného signálu v časové oblasti
Dialogové systémy
Luděk Bártek
Vychází přímo z hodnot vzorku, nikoliv z hodnot spektra. Používané metody:
■ funkce krátkodobé energie
■ funkce krátkodobé intenzity
■ funkce středního počtu průchodů nulou
■ diference 1. řádu
■ autokorelační funkce
4Ľ3k4l3*4 = k4 = *      -š -O^O
Analýza v časové oblasti
Funkce krátkodobé energie
Dialogové systémy
Využíva funkci průměrné energie v rámci segmentu:
oo
E(n)=  £ (s(kMn-k))2
k——oo
m s(k) - vzorek v čase k
■ Lú(n — k) - váha odpovídajícího okénka pro čas k Výstupem je průměrná energie v daném okénku. Druhá mocnina zvyšuje dynamiku zvukového signálu. Použití:
■ automatické oddělení ticha řeči (signálu)
■ příznaky v jednoduchých klasifikátorech slov
■ oddělení znělých a neznělých částí promluvy.
Analýza v časové oblasti
Funkce krátkodobé intenzity
Dialogové systémy
Funkce intenzity signálu v daném okénku.
oo
/(n)=  £ \s(k)Hn-k)
k=-c
m \s(k)\ - absolutní hodnota vzorku v čase k
■ Lú(n — k) - váha odpovídajícího okénka pro čas k
Použití - stejné jako funkce krátkodobé energie.
Oproti krátkodobé energii nezvýrazňuje tolik dynamiku řečového signálu.
Analýza v časové oblasti
Krátkodobá funkce středního počtu průchodu nulou
Dialogové systémy
Počítá změny znaménka digitalizovaného signálu.
oo
Z(n)=  £ \sgn[s{k)] - sgn[s{k - l)]\u{n - k)
k——oo
Varianta - počet lokálních extrémů.
Obě metody mohou být negativně zatíženy šumem
zvukového pozadí.
Použití:
■ detekce ticha
■ detekce začátku a konce i zašuměné promluvy
■ přibližné určení základního hlasivkového tónu a formantů
■ příznaky jednodušších klasifikátorů slov
Analýza v časové oblasti
Autokorelační funkce
Dialogové systémy
Vrací podobnost úseků daného mikrosegmentu (čím větší výsledná hodnota, tím podobnější úseky posunuté o m vzorků).
R(m,n)=        {s{k)iú(n - k))(s(k + m)Lú(n - k + m))
k——oo
Je-li signál periodický s periodou P, R(m,n) nabývá maxima pro m=0, P, 2P, ...
Předpokládá délku mikrosegmentu aspoň 2P. Použití:
■ Používá se k zjišťování periodicity signálu základního tónu řeči.
■ Základ pro výpočet koeficientů LPA
Analýza signálu ve frekvenční oblasti
Dialogové systémy
Transformuje digitální řečový signál z časové oblasti do frekvenční oblasti.
Využívá k tomu nejčastěji Fourierovu transformaci. Nejčastěji používané druhy analýzy ve frekvenční oblasti:
■ krátkodobá Fourierova transformace
■ krátkodobá diskrétni Fourierova transformace
■ rychlá Fourierova transformace
■ kepstrální analýza
■ lineární predikce
	Analýza signálu ve frekvenční oblasti Krátkodobá Fourierova transformace	
Dialogové		
systémy		
Luděk Bártek	■	Vychází z Fourierovy transformace:
Základy		oo
fonetiky U vo d do		S{u, t) =        s{k)h{t - k)e-jwk
počítačového zpracování		k——oo
zvuku Komunikace		■ Obyčejnou Fourierovu transformaci získáme fixací času t.
uživatel -dialogový		■ \5{bJ, ť)\ - amplituda složky akustického spektra
systém		odpovídající frekvenci uj v čase ř.
SIP		■ h(n) - váhová funkce okénka.
Zpracování digitalizovaného	■	Předpokládá na vstupu periodickou funkci - zvuk je
signálu Analýza		periodický na krátkých časových úsecích.
	■	Při jejím použití se předpokládá, že zpracovávaný
Analýza digitalizovaného frekvenční		mikrosegment se periodicky opakuje.
		
Analýza signálu ve frekvenční oblasti
Diskrétní Fourierova transformace
Používá se pro vyjádření spektrálních vlastností periodických posloupností s periodou N vzorků resp. konečných posloupností délky N vzorků. Výpočet koeficientů X(k) DFT:
X{k)
N-l
J2x(n)exp(-j^jkn)
n=0
.27T
N-l n=0
■ - intenzita k. spektrálního koeficientu, frekvence závisí na velikosti mikrosegmentu N a vzorkovací frekvenci.
■ x(n) - n. vzorek daného mikrosegmentu
* Wn = exp(j * 2k/N) = cos{2tt/N) +j* s/n(27r//V). Výpočet n. vzorku na základě hodnot X(k) - IDFT: N-i n . N-
x(") = ^ £*(*)<*p(/^m = ^ £*(*w
k=0
k=0
kn N >
1 -00.0
	Ana Rychlí	lýza signálu ve frekvenční oblasti í diskrétní Fourierova transformace
Dialogové systémy		
Luděk Bártek		
Základy fonetiky		
Úvod do počítačového zpracování zvuku	■	Výpočet spektrálních koeficientů pomocí DFT - n2 operací nad komplexními čísly.
Komunikace uživatel -dialogový systém	■ ■	Pomocí FFT - N * log2N/2 operací násobení. FFT požaduje, aby délka analyzovaného segmentu byla
Vol P SIP		mocninou 2.
Zpracování digitalizovaného signálu		
Analýza digitalizovaného		
Analýza digitalizovaného frekvenční		
	Ana Kepstr	lýza signálu ve frekvenční oblasti "ální analýza
Dialogové		
systémy		
Luděk Bártek	■	Vychází z modelu činnosti hlasového ústrojí.
Základy	■	Řečové kmity lze modelovat jako odezvu lineárního
fonetiky		systému na buzení sestávající ze sledu pulzů pro znělou řeč
Úvod do počítačového		a šumu pro neznělou.
zpracování zvuku	■	Kepstrum - X(k) = IFFT(FFT(x(k)))
Komunikace uživatel -	■	Kepstrální analýza umožňuje z řeči oddělit parametry
dialogový systém		buzení a parametry hlasového ústrojí.
Vol P SIP	■	Využití:
Zpracování di-		■ ocenění fonetické struktury řeči - znělost perioda
gitalizovaného signálu		základního tónu, formanty, . ..
Analýza digitalizovaného		■ rozpoznávání slov
Analýza digitalizovaného		■ verifikace a identifikace mluvčího ■ .. .
frekvenční		
Analýza signálu ve frekvenční oblasti
Lineárni prediktivní analýza
Jedna z nejefektivnějších metod analýzy akustického signálu - zajišťuje velmi přesné odhady parametru při relativně malé zátěži.
Vychází z předpokladu, že s(/c) lze popsat jako lineární kombinaci N předchozích vzorků a buzení u(k):
s(k)
N
/=1
/) + Gu{k)
kde G je koeficient zesílení a A/ řád modelu. Použití:
■ určování spektrálních charakteristik modelu hlasového ústrojí
■ z chyby predikce lze odvodit poznatky o znělosti a určit frekvenci základního hlasivkového tónu
■ koeficienty a,- nesou informaci o spektrálních vlastnostech
lze je použít jako příznaky pro rozpoznávání řečiL
1 -00.0