Zpracování digitalizovaného signálu Úvod do počítačového zpracování řeči Luděk Bártek Fakulta Informatiky Masarykova Univerzita podzim 2019 Luděk Bártek Úvod do počítačového zpracování řeči Q Zpracování digitalizovaného signálu • Metody krátkodobé analýzy • Váhová okénka • Zpracování signálu v časové oblasti • Zpracování signálu ve frekvenční oblasti Luděk Bártek Úvod do počítačového zpracování řeči Metody krátkodobé analýzy . Váhová okénka Zpracovaní digitalizovaného signálu Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Metody krátkodobé analýzy • Zvuk je periodický pouze na krátkém intervalu. • Zpracování signálu na krátkém časovém intervalu (mikrosegmentu), kde se nepředpokládají výraznější dynamické změny. o velikost od 10 do 40 ms • Metody krátkodobé analýzy: • v časové oblasti, • ve frekvenční oblasti. Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti o Nevýhoda použití mikrosegmentu: • Chyba způsobená předpokladem, že zvuk v okolí okénka zůstává periodický s periodou okénka. • Tuto chybu lze kompenzovat použitím okénka. • Okénko - posloupnost vah pro vzorky v mikrosegmentu. • Nejběžněji používané typy okének: o hammingovo, • pravoúhlé. Luděk Bártek Úvod do počítačového zpracování řeči Metody krátkodobé analýzy . Váhová okénka Zpracovaní digitalizovaného signálu Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Pro výpočet n. váhy se využívá vztah f 0,54 - 0, AQcos{^) n = 0... N - 1 U^n* ~ ^ 0 n < 0 V n> N N - počet vzorků v mikrosegmentu • Hammingovo okénko pro mikrosegment délky 64 Luděk Bártek Úvod do počítačového zpracování řeči Priradí každému prvku mikrosegmentu váhu 1 uj(ri) = 1 n = 0... A/ - 1 0 n< 0vn>N N - délka mikrosegmentu Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Analýza digitalizovaného signálu v časové oblasti 1 • Vychází se přímo z hodnot vzorků, nikoliv z hodnot spektra. • Používají se: « funkce krátkodobé energie funkce krátkodobé intenzity • krátkodobá funkce středního počtu průchodů nulou • diference 1. řádu Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti LSJ Lis R ie • Výpočet podle vzorce: oo E(n) = (s(kMn ~ k)f k=—oo o s(k) - vzorek v čase k, u(n - k) - váha odpovídajícího okénka pro čas k • Výstupem je průměrná energie v rámci segmentu. o Značně citlivá na velké změny úrovně signálu v rámci segmentu. o Druhá mocnina zvyšuje dynamiku zvukového signálu, o Ukázka výpočtu funkce krátkodobé energie v Octave. • Využití: • detekce ticha a promluvy • příznaky pro jednoduché klasifikátory slov • oddělení znělých a neznělých částí promluvy Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti ty o Funkce krátkodobé intenzity: oo l(n)= \s(k)co(n - k)\ k=—oo * Použití - shodné s funkcí krátkodobé energie. • Ukázka implementace pro systém Octave. Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Ukázka průběhu funkce kr átkodobé energie 50 100 150 200 250 300 Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Ukázka průběhu funkce kr átkodobé intenzity JUU Luděk Bártek Úvod do počítačového zpracování řeči Metody krátkodobé analýzy . Váhová okénka Zpracovaní digitalizovaného signálu Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Krátkodobá funkce středního počtu průchodů nulou • Krátkodobá funkce středního počtu průchodu nulou: o součet všech průchodů signálu nulou oo z(n) = \sgn[s(k)] - sgn[s(k --\)]\cj(n - k) k=—oo 9 varianta - počet lokálních extrémů • obě mohou být negativně ovlivněny šumem zvukového pozadí • Využití: • detekce začátku a konce slova (i zašuměného) • určení základního hlasivkového tónu • přibližné určení formantů • ... Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Ukázka průběhu funkce středního počtu průchodů nulou 70 - ■ 0 SO 100 150 200 250 300 Figure: ZCR pro promluvu: „Jak se máš? " Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti racovaní sianalu ve frekv • Diference prvního řádu oo Dn= \s(k) - s(k - 1)Kn - k) k=—oc Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Krátkodobá autokorelační funkce • Krátkodobá autokorelační funkce: oo R{m, n) = ^2 (s(k)uj(n - k))(s(k + m)u{n - k + m)) k=—oo používá se při zjištování periodicity signálu základního tónu reci • je-li signál periodický s periodou T, R(m,n) nabývá maxima pro m = 0, 7,2 • 7,... • předpokládá délku mikrosegmentu aspoň 2 • 7 Luděk Bártek Úvod do počítačového zpracování řeči Metody krátkodobé analýzy . Váhová okénka Zpracovaní digitalizovaného signálu Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Zpracování signálu ve frekvenční oblasti • Transformují hodnoty vzorků na různé frekvenční charakteristiky. • Většinou je lze chápat jako spektrální charakteristiky. • Nejvíce používané: • krátkodobá Fourierova transformace • kepstrální analýza • lineární prediktivní analýza Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Fourierova řady Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti f(x) - periodická funkce s periodou T, která má na intervalu T konečný počet extrémů a nespojitostí oo a0 f(x) = 4- + J](a/cCOs(/cx) + bksin(kx)) /c=1 Způsob výpočtu koeficientů a, a £>,-: • a, a + T - interval periodicity funkce f 2 ak = y / f(x)cos(kx)dx 2 bk = -f / f(x)sin(kx)dx Nelze přímo použít - digitalizovaný zvuk není spojitý a je periodický pouze na omezených úsecích. Luděk Bártek Úvod do počítačového zpracování řeči Zpracování digitalizovaného signálu Metody krátkodobé analýzy Váhová okénka Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Diskrétní Fourierova Tran sformace (DFT) • Používá se pro vyjádření spektrálních vlastností periodických posloupností s periodou N vzorků případně konečných posloupností délky N vzorků. • Výpočet koeficientů X(k) DFT: A/-1 A/-1 X(k) = ^ x{n)e-^kn = x(n)u-kn n=0 n=0 • \X(k)\ - intenzita k. spektrálního koeficientu; frekvence závisí na velikosti mikrosegmentu N a vzorkovací frekvence T • x(n) - n. vzorek daného mikrosegmentu. " 2 7T o o • UJ = e'^T = COS(^rr) + / sin(jj-) Luděk Bártek Úvod do počítačového zpracování řeči Metody krátkodobé analýzy . Váhová okénka Zpracovaní digitalizovaného signálu Zpracování signálu v časové oblasti Zpracování signálu ve frekvenční oblasti Výpočet hodnoty vzorku na základě hodnot X(k) Výpočet n. vzorku na základě hodnot X(k) - Inverzní diskrétní Fourierova transformace (IDFT): 1 A/-1 1 A/-1 = n £ X<