Uvod do počítačového zpracování řeči
Luděk Bártek
Fakulta informatiky Masarykova univerzita
podzim 2014
Luděk Bártek
Úvod do počítačového zpracování řeči
Obsah
Luděk Bártek        Úvod do počítačového zpracování řeči
Cíle rozpoznávání řeči
Cíle rozpoznávání řeči:
• Interpretace příkazů uživatele -zařízení.
• telefon
• navigace
asové ovládání různých
• Převod mluveného slova na text - přepis mluveného slova • záznamy soudních přelíčení
Druhy rozpoznávání řeči:
• rozpoznávání izolovaných slov
• rozpoznávání plynulé promluvy
Luděk Bártek
Úvod do počítačového zpracování řeči
Úvod
• Cíl - rozpoznání částí promluvy ohraničených z obou stran pauzou.
• Uživatel může zadávat pouze jednotlivé povely nebo musí po vyřčení slova udělat pauzu.
• Odpadá problém se stanovením rozhraní dvou slov/povelů.
• Povel může být víceslovný, ale pro tyto účely představuje jedno slovo.
• Obvykle jde o systémy závislé na uživateli
• nutnost tréninku.
• Mívají omezenou kapacitu slovníku
• slovník - seznam rozpoznávaných slov.
• Používají obvykle vektor příznaků.
• Vektor hodnot získaných analýzou signálu (spektrum, kepstrum, energie, intenzity, ...).
• Získán některou z metod krátkodobé analýzy.
Luděk Bártek
Úvod do počítačového zpracování řeči
Vektory příznaků a jejich porovnávání
• Vektor příznaků
• Vektorový prostor nad tělesem F je množina V společně s dvěma operacemi sčítání vektorů a násobení skalárem, které splňují následující axiomy:
• (V, +) je komutativní grupa
• Násobení skalárem (FxV —>> V) je asociativní a(bv) = ab(v)
• lv=v, kde 1 je jednotkový prvek tělesa
• a dále platí distributivní zákon:
o a(v+w) = av + aw • (a+b)v = av +bv
• Metrický prostor: Množina M se zobrazením d (metrikou), pro které platí:
• c/(x,y) > 0
• d(x. y) = 0 <^> x = y
• d(x,y) = c/(y,x)
• d{x,z) < c/(x,y) + c/(y,z)
• Příklad metriky je např. Euklidovská vzdálenost.
Luděk Bártek
Úvod do počítačového zpracování řeči
Klasifikátory
• Klasifikátory využívající porovnání slov metodou DTW (Dynamic Time Warping)
• umožňují porovnání podobnosti dvou dynamických jevů, které probíhají různými rychlostmi.
• Klasifikátory založené na statistických metodách
• modelování pomocí skrytých M a r kovových modelů.
• Hierarchické klasifikátory
• Pracují hierarchicky:
O Akustická analýza signálu. Q Rozdělení signálu promluvy na segmenty. O Fonetické dekódování jednotlivých segmentů. 0 Rozpoznání slova (povelu) probíhá ve druhé vyšší úrovni na základě posloupnosti klasifikovaných segmentů.
• Podobný princip se využívá pro rozpoznávání plynulé řeči.
Luděk Bártek
Úvod do počítačového zpracování řeči
Metoda DTW (Borcenŕ časové osy)
• Používá se pro porovnaní dvou úseků promluv (slov).
• Úseky jsou vyjádřeny posloupností vektorů příznaků
• úsek promluvy rozdělen do mikrosegmentů
• klasifikovány souborem krátkodobých charakteristik
• Postup:
O Pro rozpoznávané posloupnosti vytvoříme soubor referenčních
posloupností akustických vektorů. O Vytvoříme posloupnost akustických vektorů pro rozpoznávané
slovo.
O Metodou DTW porovnáme rozpoznávanou posloupnost s referenčními a vybereme tu, s největší shodou.
Luděk Bártek
Úvod do počítačového zpracování řeči
Metoda DTW
Pokračování
• Algoritmus hledá parametrizaci f,g takovou, že i=f(k)J=g(k), k=l,      K, minimalizuje výraz:
D(A,B) = Y,d(a(f(k)),b(g(k)))
k=l
• d je vzdálenost mezi akustickými vektory (napr. Euklidovská metrika)
• Euklidovská metrika
i=l
d(a, b) =
\
Luděk Bártek
Úvod do počítačového zpracování řeči
Metoda DTW (2.)
Omezující podmínky:
• f,g - neklesající funkce
• omezení na lokální souvislost a strmost:
• 0 < f{k) - f(k - 1) < /*
• 0<g{k)-g{k-l)< r
• většinou platí /*, J* = 1, 2, 3
• Z praktických testů vyplynulo, že při příliš strmém přírůstku může dojít např. k nevhodné korespondenci mezi příliš krátkým segmentem vzorku A a příliš dlouhým segmentem vzorku B.
• Omezení na hraniční body:
• f{l) = l,f{K) = l
• g(l) = l,g(K) = J
Luděk Bártek
Úvod do počítačového zpracování řeči
Metoda D TW (3.)
• Omezující podmínky
• Globální vymezení oblasti pohybu funkce DTW:
• Omezení minimální a maximální přípustné směrnice přímky omezující přípustnou oblast, při splnění podmínky na hraniční body
1 + a[i(k) - 1] < j{k) < 1 + 0[i{k) - 1]
• a - minimální směrnice přímky omezující přípustnou oblast
• f3 - maximální směrnice přímky omezující přípustnou oblast
Luděk Bártek
Úvod do počítačového zpracování řeči
DTW - praktická realizace klasifikátoru slov
Blokové schéma
Vytvoření referenčních obrazů slov a jejich uložení ve slovníku
Uživatel
I
Zpracování signálu
Vytvoření obrazu testovaného slova
Porovnání obrazů Algoritmem DTW
I
Rozpoznání neznámého slova
Figure : Blokové schéma algoritmu DTW
Luděk Bártek
Uvod do počítačového zpracování řeči
DTW - praktická realizace klasifikátoru slov
Trénování
• Obecný postup:
O Řečník resp. skupina řečníků vysloví postupně každé trénované slovo požadovaného slovníku. Bud jednou nebo opakovaně
O Vstupní slova jsou zdigitalizována, nejčastěji do formátu PCM.
O Dále jsou převedena zvolenou metodou krátkodobé analýzy na posloupnost vektorů příznaků.
O Detekce hranic slov
• může být náročné na provedení např. kvůli rušivému pozadí. o Nekorektní detekce hranic slov zhoršuje úspěšnost
rozpoznávání
• Metody odstraňující i jen částečně vliv pozadí zvyšují výpočetní náročnost.
O Vytvoření referenčních obrazů slov.
Luděk Bártek
Úvod do počítačového zpracování řeči
DTW - Metody vytváření referenčních obrazů slov
• Přímé využití obrazů trénovací množiny jako referenčních obrazů slov
• namluvená slova od jednoho nebo více řečníků jsou použita jako referenční vzory
• DTW nevyžaduje, aby obrazy téhož slova byly stejně dlouhé, ale z důvodu možnosti aplikace pomocných kritérií je vhodné provést časovou normalizaci každého obrazu.
• Vytváření průměrného vzorového obrazu pro každou třídu slov i/i/;
• používají se metody lineárního a nebo dynamického průměrování
• lineární průměrování:
• provedeme lineární časovou normalizaci všech akustických obrazů trénovací množiny
• výsledné referenční složky obrazu určíme jako průměr odpovídajících složek obrazů pro dané slovo
• dynamické průměrování:
• vzorový obraz se vytváří použitím algoritmu DTW
Luděk Bártek
Úvod do počítačového zpracování řeči
DTW - Metody vytváření referenčních obrazů slov
pokračování
• Vytváření vzorových obrazů shlukováním
• Rozdělíme vzorové obrazy pro dané slovo do shluků tak, že obrazy uvnitř shluku jsou si ,,podobné" a obrazy z různých shluků jsou ,,nepodobné".
• Shlukování lze realizovat:
• interaktivně (poloautomaticky) - metoda řetězové mapy, algoritmus ISODATA (viz Levinson, Rabiner , Sondhi -Interactive Clustering Techniques for Selecting Speaker-lndepended Reference Templates for Isolated Word Recognition, IEEE Transactions on ASSP, 27, 1979, č 2)
• automaticky - algoritmy založené na MacQueenově algoritmu (viz např. Komunikace s počítačem mluvenou řečí).
Luděk Bártek
Úvod do počítačového zpracování řeči
DTW - praktická realizace klasifikátoru slov
Rozpoznávání (klasifikace)
• Během klasifikace probíhá zpracování řečového signálu stejně jako při učení:
• pokud jsou referenční obrazy normalizovány je nutné normalizovat i rozpoznávaná slova.
• Pravidla využívaná při klasifikaci:
• minimální vzdálenost
• varianty pravidla nejbližšího souseda
Luděk Bártek
Úvod do počítačového zpracování řeči
Redukce výpočetních a paměrových nároků při použití DTW
• Nevýhody DTW:
• Vysoké paměťové a výpočetní nároky - mohou znesnadňovat klasifikaci v reálném čase i při relativně malém slovníku.
• Metody řešení:
o hrubá síla - využití drahých paralelních procesorů případně zákaznických obvodů
• vhodné zakódování parametrů jednotlivých mikrosegmentů referenčních i testovacích obrazů
• redukce počtu mikrosegmentů akustického obrazu slova -využívají se oblasti spektrální stacionarity řečového signálu
• snížení výpočetní náročnosti při hledání nejbližšího souseda ve slovníku
• vhodná volba prohledávacích postupů.
Luděk Bártek
Úvod do počítačového zpracování řeči
Redukce výpočetních a paměrových nároků při použití DTW 2.
• Redukce oblasti prohledávání funkce DTW
• pomocí heuristik do operací porovnávání obrazů.
• Vhodné zakódování parametrů mikrosegmentů
• využívá vektorovou kvantizaci a kódovou knihu
• kódová kniha
• abeceda konečného počtu kvantizovaných vzorků:
• každý vektor ve vzorku lze nahradit jeho pořadovým číslem
• při předem definované kódové knize lze dopředu spočítat matici vzájemných vzdáleností mezi kvantizačními vzory.
• Využití oblastí spektrální stacionarity řečového signálu
• využívá se přítomnost oblastí spektrální stacionarity
• metoda spektrální stopy:
• spektrální stopa - spojnice koncových bodů vektorů příznaků
• aproximace - např. lineárními úseky.
Luděk Bártek
Úvod do počítačového zpracování řeči
Redukce výpočetních a paměťových nároků při použití DTW 3.
• Zavedení účinných způsobů vyhledávání nejbližšího souseda.
• Viz metody prohledávání metrických prostorů.
• Nutno ověřit, že vzdálenost použitá v algoritmu DTW je metrika.
• Redukce výpočetních nároků pomocí heuristik při porovnávání:
• Vícestupňový rozhodovací postup:
O Porovnáváme promluvu proti celému slovníku pomocí pouze
několika příznaků. O Výstupem je soubor perspektivních kandidátů (řádově
jednotky desítek), ve kterém se vyhledává pomocí klasického
DTW.
• Práh zamítnutí:
• Po každém kroku porovnáváme spočítanou vzdálenost.
• Překročíme-li experimentálně získanou hodnotu prahu obraz je zamítnut.
Luděk Bártek
Úvod do počítačového zpracování řeči
Metoda HMM (Hidden Markov Model)
Úvod
• Modelování řeči pomocí HMM vychází z následující představy o tvorbě řeči:
• Hlasové ústrojí se v krátkém čase nachází v jedné z konečně
mnoha artikulačních konfigurací - generuje hlasový signál, o Přejde do následující konfigurace.
• Tuto činnost lze chápat statisticky.
• Kvantizací akustických vektorů (vytvořením kódové knihy) lze dosáhnout konečnosti všech parametrů odpovídajícího modelu.
Luděk Bártek
Úvod do počítačového zpracování řeči
Princip použití HMM pro rozpoznávání
• Jsou generovány dvě vzájemně svázané časové posloupnosti náhodných proměnných:
• Podpůrný Markovův řetězec - posloupnost konečného počtu stavů.
• Řetězec konečného počtu spektrálních vzorů.
• Náhodné funkce ohodnocující pravděpodobnostmi vztah vzorů k jednotlivým stavům.
• Pro rozpoznávání řeči nejčastější využívané levo-pravé Markovovy modely.
• Vhodné pro modelovaní procesů spjatých se vzrůstajícím časem.
Luděk Bártek
Úvod do počítačového zpracování řeči
Markovův proces
• Markovův proces G se skrytým Markovovým modelem je pětice G = (Q, V,N,M,ir)
• Q = {qi, ...qk} - množina stavů
• V = {vi,u^} - množina výstupních symbolů
• N =        - matice přechodu
• určuje pravděpodobnost přechodu ze stavu q, v čase t do stavu q/ v čase t\
• M = (rrijj) - matice přechodu, určující pravděpodobnost generování akustického vektoru Vj, v kterémkoliv čase ve stavu
Q i
• 7T - (tví) - vektor pravděpodobností počátečního stavu (pravděpodobnost toho, že i. stav je počáteční)
• Trojice A = (A/, M, 7r) - soubor parametrů H MM; vytváří model řečového segmentu (slova, ...)
• např. Vintsjukův model pro slovo:
• počet stavů 40 — 50 - odvozeno od průměrného počtu mikrosegmentů ve slově (délka mikrosegmentu 10 ms)
Luděk Bártek
Úvod do počítačového zpracování řeči
Určení pravděpodobnosti promluvy
Značíme P(0|A).
Promluva O standardně zpracována do posloupnosti O — (oi,... Oj).
• T - počet mikrosegmentů promluvy
• O; - odpovídají výstupním symbolům
Určení P(0\X) - metoda využívající rekurzivní výpočet odpředu nebo odzadu generované posloupnosti (forward-backward algorithm).
Luděk Bártek
Úvod do počítačového zpracování řeči
Určení pravděpodobnosti
Pokračování
Výpočet odpředu:
• a-, - pravděpodobnost přechodu do stavu q-, při generování posloupnosti {oi,...,oř} (a i = P(oi, 02..ot, q/(t)|A)
• Rekurzivní výpočet:
O inicializace
Otl(Í) = 7T//T7/(0i)
pro 1 < i < N Q rekurze pro t=l,2, ... T-l
A/
/■=1
pro 1 < j < N, m(ot) je ekvivalentní zápisu rrij(l), pokud ot = vi
O Výsledná pravděpodobnost:
N
P(0|A) = ]>>T(/)
/ = 1
Luděk Bártek
Úvod do počítačového zpracování řeči
Alternativní způsob výpočtu P(0\X)
• Nevýhoda předchozího postupu:
• ve výsledném vztahu jsou zahrnuty pravděpodobnosti všech možných posloupností stavů délky T
• Lze nahradit výpočtem maximálně pravděpodobné posloupnosti Q.
• Výpočet realizován pomocí Viterbiova algoritmu:
• problém řešen rekurzivně s použitím techniky dynamického programování
Luděk Bártek
Úvod do počítačového zpracování řeči
Trénování parametrů modelu A = (A/, M,7r)
• Nutno stanovit postup při trénování parametrů modelu
• maximalizace pravděpodobnosti P(0\X)
• neexistuje analytická metoda k zajištění globálního maxima
• používají se iterativní algoritmy zajištující aspoň lokální maximalitu
• Nejpoužívanější postup - Bauman-Welchův algoritmus.
• Problém při trénování modelu:
• vliv konečné trénovací množiny - čím menší je trénovací množina a čím vetší matice M, tím vetší pravděpodobnost, že některé prvky matice budou nastaveny na 0 - problém chybějících (neadekvátních) dat
Luděk Bártek
Úvod do počítačového zpracování řeči
Rozhodovací pravidlo - rozpoznávání slova
• Princip maximální věrohodnosti:
• Pro neznámé slovo 0 určíme hodnoty P(0|A) pro všechna modely A.
• Jako výsledek vybereme třídu s maximální hodnotou.
Luděk Bártek
Úvod do počítačového zpracování řeči
Implementace
• Modelování povelů:
• nejčastější se používají modely se 4-7 stavy
• lze využít SW nástroje pro tvorbu H MM:
• HTK - Hidden Markov Model ToolKit (http://htk.eng.cam.ac.uk/)
• Modelování fonémů:
• obvykle 4-7 stavů
• model slova - zřetězení modelů fonémů
• problémy s výpočtem v reálném čase
• speciální algoritmy na vyhledávání
Luděk Bártek
Úvod do počítačového zpracování řeči
Príklady struktur HMM pro fonémy
Luděk Bártek
Úvod do počítačového zpracování řeči
Príklady struktur HMM pro fonémy
Luděk Bártek
Úvod do počítačového zpracování řeči
Obtíže pri rozpoznávání izolovaných slov
• Určení začátku a konce promluvy:
• šum kontra sykavky
• detekce nahodilého zvukového vzruchu (klepnutí, ...) kontra okluzívy, které obsahují pauzy
• možná přítomnost infrazvuku.
Luděk Bártek
Úvod do počítačového zpracování řeči
Ukázka plozívy
Luděk Bártek
Úvod do počítačového zpracování řeči
Úvod
• Hlavní rozdíly oproti rozpoznávání slov:
o nelze vytvořit analogii databáze vzorů
• prozodické faktory
• nutnost určovat hranice mezi slovy
• výplň kove zvuky a chyby řeči
• Řešení - statistický přístup
• použití jazykových modelů
• HMM vrátí stejnou pravděpodobnost např. pro slova "máma" a nana
O máma je častější - vhodné použít máma
Luděk Bártek
Úvod do počítačového zpracování řeči
Jazykové modely
Posloupnost slov (promluva) 1/1/ — (1/1/11/1/2 ... wn).
Posloupnost akustických vektorů - O — 0(o\02 ... oŕ).
Chceme nalézt l/l/* (množinu všech promluv) maximalizující P(W\0).
Dle Bayesova pravidla
platí:P(l/l/*IO) = max(P(W\0)) = max(P(W) * Pf{^})
Pro nalezení maxima potřebujeme znát:
• model řečníka P(0\W)
• jazykový model P (l/l/)
Model řečníka se nahrazuje pravděpodobností generování W odpovídajícím Markovovým modelem.
Trigramový model:
• Platí: P(wn\ 1/1/1..wn_i) = P(wn\wn_2wn-i)
Luděk Bártek
Úvod do počítačového zpracování řeči
Rozpoznávání tématu - topic recognition
• Úspěšnost rozpoznávání plynulé řeči 50-99
• úkolu
• jazyku
• mluvčím
• ...
• Úspěšnost rozpoznávání může zvýšit:
• znalost tématu promluvy
• použití gramatiky pro rozpoznávání řeči.
• Mění se stavový prostor a pravděpodobnosti trigramů
• např. mějme burzovní zprávy - bylo rozpoznáno slovo honey nebo money?
• Známé téma - může být přesnější jazykový model.
Luděk Bártek
Úvod do počítačového zpracování řeči
Gramatiky pro podporu rozpoznávání řeči
• Umožňují omezit množinu rozpoznávaných promluv:
• výhoda - vyšší úspěšnost rozpoznávání
• nevýhoda - nižší volnost vyjadřování
• Používají se bezkontextové gramatiky.
• V praxi často používané formáty gramatik:
• JSGF (http://www.w3.org/TR/jsgf/) - původně definována v Java Speech API
(http://j ava.sun.com/products/j ava-media/speech/)
• SRGS (http://www.w3.org/TR/speech-grammar/)-součást standardů W3C Voice Browser Activity (http://www.w3.org/Voice)
• Určeny pro tvorbu dialogových a hlasových rozhraní.
Luděk Bártek
Úvod do počítačového zpracování řeči
Ukázka gramatiky ve formátu JSGF
#JSGF
<koren> = Chci jet <cim>.|
Chci jet <cim> z <odkud> do <kam>.I Chci jet <cim> z <odkud> do <kam> v <kdy>.; <cim> = vlakem | autobusem; <odkud> = <czMesto>; <kam> = <czMesto>; <kdy> = <czCas>;
Luděk Bártek
Úvod do počítačového zpracování řeči
Ukázka odpovídající gramatiky v XML formátu SRGS
<grammar root="koren" version="l.0" xml:lang="cs-CZ"> <rule id=11 kořen11 > <one-of>
<item>Chci jet <ruleref uri="\#cim"/>.</item> <item>Chci jet <ruleref uri="\#cim"/> z <ruleref uri="url db názvů stanic"/> do <ruleref uri="url db názvů stanic"/> </item>
• • •
</one-of> </rule>
Luděk Bártek
Úvod do počítačového zpracování řeči
Ukázka odpovídající gramatiky v XML formátu SRGS
Pokračování
<rule id=,,cim"> <one-of> <item tag=,,vlak,,>vlakem</item> < i t em t ag=11 aut obus11 > aut obus em< / i t em>
• * •
</one-of> </rule> </grammar>
Luděk Bártek
Úvod do počítačového zpracování řeči
Ukázka gramatiky v ABNF formátu SRGS
root=$koren; language = cs-CZ;
• • •
$koren = Chci jet $cim. |
Chci jet $cim z $<url db stanic> do $<url db stanic>|
• • •
$cim = autobusem {$out=autobus} I vlakem {$out=vlak}
Luděk Bártek
Úvod do počítačového zpracování řeči