Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika PB095 - Uvod do počítačového zpracování řeči Luděk Bártek Fakulta Informatiky Masarykova Univerzita Brno podzim 2016 Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Q Organizace predmetu Q Stručná historie zpracování zvuku a řeči Q Akustika Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Cíle předmětu Seznámení s oblastmi: o digitálního zpracování zvuku • v časové oblasti • ve frekvenční oblasti • převod signálu z časové do frekvenční oblasti • syntézy řeči 9 rozpoznávání řeči • dialogových systémů Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Organizace předmětu 9 Dvouhodinová přednáška • Možnosti zakončení: • Zkouška - písemka + ústní zkouška, termíny budou vypsány v IS MU během prosince. • Kolokvium - ústní rozprava na danou prakticky orientovanou otázku z oblasti zpracování zvuku, příprava probíhá během písemné části zkoušky. Je nutné se přihlásit na zkušební termín prostřednictvím ISu. • Zápočet - závěrečný test během zkouškového období (během písemné části zkoušky), Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Vyučující • Luděk Bártek • e-mail: bar@fi.muni.cz o kancelář: A209 • konzultace viz osobní stránka v ISu (https://is.muni.cz/auth/osoba/2154#vyuka) Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Doporučená literatura 9 J. Psutka et al, Mluvíme s počítačem česky, Academia 2006 • J. Psutka, Komunikace s počítačem mluvenou řečí, Academia, Praha, 1995 o Z. Kotek, V. Minařík, Metody rozpoznávání a jejich aplikace, Academia, Praha, 1993 • T. Dutoit, An introduction to Text-to-Speech Synthesis, Kluwer Acad. Publ., 1999 • M. R. Schroeder, Computer Speech, Springer 1999 a Původní stránky předmětu (http://www.f i.muni.cz/~kopecek/upzr.htm) doc. Kopečka • Stránky Voice Browser Activity (http://www.w3.org/Voice) Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Zpracování reci a přirozeného jazyka na Fl MU • Laboratoře LSD, NLP • http://lsd.fi.muni.cz/ • http://nlp.f i.muni.cz/ Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Co je to zvuk? 9 Akustický signál. • Jedná se o kmitavý pohyb molekul pružného prostředí. • vzduch • voda • kov • ... a Vyvolán odporem prostředí - vede k opakovanému stlačování prostředí. • Podrobněji v části fyzikální akustika. Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Zvuk klepnutí na plastové tělo počítače (images/klepnuti-plast.wav) PB095 - Úvod do počítačového zpracování řeči Luděk Bártek Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Zvuk tlesknutí (images/tlesknuti.wav) Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Co je to řeč? Akustický signál a gesta sloužící ke komunikaci. Obsahuje definované vzory (slova), která jsou dána jazykem. Velmi rozvinutý u člověka. • Příznaky schopnosti tvorby artikulované řeči již u Australopitéka ( -3 milióny let). Slouží ke sdělování: myšlenek, pocitů, emocí, ... • myšlenek - "Dnes budeme probírat láčkovce." ■ . o Ml "I f v I! I! |—v IV I v ■ VI I ■ \s -II! • pocitu - Je mi krasne. , Kadsi se ke mne ani nepribližuj! , ... • emocí - "Au!" , " Jé!" , Určité formy akustické komunikace (řeči) lze pozorovat i u I Iv/ I w ' I v v I o dalších vyssich živočichu: • způsob zajištění kooperace při získávání obživy (delfín, vlk, ...) • vábení partnera (jelen, ...) 9 vyjádření emočních stavů (pes, opice, ...). Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Ukázka řeči Zvukový záznam (ima, es/ahoj.wav) PB095 - Úvod do počítačového zpracování řeči Luděk Bártek • fyzika - akustika a biologie - medicína (fyziologie, fyziologická akustika) • jazykověda - fonetika Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Přehled historie zpracování a napodobování řeči • Schopnost artikulované řeči - australopitekus - cca. -3 000 000 let • Starověk - budování mluvících soch • Galileo Galilei - souvislost mezi tónem a frekvencí • 1779 - Christian Gottlieb Kratzenstein - systém rezonátorů pro samohlásky a, e, i, o ,u Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Přehled historie zpracování a napodobování řeči • 1791 - (Johann) Wolfgang von Kempelen (de Pázmánd) -první mechanický řečový syntetizér • 1835 - zrekonstruován a upraven Wheatonem - navíc pružn " ústní dutina". e 1846 - J. Faber - mluvící stroj Euphonia Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Přehled historie zpracování a napodobování řeči • 1937 - R. R. Riesz - mechanický mluvící stroj • 1939 - H. Dudley • VODER - elektromechanický řečový syntetizér • VOCODER - systém pro kódování a přenos řeči Modulator Q Carrier BF-E ■'A BF-K t T Banddoor- Niveau analyse la atfi iters 50. léta 20. století - syntéza ve frekvenční oblasti • později v časové oblasti 70. léta 20. století - počítačové zpracování zvuku Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Historie analýzy reči • 19. století porozumění principů tvorby a zpracování řeči (rezonanční teorie, základy fonetiky): • J. B. Fourier - Fourierova věta • principy spektrální analýzy zvuku • H. Helmholtz o fyziologie vnímání hudby • Helmholtzů rezonátor • J.R. Ewald - fyziologie sluchu. Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Historie analýzy reči • Dvacáté století: • 1924 - spektrální analýza řeči na bázi formantové analýzy samohlásek • Vokodéry - komprese řečového záznamu • 1946 - 47 zařízení pro grafické zobrazení řeči o 2. polovina 20. století - intenzivní rozvoj teorie a počítačových aplikací Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Stručná Spektrum zvu Organizace predmetu istorie zpracování zvuku a řeči Akustika -3QdB' -36dB- -42dB' -4tdl -S4dB (if)clU •72ÖI ■78c! -84dBj -90dB ■uBiiilájiiĹ, i M u ji -i-1-1-1-1-1-r- i i i i i i i i lQOOHz 3000Hz 5000Hz 7000Hz lCCDQHz 12000Hz 15000Hz 17000Hz 20000Hz Textová data k obrázku, (images/spektrum-a.txt) Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Současnost • Syntéza řeči: • komerční TTS: • AT&T Natural Voices • IBM Research TTS • Loquendo TTS • nekomerční TTS: • MBrola • Festival o Demosthenes Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Současnost o Rozpoznávání řeči: • izolovaných slov • souvislé promluvy • komerční: Dragon, ViaVoice Desktop Products • nekomerční: Sphinx4, ... • Dialogové systémy © Infocity Liberec (TU Liberec, Prof. J. Nouza), v letech 1998 — 2001 na dostupne na tel. 485353100 • MIT Cambridge, Spoken Language System Group • Aktuální seznam veřejně dostupných projektů viz http://web.sis.csail.mit.edu Luděk Bártek PB095 - Úvod do počítačového zpracování řeči • Syntéza a rozpoznávaní řeči • Demosthenes • N LP - čeština pro syntetizér MBrola - využit řečový korpus CLAP • Asistivní technologie: • Audi-C - dialogové programovaní v C++ Audis - řečový hypertextový prohlížeč • ... • Dialogové systémy • WebGen (http://lsd.fi.muni.cz/webgen/) - dialogové generování webových prezentací o GATE (http://lsd.fi.muni.cz/gate/) - dialogové kreslení obrázků, dialogové prohlížení obrázků, zvukové zobrazení obrázků • ... • Spolupráce s laboratořemi NLP, VR, ... Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Akustika 9 Z řeckého akustikos - vztahující se k slyšení. • Věda zabývající se zvukem. • Akustika zkoumá zvuk z hlediska: • fyzikálního (fyzikální akustika) - zvuk jako fyzikální vlnění • rychlost šíření, vztah mezi různými fyzikálními veličinami zvuku, šíření zvuku, ... • fyziologického (fyziologická akustika) - tvorba a vnímání řeči u člověka • hudebního (hudební akustika) - zvuky a jejich kombinace s ohledem na potřeby hudby • jak lidem zní kombinace a sekvence zvuků a tónů, ... • molekulárního (molekulární) - vztah molekulární struktury a akustických vlastností • k měření se využívá hyperzvuk (>100 MHz). • zpracování zvuku na počítači (počítačová akustika) - digitální zpracování zvuku. Luděk Bártek PB095 - Úvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Akustika dokončení o Během semestru se budeme zabývat fyzikální akustikou • fyziologickou akustikou • počítačovou akustikou Luděk Bártek PB095 - Úvod do počítačového zpracování řeči