Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika PB095 - Uvod do počítačového zpracování řeči Luděk Bártek Fakulta Informatiky Masarykova Univerzita Brno podzim 2014 Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Uvod do počítačového zpracování ř Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Cíle předmětu Seznámení s oblastmi: • digitálního zpracování zvuku • v časové oblasti • ve frekvenční oblasti • převod signálu z časové do frekvenční oblasti • syntézy řeči • rozpoznávání řeči • dialogových systémů Uvod do počítačového zpracován Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Organizace před m • Dvouhodinová přednáška • Možnosti zakončení: • zkouška - písemka + ústní zkouška, termíny budou vypsány v IS MU během prosince • kolokvium - ústní rozprava na danou prakticky orientovanou otázku z oblasti zpracování zvuku • zápočet - závěrečný test během zkouškového období Uvod do počítačového zpracování ř Organize ice předmětu Stru zná historie zpracování zvuku a řeči Akustika • Luděk Bártek • e-mail: bar@fi.muni.cz • kancelář: A209 • konzultace viz osobní stránka v ISu (https://is.muni.cz/auth/osoba/2154#vyuka) Uvod do počítačového zpracován Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Doporučená literatura • J. Psutka et al, Mluvíme s počítačem česky, Academia 2006 • J. Psutka, Komunikace s počítačem mluvenou řečí, Academia, Praha, 1995 • Z. Kotek, V. Minařík, Metody rozpoznávání a jejich aplikace, Academia, Praha, 1993 • T. Dutoit, An introduction to Text-to-Speech Synthesis, Kluwer Acad. Publ., 1999 • M. R. Schroeder, Computer Speech, Springer 1999 • Původní stránky předmětu (http://www.f i.muni.cz/~kopecek/upzr.htm) doc. Kopečka • Stránky Voice Browser Activity (http://www.w3.org/Voice) Uvod do počítačového zpracování ř Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Zpracování řeči a přirozeného jazyka na Fl MU • Laboratoře LSD, NLP • http://lsd.fi.muni.cz/ • http://nlp.fi.muni.cz/ Akustický signál. Jedná se o kmitavý pohyb molekul pružného prostredí. • vzduch • voda o kov • ... Vyvolán odporem prostředí - vede k opakovanému stlačován prostřed í. Podrobněji v části fyzikální akustika. Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Ukázka zvuku Zvuk klepnutí na plastové tělo počítače (images/klepnuti-plast.wav) Akustický signál a gesta sloužící ke komunikaci. Obsahuje definované vzory (slova), která jsou dána jazykem. Velmi rozvinutý u člověka. • Příznaky schopnosti tvorby artikulované řeči již u Australopitéka ( -3 milióny let). • Slouží ke sdělování: myšlenek, pocitů, emocí, ... • myšlenek - " Dnes budeme probírat láčkovce." • pocitů - "Je mi krásně.", "Radši se ke mně ani nepřibližuj!", • emocí - "Au!" , " Jé!" , Určité formy akustické komunikace (řeči) lze pozorovat i u dalších vyšších živočichů: • způsob zajištění kooperace při získávání obživy (delfín, vlk, .. • vábení partnera (jelen, ...) • vyjádření emočních stavů (pes, opice, ...). Uvod do počítačového zpracování ř Organ Stručná historie zpracovs Studium ře • fyzika - akustika • biologie - medicína (fyziologie, fyziologická akustika) • jazykověda - fonetika Schopnost artikulované řeči - australopitekus - cca. -3 000 000 let Starověk - budování mluvících soch Galileo Galilei - souvislost mezi tónem a frekvencí 1779 - Christian Gottlieb Kratzenstein - systém rezonátorů pro samohlásky a, e, i, o ,u Organize ice předmětu Stru. čná historie zpracování zvuku a řeči Akustika Přehled historie zpracování a napodobování řeči • 1791 - (Johann) Wolfgang von Kempelen (de Pázmánd) -první mechanický řečový syntetizér • 1835 - zrekonstruován a upraven Wheatonem - navíc pružná " ústní dutina". • 1846 - J. Faber - mluvící stroj Euphonia Organize ce předmětu Stru čná historie zpracován zvuku a řeči Akustika Přehled historie zpracování a napodobování řeči • 1937 - R. R. Riesz - mechanický mluvící stroj • 1939 - H. Dudley • VODER - elektromechanický řečový syntetizér • VOCODER - systém pro kódování a přenos řeči Modulátor Carrier jmi BanddDDT-laatfilters t T • 50. léta 20. století - syntéza ve frekvenční oblasti • později v časové oblasti • 70. léta 20. století - počítačové zpracování zvuku Luděk Bártek PB095 - Uvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Historie analýzy řeči • 19. století porozumění principů tvorby a zpracování řeči (rezonanční teorie, základy fonetiky): • J. B. Fourier - Fourierova věta • principy spektrální analýzy zvuku • H. Helmholtz • fyziologie vnímání hudby • Helmholtzů rezonátor • J.R. Ewald - fyziologie sluchu. Luděk Bártek Uvod do počítačového zpracování řeči Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Historie analýzy ře< • Dvacáté století: • 1924 - spektrální analýza řeči na bázi formantové analýzy samohlásek • Vokodéry - komprese řečového záznamu • 1946 - 47 zařízení pro grafické zobrazení řeči • 2. polovina 20. století - intenzivní rozvoj teorie a počítačových aplikací Uvod do počítačového zpracování ř Organ Stručná historie zpracovs Spektrum zvuk Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Současnost • Syntéza řeči: • komerční TTS: • AT&T Natural Voices • IBM Research TTS • Loquendo TTS • nekomerční TTS: • MBrola • Festival • Demosthenes Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Současn • Rozpoznávání řeči: • izolovaných slov • souvislé promluvy • komerční: Dragon, ViaVoice Desktop Products • nekomerční: Sphinx4, ... • Dialogové systémy • Infocity Liberec (TU Liberec, Prof. J. Nouza), v letech 1998 — 2001 na dostupne na tel. 485353100 o Ml T Cambridge, Spoken Language System Group • Aktuální seznam veřejně dostupných projektů viz http://web.sis.csail.mit.edu Uvod do počítačového zpracován Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika Fl MU • Syntéza a rozpoznávání řeči • Demosthenes • N LP - čeština pro syntetizér MBrola - využit řečový korpus CLAP • Asistivní technologie: • Audi-C - dialogové programování v C++ • Audis - řečový hypertextový prohlížeč a ... • Dialogové systémy • WebGen (http://lsd.fi.muni.cz/webgen/) - dialogové generování webových prezentací • GATE (http://lsd.fi.muni.cz/gate/) - dialogové kreslení obrázků, dialogové prohlížení obrázků, zvukové zobrazení obrázků • ... • Spolupráce s laboratořemi NLP, VR, ... Luděk Bártek 'B095 - Uvod do počítačového zpracování řeči • Z řeckého akustikos - vztahující se k slyšení. • Věda zabývající se zvukem. • Akustika zkoumá zvuk z hlediska: • fyzikálního (fyzikální akustika) - zvuk jako fyzikální vlnění • rychlost šíření, vztah mezi různými fyzikálními veličinami zvuku, šíření zvuku, ... • fyziologického (fyziologická akustika) - tvorba a vnímání řeči u člověka • hudebního (hudební akustika) - zvuky a jejich kombinace s ohledem na potřeby hudby • jak lidem zní kombinace a sekvence zvuků a tónů, ... • molekulárního (molekulární) - vztah molekulární struktury a akustických vlastností • k měření se využívá hyperzvuk (>100 MHz). • zpracování zvuku na počítači (počítačová akustika) - digitální zpracování zvuku. Uvod do počítačového zpracování ř Organizace předmětu Stručná historie zpracování zvuku a řeči Akustika • Během semestru se budeme zabývat: • fyzikální akustikou • fyziologickou akustikou • počítačovou akustikou Uvod do počítačového zpracování ř