Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika SIN04: Řečová interakce a sociální sítě Luděk Bártek Fakulta Informatiky Masarykova Univerzita podzim 2017 Luděk Bártek SIN04: Řečová interakce a sociální sítě Q Cíle predmetu a požadavky na ukončení Q Řečová komunikace O Fyzikální akustika O Fyziologická akustika Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika _ Cíle předmětu SIN04 - Řečová interakce a sociální sítě • Teorie řečové komunikace a dialogových systémů. • Možnosti dialogové komunikace: • člověk - člověk • člověk - počítač • Pojem sociální sítě. • Využití dialogové komunikace v oblasti sociálních sítí. • Využití sociálních sítí pro výzkum v oblasti dialogové komunikace. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika • Teoretické semináře na příslušná témata: • počítačové zpracování zvuku (řeči) • řečová komunikace • dialogová komunikace • sociální sítě • Studentské prezentace knihoven/nástrojů pro uvedené oblasti. • Vypracování samostatného/týmového projektu. o tým - 2-4 studenti Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika • Aktivní účast na seminářích o zapojení se do diskuzí na probíraná témata • vypracování krátké přednášky na dané téma. • Obhájení projektu - v posledním týdnu semestru resp. během zkouškového období: • prezentace dosažených výsledků. • použité technologie a postupy. o odevzdání příslušné aplikace - odevzdávárna v ISu. Luděk Bártek SIN04: Řečová interakce a sociální sítě • Přehled a porovnání volně dostupných nástrojů pro zpracování zvuku (ve frekvenční/časové oblasti). • Přehled a porovnání volně dostupných syntetizérů řeči (konkatenativní/frekvenční syntéza). • Přehled a porovnání volně dostupných aplikací pro rozpoznávání izolovaných slov. • Přehled a porovnání volně dostupných aplikací pro rozpoznávání souvislých promluv. • Dostupné platformy pro tvorbu dialogových systémů a jejich porovnání. • Používané sociální sítě, jejich zaměření a možnosti. • Více viz témata v balíku prezentace v ISu. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na uk Řečová korní Fyzikální a Fyziologická a ;ončení jnikace ku štika ku štika Co je to řeč? • Akustický signál a gesta sloužící ke komunikaci. • Obsahuje definované vzory (slova), která jsou dána jazykem. • Velmi rozvinutý u člověka. • Příznaky schopnosti tvorby artikulované řeči již u Australopitéka ( -3 milióny let). Slouží ke sdělování myšlenek, pocitů, emocí, ... • Určité formy akustické komunikace (řeči) lze pozorovat i u dalších vyssich živočichu: o způsob zajištění kooperace při získávání obživy (delfín, vlk, ...) • vábení partnera (jelen, ...) « vyjádření emočních stavů (pes, opice, ...). Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika • fyzika - akustika • biologie - medicína (fyziologie, fyziologická akustika) • jazykověda Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na uk Řečová koml Fyzikální a Fyziologická a ;ončení jnikace ku štika ku štika Řeč z pohledu jazykov ědn ého • Studium různých vrstev řečového projevu: pragmatika - skutečný význam sdělení; bývá ovlivněna: o prostředím • emocemi 9 kontextem • ... • sémantika • vztah částí promluvy k reálným objektům • umožňuje odvodit význam promluvy o syntaxe • vztahy mezi slovy v promluvě o dána gramatikou (formální zápis syntaxe jazyka) • odpovídá použitému jazyku. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Soci iál n í a s pel ki ty i řečové 1 ko munikace • Řeč a řečová komunikace slouží ke sdělování: o myšlenek • pocitů • dojmů • ... • Umožňuje nám navazování vztahů - známostí/kontaktů. • Vztahy lze navazovat: • mluvenou řečí • psaným projevem. • dopis o e-mail • sociální sítě Luděk Bártek SIN04: Řečová interakce a sociální sítě O Uvědomění si sdělované informace. Q Vytvoření promluvy. Q Vlastní promluva. O Rozpoznání částí promluvy. Q Pochopení smyslu promluvy: O sémantická analýza © pragmatická analýza. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Zpracování a napodobování řeči - historie • -3 milióny let - Australopitekus - schopnost artikulované reci • starověk - mluvící sochy • 1779 - Kratzenstein - systém rezonátorů pro napodobení samohlásek a, e, i, o, u. • 1791 - Wolfgang von Kempelen - mechanický mluvící stroj • 1835 - zrekonstruován a upraven Wheatstonem - přidána pružná "ústní dutina". Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Zpracová Dokončení n í a r ía pod 0 bovái ií řeči - historie • 1937 - R. R. Riesz - mechanický mluvící stroj napodobující lidské řečové ústrojí. • 1939 - H. Dudley - VODER (elektromechanický řečový syntetizér), VOCODER (elektrické zařízení pro kódování a přenos řeči). • 50. léta 20. století - syntéza ve frekvenční oblasti, později syntéza v časové oblasti. • cca 1970 - nástup počítačového zpracování řeči. Luděk Bártek SIN04: Řečová interakce a sociální sítě Luděk Bártek SIN04: Řečová interakce a sociální sítě Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Rieszův mechanický mluvící stroj NOSTRIL 2 ■>1 í" í PITCH ízzzz MOUTH LIPS TEETH VELUM PHARYNX Oft* R fi -N^-SÄfN AIR FROM TANK Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika H isl toi ri ie ar na lýzyi 1/ V 1 reci • 19. století porozumění principů tvorby a zpracování řeči (rezonanční teorie, základy fonetiky): • J. B. Fourier - Fourierova věta o principy spektrální analýzy zvuku • H. Helmholtz • fyziologie vnímání hudby o Helmholtzův rezonátor * J.R. Ewald - fyziologie sluchu a rovnovážného ústrojí. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Fyzikál n í a ki JSt ka - zá kl ad ní pojmy h ■ o Jednoduchý tón - tón o pevně dané frekvenci 0 1 2 3 4 5 6 Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Fyzikál n í a ki JSt ka - zá kl ad ní pojmy h ■ • Složený tón - vznikne složením několika základních tónů. 0 1 2 3 4 5 6 Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Fyzikální akustika - základní pojmy o Složený akustický signál: • základní frekvence (F0) - základní hlasivkový tón 9 formanty (F|, F2, ...) - vznikají rezonancí v dutinách řečového ústrojí (nosohltanová, ústní, nosní, ...) a šumy - např. základ sykavek • Harmonické vlnění • perioda - nejkratší čas mezi průchody jedním bodem • frekvence - počet opakování jevu za jednotku času (1 • amplituda - maximální výchylka. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Fyzikální akustika - základ ní pojmy • Tlumené vlnění • Při kmitání se část energie přeměňuje např. v důsledku odporu prostředí. • Postupně se snižuje amplituda kmitání. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Fyzikál n í a ki jsti ika - zá kl lad ní pojmy h ■ 1 ■ ^™ • Vynucené vlnění - vlnění vyvolané působením vnější (periodické) síly • Rezonance: • fyzikální jev, kdy i relativně malá síla dokáže vyvolat vlnění s velkou amplitudou • dochází k němu působením periodické vnější síly, jejíž frekvence se shoduje s frekvencí a fází kmitání předmětu, na který působíme. • Příklady využití rezonance: o ověření naladění nástroje • strunné nástroje • lidský sluch • tvorba řeči. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika • Akustický tlak - síla působící na element plochy v akustickém prostředí • pro sinusovou vlnu platí p = poSin(ujt) e Po - maximální hodnota akustického tlaku • oj - úhlová rychlost • ř - čas Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika • Akustická intenzita • Vyjadřuje množství akustické energie, které projde jednotkovou plochou za jednotku času. e S - plocha • E - akustická energie • t - čas • Je přímo úměrná druhé mocnině akustického tlaku • Rozsah - dán poměrem druhých mocnin maximální (/1) a minimální (/0) intenzity, kdy jsme schopni vnímat tón o frekvenci 1 kHz. o Orientační hodnoty: • Práh citlivosti - p0 = 2 • 1CT5 Pa • Práh bolesti - = 102 Pa 9 Ro7sah - 9. 5 • 1013 Pa Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika V n ínr íá n í ZVI u ki • Weber-Fechnerův psychofyzikální zákon 9 Člověkem subjektivně vnímaná hlasitost roste při geometrickém nárůstu intenzity přibližně lineárně. * Stanovení hladiny intenzity zvuku Z. = 10-/og(|) • Jednotka -1 bel (originál bell) [B] 9 Pro praktické použití příliš hrubá - používá se decibel [dB] -člověk je schopen vnímat zvuky do hlasitosti cca 13B (130 dB), potom dochází k nevratnému poškození sluchu. Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Orientační hodnoty intenzil ty zvuku • šepot - 10-20dB a tlumený hovor - 35 - 45 dB • hovor střední hlasitosti - 50 - 55 dB o symfonický orchestr - 70 - 90 dB • rocková hudba 110 -130 dB o proudový motor - 140 dB • subjektivní vnímání závisí na frekvenci Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika Základy fyziologické akustiky • Zabývá se: • tvorbou řeči • vnímáním řeči. • Využívá Helmholtzovu rezonanční teorii. • Herman von Helmholtz (19. st.) • německý matematiky fyzik, lékař, ... <* Řečové ústrojí - vznik formantů. • Sluch - vnímání jednotlivých frekvencí • Helmholtzův rezonátor - přivedením vzduchu do dutiny rezonátoru vznikne přetlak, který je následně vyrovnán vypuzením části vzduchu z dutiny, čímž vznikne podtlak. Luděk Bártek SIN04: Řečová interakce a sociální sítě Luděk Bártek SIN04: Řečová interakce a sociální sítě • Samohlásky a znělé souhlásky: • Vznikají pomocí hlasového ústrojí (hlasivek) - umístěno v hrtanu. • Hlasivky vytvoří úzkou hlasovou štěrbinu a jsou rozechvívány proudem vzduchu z/do plic. o Frekvence kmitání určuje základní hlasivkový tón, který je dále modifikováván v rezonančních dutinách, kde se k němu přidávají vyšší harmonické frekvence. o Neznělé souhlásky: © Vznikají vkládáním překážek vydechovanému vzduchu: • zuby • rty • jazyk • ... • Na tvorbě se nepodílí hlasivky! Luděk Bártek SIN04: Řečová interakce a sociální sítě Median gfasso-tipiglattic fold Trachea Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika o ústrojí Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika • Zvuk vnímáme sluchovým ústrojím. • Sluchové ústrojí: O Vnější ucho - boltec a sluchovod - slouží k soustředění, zesílení a vedení zvukových vln ke střednímu uchu. O Střední ucho: • mechanickou cestou přenáší zvukovou energii do vnitřního ucha • obsahuje mechanizmy pro vyrovnání tlaku mezi sluchovým orgánem a vnějším prostředím. O Vnitřní ucho - převádí zvukovou energii na vzruchy, které jsou vedeny dále do mozku, kde jsou zpracovány. Luděk Bártek SIN04: Řečová interakce a sociální sítě Luděk Bártek SIN04: Řečová interakce a sociální sítě Cíle předmětu a požadavky na ukončení Řečová komunikace Fyzikální akustika Fyziologická akustika lejsí ucho • Ušní boltec - soustřeďuje zvukové vlny do sluchovodu • Sluchovod - přenáší zachycenou zvukovou energii k bubínku. • Bubínek • tenká blána na konci zvukovodu (na pomezí vnějšího a středního ucha) © zesiluje a přenáší zvukovou energii na kůstky středního ucha. Luděk Bártek SIN04: Řečová interakce a sociální sítě • Kůstky středního ucha o kladívko - přiléhá k bubínku • kovadlinka • třmínek - přiléhá k oválnému okénku, kterým se zvuk přenáší do vnitřního ucha. • Oválné okénko - tvoří přístup k vnitřnímu uchu. • Eustachova trubice • vede ze středního ucha do nosohltanu • slouží k vyrovnání tlaku mezi středním uchem a vnějším prostředím, aby nedošlo k poškození sluchu. Luděk Bártek SIN04: Řečová interakce a sociální sítě * Hlemýžd (cochlea): • ústrojí ve tvaru ulity hlemýždě • naplněn vodným roztokem • obsahuje Coortiho ústrojí: • cca 20000 vlákének s délkami 40 jim - 0.5 mm • vlákénka jsou "naladěna" ne jednotlivé frekvence (rezonují se zvuky na odpovídajících frekvencích) 9 napojena na nervová zakončení, která vedou vzruchy do mozku. a Rovnovážný orgán. Luděk Bártek SIN04: Řečová interakce a sociální sítě