2. Sítě a multimédia Miloš Liška liska@fi.muni.cz Ústav výpočetní techniky, MU Druhý týden semestru Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Internet Internet je celosvětový systém propojených počítačových sítí (sítí sítí), ve kterých mezi sebou komunikují počítače a další zařízení. M. Liška ·Sítě a multimédia ·Druhý týden semestru 2 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Internet M. Liška ·Sítě a multimédia ·Druhý týden semestru 3 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Domácí síť Problémy domácích sítí Omezená šířka pásma směrem k poskytovateli (ISP) Nespolehlivá Wi-fi síť Zařízení uvnitř domácí sítě často nebývají dostupná z Internetu (NAT) M. Liška ·Sítě a multimédia ·Druhý týden semestru 4 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Drátové sítě vs. bezdrátové sítě Optika Teoreticky nejrychlejší a nejspolehlivější V domácích podmínkách maximálně pro připojení k ISP Metalické připojení Spolehlivé, v domácích podmínkách vhodné pro všechna zařízení na síti, která nejsou mobilní Dostatečná přenosová rychlost (viz dále) Staré telefonní linky s ADSL jsou také metalické připojení, o jeho spolehlivosti lze ale obvykle s úspěchem pochybovat Wi-fi Principiálně nespolehlivá, sdílené pásmo, v jednu chvíli může vysílat/přijímat data pouze jedno zařízení Dnes běžně dvě frekvenční pásma na 2,4 GHz a 5 GHz Na 2,4 GHz je pouze 11–14 kanálů → typicky v místech s velkou koncentrací Wi-fi sítí (panelové domy) sdílí jeden kanál více sítí Na 5 GHz je 36–165 kanálů s větší šířkou pásma (propustností), ale s menším dosahem M. Liška ·Sítě a multimédia ·Druhý týden semestru 5 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Šířka pásma, přenosová rychlost Přenosová rychlost udává, jaký objem informace se přenese za jednotku času Základní jednotkou přenosové rychlosti je bit za sekundu (bit/s, b/s, nebo anglicky bps = bits per second) Jednotka udává, kolik bitů informace je přeneseno za jednu sekundu. Modem na analogové tel. lince → 14,4 až 52 kbps (Mimochodem text na tomto slidu má celkem 11,6 kb.) 3G mobilní síť → cca 1 Mbps až jednotky Mbps 4G mobilní síť → typicky maximálně desítky Mbps 5G mobilní síť → ITU-T stanovuje 100/50 Mbps po dobu 95 % datového přenosu ADSL připojení → jednotky Mbps až 250 Mbps Připojení přes kabelovou TV → 38/10 Mbps až 444/122 Mbps Optické sítě → 1 Gbps až 400 Gbps Přenosová rychlost obvykle není symetrická Výrazně ve prospěch stahování dat (download) Odesílání dat (upload) je typicky omezované na jednotky až malé desítky Mbps Pozor na agregaci připojení M. Liška ·Sítě a multimédia ·Druhý týden semestru 6 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Co se děje když chci streamovat video na Youtube/Twitch... Magie ;) Trochu si jí rozebereme... M. Liška ·Sítě a multimédia ·Druhý týden semestru 7 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Zvuk Podélné mechanické vlnění v látkovém prostředí (vzduch), které je schopno vyvolat v lidském uchu sluchový vjem Vlastnosti zvuku Frekvence Lidé slyší zvuky ve frekvenčním pásmu přibližně 16 Hz až 20 kHz Intenzita vlnění Intenzita vlnění (zvuku) je definována jako množství energie, které projde jednotkovou plochou kolmou na směr šíření na jednotku času. Zavádíme prahová intenzitu jako nejnižší ještě slyšitelnou intenzitu čistého tónu o frekvenci 1 kHz Hladina intenzity zvuku (dB) se zavádí jako logaritmická škála, která prahové intenzitě přiřadí nulovou hodnotu. Logaritmickou škálu používáme protože intenzita běžných zvuků kolísá v rozsahu několika dekád. Hlasitost zvuku Vztah mezi intenzitou vlnění a intenzitou vjemu závisí mimo jiné i na frekvenci Proto definujeme ještě hladinu hlasitosti a hlasitost, které berou do úvahy fyziologické vnímání intenzity zvuku v závislosti na jeho frekvenci M. Liška ·Sítě a multimédia ·Druhý týden semestru 8 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Zvuk M. Liška ·Sítě a multimédia ·Druhý týden semestru 9 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Vzorkování V pravidelných intervalech změříme intenzitu vstupního analogového signálu Interval mezi jednotlivými vzorky nazýváme vzorkovací interval Informaci o průběhu signálu mezi jednotlivými diskrétními měřeními ztrácíme Abychom byli schopni zaznamenat a rekonstruovat vstupní signál s nejvyšší frekvencí f, je třeba vzorkovací frekvence alespoň 2f (Nyquistův teorém) Tj. pro nejvyšší slyšitelnou frekvenci 20 kHz potřebujeme vzorkovací frekvenci větší než 40 kHz Pro reprezentaci zvuk na CD používáme vzorkovací frekvenci 44,1 kHz Zvukové karty v PC pracují typicky se vzorkovací frekvencí 48 kHz (s touto hodnotou se lépe počítá) Pro vzorkování signálu, který odpovídá lidskému hlasu (např. pro digitální telefonii) stačí obvykle nižší vzorkovací frekvence 22 kHz, 11 kHz nebo i 8 kHz M. Liška ·Sítě a multimédia ·Druhý týden semestru 10 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Kvantování Hodnoty, naměřené při vzorkování, reprezentujeme jako čísla omezené délky (reprezentované konečným počtem bitů) Naměřené hodnoty zaokrouhlujeme na nejbližší diskrétní hodnotu Vzniká kvantizační šum Počet bitů vyhrazených na reprezentaci intenzity vstupního signálu určuje kolik různých intenzit můžeme reprezentovat Pro reprezentaci zvuku na CD pro reprezentaci jedné změřené hodnoty použijeme 16 b Tj. můžeme reprezentovat 216 = 65536 různých intenzit signálu Pro IP telefonii (kvantování hlasu) stačí opět nižší hodnota, například 8 b M. Liška ·Sítě a multimédia ·Druhý týden semestru 11 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Příklad Vzorkujeme a kvantujeme analogový signál, jehož časový průběh je na diagramu Vzorkování je v diagramu naznačeno čárkovanými svislými čarami (okamžiky měření na časové ose) Pro reprezentaci intenzity signálu v každém vzorku používáme 3 bity M. Liška ·Sítě a multimédia ·Druhý týden semestru 12 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Mono, Stereo, Surround sound Člověk má dvě uši, mozek dostává dvě nezávislé informace o zvuku ze kterých na základě intenzity vnímaného zvuku vytváří zvukový prostorový vjem. Monofonní zvuk = 1 kanál Prostorový zvuk Pro každý směrový zdroj zvuku nezávislý kanál Klasický stereofonní zvuk přicházející „zleva a zprava“ jsou dva nezávislé audio kanály 5.1 prostorový zvuk je 6 nezávislých audio kanálů Každý nezávislý zvukový kanál je vzorkovaný a kvantovaný tak, jak jsme si ukazovali na předchozích slidech M. Liška ·Sítě a multimédia ·Druhý týden semestru 13 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Kolik je to dat 8 kHz × 8 b × 1 kanál = 64 kbps 44,1 kHz× 16 b× 2 kanály = 1411 kbps (cca. 1,4 Mbps) 44,1 kHz× 16 b× 6 kanálů = 4,233 kbps (cca. 4,2 Mbps) 192 kHz × 24 b × 2 kanály = 9000 kbps (cca 9 Mbps) M. Liška ·Sítě a multimédia ·Druhý týden semestru 14 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů A je to hodně dat nebo ne? Red Book audio standard (klasické CD) od Philipsu a Sony z roku 1980 Právě 44,1 kHz× 16 b× 2 kanály = 1411 kbps (cca. 1,4 Mbps) Rychlost čtení z 3,5" diskety byla cca 50 kbps Celá ČR byla v roce 1993 připojena k Internetu rychlostí 9,6 kbps 1,4 Mbps také odpovídá 31,5 MB za 3 minuty (relativně běžná délka písničky) Kapacita 3,5" diskety je až 1,44 MB V roce 1995 byla obvyklá kapacita pevného disku 500 MB Kapacita úložiště „MP3“ přehrávače v roce 2005 byla např. 1000 MB (1 GB) Potřebujeme kompresi! M. Liška ·Sítě a multimédia ·Druhý týden semestru 15 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Komprese zvuku Kompresní mechanismy MPEG-1 Layer 3 (mp3), MPEG-2 Layer 3 (aac) apod. Kompresní poměr 1:10 a více Tj. na reprezentaci komprimovaného audia (typicky 2 kanály, 48 kHz vzorkovací frekvence a 16 bitů na reprezentaci vzorku) potřebujeme 10x méně dat Zavádíme pojem bitrate (b/s, bps) Průměrný počet bitů za sekundu, kterými kódujeme zvuk Typicky daný kapacitou média (CD, kapacita „MP3“ přehrávače) nebo dostupnou šířkou pásma. Obvykle 8–324 kbps pro ztrátovou kompresi Např. bitrate u služby Spotify se pohybuje mezi 96 a 160 kbps (stereofonní zvuk) 384 kbps pro prostorový zvuk na DVD Srovnej např. s dostupnou šířkou pásma v 2G mobilní síti (50 kbps) M. Liška ·Sítě a multimédia ·Druhý týden semestru 16 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Video Pohyblivé obrázky Video je jen sekvence statických snímků zachycených a přehrávaných s konkrétní, stabilní frekvencí Temporální (časová) dimenze videa Video zachycuje scénu a v ní se pohybující objekty (ev. pohybující se celou scénu) Pohyb ve scéně je spojitý a je třeba jej diskretizovat Vzorkování dělením spojitého pohybu na sekvenci statických snímků Spaciální (prostorová) dimenze videa Jednotlivé statické snímky videa zachycují dvourozměrný, v čase statický obraz konkrétní scény a objektů v ní Statický obraz opět nese spojitou informaci Statický obraz dále diskretizujeme opět vzorkováním a kvantováním M. Liška ·Sítě a multimédia ·Druhý týden semestru 17 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Snímková frekvence Video (film) je sekvence statických snímků zachycených a zpět přehraných s danou snímkovou frekvencí, která má za úkol vyvolat dojem plynule pohybujících se objektů Vzorkování videa v temporální časové (dimenzi) Psychologická hranice pro udržení dojmu přirozeně se pohybujících objektů je 12 snímků za sekundu (frames per second, fps) Časování snímání u nejstarší techniky (a němých filmů) bylo zcela manuální (kameraman točil klikou a ručně posouval filmový pás, na kterém se exponovala jednotlivá políčka), průměrně 16 fps Tradičních 24 fps u filmu vychází jako kompromis mezi cenou filmového materiálu a nemožností synchronizovat zvuk s obrazem při nízkých snímkových frekvencích S nástupem televize se snímková frekvence začala řídit frekvencí střídavého proudu (50 Hz resp 59.94 Hz) Odtud jsou odvozeny snímkové frekvence 25 fps resp. 29,97 (30) fps Dnes se běžně používá i 60 fps – věrnější vzorkování rychle se pohybujících objektů ve scéně M. Liška ·Sítě a multimédia ·Druhý týden semestru 18 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Obraz Elektromagnetické vlnění s velmi úzkou šířkou spektra (viditelné světlo) odražené od objektů v okolí a dopadající na na světlocitlivé buňky sítnice oka. Vzruchy z oka jsou dále zpracovávány a interpretovány mozkem. Obraz interpretujeme na základě zkušeností. V porovnání s jakoukoliv digitální technikou je v jistých oblastech oko spolu s mozkem velice dokonalá soustava (dynamický rozsah vidění, schopnost vyvážení bílé, rychlost ostření, noční vidění atd.) M. Liška ·Sítě a multimédia ·Druhý týden semestru 19 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Vzorkování obrazu Obraz vzorkujeme ve dvou rozměrech konečně velkou maticí M × N bodů (pixelů) a obrazovou informaci (barvu) v každém bodě kvantujeme do K úrovní Vzorkování Vzorkování obrazu se řídí Shanonovou větou Nejmenší detail, který chceme zachytit, v digitálním obrazu musí být minimálně dvakrát větší než velikost vzorku Velikost vzorku je daná fyzickými rozměry zachycené scény a počtem pixelů v obou dimenzích M. Liška ·Sítě a multimédia ·Druhý týden semestru 20 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Vzorkování obrazu Při daných rozměrech scény a zmenšujícím se rozlišení přicházíme o detaily v zachyceném obrazu Příklad: snímáme scénu o rozměrech 8×4,5 m 8K rozlišení → 1 pixel zabírá plochu 1,04×1,04 mm HD rozlišení → 1 pixel zabírá plochu 4,17mm×4,17mm SD rozlišení (analogová TV) → 1 pixel zabírá plochu 1,04×0,78 cm M. Liška ·Sítě a multimédia ·Druhý týden semestru 21 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Kvantování obrazu Pro každý diskrétní vzorek obrazu (pixel) potřebujeme reprezentovat jeho barvu Barev ve viditelném spektru je opět spojitě mnoho Kvantujeme je do K úrovní. Otázka je kolik úrovní potřebujeme pro věrné zachycení barev. Abychom dokázali reprezentaci barev uchopit, používáme barevné modely Model RGB - barva se skládá ze tří složek Červená, Zelená, Modrá Model YUV - barva se skládá z jasové složky a dvou barevných složek Každou složku reprezentujeme typicky 8, 10 (HDR) nebo 12bity (HDR) Při 8 bitech na barevnou složku máme k dispozici (28 )3 = 16.8mil. barev (může se to zdát hodně, ale nemusí to stačit) Při 10 bitech na barevnou složku máme k dispozici (210 )3 = 1mld. barev M. Liška ·Sítě a multimédia ·Druhý týden semestru 22 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Vzorkování a kvantování obrazu Příklad spaciálního vzorkování obrazu 12×16 vzorky (pixely) a kvantování 8 bity (256 úrovněmi) v jednom barevném kanálu 12 × 16 × 8b = 1536b = 192B 192 B je velmi málo dat na reprezentaci obrazu Při vzorkování 12×16 má nejmenší detail, který jsme schopni v takovém obrazu zachytit jedním pixelem rozměry cca 4×4cm (viz Shanonova věta) Kvantování v jednom barevném kanálu 8 bity umožňuje reprezentovat pouze 256 úrovní jasu/odstínů šedé M. Liška ·Sítě a multimédia ·Druhý týden semestru 23 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Kolik dat tedy potřebujeme pro reprezentaci nekomprimovaného videa? Analogová TV (PAL): 768 × 576 × 24[b/pixel(RGB)] × 25[fps] = 265, 420 kbps = 259 Mbps Full HD video: 1920 × 1080 × 24[b/pixel(YUV)] × 2/3[4 : 2 : 2sampling] × 30[fps] = 995, 328 kbps = 972 Mbps 4K video: 3840 × 2160 × 30[b/pixel(YUV)][4 : 4 : 4sampling] × 60[fps] = 14, 929, 920 kbps = 14 Gbps 8K video: 7680 × 4320 × 24[b/pixel(YUV)] × 2/3[4 : 2 : 2sampling] × 60[fps] = 31, 850, 496 kbps = 31 Gbps M. Liška ·Sítě a multimédia ·Druhý týden semestru 24 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Komprese videa Nekomprimované video typicky znamená obrovské datové objemy Nejen vzhledem k propustnosti počítačových sítí ale i např. sběrnic v PC Bezztrátová komprese videa přináší kompresní poměry 1:5 až 1:12 – stále málo Ztrátová komprese (typicky H.264 nebo H.265/HEVC) přináší kompresní poměry 1:20 až 1:200 – to je již zajímavé Doporučený bitrate při kompresi videa pomocí kompresního mechanismu H.264 na Youtube (bitrate může být reálně i nižší pokud se pohybujeme stále ve stejných řádech). M. Liška ·Sítě a multimédia ·Druhý týden semestru 25 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Zpoždění při zpracování zvuku Zvuk zpracováváme v řetězci operací (pipeline) Digitalizace zvukového signálu zvukovou kartou → komprese zvuku (→ síťový přenos) → dekomprese zvuku → převod zvukového signálu zpět do analogové podoby na zvukové kartě Zpoždění zpracování audia v celé pipeline je tzv. end-to-end zpoždění Zvukový signál nemůžeme zpracovávat po jednotlivých vzorcích Při vzorkovací frekvenci 48 kHz je vzorkovací interval dlouhý 20 µs Časování zpracování vzorků zvuku musí být velmi přesné, každá nepřesnost je slyšitelná Vzorky, které nestihneme zpracovat v daném čase, můžeme už pouze zahodit, protože už potřebujeme zpracovávat další vzorky zvuku Tak přesného časování nejsme schopni na procesoru s běžným operačním systémem dosáhnout Proto každá operace v pipeline bufferuje (ukládá do mezipaměti) a zpracovává více vzorků naráz Obvykle 64, 128 nebo 265 vzorků audia naráz → zpoždění každé operace je 1,3 ms až 5,3 ms Zpoždění pipeline pro zpracování zvuku tedy může tedy být i cca. 20 ms (bez zpoždění síťového přenosu) M. Liška ·Sítě a multimédia ·Druhý týden semestru 26 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Zpoždění při zpracování obrazu Zpoždění nabíráme v celém řetězci počínaje kamerou (zdrojem videa), přes akvizici obrazu a zvuku až po přehrávání obrazu a jeho zobrazování na displeji Kamera čas daný vzorkovacím intervalem mezi jednotlivými snímky na expozici statického obrazu Při 60 fps je vzorkovací interval 1/60 s = 16,6 ms. Při 25 fps je vzorkovací interval 1/25 s = 40 ms Pokud není scéna dostatečně nasvícena, jsou to vlastně relativně krátké expoziční časy Video dále zpracováváme typicky po celých snímcích v rámci posloupnosti operací (pipeline) Typicky akvizice snímku → komprese snímku (→ síťový přenos) → dekomprese snímku → zobrazení snímku na grafické kartě (výstupní kartě pro zpracování videa → zobrazení snímku na displeji Doba maximálního trvání každé operace je daná délkou vzorkovacího intervalu mezi jednotlivými statickými snímky M. Liška ·Sítě a multimédia ·Druhý týden semestru 27 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Zpoždění při zpracování obrazu Akvizice jednoho statického, digitálního snímku z kamery trvá celý vzorkovací interval Komprese a dekomprese je typicky výrazně rychlejší, k síťovému přenosu se ještě dostaneme Zobrazení snímku na grafické kartě nebo kartě pro výstup videa trvá opět celý vzorkovací interval Zpoždění displeje může být řádově jednotky milisekund u herních displejů až po desítky milisekund Tj. při zpracování videa po celých snímcích bude zpoždění větší než 2 × 1/fps Pokud je vzorkovací interval 40 ms (25 fps), pak bude zpoždění při zpracování obrazu minimálně 80 ms, neobvyklé není ani zpoždění 250 ms (1/4 s) I komprese a dekomprese každého snímku může trvat až 40 ms, zobrazování bývá také pomalejší M. Liška ·Sítě a multimédia ·Druhý týden semestru 28 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Vadí nám takové zpoždění? Typicky očekáváme synchronní obraz a zvuk Pokud obraz a zvuk explicitně nesynchronizujeme, bude se jejich zpoždění rozcházet Rozdíl zpoždění > 100 ms je již viditelný in na desynchronizaci řeči a pohybu rtů mluvčího ve videu (lip-sync) V případě hudby a například záběrů prstů na klaviatuře klavíru vadí i rozdíl zpoždění v řádu malých desitek ms Mezinárodní telefonní unie ITU-T stanovuje, že maximální end-to-end zpoždění v telefonii je 150 ms Při zpoždění nad 300 ms už může být nepříjemné vést delší dobu normální rozhovor M. Liška ·Sítě a multimédia ·Druhý týden semestru 29 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Přenos obrazu a zvuku skrz počítačovou síť Přenos obrazu a zvuku je z hlediska využití šířky pásma v porovnání s aplikacemi jako email, přístup na webové stránky, Facebook apod. řádově náročnější Přenos obrazu a zvuku skrz počítačovou síť navíc časový rozměr Streaming videa a audia například z Youtube nemusí probíhat v reálném čase, uživatel může ineragovat typicky pouze pomocí textového chatu a zpoždění přenosu v desítek sekund nebo i jednotek minut lze tolerovat Můžeme řešit i krátkodobé výpadky dostupné šířky pásma Videokonference (Skype, Whatsapp, Google Meet, Zoom apod.) v reálném čase probíhají, ale lze tolerovat zpoždění až v řádu malých stovek ms I malé výpadky v dostupné šířce pásma typicky znamenají ztrátu obrazových a zvukových dat Čím nižší zpoždění přenosu obrazu a zvuku vyžadujeme, tím větší klademe na síť nároky M. Liška ·Sítě a multimédia ·Druhý týden semestru 30 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Zpoždění přenosu v počítačových sítích Zpoždění je způsobeno jednak fyzikálně při přenosu signálu (bezdrátově, v metalických kabelech i v optice) a zpožděním zpracování paketů v síťových prvcích Rychlost šíření signálu je shora omezená rychlostí (pomalostí světla) Cca 300000 km/s Ale např. nejkratší vzdálenost mezi Brnem a San Diegem je 9825 km tj. zpoždění přenosu signálu (i po optice) bude cca 0,033 s = 33 ms Reálná délka všech optických kabelů na trase je mnohem větší (délky transatlantických optických kabelů se pohybují mezi 6000 a 13000 km) Zpoždění jednotlivých síťových prvků je v řádu desítek mikrosekud Reálné zpoždění vysokorychlostních sítí při přenosech v rámci ČR je okolo 2 ms Zpoždění kabelového připojení v síti Vodafone (UPC) je při přenosech v rámci ČR jen okolo 3 ms Ale při použití telefonních linek (ADSL v síti O2) a domácí Wi-fi se budeme pohybovat už kolem 20 ms A reálné zpoždění vysokorychlostí sítě při přenosu z Brna do San Diega bude okolo 85 ms Zpoždění síťového přenosu je potřeba přičíst ke zpoždění zpracování obrazu a zvuku! M. Liška ·Sítě a multimédia ·Druhý týden semestru 31 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Aplikace audiovizuálních přenosů Streaming videa z Youtube a videokonference přes Skype, Whatsapp, Facebook, Google Hangouts Meet, Zoom apod. všichni známe. Jaké nové aplikace založené na audiovizuálních přenosech současné sítě umožňují? Hraní her prostřednictvím audiovizuálních přenosů včetně VR/AR. Je možné operovat prostřednictvím videa na dálku? Může produkční tým pracovat na nejnovějším hollywoodském filmu z obýváku? Mohou spolu hrát hudebníci po síti? M. Liška ·Sítě a multimédia ·Druhý týden semestru 32 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Hraní her prostřednictvím audiovizuálních přenosů Dnes relativně běžné technologie (Google Stadia, NVidia GeForceNOW) Obraz a zvuk her je generovaný v cloudu a přenášený v podstatě obdobně jako streaming z Youtube, zpět se přenáší události z klávesnice/herního ovladače Větší nároky na kvalitu a šířku pásma (cca 35 Mbps pro 4K video) Obvykle implementováno pomocí webových technologií, které nejsou nutně stavěné na co nejnižší zpoždění Jednosměrné zpoždění herní cloud → obrazovka uživatele je běžně cca 100 ms K tomu je potřeba přičíst zpoždění ovládání a zpoždění sítě mezi herním zařízením a cloudovou platformou Při hraní na lokálním PC je zpoždění obvykle kolem 40 ms (60 fps video) I tak je to docela použitelné a dá se na hraní prosřednictvím přenosů obrazu a zvuku zvyknout M. Liška ·Sítě a multimédia ·Druhý týden semestru 33 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Je možné operovat prostřednictvím videa? Operace, kdy operatér provádí zákrok na základě obrazů z kamer a dalších medicínských zobrazovacích metod jsou dnes zcela běžné Šetrnější pro pacienta, malé operační rány Endoskopické/laparoskopické zákroky, kardiologie, dentální chirurgie apod. M. Liška ·Sítě a multimédia ·Druhý týden semestru 34 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Je možné operovat prostřednictvím videa na dálku? A proč ne? Z pohledu operatéra je to stejná aplikace jako hraní her prostřednictvím audiovizuálních přenosů da Vinci Surgical System Menší nároky na interaktivitu než u akčních her Operatér je schopen se naučit, že ovládání nástrojů je opožděno až cca o 0,5 s (500 ms) Vyšší nároky na kvalitu obrazu než u běžných videokonferencí Potřebná šířka pásma v řádu menších desítek Mbps M. Liška ·Sítě a multimédia ·Druhý týden semestru 35 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Produkce filmů z obýváku Vzdálená postprodukce filmového materiálu (např. color grading) se přímo nabízí HDR video s reprezentací barev až 16 bity na barevný kanál je nutná Dnes velká rozlišení (4K–8K) Datové toky v řádech stovek Mbps až jednotek Gbps Filmová studia by ráda tento proces nasadila tak, aby například koloristi mohli pracovat z domu (zejména v souvislosti s COVID-19) Studio má typicky desítky koloristů I při sofistikované kompresi je potřeba 100 Mbps na stream Problém s domácími sítěmi M. Liška ·Sítě a multimédia ·Druhý týden semestru 36 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Mohou spolu hrát hudebníci po síti? Rychlost zvuku ve vzduchu je 343 ms−1 , při šířce orchestřiště 10 m je zpoždění mezi hudebníky do cca 35 ms, na takové zpoždění jsou hudebníci cvičeni End-to-end zpoždění 35ms je pro tuto aplikaci svatý grál i při síťových přenosech Ideálně pro zvuk i obraz Takové zpoždění je extrémně obtížně dosažitelné End-to-end zpoždění při běžném zpracování zvuku na PC je v řádu malých desítek ms (bez síťového přenosu) Pokud zpracováváme obraz po jednotlivých snímcích, pak je zpoždění přímo závislé na snímkové frekvenci a dosáhnout end-to-end zpoždění ≤ 35 ms je možné jen při velmi vysokých snímkových frekvencích Síťové zpoždění při přenosech v rámci ČR může být 10 ms v jednom směru, mezi Evropou a Amerikou/Asií ale 100 a více ms M. Liška ·Sítě a multimédia ·Druhý týden semestru 37 / 38 Sítě a multimédia M. Liška Počítačové sítě Jak vzniká digitální zvuk a obraz Přenos obrazu a zvuku skrz počítačovou síť Aplikace audiovizuálních přenosů Demo M. Liška ·Sítě a multimédia ·Druhý týden semestru 38 / 38