1/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Speciální přenosy obrazu a zvuku Miloš Liška Laboratoř pokročilých síťových technologií FI MU SITOLA 2015–04–27 2/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Speciální přenosy Přenosy obrazu s vysokým rozlišením (HD, 2K, 4K, 8K), vysoce kvalitním zvukem a velmi nízkým zpožděním ◾ Detaily, imerze ◾ Interaktivita, vzdáleně ovládané aplikace ◾ Zachycení rychlých pohybů 3/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příklady použití Vědecké vizualizace Medicína ◾ Kardiologie, chirurgie, endoskopie 4/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příklady použití Výuka ◾ výuka na dálku s vysokým stupněm imerze 5/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příklady použití Televizní a filmový průmysl ◾ vzdálená produkce a postprodukce ◾ restaurování filmového materiálu Vzdálená konzole BaseLight v CinePostu (Barrandov) 6/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příklady použití Aplikace pro spolupráci na dálku ◾ sdílení a kombinování různých druhů médií Vzdálené ovládání přístrojů ◾ Telemikroskopie na University of Southern California Řada dalších aplikací Ale celé to není jen o velikosti obrazu a jeho rozlišení... 7/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příklady použití Umění ◾ distribuovaná představení: hudba, tanec, divadlo 8/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příklady použití Aplikace s vysokou snímkovou frekvencí Aplikace s velkou barevnou hloubkou ◾ např. 16 b na barevný kanál ◾ aplikace ve filmovém průmyslu nebo v např. v patologii 9/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Několik úvah, než se posuneme dál Co znamená vysoká kvalita přenosů na síti? ◾ Datové toky pro nekomprimované video [Gb/s] Rozlišení 30fps, 8b 60fps, 10b 120fps, 16b HD - 1080p (1920×1080) 1.4 3.5 11.1 4K - 2160p (3840×2160) 5.6 13.9 44.5 8K - 4320p (7680×4320) 22.2 55.6 177.9 ◾ Sub-sampling barevného prostoru 4:2:2 = 2/3 datového toku 4:1:1 or 4:2:0 - 1/2 datového toku 10/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Několik úvah, než se posuneme dál Potřebujeme nekomprimované video? ◾ Ve většině případů samozřejmě ne! lidský zrak má omezené schopnosti pro archivní účely lze použít bezztrátovou kompresi (ta ale poskytuje jen omezené kompresní poměry) ◾ Nízkolatenční aplikace cílem je minimalizovat end-to-end zpoždění při zachování kvality obrazu dostatečná propustnost (de)komprese typicky pouze intra-frame komprese (nebo inter-frame komprese s jednosměrnou predikcí 11/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Několik úvah, než se posuneme dál Co jsou interaktivní aplikace? ◾ Streaming vs. interaktivní aplikace v reálném čase ◾ Typická omezení jsou daná lidským vnímáním zpoždění ITU-T G.115: 150 ms zpoždění jednosměrné audio komunikace přes telefonní linku v případě některých aplikací lze tolerovat 400ms RTT (experimenty se vzdáleným ovládáním robotů na operačních) jiné aplikace jsou mnohem citlivější, např. vzdálené, distribuované koncerty vyžadují <35ms ◾ Otázky synchronizace obrazu a zvuku většina lidí pozná desynchronizaci obrazu a zvuku o 100 ms a více (lip-sync) hudebníci jsou mnohem citlivější 12/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy UltraGrid Technologie ◾ dostupná platforma pro vysoce kvalitní, interaktivní přenosy obrazu a zvuku vyvíjená i v laboratoři Sitola na FI MU ◾ švýcarský nůž pro vysoce kvalitní přenosy videa a audia ◾ postavená na běžně dostupném (herním) HW podpora Linuxu, MacOS X a Windows běžně dostupné karty pro zahytávání obrazu a zvuku běžné grafické karty 10GE síť je výhoda, ale určitě není nutná ◾ co nejnižší zpoždění na běžně dostupném HW ◾ open-source software, BSD (GPL) licence 13/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Požadavky na šířku pásma 14/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Výkon komprese Propustnost implementace kompresních mechanismů v UltraGridu (Intel® Core™ i7-4960X CPU @ 3.6GHz (6 jader), NVIDIA GeForce GTX 960 GPU) Komprese Nejvyšší dosažený výkon RTDXT:DXT1 4K 60 fps RTDXT:DXT5 4K 60 fps GPU DXT 4K 60 fps GPU JPEG:90 4K 120 fps nebo 8K 60 fps H.264 (ffmpeg) 4K 30 fps H.265 (ffmpeg) 4K 24 fps (skoro) H.264 a H.265 (NVENC) 4K 60 fps 15/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Zpoždění End-to-end zpoždění (od akvizice po přehrávání) v lokální síti ◾ <150 ms pro interaktivitu: ITU-T doporučení G.114 Video ◾ závisí na HW pro akvizici/přehrávání (a kompresi): 1.75–5.5 snímku videa (58–183 ms) ◾ např. cca 2 snímky: BlackMagic Decklink HD Extreme → OpenGL na MacOS X Audio ◾ embedded spolu s videem: synchronizované ◾ nezávislý zdroj/přehrávání: 20 ms nebo méně lze manuálně upravit, tak aby zpoždění audia odpovídalo zpoždění videa 16/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Paralelní GPU JPEG Paralelizace enkódování GPU JPEG přes více fyzických GPU 2x Nvidia Titan X, výkon 12.1 TFLOPS Nvidia M60, výkon až 9.6 TFLOPS Výkon GPU JPEG komprese ◾ až 8K, 80 fps 17/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy H.265/HEVC nástupce H.264/AVC, libx265/ffmpeg vysoká míra paralelismu na CPU (Wavefront parallelism a frame parallelism) komprese více snímků naráz na úkor zpoždění 2 × Intel Xeon CPU E5-2660 v2 @ 2.20GHz 1080p – 60 fps nebo 4K – 24 fps 18/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Nvidia NVENC SDK Akcelerace enkódování H.264/H.265 na GPU GPU Nvidia s jádry (Kepler) a Maxwell NVidia GTX 9xx – 2x 4K, 60 fps - uměle limitovaný výkon Bitrate handling 19/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Live 8K přenosy 2012 - přenosy 8K videa z předem komprimovaných snímků čtených z diskového pole Aktuální výzva ◾ 8K video, 60 fps, 8b, 4:2:2 subsampling = 29.66 Gbps ◾ aktuální 12G-SDI rozhraní pro přenos videa – 12 Gbps ◾ 24G-SDI ve vývoji – 24 Gbps ◾ akvizice 8K obrazu z existující 8K kamery na komoditním HW ◾ architektura PC a zejména PCI-E sběrnice 20/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Streaming živého 8K obrazu Demo na TNC’16 BPU-8000 8K Video procesor SONY F65 8K Cam PC Ultragrid NXL-FR318 IP Live Streaming system PC Ultragrid NXL-FR318 IP Live Streaming system GEANT 40G (local Connection In the booth) 3Gb3Gb Camera control (zoom, position, etc.) POZNAN PRAGUE 16x SDI -> 4xHDMI 2.0 (4K)16x SDI 16x SDI 4x HDMI 2.0 (4K) NXL-FR318 IP Live Streaming system BPU-8000 8K Video procesor SONY F65 8K Cam 21/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Akvizice a odesílání videa 2x AJA CorVid88 (dohromady 16x 3G-SDI) Nvidia M60 accelerator (výkon >9 TFLOPS) Myricom Myri10GE Základní deska vs. fyzická konfigurace PCI-E slotů vs. fyzická velikost karet vs. požadavky karet na počet PCI-E lanes 22/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Akvizice a odesílání videa Akvizice, zpracování a odesílání ve 4 4K, 60 fps dlaždicích Paralelní GPU JPEG komprese na Nvidida M60 Výsledný datový tok cca 3 Gbps 23/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příjem a zobrazování videa Myricom Myri10GE 2x Nvida Titan X 4 komoditní 4K TV Zobrazování 2x4K 60 fps přes OpenGL spotřebuje >50% výkonu GPU 24/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Nekomprimované 4K video/komprimované 8K video Nekomprimované 4K, 60 fps video – téměř 8 Gbps Komprimované 8K, 60 fps video – cca 3 Gbps vs. komoditní 10GE síťové karty Návrat k myšlence paketového zrcadla přímo v síti Na komoditním HW 1x 10GE NIC = 1 - 2 streamy 25/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Zrcadlo na COMBO-100G2 kartě Spolupráce s oddělením 707 na CESNETu/VUT (Viktor Puš et. al.) PCI-E 3.0 16x, FPGA Virtex-7 H580T, 2x 100GE Bez transkódovaní kompletně v režii FPGA, transkódování v SW (přes SZE2, DPDK, PCAP) Již hotové IP cores, které se jinak používají pro monitoring provozu 26/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Příště. . . Automatická anonymizace modalit 27/27 Speciální přenosy UltraGrid Komprese Live 8K přenosy Vícebodové přenosy Děkuji za pozornost! http://www.sitola.cz/ http://www.ultragrid.cz/