PV005 Služby počítačových sítí Technické vybavení nové budovy Fl Mgr. Tomáš Szaniszlo Fakulta informatiky, Masarykova univerzita 26. októbra 2016 Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 1/48 Budova Krátka história budovy • pôvodná budova z prelomu 70./80. rokov • sídlom Fl a ÚVT od 1996 9 rozšírenie do Gotexu (Šumavská 15) v 2010-2014 • demolácia starej budovy A v 2012 konštrukcia nových budov A a S v 2012-2014 (dve etapy) Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 2 / 48 Budova Budova A (Al) • akademická časť 9 5 poschodí 9 kancelárie, laboratóriá, učebne, prednáškové miestnosti, počítačové sály, technické zázemie • CERIT-SC (Center for Education, Research and Innovation in ICT in Brno, Scientific Cloud) • podzemná garáž pod budovami A, S a parkom Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 3 / 48 Budova Budova S (A2) • CERIT SP (Science Park) • komerčná časť pre firmy • 7 poschodí • momentálne plne zasídlená (20 firiem) • priestory pre menšie alebo väčšie firmy, open space • súčasní nájomníci: Comprimato Systems, Red Hat, Axenta, Nvid Kentico, Seacomp, Czechitas... o laboratórium na rohu budovy - Kybernetický polygon :) (http://www.kypo.cz/), CSIRT, bezpečnostné cvičenia Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 4 / 48 Oblasti záujmu prednášky • silnoprúd o počítačové sály o chladenie o meranie a regulácia (MaR), Building Management System (BMS) • elektrický požiarny systém (EPS) • elektronický zabezpečovací systém (EZS) • sieťová infrastruktura a Wi-Fi • učebne a laboratóriá Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 5 / 48 Silnoprúd Prehľad o základ systému 9 navrhovaný redundantne • 2 VN prípojky od E.ONu (22 kV) • 3 VN transformátory 1600 kVA • dynamická UPS o rozvádzacie polia • Static transfer switch (STS) o N N rozvádzače o 400 V trojfázové alebo 230 V jednofázové napájanie http://f i.muni.cz/~kas/datacentrum/rozvodna-it.html Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 6 / 48 Silnoprúd Delenie elektrických obvodov Elektrické spotreby sú delené podľa dôležitosti: o EPS - spotreby požiarneho systému • VDO - počítačové sály, slaboprúdové miestnosti „stupačky" • DO - laboratória, učebne, vybrané kancelárie a miestnosti • M DO - ostatné spotreby V prípade požiarneho zásahu možnosť vypnutia elektrických spotrieb STOP tlačítkami. Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 7 / 48 Silnoprúd STOP tlačítka Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 8 / 48 Silnoprúd Dynamická UPS (DUPS) Uninterruptible Power Supply • static - akumulátorové batérie • dynamic (rotary) - masívny zotrvačník V novej budove je umiestnená DUPS. Súčasti: o masívny zotrvačník • statoalternátor • motor • pomocné systémy • nádrž na naftu • chladenie: nádychová a výdychová miestnosť http://www.fi.muni.cz/~kas/datacentrum/dups.html Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 9 / 48 Silnoprúd Naša DUPS Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 10 / 48 Silnoprúd Parametre DUPS 9 dimenzovaná záťaž 1200 kVA o rozmery 7 x 2 x 2 m • hmotnosť 23 t o rotačná rýchlosť 1500 min-1 o lodný motor Mitsubishi - objem 49 I e antivibračné uloženie • nádrž na naftu - 1 m3 paliva, kapacita 2.5 m • dodávanie energie 10 hodín • chladenie - prietok vzduchu až 30 m3.s-1 Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 11 / 48 Silnoprúd Static Transfer Switch (STS) • výkonové prepínanie medzi N N napájacími vetvami 9 elektronické, nie mechanické 9 reakčná doba 4 ms 9 len pre počítačové sály • 3x 250 A, 3x 400 A Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 12 / 48 Silnoprúd STS a N N rozvádzače Á >zaniszlo PV005 Služby počítačových sítí 26. októbra 2016 13 / 48 28 Počítačové sály Umiestnenie a účel • sála Fl v A5 - servery fakulty, ISu a laboratoři • sála CERIT v A5 - superpočítače CERIT-SC • serverovňa B103 - servery fakulty a ISu o serverovňa SP v SO - servery CERIT SP >zamszlo PV005 Služby počítačových sítí 26. októbra 2016 14 / 48 Počítačové sály Schematická mapa — — _ h- -— h- — - N> w U i> — — — — — "I — h- h* h- 00 -4 'J1 4a. 1.13 lcp1.9 1.14 1.15 lcp1.10 1.16 i.20 lcf1.13 i.21 i.22 lcp1.14 i.23 IlCP1.11 I 1.19 | i.24 LCP1.15 11.25 LCPlld i.26 i.9 lcp1.7 i.lO lcp1.8 1.11 1.12 ►J k> - W 4^. •Jt Os í; kí k> k) 13 N> k> k> ž k> -5 Kí W w U u» w — U> 4i. 'Jt Os -J 00 u ■c "Z. — *- — Os — -J -4 (J Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 15 / 48 Počítačové sály Sála Fl a CERIT Sála Fl • 111 m2, 18 (34) rackov, max. energetická bilancia 250 kW Sála CERIT • 147 m2, 20 (40) rackov, max. energetická bilancia 450 kW http://www.fi.muni.cz/~kas/datacentrum/ Servery: o rackové prevedenie, zvyčajne 1-4 U (1 U = 44.5 mm) • umiestnené v štandardných 42 U a 19" (48.26 cm) rackoch 9 väčšina s redundantnými napájacími zdrojmi • väčšia časť umožňuje vzdialenú správu (IPMI, iLO, atď.) Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 16 / 48 Počítačové sály Sála Fl Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 17 / 48 Počítačové sály Vybavenie sál Sály okrem serverov obsahujú dalšie aktívne prvky: switche, KVM, diskové polia, inteligentné PDU, teplomery, ... 9 dvojitá podlaha • káblové žľaby: napájanie, optika, metalika • trojfázové napájacie zásuvky —>> PDU v rackoch • rack dimenzovaný na 10.5 kW • hasiaci systém • hygienická výmena vzduchu Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 18 / 48 817 / 61 9103 Bjq9i>|o gz ■lis ipÄAcoeiipod Äqznis goOAd (íllAI Id) o|zs|uezg sbujo_l jS|aj Á>pey Á|BS BAODBIDOJ Počítačové sály Račkový server Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 20 / 48 Počítačové sály CERIT-SC 9 https://www.cerit-sc.cz/cs/Hardware/ 9 superpočítačový klaster, dátové úložisko • 3500 CPU jadier • 3.5 PB úložného priestoru 9 súčasť NGI/EGI (National/European Grid Infrastructure), ELIXIR (európska infrastruktura zameraná biologické informácie) o http://www.metacentrum.cz/ o výpočtové prostriedky pre vedecké skupiny • ľudský genóm, NASA dáta, simulácia elektrickej siete ČR Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 21 / 48 Chladenie Prehľad • kritická súčasť technického zázemia počítačových sál 9 serverovne dimenzované na príkon 700 kW • nutný odvod stratového tepla • niekoľko chladiacich okruhov a režimov o technológia chladenia pomocou uzavretej teplej uličky • redundantné riešenie Súčasti: • medzirackové chladiace jednotky (LCP) • akumulačná nádrž s chladiacou zmesou 9 výrobníky chladu • suché chladiče Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 22 / 48 Chladenie Uzavretá teplá ulička • uzavretý priestor s teplým vzduchom medzi dvomi radmi rackov • efektivita chladenia • medzi rackmi sú pravidelne vsunuté LCP - cirkulácia a ochladzovanie vzduchu (row-oriented cooling) • dimenzované na 18-25 °C v okolí (používame 27 °C) Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 23 / 48 Chladenie Uzavretá teplá ulička - suboptimálne riešenie Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 24 / 48 Chladenie Medzi rackové chladiace jednotky (LCP) • výmena tepla - vzduch v počítačovej sále, voda zo strojovne chladenia • maximálny chladiaci výkon LCP je 27 kW, príkon 2 kW • 23 (38) jednotiek • redundancia • voda privádzaná/odvádzaná potrubiami pod podlahou Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 25 / 48 Chladenie Displej LCP jednotky Server-In 23r 8 C Cooling Capac Ity 4.3 kW Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 26 / 48 Chladenie Strojovňa chladenia Chladiaca zmes: • voda a propylénglykol • v systéme prítomných cca 5 m3 zmesi Okruhy chladenia: 9 primárny - teplotný spád 15/21 °C (používame 20/22 °C) 9 sekundárny - teplotný spád 42/47 °C Suché chladiče • 2 (3) kusy, strecha budovy A o chladiaci výkon 580 kW, príkon 14.5 kW Chladiace jednotky o 2 (3) kusy, strojovňa chladenia v A5 • chladiaci výkon 466 kW, príkon 125 kW Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 27 / 48 Chladenie Strojovňa chladenia Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 28 / 48 Chladenie Režimy chladenia • freecooling • čiastočné strojové chladenie o plné strojové chladenie >zamszlo PV005 Služby počítačových sítí 26. októbra 2016 29 / 48 Chladenie Schéma chladiaceho systému provoz: AUT plne chlazeni 1 IMjtftiAj | ;iHh |l*h:-jmh:viVl| : : hli' note*. í Or ■■■■ : ■■ 3 t: 2 H KWZ «ICEPľT S' 43 1 vzt : i plŕrt>! AUT ■.'ipmlú ľĎ Ď." i 0i pi úp ip IP (Ethernet) • DUPS, riadenie chladenia • jednoduchý protokol M-Bus, dvojlinka • elektromery o impulzná signalizácia BACnet - varianty MS/TP (RS485), UDP (Ethernet) • chladenie, MaR kontroléry • komplexný protokol ISO/OSI 16484-6:2005 Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 33 / 48 Meranie a regulácia Protokoly SNMP - UDP (Ethernet) • štandardný protokol na monitoring siete a zariaden • LCP HTTP(S) • vizualizácia, správa, manipulácia • LCP, VZT, chladenie, DUPS Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 34 / 48 Meranie a regulácia Súčasný stav zber dát a monitoring - Nagios, MRTG čiastočné technické vizualizácia, aplikácie vo Fakultnej administratíve FAKULTA INFORMATIKY MASA RYKO VY U MV E RZI TY Jste zde: Fakulta informatiky > Fakultní administrativa STS switch sts-2-1.m2.fJ.muni.cz Temperature: 32 °C Sync angle: 2 ■ STS date: 2014-10-08 STS time: 17:59 Firmware: STA10-21A 51 52 Source 1 LI L2 L3 Freq 232 V 232 V 232 V 50Hz ■ PSP i — Output: 17.3 V □ Source 2— LI: 240V L2: 238 V L3: 238 V Freq: 50.1 Hz 4 Output LI L2 L3 4 % 10 A 3 % 7 A 4 % 10 A ß -PSP 2 — Output: 17.3 V Alarms: (none) Update STS data | Showfhide parameters | Load STS log [slow!) | STS documentation Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 35 / 48 Elektrický požiarny systém (EPS) Prehľad Monitoring budovy, hasenie (SHZ), signalizácia a opatrenia proti šíreniu požiaru. Nezávislý systém, ale v prípade potreby reguluje iné systémy -požiarne klapky, SHZ, VZT, silnoprúd. Špecifický systém pre počítačové sály Detekcia požiaru o laserová detekcia dymu • tepelné poistky SHZ • požiarny hlásič Strojovňa hasenia • nádrž s niekoľko m3 hasiacej vody o vysokotlakové čerpadlá • hasenie vysokotlakovou hmlou (100-150 barov) Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 36 / 48 Elektrický požiarny systém (EPS) EPS v počítačových sálach Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 37 / 48 Elektrický požiarny systém (EPS) Strojovňa hasenia a signalizácia požiaru Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 38 / 48 Elektronický zabezpečovací systém (EZS) V širšom poňatí zahŕňa: • zastŕežovací systém - ústredne Galaxy, senzory narušenia (PIR, MG, trieštenie skla, plášťová ochrana) • kamerový systém - cez 100 IP kamier (vonkajšie a vnútorné), kamerový server na ukladanie záznamu • kartičkové elektronické zámky - ústredne Duha System, prístup riadený ISom Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 39 / 48 Sieťová infrastruktura a Wi-Fi Kabeláž - suboptimálne riešenie Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 40 / 48 Sieťová infrastruktura a Wi-Fi Fakultná sieť - hardvérová stránka 9 10 GbE upstream konektivita od ÚVT, centrum na dolnej sále ÚVT • centrum siete v DC Fl fyzická topológia hviezda o hlavné chrbtové spojenia siete Fl - 10 GbE optika • štruktúrovaná kabeláž Cat 6A • 1 GbE switche a zásuvky v miestnostiach 9 10 GbE optické/metalické switche a zásuvky v serverovniach 80 switchov, 6 core switchov s dohromady 240 10 GbE portmi a 16 40 GbE portmi Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 41 / 48 Sieťová infrastruktura a Wi-Fi Fakultná sieť - softvérová stránka • fakultný router a firewall - redundantný, Linux o väčšinou verejné IP adresy, 802.IX • IPv4 a IPv6 konektivita >zamszlo PV005 Služby počítačových sítí 26. októbra 2016 42 / 48 Sieťová infrastruktura a Wi-Fi Access point (AP) Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 43 / 48 Sieťová infrastruktura a Wi-Fi Wi-Fi o riešenie postavené na RouterBoard a OpenWrt - unixové prostredie • PoE napájanie, PXE boot, IPv6-only režim* • podpora 802.11g/n a pásiem 2.4 a 5 GHz • 130 access pointov Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 44 / 48 Učebne a laboratóriá Rozvrhové panely • pred prednáškovými miestnosťami 9 riadiaci systém Raspberry Pi, napájanie cez PoE • 22" monitor o prehliadač (SVG, JS) Kybernetický polygon o Full H D stereoskopická projekcia o interaktívna displejová stena 3x5 displejov 46" o UltraGrid (Sitola), SÁGE HCI o Full H D stereoskopická projekcia 9 motion capture systém Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 45 / 48 Záver Blog CVT Fl • aktuálne informácie z diania a činností CVT Fl: • technológie datacentra • novinky v sieti a Wi-Fi • timelapse video výstavby Fl • https://is.muni.cz/auth/blog/cvt_fi/ 9 https://is.muni.cz/blog/cvt_fi/ • nástenka pri vstupe do PC haly • sledovanie príspevkov, zasielanie príspevkov mailom Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 46 / 48 Záver Poďakovanie Ďakujem RNDr. Janovi 'Yenyovľ Kasprzakovi, PhD. a RNDr. Vítovi Rusňákovi za poskytnuté informácie a niektoré fotografie. Zdroje obrázkov: o http://www.apcmedia.com/salestools/DBOY-7EDLE8/DB0Y-7EDLE8 R3_EN.pdf • https://communities.bmc.com/blogs/green-it/2011/02/02/ iso1ation-expermentation • https://www.dotcom-monitor.com/blog/index.php/ network-services-monitoring/ 15-server-room-cabling-nightmares/ • http://www.industrialcomputersystems.com/images3/ 2u2008-2.jpg Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 47 / 48 Záver Ďakujem za pozornosť. Otázky? Mgr. Tomáš Szaniszlo (Fl MU) PV005 Služby počítačových sítí 26. októbra 2016 48 / 48