PV005 Služby počítačových sítí
Technické vybavení nové budovy Fl
Mgr. Tomáš Szaniszlo
Fakulta informatiky, Masarykova univerzita
9. októbra 2014
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 1/44
Budova
Krátka história budovy
• pôvodná budova z prelomu 70./80. rokov
• sídlom Fl a ÚVT od 1996
• rozšírenie do Gotexu (Šumavská 15) v 2010-2014
• demolácia starej budovy A v 2012
• konštrukcia nových budov A a S v 2012-2014 (dve etapy)
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 2 / 44
Budova
Nová budova A (Al)
• akademická časť novostavby
• 5 poschodí
• kancelárie, laboratóriá, učebne, prednáškové miestnosti, počítačové sály, technické zázemie
• CERIT-SC (Center for Education, Research and Innovation in ICT in Brno, Scientific Cloud)
• podzemná garáž pod budovami A, S a parkom
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 3 / 44
Budova
Nová budova S (A2)
• CERIT SP (Science Park)
• časť novostavby pre firmy
• 7 poschodí
• postupne zasídľovaná firmami
• priestory pre menšie alebo väčšie firmy, open space
• súčasní, či budúci nájomníci: Comprimato Systems, MycroftMind, Red Hat, Axenta, ...
• laboratórium na rohu budovy - Kybernetický polygón :), CSIRT, bezpečnostné cvičenia
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 4 / 44
Oblasti záujmu prednášky
• silnoprúd
• počítačové sály
• sieťová infrastruktura a Wi-Fi
• chladenie
• meranie a regulácia (MaR), Building Management System (BMS)
• elektrický požiarny systém (EPS)
• elektronický zabezpečovací systém (EZS)
• učebne a laboratóriá
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 5 / 44
Silnoprúd
Prehľad
• základ systému
• navrhovaný redundantne
• 2 VN prípojky od E.ON-u (22 kV)
• 3 VN transformátory 1600 kVA 9 dynamická UPS
• rozvádzacie polia
• Static transfer switch (STS)
• N N rozvádzače
• 400 V trojfázové alebo 230 V jednofázové napájanie http://fi.muni.cz/~kas/datacentrum/rozvodna-it.html
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 6 / 44
Silnoprúd
Dynamická UPS (DUPS)
Uninterruptible Power Supply
• static - akumulátorové batérie
• dynamic (rotary) - masívny zotrvačník V novej budove je umiestnená DUPS. Súčasti:
• masívny zotrvačník
• statoalternátor
• motor
• pomocné systémy
• nádrž na naftu
• chladenie: nádychová a výdychová miestnosť http://www.fi.muni.cz/~kas/datacentrum/dups.html
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 7 / 44
Silnoprúd
Naša DUPS
Silnoprúd
Parametre DUPS
• dimenzovaná záťaž 1200 kVA
• rozmery 7 x 2 x 2 m
• hmotnosť 23 t
a rotačná rýchlosť 1500 min 1
• lodný motor Mitsubishi - objem 49 I
• antivibračné uloženie
• nádrž na naftu - 1 m3 paliva, kapacita 2.5 m3
• dodávanie energie 10 hodín
• chladenie - prietok vzduchu až 30 m3.s 1
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 9 / 44
Silnoprúd
Delenie elektrických obvodov
Elektrické spotreby sú delené podľa dôležitosti: » EPS - spotreby požiarneho systému
• VDO - počítačové sály, slaboprúdové miestnosti „stupačky"
• DO - laboratória, učebne, vybrané kancelárie a miestnosti
• M DO - ostatné spotreby
V prípade požiarneho zásahu možnosť vypnutia elektrických spotrieb STOP tlačítkami.
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 10 / 44
Silnoprúd
STOP tlačítka
Silnoprúd
Static Transfer Switch (STS)
• výkonové prepínanie medzi N N napájacími vetvami
• elektronické, nie mechanické
• reakčná doba 4 ms
• len pre počítačové sály 9 2x 250 A, 2x 400 A
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 12 / 44
Silnoprúd
STS a NN rozvádzače
Počítačové sály
Umiestnenie a účel
Nová budova:
• sál Fl v A5 - fakultné servery, servery laboratórií
• sál CERIT v A5 - v budúcnosti superpočítač CERIT-SC
• serverovňa SP v SO - servery CERIT-SP (plánovaná) Stará budova (pôvodný stav):
• dolný sál UVT v CO - fakultné servery, IS, univerzitné servery
• horný sál UVT v Cl - univerzitné servery, CESNET uzol
• serverovňa B103 - fakultné servery, IS, servery laboratórií
• serverovňa B104 - servery laboratórií
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 14 / 44
Počítačové sály
Sál Fl
Počítačové sály
Sál Fl a CERIT
Sál Fl
• 111 m2, 13 (34) rackov, max. energetická bilancia 150 (250) kW Sál CERIT
• 147 m2, 12 (40) rackov, max. energetická bilancia 200 (450) kW
http://www.fi.muni.cz/~kas/datacentrum/ Servery:
• rackové prevedenie, zvyčajne 1-4 U (1 U = 44.5 mm)
• umiestnené v štandardných 42 U a 19" (48.26 mm) rackoch
• väčšina s redundantnými napájacími zdrojmi
• väčšia časť umožňuje vzdialenú správu (IPMI, iLO, atď.)
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 16 / 44
Počítačové sály
Vybavenie šálov
Sály okrem serverov obsahujú dalšie aktívne prvky: switche, KVM, diskové polia, inteligentné PDU, teplomery, .. .
• dvojitá podlaha
• káblové žľaby: napájanie, optika, metalika
• trojfázové napájacie zásuvky —> PDU v rackoch
• rack dimenzovaný na 10.5 kW
• hasiaci systém
• hygienická výmena vzduchu
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 17 / 44
Počítačové sály
CERIT-SC
• https://www.cerit-sc.cz/cs/Hardware/
• superpočítačový klaster, dátové úložisko (prebieha realizácia)
• 4500 CPU jadier
a 4 PB úložného priestoru
• súčasť NGI/EGI (National/European Grid Infrastructure), ELIXIR (európska infrastruktura zameraná biologické informácie)
• http://www.metacentrum.cz/
• výpočtové prostriedky pre vedecké skupiny
• ľudský genóm, NASA dáta, simulácia elektrickej siete ČR
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 18 / 44
Chladenie
Prehľad
• kritická súčasť technického zázemia počítačových šálov
• serverovne dimenzované na príkon 700 kW
• nutný odvod stratového tepla
• niekoľko chladiacich okruhov a režimov
• technológia chladenia pomocou uzavretej teplej uličky
• redundantné riešenie
Súčasti:
• medzirackové chladiace jednotky (LCP)
• akumulačná nádrž s chladiacou zmesou
• výrobníky chladu
• suché chladiče
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 19 / 44
efektivita chladenia
medzi rackmi sú pravidelne vsunuté LCP - cirkulácia a ochladzovanie vzduchu (row-oriented cooling)
18-25 °C v okolí
Chladenie
Uzavretá teplá ulička - suboptimálne riešenie
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 21 / 44
28428028
Chladenie
Medzirackové chladiace jednotky (LCP)
a výmena tepla - vzduch v počítačovom sále, voda zo strojovne chladenia
• maximálny chladiaci výkon LCP je 27 kW, príkon 2 kW
• 14 (38) jednotiek « redundancia
a voda privádzaná/odvádzaná potrubiami pod podlahou
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 22 / 44
Chladenie
Strojovňa chladenia
Chladiaca zmes:
• voda a propylénglykol
• v systéme prítomných cca 5 m3 zmesi Okruhy chladenia:
• primárny - teplotný spád 15/21 °C
• sekundárny - teplotný spád 42/47 °C Suché chladiče
• 2 (3) kusy, strecha budovy A
• chladiaci výkon 580 kW, príkon 14.5 kW Chladiace jednotky
» 2 (3) kusy, strojovňa chladenia v A5
• chladiaci výkon 466 kW, príkon 125 kW
PV005 Služby počítačových sítí
Chladenie
Strojovňa chladenia
Chladenie
Režimy chladenia
• freecooling
• čiastočné strojové chladenie
• plné strojové chladenie
PV005 Služby počítačových sítí
Chladenie
Schéma chladiaceho systému
I        provoz: AUT plne chlazeni 1 |
Isotíŕk**: I íi tu n k«*4ri uúriľľ [acHKuyU jniri |d**ňľt i í'ji l.;|
PV005 Služby počítačových sítí
9. októbra 2014 26 / 44
Meranie a regulácia
Prehľad MaR a BMS
• množstvo systémov v novej budove
• nutnosť koordinácie, kontroly a riadenia
• koncept inteligentnej budovy
• „meranie stavu systémov a regulácia ich nastavenia"
• plánovaná nadstavba - Building Management System (BMS)
• centrálny monitoring, kontrola a riadenie
• vizualizácia systému, komplexné úkony
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 27 / 44
Meranie a regulácia
MaR kontrolér
Meranie a regulácia
Protokoly
Vzdialený prístup k zariadeniam realizovaný rôznymi protokolmi a v nezávislej sieti:
Modbus (RS485), RTU2TCP     IP (Ethernet)
• DUPS, riadenie chladenia
• jednoduchý protokol M-Bus, dvojlinka
• elektromery
• impulzná signalizácia
BACnet - varianty MS/TP (RS485), UDP (Ethernet) « chladenie, MaR kontroléry
• komplexný protokol ISO/OSI 16484-6:2005
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 29 / 44
Meranie a regulácia
Protokoly
SNMP - UDP (Ethernet)
• štandardný protokol na monitoring siete a zariadení a LCP
Exoline - TCP (Ethernet)
• obskurnější protokol, hype vlna Internet of Things? 9 VZT
HTTP(S)
• vizualizácia, správa, manipulácia
• LCP, VZT, chladenie, DUPS
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 30 / 44
Elektrický požiarny systém (EPS)
Prehľad
Monitoring budovy, hasenie (SHZ), signalizácia a opatrenia proti šíreniu požiaru. Nezávislý systém, ale v prípade potreby reguluje iné systémy -požiarne klapky, SHZ, VZT, silnoprúd.
Špecifický systém pre počítačové sály
Detekcia požiaru
• laserová detekcia dymu
• tepelné poistky SHZ
• požiarny hlásič Strojovňa hasenia
• nádrž s niekoľko m3 hasiacej vody
• vysokotlakové čerpadlá
• hasenie vysokotlakovou hmlou (100-150 barov)
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 32 / 44
Elektrický požiarny systém (EPS)
EPS v počítačových šáloch
Elektrický požiarny systém (EPS)
Strojovňa hasenia a signalizácia požiaru
Elektronický zabezpečovací systém (EZS)
V širšom poňatí zahŕňa:
• zastŕežovací systém - ústredne Galaxy, senzory narušenia (PIR, MG, trieštenie skla, plášťová ochrana)
• kamerový systém - plánovaných cez 100 IP kamier (vonkajšie a vnútorné), kamerový server na ukladanie záznamu
• kartičkové elektronické zámky - ústredne Duha System, prístup riadený ISom
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 35 / 44
Sieťová infrastruktura a Wi-Fi
Kabeláž - suboptimálne riešenie
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 36 / 44
Sieťová infrastruktura a Wi-Fi
Fakultná sieť - stará budova
• upstream konektivita od ÚVT
• 10 GbE a 1 GbE optické linky
• hlavné chrbtové spojenia siete Fl - 10 GbE optika
• 1 GbE ethernetové zásuvky v miestnostiach
• fyzická topológia hviezda
• cca 40 switchov, 2 core switche 24 10 GbE portmi
• fakultný router a firewall - redundantný, Linux
• takmer výhradne verejné IP adresy, 802.IX
• IPv4 a IPv6 konektivita
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 37 / 44
Sieťová infrastruktura a Wi-Fi
Fakultná sieť - nová budova
• pripojenie cez starú budovu
• strukturovaná kabeláž Cat 6A
• dočasné riešenie
• 1 GbE a lOObaseTX switche a zásuvky v miestnostiach
• plánovaná dodávka nových switchov - november
• 41 switchov, 6 core switchov s dohromady 240 10 GbE portmi a 16 40 GbE portmi
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 38 / 44
Sieťová infrastruktura a Wi-Fi
Access point (AP)
Sieťová infrastruktura a Wi-Fi
Wi-Fi
• podpora 802.11g/n a pásiem 2.4 a 5 GHz
• riešenie postavené na RouterBoard a OpenWrt - unixové prostredie
• PoE napájanie, PXE boot, IPv6-only režim*
• 50 access pointov v starej budove
• provizórne riešenie v novej budove
• plánovaná dodávka nových AP - november/december...
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 40 / 44
Učebne a laboratóriá
Počítačové učebne
• nové učebne: A215 (Windows), A219 (Linux - Ubuntu)
• stroje B204 ->- A215
• konfigurácia strojov A219: Core Í5-4690 (3.5 GHz), 16 GB RAM, 256 GB SSD, SATA 3, USB 3.0, 24" monitor (1920x1200, PLS, DVI-D)
Posluchárne
• väčšie posluchárne - 2 full H D projektory, prídavné displeje, plánované H.323/SIP videokonferenčné jednotky
• menšie posluchárne - 1 full HD projektor
• v oboch prípadoch stereo ozvučenie, mikrofóny a riadiaci systém Rozvrhové panely (plánované)
• pred prednáškovými miestnosťami
• riadiaci systém Raspberry Pi, napájanie cez PoE a cca 22" monitor
PV005 Služby počítačových sítí
Učebne a laboratóriá
SITOLA
• 2x H.323/SIP videokonferenčná jednotka (plánované)
• full HD stereoskopická projekcia
• displejová stena 4x6 displejov 22' Kybernetický polygón (plánované)
• FullHD stereoskopická projekcia
• interaktívna displejová stena 3x5 displejov 46"
• zabudovaná H.323/SIP videokonferenčná jednotka
• UltraGrid (Sitola), SÁGE HCI
a full HD stereoskopická projekcia a motion capture systém
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 42 / 44
Záver
Ďakujem RNDr. Janovi 'Yenyovľ Kasprzakovi a RNDr. Vítovi Rusňákovi za poskytnuté informácie a niektoré fotografie.
Zdroje obrázkov:
• http://www.apcmedia.com/salestools/DB0Y-7EDLE8/DB0Y-7EDLE8. R3_EM.pdf
• https://communities.bmc.com/blogs/green-it/2011/02/02/ isolation-expermentation
• https://www.dotcom-monitor.com/blog/index.php/ network-services-monitoring/
15-server-room-cabling-nightmares/
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 43 / 44
Záver
Ďakujem za pozornosť. Otázky?
Mgr. Tomáš
izlo  (Fl MU)
PV005 Služby počítačových sítí
9. októbra 2014 44 / 44