L0-L1 infrastruktura David Rohleder davroOics.muni.cz 11. listopadu 2014 Počítačové sály, serverovny Počítačové sály, serverovny slouží k umístění výpočetní techniky a k jejímu provozu. Důležité body: • umístění počítačových sálů • napájení • chlazení • požární bezpečnost David Rohleder davro@ics.muni.cz < □ ► 4 & k * -E > 4 s ► Umístění počítačových sálů • dostatečná infrastruktura - napájení, možnosti připojení k Internetu/firemní síti • lokalita - dostupná pro dodavatele, zákazníky. Bezpečná: • před fyzickým napadením • záplavami (Praha 2002, 2013) • požárem • lokálními katastrofami - prasklá voda, pobíhající dělníci s flexou, stavební úpravy, . . . • zabezpečení přístupu • bezobslužné sály (je možné použít i pro serverhousing) • sály s obsluhou Napájení zařízení Každé zařízení na počítačových sálech by mělo být vybaveno minimálně 2 nezávislými zdroji připojenými do 2 nezávislých napájecích okruhů. Proč? • i napájení se musí občas opravovat nebo na něm provádět zásahy Napájení zařízení Každé zařízení na počítačových sálech by mělo být vybaveno minimálně 2 nezávislými zdroji připojenými do 2 nezávislých napájecích okruhů. Proč? • i napájení se musí občas opravovat nebo na něm provádět zásahy • při zkratu může být vyřazen celý jeden okruh i přes několik jističů Napájení zařízení Každé zařízení na počítačových sálech by mělo být vybaveno minimálně 2 nezávislými zdroji připojenými do 2 nezávislých napájecích okruhů. Proč? • i napájení se musí občas opravovat nebo na něm provádět zásahy • při zkratu může být vyřazen celý jeden okruh i přes několik jističů • i zdroje umírají (MTBF?) Napájení serverových místností Napájení ze standardní elektrické sítě neposkytuje dostatečnou záruku nepřerušovaného napájení, proto jsou serverovny připojeny minimálně na jednu UPS (Uninterruptible power supply), většinou jištěnou dieselovým motorgenerátorem pro případ delšího výpadku • UPS (offline, line-interactive, online) musejí být kapacitně dimenzovány na příkon serverovny a předpokládanou délku výpadku. UPS tohoto typu musejí být důkladně servisovány - sledování kapacity baterií, výměny baterií, atd. Většinou se outsourcuje servisním organizacím Napájení serverových místností Napájení ze standardní elektrické sítě neposkytuje dostatečnou záruku nepřerušovaného napájení, proto jsou serverovny připojeny minimálně na jednu UPS (Uninterruptible power supply), většinou jištěnou dieselovým motorgenerátorem pro případ delšího výpadku • UPS (offline, line-interactive, online) musejí být kapacitně dimenzovány na příkon serverovny a předpokládanou délku výpadku. UPS tohoto typu musejí být důkladně servisovány - sledování kapacity baterií, výměny baterií, atd. Většinou se outsourcuje servisním organizacím • DA - pro případ delšího výpadku mohou být UPS doplněny dieselovým motorgenerátorem, který startuje někdy po začátku výpadku elektrické energie z vnějšího zdroje (UPS zde hraje roli pouze krátkého překlenovacího členu). DA musí mít zdroj motorové nafty a všechny náležitosti pro správné fungování (komín, ventilaci, prostory k uskladnění paliva,. . .) a musí samozřejmě splňovat všechny bezpečnostní normy a předpisy. Musí být rovněž zajištěn přísun paliva v případě delšího výpadku. DA může mít spotřebu i několik 1001 za hodinu. Obvykle je potřeba specialista pro obsluhu a zajištěný servis a testování. Napájení serverových místností Napájení ze standardní elektrické sítě neposkytuje dostatečnou záruku nepřerušovaného napájení, proto jsou serverovny připojeny minimálně na jednu UPS (Uninterruptible power supply), většinou jištěnou dieselovým motorgenerátorem pro případ delšího výpadku • UPS (offline, line-interactive, online) musejí být kapacitně dimenzovány na příkon serverovny a předpokládanou délku výpadku. UPS tohoto typu musejí být důkladně servisovány - sledování kapacity baterií, výměny baterií, atd. Většinou se outsourcuje servisním organizacím • DA - pro případ delšího výpadku mohou být UPS doplněny dieselovým motorgenerátorem, který startuje někdy po začátku výpadku elektrické energie z vnějšího zdroje (UPS zde hraje roli pouze krátkého překlenovacího členu). DA musí mít zdroj motorové nafty a všechny náležitosti pro správné fungování (komín, ventilaci, prostory k uskladnění paliva,. . .) a musí samozřejmě splňovat všechny bezpečnostní normy a předpisy. Musí být rovněž zajištěn přísun paliva v případě delšího výpadku. DA může mít spotřebu i několik 1001 za hodinu. Obvykle je potřeba specialista pro obsluhu a zajištěný servis a testování. O alternativní systémy - dynamická UPS - obří setrvačník místo baterií, nová technologie umístěná na Fl http://www.fi. muni.cz/~kas/datacentrum/dups.html Další požadavky na napájení Mnohdy je požadováno např. následující: • rozúčtovávání ceny energií - měřáky odběru v jednotlivých okruzích/raccích Další požadavky na napájení Mnohdy je požadováno např. následující: • rozúčtovávání ceny energií - měřáky odběru v jednotlivých okruzích/raccích • vzdálené vypínání a zapínání okruhů - lze řešit např. inteligentními PDU (Power Distribution Unit) Další požadavky na napájení Mnohdy je požadováno např. následující: • rozúčtovávání ceny energií - měřáky odběru v jednotlivých okruzích/raccích • vzdálené vypínání a zapínání okruhů - lze řešit např. inteligentními PDU (Power Distribution Unit) • centrál stop - tlačítko pro případ úrazu elektrickým proudem Konstrukce pro dobré chlazení Existuje několik základních možností chlazení výpočetní techniky (předpokládejme standardní VT chlazenou studeným vzduchem). Hlavní zásadou správného chlazení je nepřipustit míchání teplého vzduchu vycházejícího z instalovaných zařízení a studeného vzduchu vycházejícího z klimatizace. • horká-studená ulička • uzavřená studená ulička • uzavřená horká ulička • chlazení za využití komínu a dvojitého stropu a podlahy • uzavřené systémy Zdvojená podlaha Zdvojená podlaha se používá pro vedení kabeláže (jak silové, tak datové) a k vedení chladného vzduchu směrem k serverům. Pokud není zdvojená podlaha k dispozici, je možné řešit vedení kabeláže ve žlabech zavěšených nad racky. Zdvojená podlaha používá standardní demontovatelné podlahové čtverce o straně 60cm s různou nosností. Zdvojená podlaha Zdvojená podlaha se používa pro vedení kabeláže (jak silové, tak datové) a k vedení chladného vzduchu směrem k serverům. Pokud není zdvojená podlaha k dispozici, je možné řešit vedení kabeláže ve žlabech zavesených nad racky. Zdvojená podlaha používá standardní demontovatelné podlahové čtverce o straně 60cm s různou nosností. Horká-studená ulička Jednoduchý systém využívající rozdělení uliček na studené a horké. Chladný vzduch je obvykle tlačen dvojitou podlahou ven ve studené uličce a je vyfukován zařízeními do horké uličky, odkud je odváděn obvykle stropními klimatizačními prvky. Uzavřená studená ulička Studený vzduch z klimatizačních jednotek je přiváděn dvojitou podlahou do uzavřené uličky odkud si jej perforovanými dveřmi berou zařízení instalovaná v raccích. Uzavření v horní části pomáhá bránit míchání studeného a teplého vzduchu. Uzavřená horká ulička Uzavřená horká ulička se používá v případech, kdy není k dispozici zdvojená podlaha. Horký vzduch je odebírán z uzavřené uličky, je tlačen do chladících bloků a vyfukován ven do místnosti odkud si ho nasávají instalovaná zařízení. ■O0.O Uzavřené systémy Poměrně komplikované systémy umožňující chladit zařízení i bez přítomnosti zdvojené podlahy nebo uzavřených uliček. Mezi racky jsou umístěny chladící jednotky odvádějící z jedné strany horký vzduch a přivádějící studený vzduch na druhé straně, (pohled zvrchu) Komínové systémy Komínové systémy využívají odvodu teplého vzduchu komínem umístěným nad rackem směrem do dvojitého stropu, odkud je odváděn do klimatizačních jednotek a ochlazený vracen do dvojité podlahy. Požární zabezpečení Při vzniku požáru je nutné: O zabezpečit životy a zdraví osob O minimalizovat škody Požární prvky: • detektory kouře, teploty • hasící přístroje se speciálním hasivem • v některých případech dýchací/kyslíkové masky pro personál David Rohleder davro@ics.muni.cz Rack Rack - skříň zkonstruovaná pro umístění výpočetní techniky (servery, síťové prvky, napájecí prvky, ...) Základní jednotka - RU (Rack Unit) výšková míra 1.75 palce (4.445 cm). Standardní šířka zařízení umísťovaných do racku je 19 palců (482.6 mm). Výška zařízení se počítá v násobcích RU. Rozměry racků - racky se vybírají tak, aby: • se do nich zařízení vlezla • kolem byl kolem zařízení manipulační prostor • umožňovaly dobré vedení kabeláže • odpovídaly zamýšleným bezpečnostním požadavkům (dělené zamykatelné části, .. .) • zajišťovaly požadované parametry pro chlazení • měly dostatečnou nosnost (pozor na nosnost podlahy) • je bylo možné dopravit na místo Threaded holes #12-24 or #10-32 ■ če mezi dírami nejsou stejn menší vzdálenost je na hranici U hranice U bývají označené a jednotlivá U očíslovaná zařízení se do stojen montují většinou pomocí montážních sad (matice v hranatém úchytu, šroub). Je velmi žádoucí používat pouze jeden druh montážních sad (např. M6 Phillips) servery se často dodávají s lyžinami a různými rychloupínacími systémy umožňujícími např. jednoduché vytažení serveru z racku Pomocné prvky v racku Pomocné prvky v racku slouží ke kompletnímu zapojení serverů a zařízení: • napájecí lišty (PDU) o patch panely a ODF (Optical Distribution Frame) • vyvažovači lišty a háčky pro správné vedení kabeláže • velcro pásky a plastové stahovací pásky • vysunovací police s integrovaným monitorem a klávesnicí Vedení kabeláže Kabeláž mezi racky můžeme vést: • zdvojenou podlahou - vhodné pro pevnou kabeláž a napájení. Problémy s případným tokem studeného vzduchu od klimatizací. • koryty nad racky Ethernet CSMA/CD kolize je nutné vyřešit během prvních 512b rámce sběrnice < □ ► 4 & k * -E > 4 s ► Thin Ethernet - 10base2 • koaxiální kabel RG58A/U • max. délka 185m • terminátory (aby nedocházelo k odrazům) • náchylné k rozpojení David Rohleder davro@ics.muni.cz < □ ► 4 St k < ► 4 s ► Twisted pair • fyzická topologie hvězdy • protokol stále CSMA/CD • konektor RJ45 • maximální délka kabelu 100 m (95 m pevná kabeláž, 5 m pohyblivá) Twisted pair Konektory typu RJ (registered jack) vznikly jako důsledek nutnosti standardizace telefonního systému. Na začátku telefonního provozu patřily i koncové telefonní stanice telefonní společnosti a nebylo možné připojovat vlastní zařízení. Telefony byly k telefonní síti pevně přidrátovány. V pozdějších letech v důsledku soudních sporů (Hush-A-Phone vs. USA) a na základě rozhodnutí FCC (Federal Communications Commission) vznikla potřeba standardizace rozhraní mezi telefonním operátorem a zákazníkem. Konektory RJ mají podobný formát, širší zásuvku je možné použít pro užší zástrčku Původní představa byla ta, že páry kroucené dvoulinky budou začínat párem od středu, další páry pak budou symetricky po obou krajích předchozího páru. Charakteristika přenosového protokolu ovšem tuto konstrukci částečně znemožnila a proto vznikly různé metody jak fyzikální nedostatky takového zapojení obejít. Konektory se rozlišují počtem zářezů pro dráty a počtem drátů v konektoru připojených XPYC - X drážek, Y drátů. • RJ11 - 6P2C • RJ14 - • RJ45 - 8P8C < □ ► 4 fiP ► 4 S ► Kabely pro kroucenou dvoulinku Aby bylo možné po kabelech s kroucenou dvoulinkou přenášet data určitou rychlostí, je nutné, aby kabely splňovaly fyzikální parametry pro přenos. • vyvážené (balanced) páry • frekvenční charakteristika • přeslechy (NEXT - Near End crosstalk, PSNEXT, F EXT - Far End crosstalk, AXT - Alien crosstalk) Konstrukce UTP/STP/FTP kabelu Kabely kroucené dvoulinky se skládají ze 4 párů kroucené dvoulinky. Podle typu opláštění a ochrany se dělí následovně: průmyslové označení ISO/IEC 11801 stínění kabelu stínění párů UTP U/UTP žádné žádné STP, ScTP, PiMF U/FTP none hliníková folie FTP, STP, ScTP F/UTP hliníková folie žádné STP, ScTP S/UTP opletení žádné S-FTP, SFTP, STP SF/UTP opletení, folie žádné FFTP F/FTP folie folie SSTP, SFTP, STP PiMF S/FTP opletení folie < □ ► 4 St k 4 S ► TIA/EIA-568 TIA/EIA-568 je sada standardů, které definují kabeláž pro telekomunikační a datové služby v komerčních budovách. Standardním zapojením zásuvek v horizontálních rozvodech by mělo být TIA/EIA-568A, nicméně v současnosti převážil způsob zapojování TIA/EIA-568B (z důvodů tradice a kompatibility s firemním standardem AT&T) s EIA/TIA-S68A EIA/TIA-568B Kategorie nejběžnějších UTP/STP/FTP kabelů kategorie frekvenční charakteristika rychlost Cat5e 100 MHz 1 Gbit/s Cat6 250 MHz 10 Gbit/s Cat6a 500 MHz 10 Gbit/s Cat7 600 MHz ? Catľa 1000 MHz ? David Rohleder davro@ics.muni.cz < □ ► 4 fiP ► 4 s ► < ►