C2115 Praktický úvod do superpočítání -1-III. lekce C2115 Praktický úvod do superpočítání III. lekce Petr Kulhánek kulhanek@chemi.muni.cz Národní centrum pro výzkum biomolekul, Přírodovědecká fakulta Masarykova univerzita, Kamenice 5, CZ-62500 Brno Revize 2 C2115 Praktický úvod do superpočítání -2-III. lekce Obsah ➢ Architektura klastrů a (super)počítačů ➢ Čelní uzly ➢ Síťová infrastruktura, dávkové systémy ➢ Výpočetní uzly a elementy ➢ Datové úložiště C2115 Praktický úvod do superpočítání -3-III. lekce Klíčové části User Interface (UI) #1 User Interface (UI) #X Computing Element (CE) #1 Work Node (WN) #1 Work Node (WN) #2 Work Node (WN) #Z … … … Storage Element (SE) #1 Storage Element (SE) #M uživatelé interconnect (IN) #1 Interconnect (IN) #Y interconnect Computing Element (CE) #N Work Node (WN) #1 Work Node (WN) #2 Work Node (WN) #Z … interconnect C2115 Praktický úvod do superpočítání -4-III. lekce Čelní uzel (UI) Čelní uzel (front-end node, user interface) je počítač vyhrazený pro přímou interakci s uživatelem. Uživatel jej může použít pro přípravu vstupních dat úloh, zadávání úloh do dávkového systému, správu úloh a pro manipulaci s výsledky úloh (vizualizace). Čelní uzel, pokud to není explicitně povoleno, by se neměl používat pro spouštění CPU a paměťově náročných úloh, případný pre-processing či post-processing dat úloh je nutné zadávat jako samostatné úlohy do dávkového systému. U malých výpočetních klastrů je čelní uzel často zároveň i výpočetním uzlem. Klastr či superpočítač většinou obsluhuje úlohy celé řady uživatelů, což vyžaduje přistupovat k čelnímu uzlu pouze vzdáleně. (Nehledě na to, že čelní uzel je typicky fyzicky přítomen v počítačovém sále, kde je poměrně velký hluk.). C2115 Praktický úvod do superpočítání -5-III. lekce Na UI se NESPOUŠTÍ výpočetně náročné úlohy!!!! Vzdálený přístup - čelní uzel (UI) Čelní uzel (frontend) je počítač, který zprostředkovává interakci se superpočítačem. • UI obvykle nabízí pouze příkazovou řádku (CLI - command line interface) pomocí zabezpečeného spojení protokolem ssh (secure shell). • Pokud je dostupné grafické rozhraní (GUI - graphical interface) je vhodnější použít vzdálenou plochu (VNC - virtual network connection) než export X11 displeje. skirit.ics.muni.cz ssh skirit.ics.muni.cz login1 ssh salomon.it4i.cz login2 loginN loadbalancerloadbalancer sshlogin2 přímý přístup nepřímý přístup C2115 Praktický úvod do superpočítání -6-III. lekce Síťová infrastruktura Ethernet (česky i eternet) je název souhrnu technologií pro lokální počítačové sítě (LAN), které používají kabely s kroucenou dvojlinkou, optické kabely pro komunikaci přenosovými rychlostmi od 10 Mbit/s po 100 Gbit/s. InfiniBand (zkráceně IB), je počítačový síťový komunikační standard používaný ve vysoce výkonných počítačích. IB se se vyznačuje velmi vysokou propustností a velmi nízkou latencí. Používá se pro datové propojení mezi počítači i uvnitř počítačů. InfiniBand se také používá buď pro přímé nebo přepínané propojení mezi servery a úložnými systémy, jakožto i jako propojení mezi úložnými systémy. wikipedia.org Infiniband je vhodné použít pro datově náročné paralelní úlohy, které využívají více výpočetních uzlů. C2115 Praktický úvod do superpočítání -7-III. lekce Dávkový systém Dávkové zpracování je vykonávání série programů (tzv. dávek) na počítači bez účasti uživatele. Dávky jsou připraveny předem, proto mohou být zpracovány bez účasti uživatele. Všechna vstupní data jsou předem připravena v souborech (skriptech) nebo zadána pomocí parametrů. Dávkové zpracování je opakem interaktivního zpracování, kdy uživatel až teprve za běhu programu poskytuje požadované vstupy. Výhody dávkového zpracování ▪ sdílení zdrojů počítače mezi mnoha uživateli a programy ▪ odložení zpracování dávek do doby, kdy je počítač méně vytížen ▪ odstranění prodlev způsobeným čekáním na vstup od uživatele ▪ maximalizace využití počítače zlepšuje využití investic (zejména u dražších počítačů) wikipedia.org Naše lokální klastry, MetaCentrum: PBSPro IT4I: PBSPro PBSPro je odvozen z OpenPBS. C2115 Praktický úvod do superpočítání -8-III. lekce Výpočetní elementy (CE) a výpočetní uzly (WN) C2115 Praktický úvod do superpočítání -9-III. lekce Výpočetní element (CE) Výpočetní element (computational element - CE), velmi často též nazýván jako klastr, je uskupení výpočetních uzlů nejčastěji se stejnou architekturou (homogenní klastr). Tyto uzly jsou většinou spojeny velmi rychlou lokální sítí (ethernet 1 Gbs, Infiniband, či proprietárním řešením). Přímé používání CE and WN je zakázáno. Úlohy musí být zasílány do dávkového systému. Výpočetní uzel nebo počítačový uzel jsou synonymy pro pracovní uzel (WN - worker node). C2115 Praktický úvod do superpočítání -10-III. lekce Výpočetní uzel (WN) Výpočetní uzel (worker node - WN, computational node) je jednotka, která se chová jako samostatný počítač, který je vyhrazený pro řešení úloh uživatelů. Uzel může obsluhovat několik úloh současně. Jedna úloha může využívat více výpočetních uzlů. Počet úloh by však neměl překročit výpočetní zdroje (CPU, RAM, HDD), které tento uzel poskytuje. O efektivní využívání výpočetních zdrojů se stará OS (operační systém) ve spojení s dávkovým systémem. Úloha může běžet i na uzlech, které jsou v různých CE. Toto je však vhodné jen pro speciální typ úloh. WN #1 úloha #1úloha #1 úloha #2úloha #2 WN #2 WN #3 úloha #3úloha #3 CE#1 Možné uspořádání úloh na WN a CE: C2115 Praktický úvod do superpočítání -11-III. lekce Přístup na WN - pouze monitoring přímý přístup nepřímý přístup MetaCentrum, všechny NCBR/CEITEC MU klastry IT4I Tento přístup je možné použít pouze pro monitorování běžících úloh. NESMÍ se použít pro vlastní spouštění úloh Přístup je omezen pouze na uzly, kde uživatelovi běží úlohy. C2115 Praktický úvod do superpočítání -12-III. lekce Výpočetní element / uzel Klastr LEX (výpočetní element) Řadiče Infinibandu výpočetní uzly skříň (rack) C2115 Praktický úvod do superpočítání -13-III. lekce Výpočetní uzel 1U výška = 1,75 palce (44.45 mm) twin – dva počítače v jednom šasi jeden počítač v jednom šasi ukázky typických výpočetních uzlů, které se používají v "levných" klastrech – v superpočítačích se většinou používá proprietární řešení C2115 Praktický úvod do superpočítání -14-III. lekce Výpočetní uzel disky – lokální datové úložiště procesory paměť chlazení C2115 Praktický úvod do superpočítání -15-III. lekce Výpočetní uzel SGI UV2000 pip jeden výpočetní uzel 192 CPU jader, 4 TB paměti blades sběrnice diskové pole – lokální datové úložiště C2115 Praktický úvod do superpočítání -16-III. lekce Výpočetní uzel - akcelerátory NVidia Tesla K20 (GPGPU) Intel Xeon Phi (MIC) Výpočetní výkon akcelerátorů může přesáhnout výkon instalovaných CPU na výpočetním uzlu. C2115 Praktický úvod do superpočítání -17-III. lekce Typické schéma počítače CPU severní můstek severní můstek jižní můstek jižní můstek USB myš, klávesnice hodiny reálného času řadiče SATA pevné disky BIOS grafický systém paměť řadič paměti periferie s rychlým přístupem přes PCI Express (akcelerátory) síť (ethernet)zvuk PCI sběrnice C2115 Praktický úvod do superpočítání -18-III. lekce Víceprocesorové uzly Výpočetní uzly v dnešní době obsahují více fyzické procesorů (minimálně dva), kdy každý obsahuje více výpočetních CPU jader. Operační paměť je pak většinou přístupná s různou rychlostí (NUMA Non-Uniform Memory Architecture). Důvodem pro toto uspořádání je navyšování výpočetního výkonu, což však sebou přináší zvýšené nároky na přípravu a spouštění výpočetních úloh. C2115 Praktický úvod do superpočítání -19-III. lekce Datové úložiště (SE) C2115 Praktický úvod do superpočítání -20-III. lekce Datové úložiště (SE) - dělení Typy datových úložišť (SE - storage element) a jejich použití: ➢ lokální datové úložiště – dočasné data úloh ➢ (vzdálená) datové úložiště (diskové pole) – živá data úloh či řešených projektů ➢ hierarchické datové úložiště – ukončené projekty a zálohy lokální datové úložiště C2115 Praktický úvod do superpočítání -21-III. lekce Lokální datové úložiště ▪ Diskové pole připojená lokálně k výpočetnímu uzlu. ▪ HDD - pevný disk (Hard Disk Drive) je zařízení, které se používá v počítačích k trvalému uchovávání většího množství dat pomocí magnetické indukce. ▪ SSD - Solid-State Drive je v informačních technologiích typ datového média, které na rozdíl od magnetických pevných disků neobsahuje pohyblivé mechanické části a má mnohem nižší spotřebu elektrické energie. wikipedia.org Lokální dočasné úložiště (scratch adresáře) jsou určené pro aktuálně běžící úlohy na výpočetním uzlu. Tyto adresáře se NESMÍ* používat pro dlouhodobé ukládání dat. *) samozřejmě můžete, ale pak se nedivte, že je jednoho krásného dne nenaleznete, protože administrátor, či jiný inteligentní nástroj, úložiště pročistil C2115 Praktický úvod do superpočítání -22-III. lekce Diskové pole souborové servery zpřístupňující data diskového pole vzdáleně přes NFS (Network File System) protokol diskové pole RAID6 diskové pole RAID6 RAID 0 velké množství HDD brno9-ceitec 269 TiB Disková pole jsou vhodná pro aktuálně řešené projekty. C2115 Praktický úvod do superpočítání -23-III. lekce Diskové pole – ochrana dat RAID (Redundant Array of Inexpensive/Independent Disks) je v informatice metoda zabezpečení dat proti selhání pevného disku. Zabezpečení je realizováno specifickým ukládáním dat na více nezávislých disků, kdy jsou uložená data zachována i při selhání některého z nich. Úroveň zabezpečení se liší podle zvoleného typu RAID, které je označováno čísly (nejčastěji RAID 0, RAID 1, RAID 5 či nověji RAID 6). Při poškození části diskového pole běží pole v degradovaném režimu, kdy již další selhání by bylo neopravitelné. Proto jsou v diskových polích vyhrazeny tzv. spare disky, které se ihned použiji jako náhrada za poškozené. Po dobu rebuildování diskového pole (nový výpočet parity dat) může být přístupová rychlost k datům snížena. wikipedia.org Diskové pole obsahují velké množství HDD, což jsou mechanické komponenty, které jsou náchylné k selhání. Pro omezení poškození dat jsou data nejčastěji chráněna pomocí techniky RAID. C2115 Praktický úvod do superpočítání -24-III. lekce Hierarchické datové úložiště Hierarchical storage management (HSM) je technika ukládání dat, která automaticky přesouvá data mezi nákladnými a levnými úložnými médii. Udržování dat na vysokorychlostních zařízeních, je pro mnoho organizací neúnosně drahé, proto systémy HSM ukládají většinu podnikových dat na pomalejší zařízení a poté je v případě potřeby kopírují na rychlejší diskové jednotky. Systém HSM sleduje způsob, jakým se data používají, a odhaduje, která data lze bezpečně přesunout na pomalejší zařízení a která by měla zůstat na rychlých zařízeních. wikipedia.org brno10-ceitec-hsm (páskový robot) HSM úložiště jsou vhodná pro archivaci a zálohu dat. C2115 Praktický úvod do superpočítání -25-III. lekce Jednotky původní značení wikipedia.org C2115 Praktický úvod do superpočítání -26-III. lekce Cvičení 1 1. Jaké jméno má vaše pracovní stanice (počítač) na klastru WOLF? 2. Jakou roli má tento počítač v rámci klastru WOLF? 3. Z dokumentace zjistěte jména čelních uzlů virtuální organizace MetaCentrum. 4. Ověřte, že se můžete přihlásit na jeden z čelních uzlů MetaCentra. 5. Kolik pevných disků může selhat ve skupině disků, které jsou chráněny pomocí RAID6? 6. Může sloužit RAID0 k ochraně dat? 7. Jak se označuje kombinace RAID6 a RAID0? 8. Jaký typ akcelerátoru je využit v superpočítači salomon (IT4I)?