C2110 UNIX and programming Lesson 1 / Module 2 PS / 2020 Distance form of teaching: Rev2 Petr Kulhánek kulhanek@chemi.muni.cz National Center for Biomolecular Research, Faculty of Science Masaryk University, Kamenice 5, CZ-62500 Brno 10 UNIX and programming Lesson 1/ Module 2 Focus of the Subject > Covered topics > Motivation 10 UNIX and programming Lesson 1/ Module 2 Covered Topics > Basic work with Linux (Unix-type operating system) > Working with the command line > Scripting in the language bash gnuplot awk > Visualization What is the use of this knowledge? > Growing amounts of data require efficient, ideally automated processing, including visualization of the key results. > The design of new drugs, materials and devices requires computationally intensive simulations. The simulations are performed in supercomputer centers that use Unix-type operating systems. 10 UNIX and programming Lesson 1/ Module 2 -3- Supercomputing MetaCentrum and CERIT-SC (http://metavo.metacentrum.cz) Situation in 2016 • National grid infrastructure, OS Debian, OS CentOS • approx 11000 CPU cores, 1100 TiB disk array, 17 PiB hierarchical repositories An account can be obtained by a student of any university in the Czech Republic. IT4lnnovations (http://it4i.cz) • National Supercomputer Center, OS CentOS • Salomon (approx. 24192 CPU cores, 129TB RAM, Intel Xeon Phi BALL) • 40. the most powerful supercomputer in the world at the time of commissioning (TOP500,139th position 06/2018) • anselm (approx. 3000 CPU cores, 15TB RAM) Machine time is requested in the form of a grant competitions. Local computing clusters • LCC - Computational Chemistry Laboratory 10 UNIX and programming Lesson 1/ Module 2 Supercomputers users User Interfac (Ul)#l - User Interfac (Ul)# Storage Element Storage Element (SE)#1 I (SE)#M interconnect (IN) # 1 Interconnect (IN) #Y u cu c c o u cu c Work Node (WN) #1 " Work Node (WN)#2 " 10 UNIX and programming Lesson 1/ Module 2 C2110 vs C2115 C2110 UNIX and programming C2115 Practical Introduction to supercomputing o 05 o c computer architecture, bottlenecks Remote Access / command line/simple analysis authentication, Kerberos, ssh keys data storages file system, processes, data streams Supercomputing scripts, com putational tasks scripts, analyzes data analysis, visualization Submission of jobs, batch systems / parallelization (OpenMP, MPI) calculation accelerators (GPU, MIC) C2115 is a follow-up subject to C2110 • autumn semester - block teaching (February 2021) • I grant exception to students who have C2110 registered at the same time 10 UNIX and programming Lesson 1/ Module 2 Linux - Desktop System Activities üb LibreOffice Calc T I í5 Záznamník učitele <- -> G i is.muni.cz/auth/ucitel/?rakulta=1431;obdobi=7984íuv=;predmet= Sít Sep 26, 14:12 Si * e M U NI |S > Záznamník učitele -Ŕ Q Záznamník učitele = | 4, | * | p RNDr. Petr Kulhánek, Ph.D., uŕo 9703 t!) Přírodovědecká fakulta podzim 2020 ■» Ubuntu 18.04 LTS Dříve použité výbery -Moje predmety: D C2110 Operační systém UNIX a ;áklady programování vybrat C2110 -L □ C2na/O2Út16;00--17:50A^-11S wybratC2110rt)2 —» L □ C2110/03 ÚtlBflO-ISSDM-llB wybratC2110/03 —* L □ C2110/1 Po 12:00-13:50 A4-11& vybrat C2110/1 —J-D C2115 Praktický úvod do superpcčítání vybrat czi ís —> D C7790 Úvod do molekulového modelováni vybrat C779& —* J C7S0O Úvod do molekulového modelován' - cvičení ^brat C7SQ0 —* Untitled 1 - LibreOfFice- Calc File Edit View Insert Format Styles Sheet Data Tools Window Help # Ui> if .f. o a s m - % 0.0 s[ Find AU i i Formatted Display Match Case Q *[Untitled]-1.0(RGB color, 1 layer) 640x400 - GIMP File Edit Select View Image Layer Colors Tools Filters Windows Help «n - A <« & ' I Default I English (USA) | I -I I B I Average:; Sum: 0 I - - ■ I 100% CH |2W 10O%| : [Background {3.1 MB) Mode:. Normal Lock' £ if Q Background us e it © JFG to Transparent ^Abstract 1 ^Abstract 2 ^Abstract 3 ^Aneurism DH Blinds | | Blue Greer | 111 Browns | B Brushed Aluminium | | JBLrning Paper —IjBurning Transparency ^Caribbean Blues micD | |CDHalf ~~I \ ■ s m e* s 1 í I B / Q. A * *;• é m % p a e Pi A G i is.muni.cz/auth/ucibel/ľfakulta=1431 ;obdobi=7984;zuv=;predinet= Sat Sep 26, 14:44 * e MOJE APLIKACE Kalendár Jiitel Školitel pjbliksce M U l\l I -V I * I P I EN I RNDr. Petr Kulhánek, Ph.D., uio 9703 O Přírodovědecká fakulta ▼ Win10 [Running] - Oracle VM VirtualBox File Machine View Input Devices Help Záznamník učitele ;* AutoSave CW*Í [Jg 19 - ) 5 = C2110-CZ-L01-M01 - Saved - P Petr Kulhánek FK ffl a x Záznamník učitele Dříve použité výbery -Moje předměty: D C2110 Operační systém UNIX a základy programování vybrat c: L □ C2110702 Út 16:00-17:50 A4-118 vybrat C2110f01 —^ L □ C2110/03 Út 18:00-19:50 A4-118 vybral C211EMB —* L □ C2110/1 F*o12:00-13:50A4-1ia vybrat C2110/1 —* ĽCZUS Praktický úvod do superpočítání vybrat «12115 —s> Dc7790 Úvod do molekulového modelováni vybrat C7790 —* IJC7SQ0 Úvod do molekulového modelováni - cvičení vybrat C7S0 Predmety spravované všemi učiteli - [ Vybrané || Nevybrané || Všechny | File Home Insert Design Transitions a* I ä m Clipboard New Slide- Reuse Slides I U . A • Aa- I A" A' Animations Slide Show Review View Help - 1Í- ' — = — — 3ft- Shapes Arrange Quick Style: - C " Editing ^ Share P Comments Ü y Dictate J.; .U', i I'-JlLi skriptu. ii skripty, "ní "Iah, ani ÉMlilÉdy i li. 111" li i L Mi**{Odc-nh1F> UP : r «TpoErLfiGPLi. UiC| 1. lEkos/rncdull H Design Ideas Designer [ Linux - Desktopovy syst é nocen □ □ □ □ □ Máte vybrané ještě nezapočaté období, automaticky b □kraule výběry, nýchítj. zatím nezapsaných] kupiny - studenti seminárních skupin raných seminárních skupin nezařazení do zádně seminární skupiny termíny - studenti dle zkušebních termínů nepřihlášení na žádný zkušební termín dosud neúspěšní, nepřihlášeni na žádný b jdoucí zkuse studenti s nezadaným hodnocením s nezadaným hodnocením a hodnocením '-' s nezadaným, neúspěšným a hodnocením '-' s neúspěšným hodnocením 5 hodnocením'-' C2110 VSC2115 C211G Q^era^sy^st^ UNIXa C2115 Praktický úvod dosuiíěroač'tárrí '. vzdáleny přístup' příkazová radtor jednoduché analýzy architektura počítací úzká hrdla; I auterrtízace, Kerbéros, ssh klíče ■S". .souborový^stéľT.'F}rc'ce^..... . : 5krlp1% výpočetní úlohy. . ň datově proudy , ■ ] . . . : .skripty,.analýzy. . . analýza datj vízualízace zadávaní úloh, dávkové systémy! : paralelizace lO^rjhM^ MPI] : . akcelerátory Výpo'ctLf(GPLl, M|C)' ' ' ' G211S je navazující předmět naC2110 -■ podzimní semestr - bloková výuka [leden] ... □ H 1 1 i:ní systém UNIX a základy programování '■ 1. lekce/modul 1 Click to add notes Total Commander [... P ■ CZ J-CZ-L01-M01... P ™ 13-09-lnfinityTalk_P,,. sörj. češ n g 0 # í?□ H fi SD® H Right Ctrl Host: Ubuntu 18.04 LTS Guest: MS Windows 10 (virtual machine) 10 UNIX and programming Lesson 1/ Module 2 -9- Processing a Text File NSTEP = Etot BOND 1-4 NB = EELEC = 6000 TIME(PS) = 160.8627 EKtot 7.2 67 3 ANGL] 4.8 4 03 1-^EEL -101. 9700 >*!hB0ND 206.000 TEMP(K) = 291.69 18.5486 EPtoj 17.6964 J>IHED 19 9.3^^ VDWAALS 0000 RESTRAINT PRESS 0.0 142.3142 13.5633 1.5430 0.0000 Easy data extraction using AWK language, (output of a computer programs) 206.000 291.69 Data:/home/kulhanek/Documents/C2110/Lesson01/dat/rst.out $ grep TIME rst.out | awk 1{ print $6, $9 }' $ awk '/TIME/{print $6, $9}' rst.out NIX and programming Lesson 1/ Module 2 -10- Visualization of the Results minimum QM / ABF 4x500ps / variable Rewald T 0.0 0.5 1.0 DD (A) Displaying extracted data in the form of graphs (gnuplot). 10 UNIX and programming Lesson 1/ Module 2 Supramolecular complex: Ivo Durnik Data: /home/kulhanek/Documents/C2110/Lesson01/video 10 UNIX and programming Lesson 1/ Module 2 -12- Exercise 1 1. List the names of the front nodes (front-ends) that can be used to access the MetaCentrum supercomputer center. 2. What supercomputers are available in IT4I? 3. On what position is the Salomon supercomputer in the TOP500 list? 4. What operating systems are used on the world's top 10 fastest supercomputers? 10 UNIX and programming Lesson 1/ Module 2 -13-