C2115 Praktický úvod do superpočítání -1-
C2115
Praktický úvod do
superpočítání
Petr Kulhánek, Tomáš Bouchal
kulhanek@chemi.muni.cz
Národní centrum pro výzkum biomolekul, Přírodovědecká fakulta,
Masarykova univerzita, Kotlářská 2, CZ-61137 Brno
I. lekce
C2115 Praktický úvod do superpočítání -2-
Obsah
 Historie, využití a budoucnost výpočetní techniky
 Příklady reálných problémů
projekty z Laboratoře výpočetní chemie
 Přehled výpočetních center ČR
MetaCentrum, CERIT-SC, IT4 Innovation
 Zahraniční výpočetní centra
centra dostupná pro zájemce z ČR, Top500
C2115 Praktický úvod do superpočítání -3-
Historie
http://en.wikipedia.org/wiki/History_of_computing_hardware
1985 Cray 2 1,9 GFLOPS
http://www.root.cz
Pavel Tišnovský, Unixové vykopávky1800 počátky děrných štítků
1946 ENIAC
1947 objev tranzistoru
1971 Intel 4004 (4 bit)
1974 Intel 8080 (8 bit)
1976 Intel 8086 (16 bit)
1985 Intel 80386 (32 bit)
2001 IA-64 (64 bit)
2003 AMD64/EM64T (64 bit)
proprietární vektorové CPU
2010 Intel Core i7 980X: @3,33 GHz
(6C/12T, Turbo@3,46 GHz): 109 GFLOPS
zdroj: wikipedia.org, intel.com
C2115 Praktický úvod do superpočítání -4Využití
výpočetní techniky
Výpočetní technika (počítače) zasáhla do všech odvětví lidské činnosti a stala se nedílnou
součástí našich životů. Dopomohl k tomu především bouřlivý vývoj v posledních 20 letech.
Výpočetní techniku používáme pro zábavu, k zpracovávání a konzumování informací.
Výpočetní technika (a hlavně superpočítače) se využívají k řešení numericky náročných
problémů jako jsou:
 simulace počasí, klimatologických a geologických změn (šíření záplav, vln tsunami,
zemětřesení)
 návrh nových materiálu a léčiv
 modelovaní ekonomického vývoje
 vědeckotechnické výpočty (chemie, fyzika, matematika)
 vojenské účely (simulace jaderných zbraní)
 .....
C2115 Praktický úvod do superpočítání -5-
Budoucnost
?
http://www.humanbrainproject.eu/
Simulátor lidského mozku:
... kvantové počítání, ...
Masivní využití GPGPU ...
Big Data ...
C2115 Praktický úvod do superpočítání -6Skupina
výpočetní
chemie
přehled řešených projektů
C2115 Praktický úvod do superpočítání -7Kdo
jsme ...
prof. RNDr. Jaroslav Koča, DrSc.
1 profesor
5 výzkumných asistentů
3 post-doc studenti
14 doktorských studentů
20 bakalářských a magisterských studentů
Mgr. Martin Prokop, Ph.D.
E-mail: martin.prokop@ceitec.muni.cz
Expertise: Software dev, Dockig
RNDr. Petr Kulhánek, Ph.D.
E-mail: petr.kulhanek@ceitec.muni.cz
Expertise: QM, QM/MM, MD, Free Energy
RNDr. Radka Svobodová, Ph.D.
E-mail: radka.svobodova@ceitec.muni.cz
Expertise: Chemo and Bioinformatics
RNDr. Robert Vácha, Ph.D.
E-mail: robert.vacha@ceitec.muni.cz
Expertise: MD, MC, Coarse Grain, Free Energy
Mgr. Stanislav Kozmon, Ph.D.
E-mail: stano@chemi.muni.cz
Expertise: QM, QM/MM
http://lcc.ncbr. muni.cz
C2115 Praktický úvod do superpočítání -8Kam
patříme ...
Masarykova univerzita VUT MENDELU VUVELVFU IPM
CEITEC
Přírodovědecká fakulta CEITEC-MU
NCBR
Strukturní
biologie
LCC
Skupina výpočetní chemie
Spolupráce:
Ústav chemie, Ústav biochemie,
RECETOX, Skupina
Glycobiochemie, Skupina NMR,
a další ...
Studijní obory:
Chemie, Biochemie, Strukturní
chemie, Biomolekulární
chemie, Chemoinformatika a
bioinformatika
http://lcc.ncbr. muni.czhttp://ncbr. muni.cz
C2115 Praktický úvod do superpočítání -9Co
studujeme ...
"malé" komplexy
biomolekulární
systémy
vybrané systémy studované skupinou výpočetní chemie
atomové rozlišení
zhrubené modely
C2115 Praktický úvod do superpočítání -10Výpočetní
chemie
http://www.ninger.com/images/comp.jpg
C2115 Praktický úvod do superpočítání -11Výpočetní
chemie
Výpočetní chemie (Computational Chemistry, počítačová chemie)
je odvětví chemie, které využívá počítačů při řešení chemických
problémů. Používá výsledků teoretické chemie implementované
do výkonných počítačových programů určených k výpočtům
struktury, vlastností a reaktivity molekul a pevných látek. I když její
výsledky doplňují informace získané chemickými experimenty, v
určitých případech může předpovědět doposud nepozorované
chemické jevy. Výpočetní chemie je široce používaná v návrhu
nových léčiv a materiálů.
www.wikipedia.org
C2115 Praktický úvod do superpočítání -12Nobelova
cena za chemii 1998/2013
The Nobel Prize in Chemistry 1998 was divided
equally between
Walter Kohn "for his development of the
density-functional theory" and
John A. Pople "for his development of
computational methods in quantum
chemistry"
http://www.nobelprize.org/nobel_prizes/chemistry/laureates/1998/
http://www.nobelprize.org/nobel_prizes/chemistry/laureates/2013/
Development of Multiscale Models for
Complex Chemical Systems
C2115 Praktický úvod do superpočítání -13Interdisciplinární
obor
C2115 Praktický úvod do superpočítání -14Úrovně
teorie
Kvantová mechanika Molekulová mechanika Coarse-grained mechanika
atomic resolution bead resolution
reaktivita pohyb domén, folding
atomic resolution bead resolutionatomové rozlišení bead resolution
konformační pohyby
až 1'000 atomů * až 1'000'000 beads *až 1'000'000 atomů *
až 100 ps * až ms *až 1 ms *
C2115 Praktický úvod do superpočítání -15-
Projekty
Studium (bio)molekulárních systémů
C2115 Praktický úvod do superpočítání -16Kvantově
chemické výpočty
)()(ˆ rr kkk
EH  
časově nezávislá Schrödingerova rovnice
Metody
Formální škálování HF CI metody MP metody CC metody
N4 -> N2 -> N1 HF,DFT
N5 MP2 CC2 (iterativní)
N6 CISD MP3, MP4(SDQ) CCSD (iterativní)
N7 MP4 CCSD(T), CC3 (iterativní)
N8 CISDT MP5 CCSDT
N9 MP6
N10 CISDTQ MP7 CCSDTQ (iterativní)
Škálování, časová náročnost: http://en.wikipedia.org/wiki/Time_complexity
HF - Hartreeho–Fockova metoda, DFT - teorie funkcionálu hustoty,
CI - metody konfigurační interakce, MP - Møllerova–Plessetova poruchová teorie,
CC - metoda vázaných klastrů, N - počet bázových funkcí
Jensen, F. Introduction to computational chemistry; 2nd ed.; John Wiley & Sons:
Chichester, England; Hoboken, NJ, 2007.
C2115 Praktický úvod do superpočítání -17Kvantově
chemické výpočty
supramolekulární komplexy
vazebné schopnosti sacharidů
C2115 Praktický úvod do superpočítání -18Molekulová
mechanika
Schrödingerova rovnice => kvantově mechanický pohled
vazebné příspěvky nevazebné příspěvkyKlasická fyzika=> mechanický pohled
aproximace využívající klasickou fyziku
neuvažuje se explicitní pohyb elektronů
(pohyb je implicitně zahrnut v empirických parametrech)
Formální škálování: N2 -> N log2N
N - počet atomů
C2115 Praktický úvod do superpočítání -19Molekulová
dynamika
iii
m= aF
soustava diferenciálních rovnic druhého řádu
vyžaduje numerické řešení
diskretizace molekulárního pohybu v krátkých
časových intervalech
1 fsdáno nejrychleším pohybem (vibrace vazeb)
Nedokonalosti v integraci se odstraňují použitím termostatů a barostatů, které zároveň
zajišťují požadované podmínky simulace.
F
R
R




)(E
II. Newtonův pohybový zákon (zákon síly)
2
2
dt
d i
i
r
a 
typický integrační krok
2
2
)(
dt
d
m
E i
i
r
R
R




C2115 Praktický úvod do superpočítání -20Karbonická
anhydráza IX
Zvýšená produkce karbonické anhydrázy IX v solidních nádorech v
důsledku hypoxie snižuje pH v mezibuněčném prostoru což vede k
zvýšené mobilitě nádorových buněk.
Karbonické anhydrázy tvoří rodinu enzymů, které katalyzují rychlou přeměnu oxidu
uhličitého na hydrogenuhličitan a protony (nebo naopak). Jedná se o metaloproteiny
obsahující zinečnatý iont v aktivním místě.
C2115 Praktický úvod do superpočítání -21Karbonická
anhydráza IX - projekty
Studované oblasti:
- struktura a dynamika PG domény, která
není známa (důležité pro vývoj
selektivních inhibitorů)
- oligomerace enzymu
- chování enzymu na membráně
Simulační techniky:
- molekulová dynamika s atomovým
rozlišením
- Monte Carlo simulace na zhrubených
modelech
Školitelé či konzultanti:
 RNDr. Petr Kulhánek, PhD.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
 Mgr. Kamila Réblová, Ph.D.
(Lékařská genomika - Centrum molekulární medicíny - Středoevropský technologický institut)
 RNDr. Robert Vácha, PhD.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
 Mgr. Naděžda Špačková, Ph.D.
(Ústav fyziky kondenzovaných látek - Fyzikální sekce - Přírodovědecká fakulta)
C2115 Praktický úvod do superpočítání -22Oprava
DNA
MutL
MutH
MutS
Školitelé či konzultanti:
 Mgr. Kamila Réblová, Ph.D.
(Lékařská genomika - Centrum molekulární medicíny - Středoevropský technologický institut)
 RNDr. Petr Kulhánek, PhD.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
 Mgr. Naděžda Špačková, Ph.D.
(Ústav fyziky kondenzovaných látek - Fyzikální sekce - Přírodovědecká fakulta)
C2115 Praktický úvod do superpočítání -23Simulace
pomocí CG modelů
CG = coarse grained
(hrubozrnné modely)
Školitelé či konzultanti:
 RNDr. Robert Vácha, PhD.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
C2115 Praktický úvod do superpočítání -24Interakce
proteinů a membrán
• peptidy z našeho
imunitního systému
(membránové póry)
• amyloidové proteiny
(fibrilové struktury a
narušení membrán)
• proteiny virů (capsidy
a průnik do buňky)
od all-atom modelů až po zhrubené modely
Školitelé či konzultanti:
 RNDr. Robert Vácha, PhD.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
C2115 Praktický úvod do superpočítání -25Funkce
virů
Školitelé či konzultanti:
 RNDr. Robert Vácha, PhD.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
 Mgr. Pavel Plevka, Ph.D.
(Strukturní virologie - Centrum strukturní biologie - Středoevropský technologický institut)
C2115 Praktický úvod do superpočítání -26-
Glykosyltransferázy
Glycosyltransferázy jsou enzymy, které katalyzují přenos aktivovaného cukerného zbytku
na oligosacharidy, proteiny či jiné biomolekuly. Jsou důležité v post-translační modifikaci
proteinů, regulaci, či vytváření strukturní podpory.
Mycobacterium tuberculosis
(patogenní baktérie)
Clostridium difficile
(patogenní baktérie)
smrt buňky
Motivace:inhibitorglycosyltransferázové
aktivitytoxinu->protijed
Motivace:inhibitorsyntézydůležité
složkymembrány->antibiotikum
C2115 Praktický úvod do superpočítání -27Reakční
mechanismy (QM/MM)
Školitelé či konzultanti:
 prof. RNDr. Jaroslav Koča, DrSc.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
 Mgr. Stanislav Kozmon, Ph.D.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
 RNDr. Petr Kulhánek, PhD.
(Výpočetní chemie - Centrum strukturní biologie - Středoevropský technologický institut)
 Ing. Igor Tvaroška, DrSc.
(Ústav chemie, Slovenská akademie věd)
A) Glycosyltransferáza GlfT2
B) Katalytická doména TcdB
dvě různé reakce v jednom aktivním místě
C2115 Praktický úvod do superpočítání -28Vyvíjený
software
SiteBinderMoleTriton EEM
Více na: https://lcc.ncbr.muni.cz
NEMESIS
TRITON
C2115 Praktický úvod do superpočítání -29Cvičení
1
1. Co určuje časová náročnost výpočtu O(N)?
2. Kolikrát se prodlouží výpočet potenciální energie molekuly benzenu kvantově
chemickou metodou CCSD(T), pokud změníme použitou bázi z aug-cc-pVDZ na aug-ccpVTZ?
Počet bázových funkcí je 192 pro aug-cc-pVDZ a 414 pro aug-cc-pVTZ.
3. Pokud bude doba výpočtu potenciální energie za použití metody CCSD(T)/aug-cc-pVDZ
trvat 5 hodin, jak dlouho bude trvat výpočet za použití metody CCSD(T)/aug-cc-pVTZ?
4. Reakce prvního řádu katalyzovaná enzymem má jeden rychlost určující krok s aktivační
Gibbsovou energií 18 kcal/mol. Jaký je poločas reakce při 300 K?
5. Jakou délku by musela mít molekulárně dynamická simulace jednoho komplexu
enzymu se substrátem z předchozího úkolu tak, abyste pozorovali přeměnu substrátu s
50 % pravděpodobností?
6. Určete počet integračních kroků, které bude nutné provést v simulaci z úkolu 5 za
předpokladu, že bude integrační krok 0,125 fs (QM/MM dynamika za použítí CPMD).
7. Určete strojový čas, který by bylo nutné na simulaci vynaložit, za předpokladu, že se
jeden integrační krok počítá 5 sekund. Hodnotu diskutujte.
8. Určete strojový čas, který je zapotřebí vynaložit na molekulárně dynamickou simulaci
fragmentu celulosy o délce 1 ms ve vodním boxu o celkovém počtu 408609 atomů na
jedné grafické kartě typu GTX680 za NPT podmínek? Pro řešení použijte data
poskytnutá zde: http://ambermd.org/gpus/benchmarks.htm#Benchmarks
C2115 Praktický úvod do superpočítání -30Výpočetní
centra
v ČR
C2115 Praktický úvod do superpočítání -31-
MetaCentrum
http://www.metacentrum.cz/
Cílem projektu MetaCentrum je provoz a koordinace distribuované výpočetní
infrastruktury a datových úložišť a odpovídajícího podpůrného prostředí v České republice
jako součást pan-evropské infrastruktury budované v rámci projektu EGI Inspire.
Vytvoření virtuálního pracovního prostředí MetaCentrum přispívá k podstatně
efektivnějšímu využití instalované techniky, umožňuje využití dostupných výpočetních
zdrojů pro řešení velmi náročných výpočetních úloh, jejichž zvládnutí je nad možností
samostatného pracoviště v ČR.
MetaCentrum je aktivita sdružení CESNET.
C2115 Praktický úvod do superpočítání -32-
CERIT-SC
Centrum CERIT-SC (CERIT Scientific Cloud) je národním centrem poskytujícím flexibilní
úložné a výpočetní kapacity a související služby, včetně podpory jejich exprimentálního
využití. Současně centrum provádí výzkum a vývoj v oblasti flexibilních e-infrastruktur a
spolupracuje na výzkumných aktivitách svých uživatelů.
Centrum CERIT-SC vzniká transformací Superpočítačového centra Brno (SCB), které je
součástí Ústavu výpočetní techniky (ÚVT) Masarykovy univerzity (MU).
http://www.cerit-sc.cz/
C2115 Praktický úvod do superpočítání -33MetaCentrum
VO
Sdružuje výpočetní zdroje poskytované MetaCentrem, projektem CERIT-SC a dalšími
partnery.
http://metavo.metacentrum.cz/
 Účet může získat student libovolné vysoké školy
ČR.
 Přístup není vázán na konkrétní projekt a je
udělen na 1 rok.
 Prodloužení přístupu je podmíněno odevzdáním
výroční zprávy.
• Národní gridová infrastruktura
• OS Debian
• ca 12728 CPU jader
• CEITEC/NCBR vlastní zdroje cca 1260 CPU jader
• ~2 PB úložných diskových polí, ~20 PB hierarchických úložných prostorů
C2115 Praktický úvod do superpočítání -34MetaCentrum
VO
 Účet může získat student libovolné vysoké školy
ČR.
 Přístup není vázán na konkrétní projekt a je
udělen na 1 rok.
 Prodloužení přístupu je podmíněno odevzdáním
výroční zprávy.
• Národní gridová infrastruktura
• OS Debian
• ca 12728 CPU jader
• CEITEC/NCBR vlastní zdroje cca 1260 CPU jader
• ~2 PB úložných diskových polí, ~20 PB hierarchických úložných prostorů
Sdružuje výpočetní zdroje poskytované MetaCentrem, projektem CERIT-SC a dalšími
partnery.
http://metavo.metacentrum.cz/
C2115 Praktický úvod do superpočítání -35IT4
Innovation
IT4Innovations je projekt, jehož cílem je vybudovat národní centrum excelentního výzkumu
v oblasti informačních technologií. Součástí projektu bude pořízení velmi výkonného
superpočítače, který by měl být uveden do provozu okolo roku 2014.
Základem centra bude computing (počítání), který je formulován do tří vzájemně
propojených klíčových oblastí výzkumu:
 IT4People (Information Technology for People) – výzkum zaměřený na zlepšení kvality
života společnosti prostřednictvím moderních informačních technologiích.
 SC4Industry (Supercomputing for Industry) – superpočítačové výpočty pro řešení
průmyslových problémů, modelování v oblasti přírodních věd a nanotechnologií
(tvarové optimalizace, návrh materiálů, biomechanické simulace, ...).
 Theory4IT (Theory for Information Technology) - oblast zaměřená do základního
výzkumu, a to především na rozvoj nových netradičních výpočetních metod (dolování
znalostí, teorie mravenišť).
Projekt společně připravuje pět subjektů: Vysoká škola báňská-Technická univerzita Ostrava, Ostravská univerzita v
Ostravě, Slezská univerzita v Opavě, Vysoké učení technické v Brně a Ústav geoniky AV ČR.
http://www.it4i.cz/
C2115 Praktický úvod do superpočítání -36Výpočetní
centra
v zahraničí
C2115 Praktický úvod do superpočítání -37-
PRACE
http://www.prace-ri.eu/
Project Types:
 Multi-year Access is available to major European projects or infrastructures that can
benefit from PRACE resources and for which Project Access is not appropriate.
 Project Access is intended for individual researchers and research groups including
multi-national research groups and has a one year duration. Calls for Proposals for
Project Access are issued twice yearly (February and September).
 Preparatory Access is intended for resource use required to prepare proposals for
Project Access. Applications for Preparatory Access are accepted at any time.
PRACE: Partnership for Advanced Computing in Europe
C2115 Praktický úvod do superpočítání -38PRACE
- členové
Austria: JKU - Johannes Kepler University of Linz
Belgium: DGO6-SPW - Direction générale opérationnelle de l’Économie, de l’Emploi et de la Recherche – Service Public de Wallonie
Bulgaria: NCSA - Executive agency "Electronic communication networks and information systems"
Cyprus: CaSToRC – Computation-based Science and Technology Research Center, The Cyprus Institute
Czech Republic: VŠB - Technical University of Ostrava
Denmark: DeIC - Danish e-Infrastructure Cooperation
Finland: CSC - IT Center for Science Ltd.
France: GENCI - Grand Equipement National de Calcul Intensif
Germany: GCS - GAUSS Centre for Supercomputing e.V
Greece: GRNET - Greek Research and Technology Network S.A.
Hungary: NIIFI - National Information Infrastructure Development Institute
Ireland: ICHEC - Irish Centre for High-End Computing
Israel: IUCC - Inter-University Computation Center
Italy: CINECA - Consorzio Interuniversitario
Norway: SIGMA – UNINETT Sigma AS – The Norwegian Metacenter for Computational Science
The Netherlands: SURFSARA: SARA Computing and Networking Services
Poland: PSNC – Instytut Chemii Bioorganicznej Pan – Institute of Bioorganic Chemistry – Poznan Supercomputing and Networking
Center
Portugal: Universidade de Coimbra
Serbia: IPB - Institute of Physics Belgrade
Slovenia: ULFME - University of Ljubljana, Faculty of Mechanical Engineering
Spain: BSC – Barcelona Supercomputing Center – Centro Nacional de Supercomputación
Sweden: Vetenskapsrådet – Swedish Research Council
Switzerland: ETH – Eidgenössische Technische Hochschule Zürich – Swiss Federal Institute of Technology, Zürich
Turkey: UYBHM – Ulusal Yuksek Basarimli Hesaplama Merkezi, Istanbul Technical University – National Center for High Performance
Computing
UK: EPSRC – The Engineering and Physical Sciences Research Council
C2115 Praktický úvod do superpočítání -39-
TOP500
TOP500 benchmark
Our simple TOP500 approach does not define “supercomputer” as such, but we use a
benchmark to rank systems and to decide on whether or not they qualify for the TOP500
list. The benchmark we decided on was Linpack, which means that systems are ranked only
by their ability to solve a set of linear equations, A x = b, using a dense random matrix A.
http://www.top500.org/
TOP500 je projekt, který udržuje seznam 500 nejrychlejších počítačů na světe.
Listopad 2012
C2115 Praktický úvod do superpočítání -40TOP500
– Topologie
symmetric multiprocessing
(CPU mají společnou paměť)
massively parallel processing
(CPU mají vlastní paměť)
(uzel má více CPU než je uzlů celkem)
(uzel má méně CPU než je uzlů celkem)
C2115 Praktický úvod do superpočítání -41TOP500
– CPU architektura
C2115 Praktický úvod do superpočítání -42TOP500
– Typ použití
C2115 Praktický úvod do superpočítání -43TOP500
– Akcelerátory/Koprocesory
C2115 Praktický úvod do superpočítání -44TOP500
– Akcelerátory/Koprocesory
C2115 Praktický úvod do superpočítání -45K
– computer, 3. místo, 2012
http://www.youtube.com/watch?v=UJPsIu9OaTc
C2115 Praktický úvod do superpočítání -46Cvičení
2
1. Co udává jednotka FLOPS?
2. Jak se jmenuje nejrychlejší superpočítač uvedený v žebříčku TOP500? Jaký je jeho
výkon a energetická spotřeba?
3. V roce 2014 činila průměrná spotřeba energie na jednoho obyvatele domácnosti v ČR
1400 kWh. Kolik osob by pokrylo svoji roční spotřebu z energie, kterou spotřebovává
nejvýkonnější počítač světa dle žebříčku TOP500?
4. Odhadněte na co se elektrická energie v superpočítači přemění a v jakém
procentuálním zastoupení.
5. Jak se jmenují superpočítače v IT4I?
6. Z čeho se skládají (uveďte klíčové technologie)?
7. Na jaké příčce žebříčku TOP500 se nacházejí?
8. Jaký procesor máte ve vašem mobilním telefonu? Kolikrát je výkonnější než
superpočítač Cray 2 z roku 1985? [do protokolu nemusíte uvádět]