Detail předmětu
Praktické paralelní programování
PPP Ak. rok 2024/2025 letní semestr 5 kreditů
Předmět pokrývá architekturu i programování distribuovaných paralelních systémů s funkčním a datovým paralelismem. Nejdříve je pojednáno o teorii paralelních systémů a paralelizaci programů. Následně je detailně rozebrána architektura současných superpočítačových systémů, topologií propojovacích síta směrovacích algoritmů. Dále jsou studovány paralelní a distribuované souborové systémy. Pokračuje výklad programování pro systémy se zasíláním zpráv ve standardizovaném rozhraní MPI. Následují ukázky základních profilovacích nástrojů pro paralelní aplikace a vyhodnocení získaných výkonnostních metrik. Předmět se dále věnuje základním programovým vzorům pro tvorbu paralelních aplikací a případovým studií z oblasti lineární algebry, řešení problémů popsaných parciálními diferenciálními rovnicemi, N-Body systémům, a Monte-Carlo metodám.
Garant předmětu
Koordinátor předmětu
Jazyk výuky
Zakončení
Rozsah
- 26 hod. přednášky
- 16 hod. pc laboratoře
- 10 hod. projekty
Bodové hodnocení
- 40 bodů průběžné testy
- 60 bodů projekty
Zajišťuje ústav
Přednášející
Cvičící
Cíle předmětu
Seznámit se s architekturou distribuovaných superpočítačových systémů, jejich propojovacími sítěmi a úložištěm dat. Orientovat se v nabídce paralelních systémů, umět posoudit komunikační a výpočetní možnosti konkrétní architektury a predikovat výkonnost paralelních aplikací. Naučit se psát přenositelné programy pomocí standardizovaných rozhraní, jazyků a knihoven, zapisovat paralelismus a komunikaci procesů. Naučit se je prakticky používat a řešit problémy s využitím superpočítačů.
Přehled architektur současných superpočítačových systémů, jejich možností a budoucích trendů. Schopnost vyhodnotit efektivitu softwarových aplikací na daném výpočetním systému, identifikovat výkonnostní problémy a navrhnout jejich nápravu. Znalosti základních programových vzorů vysoce náročných aplikací. Praktické zkušenosti s prací na superpočítačích Barbora a Karolina.
Znalost možností a omezení paralelního zpracování, schopnost odhadnout výkonnost paralelních aplikací. Jazyková výbava pro komunikaci a synchronizaci procesů/vláken. Kompetence v technických a programových prostředcích pro náročné vědecké výpočty a simulace.
Požadované prerekvizitní znalosti a dovednosti
Von Neumannova architektura počítače, paměťová hierarchie, paměti cache a jejich organizace, programování v C/C++. Dále znalosti z kurzů PRL a AVS.
Literatura studijní
- MPI Tutoriál: http://mpitutorial.com/
- Alternativní kurz o paralelním programování http://www.cs.kent.edu/~jbaker/ParallelProg-Sp11/
Literatura referenční
- Aktuální PPT prezentace přednášek v systému Moodle
- Pacecho, P.: Introduction to Parallel Programming. Morgan Kaufman Publishers, 2011, 392 s., ISBN: 9780123742605 URL: download
- Ananth Grama, Anshul Gupta, George Karypis, Vipin Kumar: Introduction to Parallel Computing, Addison-Wesley, 2003, 978-0201648652.Slides: download
- Victor Eijkhout: Parallel Programming in MPI and OpenMP Full book: download web version: https://theartofhpc.com/pcse/
- William Gropp, Ewing Lusk, Anthony Skjellum: Using MPI - 2nd Edition: Portable Parallel Programming with the Message Passing InterfaceUsing MPI - 2nd Edition: Portable Parallel Programming with the Message Passing Interface, MIT Press, 978-0262571326
- Hennessy, J.L., Patterson, D.A.: Computer Architecture - A Quantitative Approach. 5. vydání, Morgan Kaufman Publishers, Inc., 2012, 1136 s., ISBN 1-55860-596-7.
Osnova přednášek
- Ukazatele a zákony paralelního zpracování.
- Programovací vzory pro paralelní programování.
- Úvod do MPI, párové komunikace.
- Kolektivní komunikace.
- Komunikátory a topologie.
- Komplexní datové typy
- Jednostranné komunikace a RDMA
- Paralelní vstupně výstupní operace, MPI-IO
- Distribuované souborové systémy (Lustre) a knihovna HDF5.
- Knihovny pro paralelní výpočty, nástroje pro profilování a trasování aplikací.
- Hybridní programování OpenMP/MPI a jednostranné komunikace.
- Techniky pro směrování a řízení toku v superpočítačových systémech.
- Případové studie: maticové výpočty, řešení diferenciálních rovnic, dynamika kapalin (Lattice-Boltzmann), N-Body simulace, Monte-Carlo.
Osnova počítačových cvičení
- MPI: Párové (P2P) komunikace
- MPI: Kolektivní komunikace, TEST 1.
- MPI: Komunikátory, TEST 2.
- MPI: Datové typy, TEST 3.
- MPI: Jednostranné komunikace, TEST 4.
- MPI: Paralelní vstup výstup, TEST 5.
- HDF5: Knihovna pro paralelní vstup a výstup
- Profilování a trasování paralelních aplikací.
Osnova ostatní - projekty, práce
- Vývoj paralelní program v MPI superpočítači Barbora a Karolina.
Průběžná kontrola studia
- Projekt 60b
- 30b implementace
- 20b dokumentace a měření
- 10b ústní obhajoba
- Písemné testy 40b
- 5 krátých testů na 8b v rámci cvičení 2-6.
Podmínky zápočtu
- Získání min 30b z projektu a min 20b z průběžných testů.
Rozvrh
Den | Typ | Týdny | Místn. | Od | Do | Kapacita | PSK | Skup | Info |
---|---|---|---|---|---|---|---|---|---|
Po | přednáška | 1., 2., 3., 4., 5., 6., 7., 8., 9., 10., 12., 13. výuky | D0206 | 11:00 | 12:50 | 154 | 1MIT 2MIT | NBIO NEMB NHPC xx | Jaroš |
St | poč. lab | výuky | O204 | 08:00 | 09:50 | 20 | 1MIT 2MIT | xx | Jaroš |
Čt | poč. lab | 1., 2., 3., 4., 5., 6., 7., 8., 9., 10., 11. výuky | O204 | 14:00 | 15:50 | 20 | 1MIT 2MIT | xx | Jaroš |
Pá | poč. lab | 1., 2., 3., 4., 5., 6., 7., 8., 9., 11., 12., 13. výuky | O204 | 08:00 | 09:50 | 20 | 1MIT 2MIT | xx | Jaroš |
Pá | poč. lab | 1., 2., 3., 4., 5., 6., 7., 8., 9., 11., 12., 13. výuky | O204 | 10:00 | 11:50 | 20 | 1MIT 2MIT | xx | Jaroš |
Zařazení předmětu ve studijních plánech
- Program MITAI, obor NADE, NCPS, NGRI, NIDE, NISD, NISY, NISY do 2020/21, NMAL, NMAT, NNET, NSEC, NSEN, NSPE, NVER, NVIZ, libovolný ročník, volitelný
- Program MITAI, obor NBIO, libovolný ročník, povinný
- Program MITAI, obor NEMB, NEMB do 2023/24, 2. ročník, povinný
- Program MITAI, obor NHPC, 1. ročník, povinný