Detail předmětu

Praktické paralelní programování

PPP Ak. rok 2021/2022 letní semestr 5 kreditů

Aktuální akademický rok

Předmět pokrývá architekturu i programování distribuovaných paralelních systémů s funkčním a datovým paralelismem. Nejdříve je pojednáno o teorii paralelních systémů a paralelizaci programů. Následně je detailně rozebrána architektura současných superpočítačových systémů, topologií propojovacích síta  směrovacích algoritmů. Dále jsou studovány paralelní a distribuované souborové systémy. Pokračuje výklad programování pro systémy se zasíláním zpráv ve standardizovaném rozhraní MPI. Následují ukázky základních profilovacích nástrojů pro paralelní aplikace a vyhodnocení získaných výkonnostních metrik. Předmět se dále věnuje základním programovým vzorům pro tvorbu paralelních aplikací a případovým studií z oblasti lineární algebry, řešení problémů popsaných parciálními diferenciálními rovnicemi, N-Body systémům, a Monte-Carlo metodám. 

Garant předmětu

Jaroš Jiří, doc. Ing., Ph.D. (UPSY)

Koordinátor předmětu

Kořenek Jan, doc. Ing., Ph.D. (UPSY)

Jazyk výuky

česky

Zakončení

zápočet+zkouška (písemná)

Rozsah

  • 26 hod. přednášky
  • 16 hod. pc laboratoře
  • 10 hod. projekty

Bodové hodnocení

  • 60 bodů závěrečná zkouška (písemná část)
  • 15 bodů půlsemestrální test (písemná část)
  • 25 bodů projekty

Zajišťuje ústav

Ústav počítačových systémů (UPSY)

Přednášející

Jaroš Jiří, doc. Ing., Ph.D. (UPSY)

Cvičící

Vrána Roman, Ing.

Získané dovednosti, znalosti a kompetence z předmětu

Přehled architektur současných superpočítačových systémů, jejich možností a budoucích trendů. Schopnost vyhodnotit efektivitu softwarových aplikací na daném výpočetním systému, identifikovat výkonnostní problémy a navrhnout jejich nápravu. Znalosti základních programových vzorů vysoce náročných aplikací. Praktické zkušenosti s prací na superpočítačích Barbora a Karolina. 

Znalost možností a omezení paralelního zpracování, schopnost odhadnout výkonnost paralelních aplikací. Jazyková výbava pro komunikaci a synchronizaci procesů/vláken. Kompetence v technických a programových prostředcích pro náročné vědecké výpočty a simulace. 

Cíle předmětu

Seznámit se s architekturou distribuovaných superpočítačových systémů, jejich propojovacími sítěmi a úložištěm dat. Orientovat se v nabídce paralelních systémů, umět posoudit komunikační a výpočetní možnosti konkrétní architektury a predikovat výkonnost paralelních aplikací. Naučit se psát přenositelné programy pomocí standardizovaných rozhraní, jazyků a knihoven, zapisovat paralelismus a komunikaci procesů. Naučit se je prakticky používat a řešit problémy s využitím superpočítačů.

Proč je předmět vyučován

Tento předmět Vás zavede do oblasti, kde jeden počítač ani zdaleka nestačí pro řešení daného problému. Jedinou možností je pak rozdělit práci na několik strojů a zajistiti jejich vzájemnou komunikaci a synchronizaci. Pro tyto účely si podrobně představíme knihovnou MPI, kterou budeme následně zkoušet na superpočítači Salomon. Aby naše kódy dobře šlapaly, nahlédneme i pod kapotu těchto stojů a seznámíme se s architekturou uzlů a propojovacích sítí. V rámci předmětu si představíme i několik typických problémů z oblasti vysoce náročného počítání, např. fyzikální simulace síření tepla, dynamiku kapalin, gravitační působení galaxií nebo sbalování proteinů, nebo Monte-Carlo metody pro simulaci síření světla. V rámci výkladu si ukážeme zajímavé knihovny z dané oblasti.

Požadované prerekvizitní znalosti a dovednosti

Von Neumannova architektura počítače, paměťová hierarchie, paměti cache a jejich organizace, programování v JSI a v C/C++. Dále znalosti z kurzů PRL a AVS.

Technické vybavení

Výuka probíhá na superpočítačích Barbora a Karolina v centru IT4Innovations.

Literatura studijní

Literatura referenční

  • Aktuální PPT prezentace přednášek v systému Moodle
  • Pacecho, P.: Introduction to Parallel Programming. Morgan Kaufman Publishers, 2011, 392 s., ISBN: 9780123742605 URL: download
  • Ananth Grama, Anshul Gupta, George Karypis, Vipin Kumar: Introduction to Parallel Computing, Addison-Wesley, 2003, 978-0201648652.Slides: download
  • Victor Eijkhout: Parallel Programming in MPI and OpenMP Full book: download web version: https://theartofhpc.com/pcse/
  • William Gropp, Ewing Lusk, Anthony Skjellum: Using MPI - 2nd Edition: Portable Parallel Programming with the Message Passing InterfaceUsing MPI - 2nd Edition: Portable Parallel Programming with the Message Passing Interface, MIT Press, 978-0262571326
  • Hennessy, J.L., Patterson, D.A.: Computer Architecture - A Quantitative Approach. 5. vydání, Morgan Kaufman Publishers, Inc., 2012, 1136 s., ISBN 1-55860-596-7.

Osnova přednášek

  1. Ukazatele a zákony paralelního zpracování.
  2. Metodika tvorby paralelních programů.
  3. Knihovna MPI: Párové komunikace.
  4. Knihovna MPI: Kolektivní komunikace.
  5. Knihovna MPI: Komunikátory a topologie.
  6. Knihovna MPI: Datové typy.
  7. Knihovna MPI: Jednostranné komunikace.
  8. Distribuované souborové systémy a MPI-IO
  9. Knihovny pro paralelní vstup a výstup.
  10. Analýza výkonnosti paralelních aplikací.
  11. Případové studie paralelních aplikací (násobení matic, BLAS).
  12. Případové studie paralelních aplikací (Jacobi iterační metoda, metody konečných diferencí).
  13. Topologie propojovacích sítí, směrovací algoritmy, přepínání, řízení toku.

Osnova počítačových cvičení

  1. MPI: Point-to-point komunikace.
  2. MPI: Kolektivní komunikace.
  3. MPI: Komunikátory.
  4. MPI: Datové typy.
  5. MPI: Jednostranné komunikace
  6. MPI: vstup a výstup pomocí MPI-IO
  7. MPI: vstup a výstup pomocí HDF5
  8. Profilování a trasování

 

Osnova ostatní - projekty, práce

  • Vývoj paralelní program v MPI superpočítači.

Průběžná kontrola studia

Vyhodnocení projektu v celkovém rozsahu 10 hodin, půlsemestrální písemka.

Kontrolovaná výuka

  • Zameškaná cvičení je možné nahradit v alternativní termín (pondělí nebo pátek)
  • V poslední týdnu semestru budou probíhat náhradní civčení

Podmínky zápočtu

Získání 20 ze 40 bodů za projekty a půlsemestrální písemku. Minimálně 1 bod z projektu.

Zařazení předmětu ve studijních plánech

Nahoru