Aplikace paralelních počítačů

• 39 hod. přednášky

• 100 bodů závěrečná zkouška

Naučit se paralelizovat různé třídy úloh a predikovat jejich výkonnost. Umět využívat paralelismu a komunikace na úrovni vláken a procesů. Seznámit se s moderními standardními rozhraními, rozšířením jazyků a dalšími nástroji pro paralelní programování. Napsat a odladit paralelní program pro vybranou úlohu.
Paralelní architektury s distribuovanou a sdílenou pamětí, programování v C/C++ s MPI a OpenMP, GPGPU, paralelizace základních numerických metod.

Vysvětlit možnosti paralelního programování na vícejádrových procesorech, na svazcích počítačů a na GPGPU. Získat přehled o technikách synchronizace a komunikace. Seznámit se s metodikou paralelizace a predikcí výkonnosti vybraných reálných aplikací, tvorbě správných programů a užití paralelních výpočtů v praxi.  

Okruhy otázek k SDZ:

1. Ukazatele a zákony paralelního zpracování. Funkce konst. účinnosti a škálovatelnost.
2. Paralelní zpracování v OpenMP, SPMD, smyčky, sekce a tasky. Synchronizační prostředky.
3. Architektury se sdílenou pamětí, UMA i NUMA, zajištění koherence pamětí cache.
4. Blokující a neblokující párové (point-to-point) komunikace v MPI.
5. Kolektivní komunikace v MPI, paralellní vstup a výstup.
6. Architektura superskalárních procesorů a algoritmy OOO zpracování instrukcí.
7. Datový paralelismus SIMD a SIMT, HW implementace a SW podpora.
8. Architektura grafických procesorů, odlišnosti od superskalárních procesorů.
9. Programovací jazyk CUDA, model vláken a paměťový model.

• Praktické paralelní programování (PPP)

Typy paralelních počítačů, programování v C/C++, základní numerické metody

volně dostupné

• Message Passing Interface, OpenMP

• http://www.cs.berkeley.edu/~demmel/cs267_Spr13/
• David Patterson John Hennessy: Computer Organization and Design MIPS Edition, Morgan Kaufmann, 2013, s. 800, ISBN: 978-0-12-407726-3
• Kirk, D., and Hwu, W.: Programming Massively Parallel Processors: A Hands-on Approach, Elsevier, 2017, s. 540, ISBN: 978-0-12-811986-0

1. Architektury paralelních počítačů, ukazatele výkonnosti a predikce výkonnosti. 
2. Vzory paralelního programování 
3. Techniky synchronizace a komunikace.  
4. Programování se sdílenými proměnnými v OpenMP
5. Programování zasíláním zpráv v MPI
6. Datově paralelní programování v CUDA/OpenCL
7. Příklady paralelizace úloh a paralelních aplikací 

Obhajoba projektu, programového díla využívajícího některou variantu paralelního programování.
Zkouška probíhá jako obhajoba malého projektu, nejlépe z oblasti, na kterou se doktorand chce zaměřit v disertační práci. Projekt by měl demonstrovat potřebné zvýšení výkonnosti při řešení konkrétního problému použitím clusteru, vícejádrového procesoru nebo GPU. Podle toho je třeba zvolit programování v OpenMPI, OpenMP nebo CUDA/OpenCL, popřípadě v nějakém dalším specializovaném jazyce.