Detail předmětu
Paralelní výpočty na GPU
PCG Ak. rok 2021/2022 zimní semestr 5 kreditů
Předmět pokrývá architekturu a programování grafických karet Nvidia a částečně i AMD. Nejprve je detailně rozebrána architektura grafických karet. Následně je popsán model vykonávání programu pomocí techniky SIMT a víceúrovňové rozdělení výpočtu do vláken a bloků. Následuje popis hierarchie paměti CUDA, techniky synchronizace a redukce. Následuje popis pokročilých technik dynamického paralelismu a data-flow zpracování na GPU zakončené možnostmi využití více GPU v distribuovaných systémech s technologií NVlink a MPI společně s technikami překrývání výpočtu a komunikace. Předmět dále popisuje vysokoúrovňové knihovny pro akceleraci algoritmů na GPU. Zbytek předmětu se věnuje technologii OpenACC, která významně zjednodušuje programování grafických karet pomocí pragma nápověd pro kompilátor.
Garant předmětu
Koordinátor předmětu
Jazyk výuky
Zakončení
Rozsah
- 26 hod. přednášky
- 12 hod. pc laboratoře
- 14 hod. projekty
Bodové hodnocení
- 60 bodů závěrečná zkouška (písemná část)
- 10 bodů půlsemestrální test (písemná část)
- 30 bodů projekty
Zajišťuje ústav
Přednášející
Cvičící
Získané dovednosti, znalosti a kompetence z předmětu
Znalost využití grafických karet pro akceleraci obecných výpočtů, orientace v oblasti akcelerovaných výpočetních systémů a knihoven.
Pochopení důsledků hardwarových omezení na efektivitu softwarových řešení.
Cíle předmětu
Detailně se seznámit s architekturou a programováním grafických karet v oblasti obecných výpočtů pomocí knihoven Nvidia CUDA a standardu OpenACC. Naučit se navrhovat akcelerované programy využívající potenciál grafických karet. Seznámit se dostupnými knihovnami pro akceleraci výpočtu na grafických kartách.
Proč je předmět vyučován
Budoucnost nejen superpočítačových systémů, ale i běžných PC je v heterogenních systémech, kde sekvenční a kontrolní část provádí běžný procesor, zatímco výpočetně náročné části jsou převedeny na akcelerátor, v tomto případě grafickou kartu. Tento předmět Vás provede úskalím programování grafických karet pomocí nízkoúrovňové knihovny Nvidia CUDA i vysokoúrovňového rozhraní OpenACC. Získáte tak potřebné znalosti pro zápis, testování a optimalizaci masivně paralelních výpočetních úloh.
Požadované prerekvizitní znalosti a dovednosti
Látka vyučovaná v předmětech AVS, PRL a částečně PPP.
Literatura studijní
- Kirk, D., and Hwu, W.: Programming Massively Parallel Processors: A Hands-on Approach, Elsevier, 2010, s. 256, ISBN: 978-0-12-381472-2. download.
- Dokumentace OpenACC: https://www.openacc.org/
- Storti,D., and Yurtoglu, M.: CUDA for Engineers: An Introduction to High-Performance Parallel Computing, Addison-Wesley Professional; 1 edition, 2015. ISBN 978-0134177410. link.
Osnova přednášek
- Architektura grafických jednotek GPU.
- CUDA model vykonávání programu.
- CUDA hierarchie pamětí.
- Synchronizace a redukce.
- Dynamický paralelismus a unifikovaná paměť.
- Návrh a optimalizace algoritmů pro GPU.
- Víceproudové zpracování, překrytí komunikace a výpočtu.
- Multi-GPU systémy.
- Knihovna Nvidia Thrust.
- Základy knihovny OpenACC.
- Správa paměti v OpenACC.
- Optimalizace s OpenACC.
- Knihovny pro akceleraci výpočtů pomocí GPU.
Osnova počítačových cvičení
- CUDA: Paměťové přenosy, jednoduché kernely (4, týden)
- CUDA: Práce se sdílenou pamětí (5. týden).
- CUDA: Práce s texturní a konstantní pamětí (6. týden).
- CUDA: Dynamický paralelismus, streamy (8. týden).
- OpenACC: základní techniky (10. týden).
- OpenACC: pokročilé techniky (11. týden).
Osnova ostatní - projekty, práce
- Vývoj aplikace v prostředí Nvidia CUDA
- Vývoj aplikace v prostředí OpenACC
Průběžná kontrola studia
Vyhodnocení dvou projektů v celkovém rozsahu 14 hodin, půlsemestrální písemka.
Kontrolovaná výuka
- Zameškaná cvičení je možné nahradit v alternativní termín.
- V poslední týdnu semestru budou probíhat náhradní cvičení.
Podmínky zápočtu
Získání 20 ze 40 bodů za projekty a půlsemestrální písemku.
Zařazení předmětu ve studijních plánech