Fakulta informačních technologií VUT v Brně

Detail předmětu

Architektura a programování paralelních systémů

ARC Ak. rok 2005/2006 letní semestr 5 kreditů

Aktuální akademický rok

Předmět pokrývá architekturu i programování paralelních systémů s fukčním a datovým paralelismem. Nejdříve je pojednáno o nejrozšířenějších symetrických multiprocesorech se společnou sběrnicí (SMP) a jejich programování v prostředí OpenMP. Následuje výklad propojovacích sítí jako základ populárních svazků pracovních stanic a dalších systémů se zasíláním zpráv. Jejich programování ve standardizovaném rozhraní MPI je ilustrováno případovými studiemi paralelních aplikací. V poslední skupině jsou datově-paralelní systémy a programování.

Garant předmětu

Jazyk výuky

česky

Zakončení

zkouška (písemná)

Rozsah

39 hod. přednášky, 13 hod. projekty

Bodové hodnocení

60 zkouška, 12 půlsemestrální test, 28 projekty

Zajišťuje ústav

Přednášející

Cvičící

Získané dovednosti, znalosti a kompetence z předmětu

Přehled principů výstavby paralelních systémů a propojovacích sítí, komunikačních technik a algoritmů. Přehled o možnostech a dovednost paralelizace základních technických úloh, znalost paralelního programování v MPI a v OpenMP.

Dovednosti, znalosti a kompetence obecné

Znalost možností a omezení paralelního zpracování, schopnost odhadnout výkonnost paralelních aplikací. Jazyková výbava pro komunikaci a synchronizaci procesů/vláken. Kompetence v technických a programových prostředcích pro náročné vědecké výpočty a simulace.

Cíle předmětu

Orientovat se v nabídce paralelních systémů, umět posoudit komunikační a výpočetní možnosti konkrétní architektury a predikovat výkonnost paralelních aplikaci. Seznámit se s nejdůležitějšími prostředky paralelního programování (MPI, OpenMP), naučit se je prakticky používat a řešit problémy paralelně.

Požadované prerekvizitní znalosti a dovednosti

Architektura počítače typu von Neumann, hierarchické uspořádání paměťového systému, vyrovnávací paměti a jejich organizace, programování v JSI a v C/C++

Literatura studijní

  • Dvořák, V.: Architektura a programování paralelních systémů. Skriptum FIT VUT v Brně, 2004, 170 s., ISBN 80-214-2608-X. 

Literatura referenční

  • Culler, D.E.: Parallel Computer Architecture - A Hardware / Software Approach. Morgan Kaufmann Publ., 1999, 1025 s., ISBN 1-55860-343-3. 
  • Quinn, M.J: Parallel Programming in C with MPI and OpenMP. McGraw Hill, 2004, 529 s., ISBN: 0072822562.
  • Dally, W.J., Towles, B.: Principles and Practices of Interconnection Networks. Morgan Kaufman Publ., 2004, 550 s., ISBN:0-12-200751-4.

Osnova přednášek

  • Funkční a datový paralelismus, ukazatele výkonnosti, režie, zákony omezující zrychlení.
  • Multiprocesory se sdílenou pamětí a společnou sběrnicí. Saturace sběrnice, organizace paměti.
  • Koherence vyrovnávacích pamětí, protokoly MSI a MESI. 
  • OpenMP, paralelizace smyček.
  • Synchronizace v OpenMP. zámky a bariéry.
  • Výkonnost paralelních aplikací. 
  • Propojovací a přepínací sítě. směrovací algoritmy.
  • Řízení přenosu zpráv, architektura směrovačů.
  • Zpracování zpráv, kolektivní komunikace a výkonnost komunikací.
  • Programování se zasíláním zpráv (MPI).  
  • Výpočty na svazcích počítačů s použitím párových a kolektivních komunikací.
  • Multiprocesory s DSM.  
  • Datově paralelní systémy a programování, HPF.

Osnova numerických cvičení

  • Model SMP s koherentními vyrovnávacími pamětmi, předvýběr dat, falešné sdílení, paralelizace FFT.
  • Řazení na SMP.
  • Půlsemestrální test.
  • Kolektivní komunikace. Numerické metody v MPI.
  • Paralelizace úloh zpracování obrazů.

Osnova ostatní - projekty, práce

  • Paralelní rychlá Fourierova transformace (FFT) na symetrickém multiprocesoru v OpenMP.
  • Paralelní bitonické řazení - predikce výkonnosti pro danou topologii.
  • Paralelní řešení velkého systému lineárních rovnic nebo maticové násobení na svazku pracovních stanic nebo PC, MPI.
  • Diskrétní optimalizace nebo Dolování dat - svazek pracovních stanic.

Průběžná kontrola studia

Čtyři malé projekty v rozsahu 2 hodin každý; půlsemestrální písemka.

Podmínky zápočtu

Získání 20 ze 40 možných bodů během semestru.

Zařazení předmětu ve studijních plánech

Nahoru