Fakulta informačních technologií VUT v Brně

Detail předmětu

Architektura a programování paralelních systémů

ARC Ak. rok 2007/2008 letní semestr 5 kreditů

Předmět pokrývá architekturu i programování paralelních systémů s fukčním a datovým paralelismem. Nejdříve je pojednáno o teorii paralelních systémů a paralelizaci programů. Následuje popis nejrozšířenějších mnohojádrových a víceprocesorových symetrických multiprocesorů  (SMP) a jejich programování v prostředí OpenMP. Pokračuje výklad o propojovacích sítích jako základu populárních svazků pracovních stanic a dalších systémů se zasíláním zpráv. Jejich programování ve standardizovaném rozhraní  MPI je ilustrováno případovými studiemi paralelních aplikací. Závěrem je pojednáno o pokročilých systémech DSM NUMA.

Garant předmětu

Jazyk výuky

česky

Zakončení

zápočet+zkouška (písemná)

Rozsah

39 hod. přednášky, 13 hod. projekty

Bodové hodnocení

Zajišťuje ústav

Přednášející

Cvičící

Získané dovednosti, znalosti a kompetence z předmětu

Přehled principů výstavby paralelních systémů a propojovacích sítí, schopnost odhadnout výkonnost paralelních aplikací. Přehled o možnostech paralelizace základních technických úloh, znalost paralelního programování v MPI a v OpenMP.

Dovednosti, znalosti a kompetence obecné

Znalost možností a omezení paralelního zpracování, schopnost odhadnout výkonnost paralelních aplikací. Jazyková výbava pro komunikaci a synchronizaci procesů/vláken. Kompetence v technických a programových prostředcích pro náročné vědecké výpočty a simulace.

Cíle předmětu

Orientovat se v nabídce paralelních systémů, umět posoudit komunikační a výpočetní možnosti konkrétní architektury a predikovat výkonnost paralelních aplikaci. Seznámit se s nejdůležitějšími prostředky paralelního programování (MPI, OpenMP), naučit se je prakticky používat a řešit problémy paralelně.

Požadované prerekvizitní znalosti a dovednosti

Von Neumannova architektura počítače, paměťová hierarchie, paměti cache a jejich organizace, programování v JSI a v C/C++.

Literatura studijní

  • Dvořák, V.: Architektura a programování paralelních systémů. Skriptum FIT VUT v Brně, 2004, 170 s., ISBN 80-214-2608-X. 

Literatura referenční

  • Culler, D.E.: Parallel Computer Architecture - A Hardware / Software Approach. Morgan Kaufmann Publ., 1999, 1025 s., ISBN 1-55860-343-3. 
  • Quinn, M.J: Parallel Programming in C with MPI and OpenMP. McGraw Hill, 2004, 529 s., ISBN: 0072822562.
  • Dally, W.J., Towles, B.: Principles and Practices of Interconnection Networks. Morgan Kaufman Publ., 2004, 550 s., ISBN:0-12-200751-4.

Osnova přednášek

  • Funkční a datový paralelismus, ukazatele výkonnosti, režie, zákony omezující zrychlení.
  • Paralelizace programů, dekompozice, plánování úloh.
  • Multiprocesory se sdílenou pamětí. Saturace sběrnice, křížový přepínač, arbitry, organizace paměti.
  • Koherence vyrovnávacích pamětí, protokoly MSI a MESI. Modely paměťové konzistence.
  • OpenMP, paralelizace smyček.
  • Synchronizace v OpenMP, zámky a bariéry.
  • Paralelní programování orientované na výkonnost. 
  • Propojovací a přepínací sítě, směrovací algoritmy.
  • Řízení přenosu zpráv, architektura směrovačů.
  • Zpracování zpráv, kolektivní komunikace a výkonnost komunikací.
  • Programování se zasíláním zpráv (MPI).  
  • Výpočty na svazcích počítačů s použitím párových a kolektivních komunikací.
  • Multiprocesory s architekturou DSM - NUMA.  

Osnova numerických cvičení

Numerická cvičení u předmětu nejsou plánována.

Osnova ostatní - projekty, práce

  • Problém n těles (částic), predikce výkonnosti na svazku počítačů. 
  • Vývoj teplotního pole pomocí Jacobiho iterací na SMP v OpenMP.
  • Evoluční algoritmy na svazku blades.

Průběžná kontrola studia

Tři malé projekty v rozsahu 5, 4 a 4 hodin ; půlsemestrální písemka.

Podmínky zápočtu

Pro udělení zápočtu a připuštění ke zkoušce je třeba během semestru získat 20 bodů ze 40 možných.

Zařazení předmětu ve studijních plánech

Nahoru