Detail předmětu

Bayesovské modely pro strojové učení (v angličtině)

BAYa Ak. rok 2021/2022 zimní semestr 5 kreditů

Aktuální akademický rok

Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference

Garant předmětu

Koordinátor předmětu

Jazyk výuky

anglicky

Zakončení

zkouška

Rozsah

  • 26 hod. přednášky
  • 13 hod. cvičení
  • 13 hod. projekty

Bodové hodnocení

  • 51 bodů závěrečná zkouška
  • 24 bodů půlsemestrální test
  • 25 bodů projekty

Zajišťuje ústav

Přednášející

Cvičící

Cíle předmětu

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

Proč je předmět vyučován

V životě kolem nás není nic jistého. Nejistota nás provází i ve strojovém učení, klasifikaci a rozpoznávání - v základních kursech se naučíte, jak trénovat parametry Gaussovských modelů nebo neuronových sítí, ale jsou opravdu dobře? Můžeme si být jisti výsledkem? Jak dopadne model, pokud ho použijeme na data odlišná od trénovacích? Kurs BAY Vás naučí ničemu nevěřit a pokud možno vše vyjadřovat ne jako tvrdá čísla, ale jako pravděpodobnostní rozložení. Užijete si v něm matematiku, ale jestli to se strojovým učením myslíte vážně, nemůžete se na něj dívat jen jako na spojování krabiček, ale mít pevné matematické základy.

Technické vybavení

volně dostupné

  • Python

Osnova přednášek

  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Inference v Bayesovských sítích
  3. Markovovská náhodná pole, Faktorové grafy, Belief Propagation
  4. Expectation-Maximization algoritmy (s aplikacemi na model směsice gaussovskéých rozloženní0
  5. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  6. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  7. Inference pomocí  Variational Bayes (VB), Mean-field aproximace
  8. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  9. Inference pro bayesovský model směsice gaussovskéých rozloženní zalozená na metodě Collapsed Gibbs sampling  
  10. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  11. Pitman-Yor proces pro modelování jazyka. 

Osnova numerických cvičení

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Osnova ostatní - projekty, práce

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat.

Průběžná kontrola studia

  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.

Zařazení předmětu ve studijních plánech

Nahoru