Fakulta informačních technologií VUT v Brně

Detail předmětu

Bayesovské modely pro strojové učení (v angličtině)

BAYa Ak. rok 2019/2020 zimní semestr 5 kreditů

Teorie pravděpodobnosti a rozdělení pravděpodobnosti, Bayesovská Inference, Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi, Inference v Bayesovských sítích, Expectation-Maximization algoritmy, Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování, Inference pomocí variačního Bayese (VB), Stochastický VB, Modely s nekonečným počtem směsných komponentů, Dirichletovy procesy, Chinese Restaurant procesy, Pitman-Yor proces pro modelování jazyka, Šíření očekávání, Gaussovské procesy, Auto-Encoding Variational Bayes, Praktické aplikace bayesovské inference

Garant předmětu

Zástupce garanta předmětu

Jazyk výuky

anglicky

Zakončení

zkouška

Rozsah

26 hod. přednášky, 13 hod. cvičení, 13 hod. projekty

Bodové hodnocení

51 zkouška, 24 půlsemestrální test, 25 projekty

Zajišťuje ústav

Přednášející

Cvičící

Baskar Murali K. (UPGM FIT VUT)
Diez Sánchez Mireia, M.Sc., Ph.D. (UPGM FIT VUT)
Ondel Lucas, Mgr. (UPGM FIT VUT)

Aktuální informace

Em., 2019-07-17, an information for Erasmus+ students:
BAYa is a highly demanding, mathematically-oriented course. Solid background knowledge in the basics of machine learning (at least at the level of FIT's IKR course, see http://www.fit.vutbr.cz/study/course-l.php.en?id=12754) and statistics is required for its successful completion.

Cíle předmětu

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

Proč je předmět vyučován

V životě kolem nás není nic jistého. Nejistota nás provází i ve strojovém učení, klasifikaci a rozpoznávání - v základních kursech se naučíte, jak trénovat parametry Gaussovských modelů nebo neuronových sítí, ale jsou opravdu dobře? Můžeme si být jisti výsledkem? Jak dopadne model, pokud ho použijeme na data odlišná od trénovacích? Kurs BAY Vás naučí ničemu nevěřit a pokud možno vše vyjadřovat ne jako tvrdá čísla, ale jako pravděpodobnostní rozložení. Užijete si v něm matematiku, ale jestli to se strojovým učením myslíte vážně, nemůžete se na něj dívat jen jako na spojování krabiček, ale mít pevné matematické základy.

Literatura studijní

  • C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006 
  • S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012. 
  • P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html 
  • D.P. Kingma, M. Welling: Auto-Encoding Variational Bayes, ICLR, Banff, 2014

Literatura referenční

  • C. Bishop: Pattern Recognition and Machine Learning, Springer, 2006 
  • S. J. Gershman and D.M. Blei: A tutorial on Bayesian nonparametric models, Journal of Mathematical Psychology, 2012. 
  • P Orbanz: Tutorials on Bayesian Nonparametrics: http://stat.columbia.edu/~porbanz/npb-tutorial.html 
  • D.P. Kingma, M. Welling: Auto-Encoding Variational Bayes, ICLR, Banff, 2014

Osnova přednášek

  1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
  2. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
  3. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
  4. Inference v Bayesovských sítích (loopy belief propagation)
  5. Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
  6. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
  7. Inference pomocí variačního Bayese (VB), Stochastický VB 
  8. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
  9. Pitman-Yor proces pro modelování jazyka. 
  10. Šíření očekávání (expectation propagation) 
  11. Gaussovské procesy 
  12. Auto-Encoding Variational Bayes 
  13. Praktické aplikace bayesovské inference

Osnova numerických cvičení

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Osnova ostatní - projekty, práce

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.

Průběžná kontrola studia

  • půlsemestrální zkouška (24b)  
  • odevzdání a presentace projektu (25b) 
  • semestrální zkouška 51b.

Rozvrh

DenTypTýdnyMístn.OdDoPSKSkupInfo
Stpřednáškavýuky G202 17:0018:50 1EIT 1MIT 2EIT 2MIT INTE xx
Stcvičenívýuky G202 19:0019:50 1EIT 1MIT 2EIT 2MIT INTE xx
Stostatní1., 2., 3., 4., 5., 6., 9., 10., 11., 12. výuky G202 20:0020:50rezerva

Zařazení předmětu ve studijních plánech

Nahoru