Bayesovské modely pro strojové učení (v angličtině)

• 26 hod. přednášky
• 13 hod. cvičení
• 13 hod. projekty

• 51 bodů závěrečná zkouška (písemná část)
• 24 bodů půlsemestrální test (písemná část)
• 25 bodů projekty

Demonstrovat omezení hlubokých neuronových sítí (DNN), které se staly velmi populární v mnoha oborech, ale fungují dobře jen v případě dostatečného množství dobře popsaných trénovacích dat. Presentovat Bayesovské modely (BM) umožňující činit spolehlivá rozhodnutí i v případech omezených dat, jelikož berou v úvahu nepřesnosti v odhadu parametrů modelu. Zavést koncept latentních proměnných, které činí BM modulárními (komplexní modely mohou být tedy rozloženy na jednodušší) a vhodné pro případy s chybějícími daty (např. trénování bez učitele v případě chybějících popisů dat). Uvést základní vědomosti a intuice k BM a pokročit ke složitějším tématům: techniky přibližné inference nutné pro složité modely, modely s nekonečným množstvím směsných komponentů v neparametrických BM, nebo Auto-Encoding Variational Bayes. Kurs je veden v angličtině.

V životě kolem nás není nic jistého. Nejistota nás provází i ve strojovém učení, klasifikaci a rozpoznávání - v základních kursech se naučíte, jak trénovat parametry Gaussovských modelů nebo neuronových sítí, ale jsou opravdu dobře? Můžeme si být jisti výsledkem? Jak dopadne model, pokud ho použijeme na data odlišná od trénovacích? Kurs BAY Vás naučí ničemu nevěřit a pokud možno vše vyjadřovat ne jako tvrdá čísla, ale jako pravděpodobnostní rozložení. Užijete si v něm matematiku, ale jestli to se strojovým učením myslíte vážně, nemůžete se na něj dívat jen jako na spojování krabiček, ale mít pevné matematické základy.

volně dostupné

• Python

1. Teorie pravděpodobnosti a rozdělení pravděpodobnosti. 
2. Bayesovská Inference (apriorní pravděpodobnosti, nejasnost odhadu parametrů, předpovězená hodnota posteriorních pravděpodobností)
3. Inference v Bayesovských modelech s konjugovanými apriorními pravděpodobnostmi. 
4. Inference v Bayesovských sítích (loopy belief propagation)
5. Expectation-Maximization algoritmy (s aplikacemi na Gaussovské směsné modely)
6. Přibližná inference v Bayesovských modelech pomocí Gibbsova vzorkování 
7. Inference pomocí variačního Bayese (VB), Stochastický VB 
8. Modely s nekonečným počtem směsných komponentů. Dirichletovy procesy. Chinese Restaurant procesy 
9. Pitman-Yor proces pro modelování jazyka. 
10. Šíření očekávání (expectation propagation) 
11. Gaussovské procesy 
12. Auto-Encoding Variational Bayes 
13. Praktické aplikace bayesovské inference

Demonstrační cvičení budou následovat okamžitě po přednáškách a budou obsahovat příklady, především v Pythonu. Kód a data pro příklady budou k dispozici studentům a budou tvořit základ projektu.

Projekt bude následovat demonstrační cvičení, jeho náplní bude zpracování poskytnutých reálných nebo simulovaných dat. Studenti budou pracovat v týmech v "evaluačním" módu a presentovat své výsledky na poslední přednášce/cvičení.

• půlsemestrální zkouška (24b)  
• odevzdání a presentace projektu (25b) 
• semestrální zkouška 51b.

Pro získání bodů ze zkoušky je nutné získat min. 20 bodů, jinak je zkouška hodnocena 0 body.