Detail práce
Playing Gomoku with Neural Networks
Táto práca sa zaoberá použitím algoritmu AlphaZero pre hru Gomoku. AlphaZero je založený na spätnoväzbnom učení a k trénovaniu nemusia byť využité žiadne existujúce datasety. Trénovanie prebieha iba na hrách algoritmu samého so sebou. AlphaZero používa algoritmus na prehľadávanie stromu, pre zlepšenie stratégie. Na vylepšnej stratégii sa následne trénuje neurónová sieť. Tento prístup bol úspešný v hrách proti existujúcim algoritmom. Generovanie trénovacích dát vysokej kvality si vyžaduje veľa výpočetne náročných iterácií trénovania a generovania dát. Experimenty ukázali, že každou iteráciou sa algoritmus zlepšuje, čo naznačuje, že je ešte miesto na zlepšenie, ale množstvo iterácií nedostačovalo na to, aby bol poriadne natrénovaný.
neurónové siete, Monte Carlo tree search, AlphaZero, backpropagation, reinforcement learning
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
- Proč není efektivní Markov Chain Tree Search na GPU?
- Jak se AlphaZero potýká s Exploration-Exploitation tradeoff?
- Proč jsou policy head a value head obě hluboké? (Figure 4.1)
- Proč jste použil právě metodu Monte Carlo Tree search?
- Dělal jste nějaké srovnání s existujícími metodami?
Bidlo Michal, doc. Ing., Ph.D. (UPSY FIT VUT), člen
Čadík Martin, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Křivka Zbyněk, Ing., Ph.D. (UIFS FIT VUT), člen
Rogalewicz Adam, doc. Mgr., Ph.D. (UITS FIT VUT), člen
@bachelorsthesis{FITBT21764,
author = "Michal Sl\'{a}vka",
type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
title = "Playing Gomoku with Neural Networks",
school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
year = 2019,
location = "Brno, CZ",
language = "english",
url = "https://www.fit.vut.cz/study/thesis/21764/"
}