Detail práce
Posilované učení pro 3D hry
Práce se zabývá učením neuronové sítě na jednoduchých úlohách v prostředí 3D střílečky Doom, zprostředkovaném výzkumnou platformou ViZDoom. Hlavním cílem je vytvoření agenta, který se učí na několika úlohách zároveň. Použitým algoritmem posilovaného učení je Rainbow, který kombinuje několik vylepšení algoritmu DQN. Pro učení na více úlohách jsem navrhnul a otestoval dvě různé architektury sítě. Jedna z nich byla úspěšná a po relativně krátké době trénování dokázal agent získat téměř 50 % z maximální možné odměny. Klíčovým prvkem úspěchu je Embedding vrstva pro parametrický popis prostředí jednotlivých úloh. Hlavním zjištěním je, že Rainbow je schopen učit se v 3D prostředí a s pomocí Embedding vrstvy i na více úlohách zároveň.
neuronová síť, posilované učení, zpětnovazební učení, ViZDoom, přenesené učení, algoritmus Rainbow, PyTorch, Embedding vrstva
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm D.
- Co ještě dosaženému řešení chybí do skutečně funkčního agenta hrajícího Doom? Jak byste pokračoval dále?
- Proč se postava ve videu, které jste promítal, pouze točí na místě?
- Ve vaši práci je větší množství grafů bez popisů os. Můžete prosím objasnit význam veličin?
Bidlo Michal, doc. Ing., Ph.D. (UPSY FIT VUT), člen
Čadík Martin, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Křivka Zbyněk, Ing., Ph.D. (UIFS FIT VUT), člen
Rogalewicz Adam, doc. Mgr., Ph.D. (UITS FIT VUT), člen
@bachelorsthesis{FITBT22181,
author = "Michal Ber\'{a}nek",
type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
title = "Posilovan\'{e} u\v{c}en\'{i} pro 3D hry",
school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
year = 2019,
location = "Brno, CZ",
language = "czech",
url = "https://www.fit.vut.cz/study/thesis/22181/"
}