Detail práce

Aplikace posilovaného učení v řízení autonomního vozidla

Diplomová práce Student: Vosol David Akademický rok: 2021/2022 Vedoucí: Janoušek Vladimír, doc. Ing., Ph.D.
Název anglicky
Application of Reinforcement Learning in Autonomous Driving
Jazyk práce
český
Abstrakt

Tato práce se zabývá problematikou posilovaného učení aplikovaného na úlohu autonomního řízení vozidla. Nejprve je probrána nezbytná teorie posilovaného učení, která je zakončena představením nejmodernějších aktor-kritik metod. Z nich je vybrána metoda Proximal Policy Optimization, která je následně aplikována na tuto úlohu. Pro tento účel je také zvolen závodní simulátor TORCS. Naším cílem je naučit v simulovaném prostředí agenta autonomně řídit, s ohledem na jeho budoucí aplikaci v reálném prostředí v podobě zmenšeného RC modelu vozidla. Za tímto účelem jsou simulovány podmínky vzdáleného učení a ovládání vozidla v cloudu a to v podobě simulace ztráty paketů s daty od senzorů a aktuátorů nebo simulace zašuměných dat. Také jsou provedeny experimenty s cílem zjistit nejmenší počet senzorů, se kterým je agent schopen se úlohu naučit. Dále je experimentováno s využitím výstupu kamery vozidla. Jsou představeny různé návrhy architektur systému, mimo jiné i se zaměřením na co nejnižší hardwarové požadavky. Na závěr jsou prozkoumány vlastnosti naučeného agenta z pohledu generalizace v neznámém prostředí.

Klíčová slova

posilované učení, gradientní strategie, aktor-kritik, autonomní řízení vozidla, TORCS, neuronové sítě, optimalizace blízké strategie, PPO

Ústav
Studijní program
Informační technologie a umělá inteligence, specializace Strojové učení
Soubory
Stav
obhájeno, hodnocení B
Obhajoba
21. června 2022
Oponent
Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky u obhajoby
  1. Je možné srovnat Váš systém s jinými systémy a pokud ano, jak si obstojí Váš 'perfektně naučený' systém, jak občas píšete, vůči těmto?
  2. Platí vztah 2.9 pro všechny politiky PI? Můžete toto demonstrovat s použitím vztahů 2.7 a 2.8?
Komise
Černocký Jan, prof. Dr. Ing. (UPGM FIT VUT), předseda
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Češka Milan, doc. RNDr., Ph.D. (UITS FIT VUT), člen
Hradiš Michal, Ing., Ph.D. (UPGM FIT VUT), člen
Rozman Jaroslav, Ing., Ph.D. (UITS FIT VUT), člen
Zbořil František V., doc. Ing., CSc. (UITS FIT VUT), člen
Citace
VOSOL, David. Aplikace posilovaného učení v řízení autonomního vozidla. Brno, 2022. Diplomová práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2022-06-21. Vedoucí práce Janoušek Vladimír. Dostupné z: https://www.fit.vut.cz/study/thesis/25127/
BibTeX
@mastersthesis{FITMT25127,
    author = "David Vosol",
    type = "Diplomov\'{a} pr\'{a}ce",
    title = "Aplikace posilovan\'{e}ho u\v{c}en\'{i} v \v{r}\'{i}zen\'{i} autonomn\'{i}ho vozidla",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2022,
    location = "Brno, CZ",
    language = "czech",
    url = "https://www.fit.vut.cz/study/thesis/25127/"
}
Nahoru