Detail práce
Použití self-supervised learning pro rozpoznání sportovních pozic v obraze
Táto práca demonštruje spôsob, ako minimalizovať množstvo potrebných označených trénovacích dát pri klasifikácií športových pozícií s použitím neurónovej siete trénovanej metódou contrastive self-supervised learning. Trénovanie prebieha v dvoch etapách. V prvej sa trénuje extraktor príznakov, ktorý využíva neoznačené trénovacie obrázky extrahované z nahrávok cvičení z viacerých uhlov. V druhej etape sa s využitím malého množstva označených dát trénuje jednoduchý klasifikátor napojený na extraktor príznakov. Práca pojednáva o klasifikácií v kontexte jogových póz, avšak výsledné riešenie sa dá jednoducho aplikovať aj na iné športy v prípade získania vhodnej dátovej sady. Pri návrhu riešenia je kladený dôraz na výkon výsledného modelu, aby mohol byť použiteľný v mobilných zariadeniach. Výsledný model na dátovej sade so štyrmi označenými obrázkami na každú jogovú pózu dosiahol s využitím augmentácií vstupných dát úspešnosť 76 %. Na väčšej dátovej sade s 800 označenými obrázkami na všetky pozície je úspešnosť 82 %.
rozpoznávanie obrazu, odhad pózy, kontrastívne učenie, self-supervised learning
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
- Aké výsledky by dokázal obdobný klasifikátor dosiahnúť bez využitia predtrénovania pomocou kontrastívneho učenia priamo na výstupoch siete pre detekciu kľúčových bodov trénovaný len na anotovaných sadách s augmentáciou?
- V dátovej sade sa vyskytuje zdanlivo iba jedna osoba. Aký to podľa Vás môže mať vplyv na výsledky experimentov?
- Malo by podľa Vás trénovanie vlastného CNN príznakového extraktora, ktorý ma na vstupe priamo obrázok pri tejto úlohe zmysel?
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Holík Lukáš, doc. Mgr., Ph.D. (UITS FIT VUT), člen
Martínek Tomáš, doc. Ing., Ph.D. (UPSY FIT VUT), člen
Matoušek Petr, doc. Ing., Ph.D., M.A. (UIFS FIT VUT), člen
@bachelorsthesis{FITBT24516,
author = "Samuel Olek\v{s}\'{a}k",
type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
title = "Pou\v{z}it\'{i} self-supervised learning pro rozpozn\'{a}n\'{i} sportovn\'{i}ch pozic v obraze",
school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
year = 2022,
location = "Brno, CZ",
language = "czech",
url = "https://www.fit.vut.cz/study/thesis/24516/"
}