Detail práce
Animace tváře avatara na základě záběrů lidské tváře
Táto bakálarska práca predstavuje aplikáciu pre animovanie 3D avatarov v reálnom čase, na základe záberov ľudskej tváre z jedinej kamery alebo videa. Výsledná aplikácia pozostáva z troch modulov -- snímanie tváre, animátor avatara a sever, ktorý prenáša dáta z modulu na snímane tváre. Modul snímania tváre vypočítava z ľudskej tváre nové dáta pre animáciu a využíva pritom Facmesh of Mediapipe pre určovanie obrysov a črtov tváre. Animátor avatara je webová aplikácia pre vykreslovanie a animovanie 3D avatarov, pomocou kostrových animácií, pričom využíva knižnicu Three.js. Obidva moduly využívajú výhody súvislej obojsmernej komunikácie protokolu websockets, pripojením na jediný server. Výkon modulu na snímanie tváre záleží od kamery a zariadenia, na ktorom beží, ale bežne dostupná web kamera obvykle postačuje pre rýchlosť snímania 30+ FPS a animovanie beží na 60+ FPS s viacerými avatarmi.Hlavným prínosom tejto práce sú (a) Počítanie dát z ľudskej tváre je vhodné pre kostrové animácie, ktoré sa väčšinou jednoduchšie na vytvorie a sú viac dostupné ako metóda splývania tvarov (angl. blend shapes). (b) Používanie snímania tváre a animátora avatara, ako nezávislých modulov spôsobuje to, že na základe jediného vstupu z kamery/videa je možné animovať viacerých avatarov na rôznych zariadeniach.
snímanie tváre, 3D avatar, animácia tváre, kostrové animácie, websockets
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.
- Kolik vědeckých článků, které jste v práci uvedl, jste skutečně přečetl?
- Jakým způsobem byste využil vícero bodů (landmarks), abyste zpřesnil výpočet výrazů obličeje?
- V sekci 3.1.1. je zmíněna rotační matice, odkud se bere?
- V sekci 3.1.1 zmiňujete, že je lepší počítat "roll" zvlášť, proč?
- Cílem bylo přenést animaci obličeje přímo do avatara ve hře, nebo spíše do nějaké demo aplikace?
- Měřil jste zpoždění celého systému?
Kočí Radek, Ing., Ph.D. (UITS FIT VUT), člen
Křivka Zbyněk, Ing., Ph.D. (UIFS FIT VUT), člen
Španěl Michal, Ing., Ph.D. (UPGM FIT VUT), člen
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY FIT VUT), člen
@bachelorsthesis{FITBT25040,
author = "Martin Tak\'{a}cs",
type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
title = "Animace tv\'{a}\v{r}e avatara na z\'{a}klad\v{e} z\'{a}b\v{e}r\r{u} lidsk\'{e} tv\'{a}\v{r}e",
school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
year = 2022,
location = "Brno, CZ",
language = "czech",
url = "https://www.fit.vut.cz/study/thesis/25040/"
}