Odezírání ze rtů pomocí hlubokých neuronových sítí

Název anglicky

Convolutional Networks for Lip Reading

Jazyk práce

český

Abstrakt

Tato práce se zabývá současnými metodami pro přepis řeči na text a odezírání ze rtů za pomoci neuronových sítí. Následně se zabývá podobností architektur neuronových sítí operujících nad zvukem a videem při rozpoznávání řeči a porovnává dostupné audiovizuální datové sady. Výsledkem práce je sada experimentů porovnávající různé zásahy do modelu a jejich dopad na výsledky. Dále je součástí implementace systému pro přepis řeči (CER: 12.6 %) a pro odezírání ze rtů (CER: 57,7 %). Architektury obou systémů jsou založeny na extrakci příznaků pomocí konvolučních vrstev. Za nimi následují rekurentní vrstvy LSTM, další řada konvolučních vrstev a hodnotící funkce CTC.

Klíčová slova

Odezírání ze rtů, přepis řeči, neuronové sítě, rekurentní neuronové sítě, konvoluce, počítačové vidění, sekvence na sekvenci, Enkodér-Dekodér, CTC, PyTorch, Python.

Ústav

Ústav počítačové grafiky a multimédií FIT VUT v Brně

Studijní program

Informační technologie

Soubory

Stav

obhájeno, hodnocení B

Obhajoba

11. června 2019

Oponent

Kišš Martin, Ing.

Průběh obhajoby

Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm B.

Otázky u obhajoby

Jak velký slovník jste měl k dispozici?
Jaký je Váš hlavní přínos? Co si myslíte o vysoké chybovosti, které jste dosáhl?
Jak si Vaše metoda stojí v porovnání s existujícími řešeními?

Komise

Herout Adam, prof. Ing., Ph.D. (UPGM FIT VUT), předseda
Bidlo Michal, doc. Ing., Ph.D. (UPSY FIT VUT), člen
Čadík Martin, doc. Ing., Ph.D. (UPGM FIT VUT), člen
Křivka Zbyněk, Ing., Ph.D. (UIFS FIT VUT), člen
Rogalewicz Adam, doc. Mgr., Ph.D. (UITS FIT VUT), člen

Citace

KADLEČEK, Josef. Odezírání ze rtů pomocí hlubokých neuronových sítí. Brno, 2019. Bakalářská práce. Vysoké učení technické v Brně, Fakulta informačních technologií. 2019-06-11. Vedoucí práce Hradiš Michal. Dostupné z: https://www.fit.vut.cz/study/thesis/21772/

BibTeX

@bachelorsthesis{FITBT21772,
    author = "Josef Kadle\v{c}ek",
    type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
    title = "Odez\'{i}r\'{a}n\'{i} ze rt\r{u} pomoc\'{i} hlubok\'{y}ch neuronov\'{y}ch s\'{i}t\'{i}",
    school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
    year = 2019,
    location = "Brno, CZ",
    language = "czech",
    url = "https://www.fit.vut.cz/study/thesis/21772/"
}