Detail práce
Speech Enhancement with Cycle-Consistent Neural Networks
Hlboké neurónové siete sa bežne používajú v oblasti odstraňovania šumu. Trénovací proces neurónovej siete je možné rožšíriť využitím druhej neurónovej siete, ktorej cieľom je vložiť šum do čistej rečovej nahrávky. Tieto dve siete sa môžu spolu využiť k rekonštrukcii pôvodných čistých a zašumených nahrávok. Táto práca skúma efektivitu tejto techniky, zvanej cyklická konzistencia. Cyklická konzistencia zlepšuje robustnosť neurónovej siete bez toho, aby sa daná sieť akokoľvek modifikovala, nakoľko vystavuje sieť na odstraňovanie šumu rôznorodejšiemu množstvu zašumených dát. Avšak, táto technika vyžaduje trénovacie dáta skladajúce sa z párov vstupných a referenčných nahrávok. Tieto dáta niesu vždy dostupné. Na trénovanie modelov s nepárovanými dátami využívame generatívne neurónové siete s cyklickou konzistenciou. V tejto práci sme vykonali veľké množstvo experimentov s modelmi trénovanými na párovaných a nepárovaných dátach. Naše výsledky ukazujú, že využitie cyklickej konzistencie výrazne zlepšuje výkonnosť modelov.
odstraňovanie šumu, GAN, generatívne neurónové siete, hlboké učenie, cyklická konzistencia
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
- Prováděl jste (alespoň u některých experimentů) hodnocení kvality výstupního signálu, např. pomocí SDR ? Jak to dopadlo ?
- Jaké byly přesně parametry výpočtu Mel-filterbank koeficientů - délka rámce, frame shift, použité okno, délka FFT ?
- Upřesněte, zda se přístupu nekooperativního učení sítí F a G (Uncooperative ACSE v sekci 7.2.3) dá stále ještě říkat "cyklostacionární".
- Na čem jste trénoval akustický model?
- Jaký šum jste použil?
Bartík Vladimír, Ing., Ph.D. (UIFS FIT VUT), člen
Chudý Peter, doc. Ing., Ph.D. MBA (UPGM FIT VUT), člen
Peringer Petr, Dr. Ing. (UITS FIT VUT), člen
Rychlý Marek, RNDr., Ph.D. (UIFS FIT VUT), člen
Veselý Vladimír, Ing., Ph.D. (UIFS FIT VUT), člen
@mastersthesis{FITMT23134,
author = "Pavol Karl\'{i}k",
type = "Diplomov\'{a} pr\'{a}ce",
title = "Speech Enhancement with Cycle-Consistent Neural Networks",
school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
year = 2020,
location = "Brno, CZ",
language = "english",
url = "https://www.fit.vut.cz/study/thesis/23134/"
}