Detail práce
Interpretability of Neural Networks in Speech Processing
S rastúcou popularitou hlbokých neurónových sietí, nedostatok transparentnosti spôsobenejich funkciou čiernej skrinky, zvyšuje dopyt po ich interpretácii. Cieľom tejto práce je získať nový pohľad na hlboké neurónové siete v úlohách spracovania reči. Konkrétne klasifikácia pohlavia z AudioMNIST datasetu a klasifikácia rečníka z filter bánk VoxCeleb datasetu s použitím konvolučnej a reziduálnej neurónovej siete. Na interpretáciu týchto neurónových sietí bola použitá metóda propagácie relevancií cez vrstvy. Táto metóda vytvorí tepelnú mapu, ktorá vyznačí príznaky, ktoré prispeli ku správnej klasifikácii pozitívne a ktoré negatívne. Ako výsledky interpretácie ukazujú, klasifikácie boli založené najmä na nižších frekvenciách v reči a čase. V prípade klasifikácie pohlavia sa mi podarilo nájsť vysokú závislosť modelu na veľmi malom počte príznakov. Pomocou získaných informácií som vytvoril rozšírený trénovací set, ktorý zvýšil robustnosť modelu.
hlboké neuónové siete, konvolučné neurónové siete, spracovanie reči, interpretácia neurónových sietí, Layer-Wise Relevance Propagation
Student nejprve prezentoval výsledky, kterých dosáhl v rámci své práce. Komise se poté seznámila s hodnocením vedoucího a posudkem oponenta práce. Student následně odpověděl na otázky oponenta a na další otázky přítomných. Komise se na základě posudku oponenta, hodnocení vedoucího, přednesené prezentace a odpovědí studenta na položené otázky rozhodla práci hodnotit stupněm A.
- Při interpretaci sítě klasifikující mluvčí jsou v Obrázcích 6.10, 6.12 a 6.14 uvedené i hodnoty relevancí. Jejich dynamický rozsah se diametrálně liší při použití různých LRP pravidel. Komentujte tento rozdíl. Jak se dynamický rozsah liší od rozsahů relevancí z experimentů týkajících se klasifikace pohlaví?
- V textu se několikrát vyskytuje tzv. "Clever Hans predictor". Vysvětlete, co pojem znamená a odkud se vzal právě tento název.
- Řídil jste se pouze původním článkem, nebo jste i vytvořil nějaká podstatná rozšíření?
Češka Milan, doc. RNDr., Ph.D. (UITS FIT VUT), člen
Jaroš Jiří, doc. Ing., Ph.D. (UPSY FIT VUT), člen
Orság Filip, Ing., Ph.D. (UITS FIT VUT), člen
Rychlý Marek, RNDr., Ph.D. (UIFS FIT VUT), člen
@bachelorsthesis{FITBT24073,
author = "Marek Sarva\v{s}",
type = "Bakal\'{a}\v{r}sk\'{a} pr\'{a}ce",
title = "Interpretability of Neural Networks in Speech Processing",
school = "Vysok\'{e} u\v{c}en\'{i} technick\'{e} v Brn\v{e}, Fakulta informa\v{c}n\'{i}ch technologi\'{i}",
year = 2021,
location = "Brno, CZ",
language = "english",
url = "https://www.fit.vut.cz/study/thesis/24073/"
}