Detail produktu
Bayesian HMM based x-vector clustering - VBx
Vznik: 2020
Landini Federico Nicolás (UPGM FIT VUT)
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT)
Úkolem diarizace je určit počet řečníků a kdo kdy mluví" pro mono-audionahrávku. Je součástí dolování dat z řeči. Navrhovaný software obsahuje úplnou implementaci Bayesovského přístupu k diarizaci řečníků využívající nízkodimenzionální neurální reprezentace řečníků (x-vektory) v jednotlivých segmentech. Navazuje na postup využitý VUT v Brně ve druhé DIHARD Diarization Challenge, kde systém VUT zvítězil v experimentální úloze Track 1. Software se skládá z výpočtu parametrů pomocí banky filtrů, výpočtu x-vektorů, provedení aglomerativního hierarchického shlukování na x-vektorech jako prvního kroku k vytvoření inicializace, aplikace variačního bayesovského HMM na x-vektorech pro vytvoření diarizačního výstupu a vyhodnocení tohoto výstupu. Software je napsán v Pythonu a zveřejněn jako open-source pod licencí Apache.