Integration of Variational Autoencoder and Spatial Clustering for Adaptive Multi-Channel Neural Speech Separation

Vícekanálová separace řeči, variační automatický kodér, prostorové shlukování, DOLPHIN

V tomto příspěvku navrhujeme metodu kombinující variační autoenkodérový model řeči s přístupem prostorového klastrování pro vícekanálové oddělení řeči. Výhoda integrace prostorového shlukování se spektrálním modelem byla ukázána v několika pracích. Jako spektrální model předchozí práce používaly buď faktoriální generativní modely smíšené řeči, nebo diskriminační neuronové sítě. V naší práci kombinujeme silné stránky obou přístupů, budováním faktoriálního modelu založeného na generativní neuronové síti, variačním autoenkodéru. Tím můžeme využít modelovací sílu neuronových sítí, ale zároveň zachovat strukturovaný model. Takový model může být výhodný při přizpůsobování se novým hlukovým podmínkám, protože je třeba upravit pouze hlukovou část modelu. Experimentálně ukazujeme, že náš model výrazně překonává předchozí faktoriální model založený na Gaussově smíšeném modelu (DOLPHIN), funguje srovnatelně s integrací tréninku invariantního permutací s prostorovým shlukováním a umožňuje nám snadno se přizpůsobit novým hlukovým podmínkám.