Hlasové technologie využívající předtrénované multimodální jazykové modely

Moderní multimodální audio-jazykové modely (ALM) zásadně proměňují oblast hlasových technologií tím, že v jednom rámci sjednocují zpracování řeči, akustických signálů a textového vstupu (např. promptů). Na rozdíl od tradičních postupů, které nahlížejí na zpracování hlasu (např. rozpoznávání řeči či mluvčího) jako na oddělené úlohy, cílem této práce je navrhnout nové modelovací architektury schopné učit se společné reprezentace zachycující zároveň jazykový obsah, identitu mluvčího i kontextové informace.

Práce se zaměří na využití ALM pro úlohy, jako je robustní rozpoznávání řeči a zlepšené rozpoznávání mluvčího pomocí zlepšených akustických embeddingů, přičemž v obou případech bude důraz kladen na rychlou adaptaci na cílovou doménu.

Schopnost ALM integrovat zvuk s textem či dalšími modalitami také umožňuje transparentnější proces, lepší interpretovatelnost výsledků, efektivnější obnovu po chybách a přirozenější interakci člověk - stroj. Díky tomu představují silný základ pro nové generace hlasové analytiky, bezpečnostních aplikací i systémů pro lidsko-počítačovou komunikaci.