V červenci obhajuje svou disertační práci Amrutha Prasad z Ústavu počítačové grafiky a multimédií

Zveme vás na veřejnou obhajobu disertační práce Amruthy Prasad z Ústavu počítačové grafiky a multimédií FIT VUT, která se bude konat ve čtvrtek 9. 7. 2026 od 10:00 v zasedací místnosti L220. Školitelem práce s titulem „Parametricky efektivní modely pro automatické rozpoznávání řeči a jazyka / Parameter efficient models for domain specific speech and language recognition“ je doc. Ing. Petr Motlíček, Ph.D.

Amrutha Prasad spolupracuje s doc. Motlíčkem ve výzkumném ústavu IDIAP ve švýcarském Martigny, které je mezinárodně vysoce uznávaným centrem zaměřeným na umělou inteligenci, strojové učení a zpracování řeči. Je členkou fakultní výzkumné skupiny Speech@FIT. Ve své výzkumné činnosti se specializuje na automatické rozpoznávání řeči, identifikaci jazyka a mluvčího a na využití řečových technologií v komunikaci letového provozu. Její výzkumné výsledky byly publikovány na předních odborných konferencích, jako jsou např. Interspeech, IEEE ICASSP, IEEE ASRU, Odyssey: The Speaker and Language Recognition Workshop atd. Zapojila se také do mezinárodních výzkumných aktivit souvisejících s evropským projektem ATCO2, zaměřeným na komunikaci v leteckém provozu, a byla členkou širšího týmu švýcarské národní účasti v hodnocení rozpoznávání mluvčích NIST SRE24.

Amruthina disertační práce řeší otázku, jak zmenšit rozsáhlé modely pro rozpoznávání řeči, aniž by přitom došlo k výrazné ztrátě jejich přesnosti. Současné modely, jako jsou XLS-R a Whisper, dokážou velmi dobře převádět řeč na text a určovat, kterým jazykem se v nahrávce hovoří. Obsahují však obrovské množství parametrů, a proto vyžadují značnou kapacitu paměti, vysoký výpočetní výkon a jsou energeticky náročné. To představuje problém zejména v aplikacích, v nichž musí systém pracovat rychle a spolehlivě, a navíc na méně výkonném hardwaru nebo při omezených energetických zdrojích. Disertační práce se zaměřuje především na komunikaci v oblasti řízení letového provozu (air traffic control, ATC). Jde o mimořádně náročné prostředí: Nahrávky jsou často ovlivněny hlukem na pozadí, mluvčí mají různé přízvuky, kvalita rádiového signálu kolísá a komunikace je stručná a vysoce odborná. Řízení letového provozu je současně bezpečnostně kritickou oblastí, v níž mohou chyby vést k závažným důsledkům.

Disertační práce se zaměřuje na dvě hlavní oblasti: ASR – automatické rozpoznávání řeči, tedy převod mluveného jazyka na text; a LID – identifikaci jazyka, jímž se v nahrávce hovoří. První výzkumný přístup autorky spočívá ve zmenšení závěrečných částí modelu, které například rozhodují o tom, jaký jazyk byl detekován. Běžná neuronová síť s časovým zpožděním, označovaná jako TDNN, je nahrazena variantou TDNN-F, která pracuje s parametry efektivněji. Tento model dosahuje obdobných schopností rozlišovat mezi jazyky, přičemž vyžaduje přibližně o 30 až 50 % méně parametrů. Druhý přístup využívá metodu označovanou jako normalizační toky. Ta umožňuje pružněji modelovat složité rozložení řečových dat než tradiční metoda PLDA, která vychází z poměrně zjednodušujícího předpokladu, že data přibližně odpovídají Gaussovu rozdělení. Na dvou ze tří hodnocených datových souborů dosáhl tento přístup vyšší přesnosti než metoda PLDA. Třetí a nejvýznamnější část disertační práce se zabývá přímým zmenšením samotného jádra modelů XLS-R a Whisper. Matice vah v dopředných vrstvách těchto modelů jsou nahrazeny aproximací s nízkým hodnocením vytvořenou pomocí singulárního rozkladu, tedy metody SVD. Zachováno je přitom pouze prvních r hlavních složek. Zjednodušeně řečeno se model snaží uchovat nejdůležitější informace a odstranit méně podstatné části výpočtu. Tato metoda je rovněž kombinována s technikou LoRA, která umožňuje model během trénování přizpůsobovat s využitím výrazně menšího počtu parametrů. Výhodou navrženého řešení je, že model pracuje efektivněji nejen během trénování, ale také při samotném použití, tedy během inference.

Co patří k hlavním výsledkům disertační práce? U modelu XLS-R se podařilo snížit počet parametrů přibližně o 23–50 %, přičemž přesnost poklesla pouze minimálně. U modelu Whisper nezpůsobilo snížení počtu parametrů o 50 % zhoršení výkonu při automatickém rozpoznávání řeči na datovém souboru z oblasti řízení letového provozu. Podle uvedených výsledků však byl u jiných datových souborů a úloh zaznamenán určitý pokles výkonu. Při snížení počtu parametrů o 28 % se chybovost dokonce snížila o 1,8 %, což znamená, že se přesnost přepisu mírně zlepšila. Jedním z možných vysvětlení je, že komprese odstranila některé nadbytečné parametry a působila jako forma regularizace, tedy jako způsob, jak zabránit přílišnému přizpůsobení modelu trénovacím datům. Hlavním závěrem práce pak je, že velké modely pro zpracování řeči jsou často zbytečně rozsáhlé. Jejich velikost a provozní náklady lze významně snížit, aniž by tím byla podstatně omezena jejich výkonost. To může usnadnit jejich nasazení například přímo na lokálních nebo okrajových zařízeních, v systémech s omezenou kapacitou paměti a výpočetním výkonem, v aplikacích pracujících v reálném čase a také v bezpečnostně kritických oblastech, jakou je letectví, konstatuje ve své disertační práci Amrutha Prasad.

Přejeme Amruthě úspěšnou obhajobu a štěstí v další profesní cestě!