Detail publikace

Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition

VANDERREYDT Geoffroy, PRASAD Amrutha, KHALIL Driss, MADIKERI Srikanth, DEMUYNCK Kris a MOTLÍČEK Petr. Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition. In: Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Taipei: IEEE Signal Processing Society, 2023, s. 1-7. ISBN 979-8-3503-0689-7. Dostupné z: https://ieeexplore.ieee.org/document/10389769
Název česky
Ladění s efektivním využitím parametrů s adaptivními úzkými místy pro automatické rozpoznávání řeči
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Vanderreydt Geoffroy (IDLab - imec)
Prasad Amrutha (UPGM FIT VUT)
Khalil Driss (IDIAP)
Madikeri Srikanth (IDIAP)
Demuynck Kris (IDLab - imec)
Motlíček Petr, doc. Ing., Ph.D. (UPGM FIT VUT)
URL
Abstrakt

Přeneste učení z velkých vícejazyčných předtrénovaných modelů, jako XLSR se stal novým paradigmatem pro Automatic Rozpoznávání řeči (ASR). S ohledem na jejich stále přibývající velikost, jemné doladění všech závaží se stalo nepraktickým, když výpočetní rozpočet je omezený. Adaptéry jsou lehké trénovatelné moduly vložené mezi vrstvy během předtrénování část je uchovávána ve zmrazeném stavu. Tvoří parametricky efektivní metoda jemného doladění, ale stále vyžadují velké úzké hrdlo velikost, která odpovídá standardnímu výkonu jemného ladění. V tomto papíru navrhujeme ABSADAPTER, metodu k dalšímu snížení parametr rozpočtu pro stejný výkon úkolu. konkrétně ABSADAPTER k tomu používá adaptivní plánovač úzkých míst přerozdělte hmotnosti adaptéru na vrstvy, které potřebují přizpůsobení nejvíc. Trénováním pouze 8 % modelu XLSR, ABSADAPTER dosahuje výkonu blízkého standardnímu jemnému doladění na doménu posunutou komunikaci o leteckém provozu (ATC) Úkol ASR.

Rok
2023
Strany
1-7
Sborník
Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
Konference
2023 IEEE AUTOMATIC SPEECH RECOGNITION AND UNDERSTANDING WORKSHOP (ASRU), Taipei, TW
ISBN
979-8-3503-0689-7
Vydavatel
IEEE Signal Processing Society
Místo
Taipei, TW
DOI
10.1109/ASRU57964.2023.10389769
BibTeX 
@INPROCEEDINGS{FITPUB13160,
   author = "Geoffroy Vanderreydt and Amrutha Prasad and Driss Khalil and Srikanth Madikeri and Kris Demuynck and Petr Motl\'{i}\v{c}ek",
   title = "Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition",
   pages = "1--7",
   booktitle = "Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)",
   year = 2023,
   location = "Taipei, TW",
   publisher = "IEEE Signal Processing Society",
   ISBN = "979-8-3503-0689-7",
   doi = "10.1109/ASRU57964.2023.10389769",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/13160"
}
Nahoru