Detail publikace

Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition

VANDERREYDT, G.; PRASAD, A.; KHALIL, D.; MADIKERI, S.; DEMUYNCK, K.; MOTLÍČEK, P. Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition. Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Taipei: IEEE Signal Processing Society, 2023. p. 1-7. ISBN: 979-8-3503-0689-7.
Název česky
Ladění s efektivním využitím parametrů s adaptivními úzkými místy pro automatické rozpoznávání řeči
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
VANDERREYDT, G.
Prasad Amrutha (UPGM)
KHALIL, D.
Madikeri Srikanth
DEMUYNCK, K.
Motlíček Petr, doc. Ing., Ph.D. (UPGM)
URL
Klíčová slova

ASR, XLSR, Adapters, ATC

Abstrakt

Přeneste učení z velkých vícejazyčných předtrénovaných modelů, jako XLSR se stal
novým paradigmatem pro Automatic Rozpoznávání řeči (ASR). S ohledem na jejich
stále přibývající velikost, jemné doladění všech závaží se stalo nepraktickým,
když výpočetní rozpočet je omezený. Adaptéry jsou lehké trénovatelné moduly
vložené mezi vrstvy během předtrénování část je uchovávána ve zmrazeném stavu.
Tvoří parametricky efektivní metoda jemného doladění, ale stále vyžadují velké
úzké hrdlo velikost, která odpovídá standardnímu výkonu jemného ladění. V tomto
papíru navrhujeme ABSADAPTER, metodu k dalšímu snížení parametr rozpočtu pro
stejný výkon úkolu. konkrétně ABSADAPTER k tomu používá adaptivní plánovač úzkých
míst přerozdělte hmotnosti adaptéru na vrstvy, které potřebují přizpůsobení
nejvíc. Trénováním pouze 8 % modelu XLSR, ABSADAPTER dosahuje výkonu blízkého
standardnímu jemnému doladění na doménu posunutou komunikaci o leteckém provozu
(ATC) Úkol ASR.

Rok
2023
Strany
1–7
Sborník
Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)
Konference
Konference IEEE o automatickém rozpoznávání řeči a porozumění (ASRU 2023), Taipei, TW
ISBN
979-8-3503-0689-7
Vydavatel
IEEE Signal Processing Society
Místo
Taipei
DOI
10.1109/ASRU57964.2023.10389769
BibTeX 
@inproceedings{BUT187932,
  author="VANDERREYDT, G. and PRASAD, A. and KHALIL, D. and MADIKERI, S. and DEMUYNCK, K. and MOTLÍČEK, P.",
  title="Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition",
  booktitle="Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)",
  year="2023",
  pages="1--7",
  publisher="IEEE Signal Processing Society",
  address="Taipei",
  doi="10.1109/ASRU57964.2023.10389769",
  isbn="979-8-3503-0689-7",
  url="https://ieeexplore.ieee.org/document/10389769"
}
Soubory
Nahoru