Detail publikace
Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition
Prasad Amrutha (UPGM)
KHALIL, D.
Madikeri Srikanth
DEMUYNCK, K.
Motlíček Petr, doc. Ing., Ph.D. (UPGM)
ASR, XLSR, Adapters, ATC
Přeneste učení z velkých vícejazyčných předtrénovaných modelů, jako XLSR se stal
novým paradigmatem pro Automatic Rozpoznávání řeči (ASR). S ohledem na jejich
stále přibývající velikost, jemné doladění všech závaží se stalo nepraktickým,
když výpočetní rozpočet je omezený. Adaptéry jsou lehké trénovatelné moduly
vložené mezi vrstvy během předtrénování část je uchovávána ve zmrazeném stavu.
Tvoří parametricky efektivní metoda jemného doladění, ale stále vyžadují velké
úzké hrdlo velikost, která odpovídá standardnímu výkonu jemného ladění. V tomto
papíru navrhujeme ABSADAPTER, metodu k dalšímu snížení parametr rozpočtu pro
stejný výkon úkolu. konkrétně ABSADAPTER k tomu používá adaptivní plánovač úzkých
míst přerozdělte hmotnosti adaptéru na vrstvy, které potřebují přizpůsobení
nejvíc. Trénováním pouze 8 % modelu XLSR, ABSADAPTER dosahuje výkonu blízkého
standardnímu jemnému doladění na doménu posunutou komunikaci o leteckém provozu
(ATC) Úkol ASR.
@inproceedings{BUT187932,
author="VANDERREYDT, G. and PRASAD, A. and KHALIL, D. and MADIKERI, S. and DEMUYNCK, K. and MOTLÍČEK, P.",
title="Parameter-Efficient Tuning With Adaptive Bottlenecks For Automatic Speech Recognition",
booktitle="Proceedings of IEEE Automatic Speech Recognition and Understanding Workshop (ASRU)",
year="2023",
pages="1--7",
publisher="IEEE Signal Processing Society",
address="Taipei",
doi="10.1109/ASRU57964.2023.10389769",
isbn="979-8-3503-0689-7",
url="https://ieeexplore.ieee.org/document/10389769"
}