Detail publikace

Fighting Randomness With Randomness: Mitigating Optimisation Instability of Fine-Tuning Using Ensemble and Noise Regularisation

PECHER Branislav, ČEGIŇ Ján, BELANEC Róbert, SRBA Ivan, ŠIMKO Jakub a BIELIKOVÁ Mária. Fighting Randomness With Randomness: Mitigating Optimisation Instability of Fine-Tuning Using Ensemble and Noise Regularisation. In: Findings of the Association for Computational Linguistics: EMNLP 2024. Miami: Association for Computational Linguistics, 2024, s. 11005-11044. ISBN 979-8-8917-6168-1.
Název česky
Boj proti náhodnosti náhodnosťou: Zmierňovanie nestability optimalizácie pri doladení pomocou ansámblov a regularizácie šumom
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Pecher Branislav, Ing. (UPGM FIT VUT)
Čegiň Ján, Ing. (UPGM FIT VUT)
Belanec Róbert, Ing. (UPGM FIT VUT)
Srba Ivan
Šimko Jakub, doc. Ing., Ph.D. (UPGM FIT VUT)
Bieliková Mária, prof. Ing., PhD. (UPGM FIT VUT)
Abstrakt

Hoci doladenie predtrénovaných jazykových modelov vo všeobecnosti pomáha prekonať nedostatok označených trénovacích vzoriek, zároveň vykazuje nestabilitu výkonu modelu. Táto nestabilita pochádza najmä z náhodnosti pri inicializácii alebo miešaní dát. Na riešenie tohto problému sa výskumníci zvyčajne uchyľujú k úpravám tréningového procesu alebo k rozšíreniu dostupných vzoriek, čo však často vedie k zvýšeniu výpočtových nákladov. Navrhujeme novú stratégiu zmiernenia, nazvanú Oneskorené ansámblovanie s interpoláciou šumu (DENI), ktorá využíva výhody ansámblovania, regularizácie šumom a interpolácie modelov, pričom zachováva výpočtovú efektívnosť. Porovnávame DENI s 9 reprezentatívnymi stratégiami zmiernenia naprieč 3 modelmi, 4 stratégiami doladenia a 7 datasetmi na klasifikáciu textu. Ukazujeme, že 1) DENI prekonáva najúspešnejšiu stratégiu zmiernenia (ansámblovanie), pričom používa len zlomok jej výpočtových nákladov; 2) stratégie zmiernenia sú užitočné aj pre metódy efektívneho doladenia parametrov (PEFT), ktoré v konkrétnych prípadoch prekonávajú plné doladenie; a 3) kombinácia DENI s rozšírením dát často vedie k ešte efektívnejšiemu zmierneniu nestability.

Rok
2024
Strany
11005-11044
Sborník
Findings of the Association for Computational Linguistics: EMNLP 2024
Konference
Conference on Empirical Methods in Natural Language Processing, Miami, Florida, US
ISBN
979-8-8917-6168-1
Vydavatel
Association for Computational Linguistics
Místo
Miami, US
DOI
10.18653/v1/2024.findings-emnlp.644
BibTeX 
@INPROCEEDINGS{FITPUB13220,
   author = "Branislav Pecher and J\'{a}n \v{C}egi\v{n} and R\'{o}bert Belanec and Ivan Srba and Jakub \v{S}imko and M\'{a}ria Bielikov\'{a}",
   title = "Fighting Randomness With Randomness: Mitigating Optimisation Instability of Fine-Tuning Using Ensemble and Noise Regularisation",
   pages = "11005--11044",
   booktitle = "Findings of the Association for Computational Linguistics: EMNLP 2024",
   year = 2024,
   location = "Miami, US",
   publisher = "Association for Computational Linguistics",
   ISBN = "979-8-8917-6168-1",
   doi = "10.18653/v1/2024.findings-emnlp.644",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/13220"
}
Nahoru