Detail publikace
The IWSLT 2021 BUT Speech Translation Systems
Karafiát Martin, Ing., Ph.D. (UPGM FIT VUT)
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT)
Černocký Jan, prof. Dr. Ing. (UPGM FIT VUT)
Příspěvek popisuje offline systémy překladu řeči z angličtiny do němčiny vyvinuté na VUT v Brně pro IWSLT2021. Jsou založeny na společně trénovaném automatickém rozpoznávání řeči - na modelech strojového překladu. Jejich výkon je hodnocen na testu MustC-Common soubor. V této práci studujeme jejich účinnost z pohledu velkého množství samostatných tréninkových dat ASR a trénování MT dat a z pohledu menšího množství překladů řeči trénovaných dat. Velké množství trénovacích dat ASR a MT se využívá pro předtrénování modelů ASR a MT. Speechtranslation data se používají ke společné optimalizaci Modelů ASR-MT definováním end-to-end diferencovatelné cesty od řeči k překladům. K tomuto účelu používáme vnitřní průběžnou reprezentaci z dekodéru ASR a vstup do modulu MT. Ukážemem že překlad řeči lze dále zlepšit školením dekodéru ASR společně s modulem MT pomocí velkého množství pouze textového trénování MT dat. Ukazujeme také výrazná zlepšení trénováním modulu ASR schopného generovat přerušovaný text, než aby interpunkční úloha byla ponechána na MT modulu.
@INPROCEEDINGS{FITPUB12702,
author = "K. Hari Vydana and Martin Karafi\'{a}t and Luk\'{a}\v{s} Burget and Jan \v{C}ernock\'{y}",
title = "The IWSLT 2021 BUT Speech Translation Systems",
pages = "75--83",
booktitle = "Proceedings of 18th International Conference on Spoken Language Translation (IWSLT) ",
year = 2021,
location = "Bangkok, on-line, TH",
publisher = "Association for Computational Linguistics",
ISBN = "978-1-7138-3378-9",
doi = "10.18653/v1/2021.iwslt-1.7",
language = "english",
url = "https://www.fit.vut.cz/research/publication/12702"
}