ESPERANTO - Exchanges for SPEech ReseArch aNd TechnOlogies

Název česky

Výměny pro výzkum řeči a technologií

Typ

grant

Abstrakt

Cílem projektu ESPERANTO je posunout technologie zpracování řeči k jejich dalšímu kroku s cílem umožnit šíření těchto technologií v evropských malých a středních podnicích a maximalizovat a zabezpečit jejich využití v občanské společnosti pro forenzní, zdravotnické nebo vzdělávací účely. Konsorcium ESPERANTO předpokládá, že příští generace algoritmů umělé inteligence pro zpracování řeči by měla: 1. být přístupnější: prostřednictvím většího počtu mluvených jazyků a pro aplikace, kde jsou zdroje silně omezené (zdraví, vzdělávání, robotika); 2. integrovat člověka do smyčky, aby byla zaručena vyšší použitelnost a snadnost nasazení a údržby; 3. být vysvětlitelné, aby umožnily citlivé aplikace související s forenzním nebo zdravotním stavem a přispěly k uchovávání osobních údajů zjišťováním a charakterizováním existujících předpojatostí v důsledku povahy současných řečových technologií založených na údajích. ESPERANTO má v úmyslu vést vědeckou komunitu uvolněním hodnotících metrik, protokolů a standardů, které podpoří vývoj a hodnocení této nové generace algoritmů. K dosažení tohoto ambiciózního cíle shromažďuje projekt ESPERANTO velkou a meziodvětvovou komunitu odborníků na aplikace související s řeči, jako jsou transkripce, separace, vylepšení, překlady, porozumění a rozpoznávání řečníků a diarizace k přenosu znalostí, organizování, produkci a standardizaci zdrojů s cílem katalyzovat a napenovat tuto oblast. Hlavní cíle projektu ESPERANTO jsou: - podporovat vývoj nástrojů s otevřeným zdrojovým kódem, které budou podporovat rychlý vývoj, výměnu a reprodukovatelnost; - vytvářet návody a konkurenční základní linie na různá témata zpracování řeči s cílem podpořit podporu nových studentů, výzkumných pracovníků a inženýrů AI; - usnadňovat shromažďování a sdílení jazykových a řečových zdrojů prostřednictvím standardů; - organizovat semináře k pokroku v oblasti řečových technologií a upřednostňovat přenos znalostí.

Řešitelé

Kudla Radim, Ing. (UPGM FIT VUT) , hlavní řešitel
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT) , spoluřešitel
Plchot Oldřich, Ing., Ph.D. (UPGM FIT VUT) , spoluřešitel
Rohdin Johan A., Dr. (UPGM FIT VUT) , spoluřešitel
Kohlová Renata, Ing. (UPGM FIT VUT)
Landini Federico Nicolás (UPGM FIT VUT)
Matějka Pavel, Ing., Ph.D. (UPGM FIT VUT)
Mošner Ladislav, Ing. (UPGM FIT VUT)
Silnova Anna, MSc., Ph.D. (UPGM FIT VUT)

Publikace

2023

SILNOVA Anna, SLAVÍČEK Josef, MOŠNER Ladislav, KLČO Michal, PLCHOT Oldřich, MATĚJKA Pavel, PENG Junyi, STAFYLAKIS Themos a BURGET Lukáš. ABC System Description for NIST LRE 2022. In: Proceedings of NIST LRE 2022 Workshop. Washington DC: National Institute of Standards and Technology, 2023, s. 1-5. Detail
PENG Junyi, PLCHOT Oldřich, STAFYLAKIS Themos, MOŠNER Ladislav, BURGET Lukáš a ČERNOCKÝ Jan. An attention-based backend allowing efficient fine-tuning of transformer models for speaker verification. In: 2022 IEEE Spoken Language Technology Workshop, SLT 2022 - Proceedings. Doha: IEEE Signal Processing Society, 2023, s. 555-562. ISBN 978-1-6654-7189-3. Detail
KESIRAJU Santosh, BENEŠ Karel, TIKHONOV Maksim a ČERNOCKÝ Jan. BUT Systems for IWSLT 2023 Marathi - Hindi Low Resource Speech Translation Task. In: 20th International Conference on Spoken Language Translation, IWSLT 2023 - Proceedings of the Conference. Toronto (in-person and online): Association for Computational Linguistics, 2023, s. 227-234. ISBN 978-1-959429-84-5. Detail
MATĚJKA Pavel, SILNOVA Anna, SLAVÍČEK Josef, MOŠNER Ladislav, PLCHOT Oldřich, KLČO Michal, PENG Junyi, STAFYLAKIS Themos a BURGET Lukáš. Description and Analysis of ABC Submission to NIST LRE 2022. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Dublin: International Speech Communication Association, 2023, s. 511-515. ISSN 1990-9772. Detail
STAFYLAKIS Themos, MOŠNER Ladislav, KAKOUROS Sofoklis, PLCHOT Oldřich, BURGET Lukáš a ČERNOCKÝ Jan. Extracting speaker and emotion information from self-supervised speech models via channel-wise correlations. In: 2022 IEEE Spoken Language Technology Workshop, SLT 2022 - Proceedings. Doha: IEEE Signal Processing Society, 2023, s. 1136-1143. ISBN 978-1-6654-7189-3. Detail
PENG Junyi, PLCHOT Oldřich, STAFYLAKIS Themos, MOŠNER Ladislav, BURGET Lukáš a ČERNOCKÝ Jan. Improving Speaker Verification with Self-Pretrained Transformer Models. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Dublin: International Speech Communication Association, 2023, s. 5361-5365. ISSN 1990-9772. Detail
MOŠNER Ladislav, PLCHOT Oldřich, PENG Junyi, BURGET Lukáš a ČERNOCKÝ Jan. Multi-Channel Speech Separation with Cross-Attention and Beamforming. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Dublin: International Speech Communication Association, 2023, s. 1693-1697. ISSN 1990-9772. Detail
LANDINI Federico Nicolás, DIEZ Sánchez Mireia, LOZANO Díez Alicia a BURGET Lukáš. Multi-Speaker and Wide-Band Simulated Conversations as Training Data for End-to-End Neural Diarization. In: Proceedings of ICASSP 2023. Rhodes Island: IEEE Signal Processing Society, 2023, s. 1-5. ISBN 978-1-7281-6327-7. Detail
PENG Junyi, STAFYLAKIS Themos, GU Rongzhi, PLCHOT Oldřich, MOŠNER Ladislav, BURGET Lukáš a ČERNOCKÝ Jan. Parameter-Efficient Transfer Learning of Pre-Trained Transformer Models for Speaker Verification Using Adapters. In: ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings. Rhodes Island: IEEE Signal Processing Society, 2023, s. 1-5. ISBN 978-1-7281-6327-7. Detail
KAKOUROS Sofoklis, STAFYLAKIS Themos, MOŠNER Ladislav a BURGET Lukáš. Speech-Based Emotion Recognition with Self-Supervised Models Using Attentive Channel-Wise Correlations and Label Smoothing. In: Proceedings of ICASSP 2023. Rhodes Island: IEEE Signal Processing Society, 2023, s. 1-5. ISBN 978-1-7281-6327-7. Detail
KESIRAJU Santosh, SARVAŠ Marek, PAVLÍČEK Tomáš, MACAIRE Cécile a CIUBA Alejandro. Strategies for Improving Low Resource Speech to Text Translation Relying on Pre-trained ASR Models. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Dublin: International Speech Communication Association, 2023, s. 2148-2152. ISSN 1990-9772. Detail
SILNOVA Anna, BRUMMER Johan Nikolaas Langenhoven, SWART Albert du Preez a BURGET Lukáš. Toroidal Probabilistic Spherical Discriminant Analysis. In: Proceedings of ICASSP 2023. Rhodes Island: IEEE Signal Processing Society, 2023, s. 1-5. ISBN 978-1-7281-6327-7. Detail

2022

SILNOVA Anna, STAFYLAKIS Themos, MOŠNER Ladislav, PLCHOT Oldřich, ROHDIN Johan A., MATĚJKA Pavel, BURGET Lukáš, GLEMBEK Ondřej a BRUMMER Johan Nikolaas Langenhoven. Analyzing speaker verification embedding extractors and back-ends under language and channel mismatch. In: Proceedings of The Speaker and Language Recognition Workshop (Odyssey 2022). Beijing: International Speech Communication Association, 2022, s. 9-16. Detail
KOCOUR Martin, UMESH Jahnavi, KARAFIÁT Martin, ŠVEC Ján, LOPEZ Fernando, BENEŠ Karel, DIEZ Sánchez Mireia, SZŐKE Igor, LUQUE Jordi, VESELÝ Karel, BURGET Lukáš a ČERNOCKÝ Jan. BCN2BRNO: ASR System Fusion for Albayzin 2022 Speech to Text Challenge. In: Proceedings of IberSpeech 2022. Granada: International Speech Communication Association, 2022, s. 276-280. Detail
ALAM Jahangir, BURGET Lukáš, GLEMBEK Ondřej, MATĚJKA Pavel, MOŠNER Ladislav, PLCHOT Oldřich, ROHDIN Johan A., SILNOVA Anna a STAFYLAKIS Themos a kol. Development of ABC systems for the 2021 edition of NIST Speaker Recognition evaluation. In: Proceedings of The Speaker and Language Recognition Workshop (Odyssey 2022). Beijing: International Speech Communication Association, 2022, s. 346-353. Detail
PENG Junyi, GU Rongzhi, MOŠNER Ladislav, PLCHOT Oldřich, BURGET Lukáš a ČERNOCKÝ Jan. Learnable Sparse Filterbank for Speaker Verification. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Incheon: International Speech Communication Association, 2022, s. 5110-5114. ISSN 1990-9772. Detail
MOŠNER Ladislav, PLCHOT Oldřich, BURGET Lukáš a ČERNOCKÝ Jan. Multi-Channel Speaker Verification with Conv-Tasnet Based Beamformer. In: ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings. Singapore: IEEE Signal Processing Society, 2022, s. 7982-7986. ISBN 978-1-6654-0540-9. Detail
MOŠNER Ladislav, PLCHOT Oldřich, BURGET Lukáš a ČERNOCKÝ Jan. Multisv: Dataset for Far-Field Multi-Channel Speaker Verification. In: ICASSP, IEEE International Conference on Acoustics, Speech and Signal Processing - Proceedings. Singapore: IEEE Signal Processing Society, 2022, s. 7977-7981. ISBN 978-1-6654-0540-9. Detail
BRUMMER Johan Nikolaas Langenhoven, SWART Albert du Preez, MOŠNER Ladislav, SILNOVA Anna, PLCHOT Oldřich, STAFYLAKIS Themos a BURGET Lukáš. Probabilistic Spherical Discriminant Analysis: An Alternative to PLDA for length-normalized embeddings. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Incheon: International Speech Communication Association, 2022, s. 1446-1450. ISSN 1990-9772. Detail
STAFYLAKIS Themos, MOŠNER Ladislav, PLCHOT Oldřich, ROHDIN Johan A., SILNOVA Anna, BURGET Lukáš a ČERNOCKÝ Jan. Training Speaker Embedding Extractors Using Multi-Speaker Audio with Unknown Speaker Boundaries. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Incheon: International Speech Communication Association, 2022, s. 605-609. ISSN 1990-9772. Detail

2021

STAFYLAKIS Themos, ROHDIN Johan A. a BURGET Lukáš. Speaker embeddings by modeling channel-wise correlations. In: Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Brno: International Speech Communication Association, 2021, s. 501-505. ISSN 1990-9772. Detail