Detail projektu

Neural Representations in multi-modal and multi-lingual modeling

Období řešení: 1.1.2019 - 31.12.2023

Kód: GX19-26934X

Agentura: Grantová agentura České republiky

Program: Grantové projekty exelence v základním výzkumu EXPRO - 2019

Název česky
Neuronové reprezentace v multimodálním a mnohojazyčném modelování
Typ
grant
Klíčová slova
hluboké strojové učení;neuronové sítě;spojité reprezentace;zpracování přirozeného jazyka;zpracování řeči a textu;strojový překlad; multimodalita;mnohojazyčnost
Abstrakt
Projekt NEUREM3 spojuje základní výzkum v oblasti zpracování mluvené řeči (speech processing, SP) a přirozeného jazyka (natural language processing, NLP) s důrazem na vícejazyčnost a multi-modalitu (zpracování řeči a textu s podporou obrazové informace). V jádru současných metod hlubokého strojového učení leží spojité vektorové reprezentace, které si neuronové samy budují během trénování. Ačkoli empiricky dosahují neuronové sítě často vynikajících výsledků, znalosti a pochopení získaných reprezentací jsou nedostatečné. NEUREM3 má ambici tuto mezeru vyplnit a studovat neuronové reprezentace pro jednotky textu a řeči různého rozsahu (od fonémů a písmen až po proslovy a dokumenty) a reprezentace získané pro izolované úlohy i více úloh současně (multi-tasking). NEUREM3 vylepší architektury i techniky trénování neuronových sítí, aby je bylo možné trénovat je na neúplných nebo nekoherentních datech.
Řešitelé
Burget Lukáš, doc. Ing., Ph.D. (UPGM FIT VUT) , hlavní řešitel
Karafiát Martin, Ing., Ph.D. (UPGM FIT VUT) , spoluřešitel
Veselý Karel, Ing., Ph.D. (UPGM FIT VUT) , spoluřešitel
Baskar Murali K. (UPGM FIT VUT)
Beneš Karel, Ing. (UPGM FIT VUT)
Kohlová Renata, Ing. (UPGM FIT VUT)
Otáhalová Sylva (UPGM FIT VUT)
Silnova Anna, MSc. (UPGM FIT VUT)
Vydana Hari K. (UPGM FIT VUT)
Wang Shuai (UPGM FIT VUT)
Publikace

2019

  • MATĚJKA Pavel, PLCHOT Oldřich, ZEINALI Hossein, MOŠNER Ladislav, SILNOVA Anna, BURGET Lukáš, NOVOTNÝ Ondřej a GLEMBEK Ondřej. Analysis of BUT Submission in Far-Field Scenarios of VOiCES 2019 Challenge. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 2448-2452. ISSN 1990-9772. Detail
  • NOVOTNÝ Ondřej, PLCHOT Oldřich, GLEMBEK Ondřej, ČERNOCKÝ Jan a BURGET Lukáš. Analysis of DNN Speech Signal Enhancement for Robust Speaker Recognition. Computer Speech and Language, roč. 2019, č. 58, s. 403-421. ISSN 0885-2308. Detail
  • DIEZ Sánchez Mireia, BURGET Lukáš, WANG Shuai, ROHDIN Johan A. a ČERNOCKÝ Jan. Bayesian HMM based x-vector clustering for Speaker Diarization. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 346-350. ISSN 1990-9772. Detail
  • ONDEL Lucas, VYDANA Hari K., BURGET Lukáš a ČERNOCKÝ Jan. Bayesian Subspace Hidden Markov Model for Acoustic Unit Discovery. In: Proceedings of Interspeech 2019. Graz: International Speech Communication Association, 2019, s. 261-265. ISSN 1990-9772. Detail
  • ROHDIN Johan A., SILNOVA Anna, DIEZ Sánchez Mireia, PLCHOT Oldřich, MATĚJKA Pavel, BURGET Lukáš a GLEMBEK Ondřej. End-to-end DNN based text-independent speaker recognition for long and short utterances. Computer Speech and Language, roč. 2020, č. 59, s. 22-35. ISSN 0885-2308. Detail
  • NOVOTNÝ Ondřej, PLCHOT Oldřich, GLEMBEK Ondřej a BURGET Lukáš. Factorization of Discriminatively Trained i-Vector Extractor for Speaker Recognition. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 4330-4334. ISSN 1990-9772. Detail
  • WANG Shuai, ROHDIN Johan A., BURGET Lukáš, PLCHOT Oldřich, QIAN Yanmin, YU Kai a ČERNOCKÝ Jan. On the Usage of Phonetic Information for Text-independent Speaker Embedding Extraction. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 1148-1152. ISSN 1990-9772. Detail
  • STAFYLAKIS Themos, ROHDIN Johan A., PLCHOT Oldřich, MIZERA Petr a BURGET Lukáš. Self-supervised speaker embeddings. In: Proceedings of Interspeech. Graz: International Speech Communication Association, 2019, s. 2863-2867. ISSN 1990-9772. Detail
  • ŽMOLÍKOVÁ Kateřina, DELCROIX Marc, KINOSHITA Keisuke, OCHIAI Tsubasa, NAKATANI Tomohiro, BURGET Lukáš a ČERNOCKÝ Jan. SpeakerBeam: Speaker Aware Neural Network forTarget Speaker Extraction in Speech Mixtures. IEEE Journal of Selected Topics in Signal Processing, roč. 13, č. 4, s. 800-814. ISSN 1932-4553. Detail
Nahoru