Detail výsledku

Training Speaker Embedding Extractors Using Multi-Speaker Audio with Unknown Speaker Boundaries

STAFYLAKIS, T.; MOŠNER, L.; PLCHOT, O.; ROHDIN, J.; SILNOVA, A.; BURGET, L.; ČERNOCKÝ, J. Training Speaker Embedding Extractors Using Multi-Speaker Audio with Unknown Speaker Boundaries. In Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH. Proceedings of Interspeech. Incheon: International Speech Communication Association, 2022. no. 9, p. 605-609. ISSN: 1990-9772.
Typ
článek ve sborníku konference
Jazyk
anglicky
Autoři
Stafylakis Themos
Mošner Ladislav, Ing., UPGM (FIT)
Plchot Oldřich, Ing., Ph.D., UPGM (FIT)
Rohdin Johan Andréas, M.Sc., Ph.D., FIT (FIT), UPGM (FIT)
Silnova Anna, M.Sc., Ph.D., UPGM (FIT)
Burget Lukáš, doc. Ing., Ph.D., UPGM (FIT)
Černocký Jan, prof. Dr. Ing., UPGM (FIT)
Abstrakt

In this paper, we demonstrate a method for training speaker em-
bedding extractors using weak annotation. More specifically,
we are using the full VoxCeleb recordings and the name of the
celebrities appearing on each video without knowledge of the
time intervals the celebrities appear in the video. We show that
by combining a baseline speaker diarization algorithm that re-
quires no training or parameter tuning, a modified loss with aggregation over segments, and a two-stage training approach, we
are able to train a competitive ResNet-based embedding extractor. Finally, we experiment with two different aggregation functions and analyze their behaviour in terms of their gradients.

Klíčová slova

Speaker Embedding Extractors, Multi-Speaker Audio, Unknown Speaker Boundaries

URL
Rok
2022
Strany
605–609
Časopis
Proceedings of Interspeech, roč. 2022, č. 9, ISSN 1990-9772
Sborník
Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH
Konference
Interspeech Conference
Vydavatel
International Speech Communication Association
Místo
Incheon
DOI
10.21437/Interspeech.2022-10165
UT WoS
000900724500123
EID Scopus
2-s2.0-85140088494
BibTeX 
@inproceedings{BUT179781,
  author="Themos {Stafylakis} and Ladislav {Mošner} and Oldřich {Plchot} and Johan Andréas {Rohdin} and Anna {Silnova} and Lukáš {Burget} and Jan {Černocký}",
  title="Training Speaker Embedding Extractors Using Multi-Speaker Audio with Unknown Speaker Boundaries",
  booktitle="Proceedings of the Annual Conference of the International Speech Communication Association, INTERSPEECH",
  year="2022",
  journal="Proceedings of Interspeech",
  volume="2022",
  number="9",
  pages="605--609",
  publisher="International Speech Communication Association",
  address="Incheon",
  doi="10.21437/Interspeech.2022-10165",
  issn="1990-9772",
  url="https://www.isca-speech.org/archive/pdfs/interspeech_2022/stafylakis22_interspeech.pdf"
}
Soubory
Projekty
Neuronové reprezentace v multimodálním a mnohojazyčném modelování, GAČR, Grantové projekty exelence v základním výzkumu EXPRO - 2019, GX19-26934X, zahájení: 2019-01-01, ukončení: 2023-12-31, ukončen
Robustní zpracování nahrávek pro operativu a bezpečnost, MV, PROGRAM STRATEGICKÁ PODPORA ROZVOJE BEZPEČNOSTNÍHO VÝZKUMU ČR 2019-2025 (IMPAKT 1) PODPROGRAMU 1 SPOLEČNÉ VÝZKUMNÉ PROJEKTY (BV IMP1/1VS), VJ01010108, zahájení: 2020-10-01, ukončení: 2025-09-30, ukončen
Síťová, textová analýza a analýza řeči v reálném čase pro boj s organizovaným zločinem, EU, Horizon 2020, zahájení: 2019-09-01, ukončení: 2022-12-31, ukončen
Výměny pro výzkum řeči a technologií, EU, Horizon 2020, zahájení: 2021-01-01, ukončení: 2025-12-31, řešení
Výzkumné skupiny
Výzkumná skupina dolování dat z řeči BUT Speech@FIT (VZ SPEECH)
Pracoviště
Ústav počítačové grafiky a multimédií (UPGM)
Nahoru