Detail publikace

NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned

MIN Sewon, FAJČÍK Martin, DOČEKAL Martin, ONDŘEJ Karel a SMRŽ Pavel a kol. NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned. In: Proceedings of the NeurIPS 2020 Competition and Demonstration Track. Proceedings of Machine Learning Research, roč. 133. online: Proceedings of Machine Learning Research, 2021, s. 86-111. ISSN 2640-3498. Dostupné z: http://proceedings.mlr.press/v133/min21a/min21a.pdf
Název česky
Soutěž NeurIPS 2020 EfficientQA: Systémy, analýzy a získané lekce
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Min Sewon (UWASH)
Fajčík Martin, Ing., Ph.D. (UPGM FIT VUT)
Dočekal Martin, Ing. (UPGM FIT VUT)
Ondřej Karel, Ing. (UPGM FIT VUT)
a další
URL
Klíčová slova

odpovídaní na otázky, QA, ODQA, efficientQA, paměť, disková paměť, rozpočet, korpusy pro vyhledávání 

Abstrakt

V tejto práci dokumentujeme soutěž EfficientQA z NeurIPS 2020. Soutěž se zaměřila na zodpovídání otázek v otevřené doméně (QA), kde systémy berou otázky v přirozeném jazyce jako vstup a vracejí odpovědi v přirozeném jazyce. Cílem soutěže bylo vybudovat systémy, které dokážou předvídat správné odpovědi a zároveň uspokojit přísné limity na diskovou paměť. Tyto paměťové rozpočty byly navrženy tak, aby motivovali soutěžící prozkoumat kompromis mezi ukládáním vyhledávacích korpusů a parametry naučených modelů. V této zprávě popisujeme motivaci a organizaci soutěže, přezkoumáváme nejlepší výsledky a analyzujeme předpovědi systému, abychom mohli vést diskusi o hodnocení kontroly kvality systémov pre odpovídaní na otázky nad otevřenou doménou. 

Rok
2021
Strany
86-111
Časopis
Proceedings of Machine Learning Research, roč. 133, č. 133, ISSN 2640-3498
Sborník
Proceedings of the NeurIPS 2020 Competition and Demonstration Track
Řada
Proceedings of Machine Learning Research
Konference
Thirty-fourth Conference on Neural Information Processing Systems, online, US
Vydavatel
Proceedings of Machine Learning Research
Místo
online, US
BibTeX 
@INPROCEEDINGS{FITPUB12572,
   author = "Sewon Min and Martin Faj\v{c}\'{i}k and Martin Do\v{c}ekal and Karel Ond\v{r}ej and Pavel Smr\v{z} and et al.",
   title = "NeurIPS 2020 EfficientQA Competition: Systems, Analyses and Lessons Learned",
   pages = "86--111",
   booktitle = "Proceedings of the NeurIPS 2020 Competition and Demonstration Track",
   series = "Proceedings of Machine Learning Research",
   journal = "Proceedings of Machine Learning Research",
   volume = 133,
   number = 133,
   year = 2021,
   location = "online, US",
   publisher = "Proceedings of Machine Learning Research",
   ISSN = "2640-3498",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/12572"
}
Nahoru