Detail publikace

Rethinking the Objectives of Extractive Question Answering

FAJČÍK Martin, JON Josef a SMRŽ Pavel. Rethinking the Objectives of Extractive Question Answering. In: Proceedings of the 3rd Workshop on Machine Reading for Question Answering. Proceedings of the 3rd Workshop on Machine Reading for Question Answering. Punta Cana: Association for Computational Linguistics, 2021, s. 14-27. ISBN 978-1-954085-95-4. Dostupné z: https://aclanthology.org/2021.mrqa-1.2/
Název česky
Přehodnocení objektivních funkcí systémov pre extrakční odpovídaní na otázky
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Fajčík Martin, Ing. (UPGM FIT VUT)
Jon Josef, Ing. (UPGM FIT VUT)
Smrž Pavel, doc. RNDr., Ph.D. (UPGM FIT VUT)
URL
Klíčová slova

QA, extraktivní QA,  objektivní funkce s předpokladem nezávislosti, objektivní funkce se spojitým předpokladem, složená objektivní funkce

Abstrakt

Tato práce ukazuje, že použití objektívních funkcí s předpokladem nezávislosti pro modelování pravděpodobnosti rozpětí odpovedí v textu P (a_s , a_e ) = P (a_s )P (a_e) rozpětí začínajícího na pozici a_s a končícího na pozici a_e má nepříznivé účinky na kvalitu systémov pre odpovídaní na otázky. Proto navrhujeme více přístupů k přímému modelování spojené pravděpodobnosti P (a_s , a_e). Mezi nimi navrhujeme objektivní funkci složenú ze modelování spojené pravděpodobnosti při zachování modelu s předpokladem nezávislosti jako pomocného cíle. Zjistili jsme, že tahle objektivní funkce je konzistentně lepší nebo stejne dobrá jako jiné předpoklady v metrike exact match. Kromě toho jsme identifikovali běžné chyby způsobené předpokladem nezávislosti a ručně zkontrolovali protějšek odpovedi, čímž jsme prokázali dopad složeného cíle na skutečných příkladech. Naše zjištění jsou podpořena experimenty se třemi modely pro extrakční QA (BIDAF, BERT, ALBERT) v šesti datových sadách a náš kód, jednotlivé výsledky a manuální analýza jsou k dispozici online.

Rok
2021
Strany
14-27
Sborník
Proceedings of the 3rd Workshop on Machine Reading for Question Answering
Řada
Proceedings of the 3rd Workshop on Machine Reading for Question Answering
Konference
Conference on Empirical Methods in Natural Language Processing, Punta Cana, DO
ISBN
978-1-954085-95-4
Vydavatel
Association for Computational Linguistics
Místo
Punta Cana, DO
EID Scopus
2-s2.0-85138379950
BibTeX 
@INPROCEEDINGS{FITPUB12639,
   author = "Martin Faj\v{c}\'{i}k and Josef Jon and Pavel Smr\v{z}",
   title = "Rethinking the Objectives of Extractive Question Answering",
   pages = "14--27",
   booktitle = "Proceedings of the 3rd Workshop on Machine Reading for Question Answering",
   series = "Proceedings of the 3rd Workshop on Machine Reading for Question Answering",
   year = 2021,
   location = "Punta Cana, DO",
   publisher = "Association for Computational Linguistics",
   ISBN = "978-1-954085-95-4",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/12639"
}
Nahoru