Detail publikace

ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness

ČEGIŇ Ján a ŠIMKO Jakub. ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness. In: Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing. Singapur: Association for Computational Linguistics, 2023, s. 1889-1905. ISBN 979-8-8917-6060-8. Dostupné z: https://aclanthology.org/2023.emnlp-main.117/
Název česky
ChatGPT nahradí Crowdsourcing parafráz pro klasifikaci záměrů: Vyšší rozmanitost a srovnatelná robustnost modelu
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Čegiň Ján, Ing. (UPGM FIT VUT)
Šimko Jakub, doc. Ing., Ph.D. (UPGM FIT VUT)
URL
Klíčová slova

generování přirozeného jazyka, generování parafrází, crowdsourcing, velké jazykové modely, klasifikace záměrů, rozmanitost textu

Abstrakt

Vznik generativních velkých jazykových modelů (LLM) vyvolává otázku: jaký bude jejich dopad na crowdsourcing? Tradičně se crowdsourcing používá k získávání řešení pro širokou škálu úkolů lidské inteligence, včetně těch, které zahrnují generování, úpravy nebo vyhodnocování textu. Pro některé z těchto úkolů mohou modely jako ChatGPT potenciálně nahradit lidské pracovníky. V této studii zkoumáme, zda je tomu tak v případě úlohy generování parafráze pro klasifikaci záměru. Aplikujeme metodologii sběru dat existující crowdsourcingové studie (podobné měřítko, výzvy a počáteční data) pomocí ChatGPT. Ukazujeme, že parafráze vytvořené ChatGPT jsou rozmanitější a vedou k přinejmenším stejně robustním modelům.

Rok
2023
Strany
1889-1905
Sborník
Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing
Konference
Conference on Empirical Methods in Natural Language Processing, Singapore, SG
ISBN
979-8-8917-6060-8
Vydavatel
Association for Computational Linguistics
Místo
Singapur, SG
DOI
10.18653/v1/2023.emnlp-main.117
BibTeX 
@INPROCEEDINGS{FITPUB13026,
   author = "J\'{a}n \v{C}egi\v{n} and Jakub \v{S}imko",
   title = "ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness",
   pages = "1889--1905",
   booktitle = "Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing",
   year = 2023,
   location = "Singapur, SG",
   publisher = "Association for Computational Linguistics",
   ISBN = "979-8-8917-6060-8",
   doi = "10.18653/v1/2023.emnlp-main.117",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/13026"
}
Nahoru