Spracovanie textu s obmedzenými zdrojmi za pomoci syntézy dát

Aj napriek rozšíreniu veľkých jazykových modelov s proklamovanou univerzálnou použiteľnosťou, zostáva veľa úloh automatického spracovania textu nedostatočne vyriešených. Úlohy, ktoré je potrebné riešiť v jazykoch s malým množstvom zdrojov sú riešené s nižšou úspešnosťou. Problematickými tiež zostávajú úlohy, ktoré vyžadujú citlivosť na detaily, kontext, či čerstvé informácie. Príklady úloh na priesečníku oboch týchto dimenzií zahŕňajú spracovanie dát zo sociálnych médií za účelom detekcie naratívov, analýzy diskurzu, detekcie toxického obsahu, detekciu organizovaných vplyvových kampaní, odhaľovanie manipulácie, podpora fact-checkingu, či auditovanie odporúčačov sociálnych médií.

Keďže vyššie uvedený problém možno chápať ako nedostatok dát pre špecifické úlohy, ako jedno z riešení sa ponúka využívať schopnosti veľkých jazykových modelov. Nejde tu však o samotné riešenie, ale o generovanie či augmentovanie dátových vzoriek, na ktorých je následne možné vytvoriť špecializované (menšie) modely. Výhoda takéhoto prístupu je určitý vyšší stupeň kontroly nad konečným modelom (vieme kontrolovať generované dáta), ako aj nižšia cena a stopa využívania konečného modelu (je menší). Na druhej strane, nevýhodou takéhoto prístupu je jeho nižšia priamočiarosť a metodologická nejednoznačnosť. Práve tá však v súčasnosti predstavuje príležitosť na výskum.

Téma dizertačnej práce predpokladá výskum metód a metodológie vytvárania automatických prístupov na klasifikáciu (či iné automatické spracovanie) textov v heterogénnych a nestálych doménach, ktoré sú charakteristické nedostatkom zdrojov, predovšetkým označkovaných dát, no sekundárne aj obmedzenej výpočtovej sily.

Súvisiace publikácie:

• Cegin, J., Simko, J. and Brusilovsky, P., 2023. ChatGPT to Replace Crowdsourcing of Paraphrases for Intent Classification: Higher Diversity and Comparable Model Robustness. Proceedings of the 2023 Conference on Empirical Methods in Natural Language Processing https://aclanthology.org/2023.emnlp-main.117/
• Cegin, J., Pecher, B., Simko, J., Srba, I., Bieliková, M. and Brusilovsky, P., 2024, August. Effects of diversity incentives on sample diversity and downstream model performance in LLM-based text augmentation. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics https://aclanthology.org/2024.acl-long.710/

Výskum bude doktorand vykonávať v rámci Kempelenovho inštitútu inteligentných technológií (KInIT, https://kinit.sk) v Bratislave v spolupráci s priemyselnými partnermi alebo výskumníkmi zo svetovo uznávaných výskumných skupín. Predpokladá sa kombinovaná (externá) forma štúdia a pracovný pomer na plný úväzok v KInIT.