Zlepšovanie interakcie človeka s veľkými jazykovými modelmi

Veľké jazykové modely sa čoraz častejšie používajú pre široké spektrum úloh a v rôznych kontextoch interaktívnym (četovacím) spôsobom. Je pritom výzvou, aby táto interakcia bola v súlade s ľudskými očakávaniami a hodnotami a zároveň, aby neposilňovala skreslenia alebo negatívne spoločenské prejavy modelu, ako sú napríklad podlízavosť, manipulatívnosť a pod. Aby sme to dosiahli, potrebujeme jednak vedieť merať mieru pozitívnych alebo negatívnych prejavov modelu a tiež mať (ideálne) veľké dátové súbory interakcií človeka s veľkými jazykovými modelmi spolu s ľudskými preferenciami, ktoré môžu byť použité na trénovanie modelov. Na tento účel môžu byť v niektorých prípadoch použité aj syntetické dáta generované pomocou modelov trénovaných na reálnych používateľských dátach.

Hlavným cieľom práce je zlepšiť interakciu človeka s veľkými jazykovými modelmi pomocou použitia vstupov od ľudí (napr. v podobe ich preferencií) za účelom trénovania konverzačných schopností týchto modelov a súčasnej kontroly nechceného správnia (ako sú napr. skreslenia, podlízavosť, manipulatívnosť, a pod.). Alternatívne sa téma môže zamerať na meranie negatívnych alebo pozitívnych prejavov spoločenského správania modelov v rôznych situáciách a kontextoch alebo na zlepšovanie bezpečnosti modelov pri zohľadnení kontextu a používateľských preferencií.

Aplikačné domény sú rôzne, vrátane (ale nielen) auditovanie bezpečnosti veľkých jazykových modelov vzhľadom na rôzne skupiny používateľov (vrátane detí a mladistvých), zneužitie modelov na generovanie dezinformácií alebo detekcia signálov kredibility a ich vyhodnocovanie.

Súvisiace publikácie:

• Aneta Zugecova, Dominik Macko, Ivan Srba, Robert Moro, Jakub Kopál, Katarína Marcinčinová, and Matúš Mesarčík. 2025. Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 780–797, Vienna, Austria. Association for Computational Linguistics. https://aclanthology.org/2025.acl-long.38/
• Ivan Srba, Olesya Razuvayevskaya, João A. Leite, Robert Moro, Ipek Baris Schlicht, Sara Tonelli, Francisco Moreno García, Santiago Barrio Lottmann, Denis Teyssou, Valentin Porcellini, Carolina Scarton, Kalina Bontcheva, and Maria Bielikova. 2025. A Survey on Automatic Credibility Assessment Using Textual Credibility Signals in the Era of Large Language Models. ACM Trans. Intell. Syst. Technol. Just Accepted (September 2025). https://doi.org/10.1145/3770077

Výskum bude doktorand vykonávať v rámci Kempelenovho inštitútu inteligentných technológií (KInIT, https://kinit.sk) v Bratislave v spolupráci s priemyselnými partnermi alebo výskumníkmi zo svetovo uznávaných výskumných skupín v rámci medzinárodných výskumných grantov. Predpokladá sa kombinovaná (externá) forma štúdia a pracovný pomer na plný úväzok v KInIT.