Vyhodnocovanie zraniteľností a schopností veľkých jazykových modelov

Hoci veľké jazykové modely (LLM) dosahujú skvelé výsledky ich správaniu stále dostatočne nerozumieme. Malé zmeny vo vstupoch a inštrukciách dokážu výrazne zmeniť správanie týchto modelov, a modely často zlyhávajú v úlohách, ktoré sa oproti tým ktoré boli použité na trénovanie odlišujú iba veľmi málo. Zároveň je v mnohých prípadoch veľmi jednoduché prinútiť veľké jazykové modely vygenerovať sebavedomo podané nepravdivé alebo zavádzajúce informácie. Keďže veľké jazykové modely čoraz viac sprostredkúvajú prístup k informáciám a používa ich široká  škála používateľov výzvou je vyvinúť rigorózne metódy na hodnotenie ich skutočných schopností a identifikáciu zdrojov ich zraniteľností.

Cieľom je vybudovať hlbšie a spoľahlivejšie porozumenie správaniu veľkých jazykových modelov. Prvý možný výskumný smer zahŕňa návrh benchmarku, ktorý dokáže merať pokročilé schopnosti (ako napr. uvažovanie, plánovanie, porozumenie, matematické alebo multilingválne schopnosti) a zároveň bežné zlyhania a zraniteľnosti (vrátane halucinácií, krehkosti správania, či tendencie alebo ľahkosti generovania problematického obsahu, napr. dezinformácií). Dôraz bude na odolnosť benchmarku voči súčasným problémom s kontamináciou dát a na minimalizáciu zdrojov potrebných na jeho spustenie. Druhý možný výskumný smer využíva mechanistickú interpretovateľnosť na štúdium vnútorných štruktúr, ktoré riadia správanie veľkých jazykových modelov. Tieto nástroje budú použité na skúmanie toho, prečo určité zraniteľnosti vznikajú, ako vznikajú schopnosti modelu a či možno cielenými zásahmi znížiť zlyhania pri zachovaní kľúčových funkčných vlastností modelu.

Integráciou robustného behaviorálneho benchmarkingu a mechanistických poznatkov sa snažíme poskytnúť principiálnejšie porozumenie ako LLM fungujú a ako môžu byť bezpečnejšie a spoľahlivejšie v rôznych doménach ako napr. multilingválne porozumenie, detekcia dezinformácií či simuláciu používateľov pomocou veľkých jazykových modelov.

Súvisiace publikácie:

• Vykopal, I., Pikuliak, M., Srba, I., Moro, R., Macko, D., and Bielikova, M., 2023. 2024. Disinformation Capabilities of Large Language Models. In Proceedings of the 62nd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 14830–14847, Bangkok, Thailand. Association for Computational Linguistics. https://aclanthology.org/2024.acl-long.793/
• Zugecova, A., Macko, D., Srba, I., Moro, R., Kopal, J., Marcinčinová, K., and Mesarčík, M., 2025. Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 780–797, Vienna, Austria. Association for Computational Linguistics. https://aclanthology.org/2025.acl-long.38/

Výskum bude doktorand vykonávať v rámci Kempelenovho inštitútu inteligentných technológií (KInIT, https://kinit.sk) v Bratislave v spolupráci s priemyselnými partnermi alebo výskumníkmi zo svetovo uznávaných výskumných skupín. Predpokladá sa kombinovaná (externá) forma štúdia a pracovný pomer na plný úväzok v KInIT.