Zlepšovanie spracovania prirodzeného jazyka

Rýchly rozvoj veľkých jazykových modelov (LLMs) a ďalších foundation modelov zásadne zmenil spracovanie prirodzeného jazyka (NLP) a umožnil vznik aplikácií, ako sú konverzační asistenti, pomocníci pri programovaní či pokročilé systémy prístupu k informáciám. Tieto technológie už dnes ovplyvňujú každodenný život a menia spôsob, akým organizácie pracujú s textom a vedomosťami.

Napriek veľkým úspechom zostáva mnoho otvorených výskumných problémov. Mnohé modely sa správajú ako „čierne skrinky“, môžu generovať halucinujúci obsah, reprodukovať spoločenské biasy a zlyhávať pri prenose do nových domén, úloh či nízkozdrojových jazykov. Zároveň rastie dopyt po modeloch, ktoré sú dôveryhodné, efektívne, ľahko prispôsobiteľné a zároveň rešpektujú požiadavky na bezpečnosť, súlad s reguláciou a ochranu dát.

Táto dizertačná práca sa bude zaoberať metódami porozumenia, adaptácie a riadenia veľkých jazykových modelov so špeciálnym dôrazom na dôveryhodnosť a NLP pre nízkozdrojové a doménovo špecifické prostredia. Práca môže prepájať teoretické aspekty, návrh modelov aj praktické experimenty na reálnych dátach.

Príklady zaujímavých výskumných výziev:

• Vlastnosti veľkých jazykových modelov – analýza a zmierňovanie halucinácií, robustnosť, typické režimy zlyhania.
• Dôveryhodné NLP – detekcia a zmierňovanie biasov, bezpečnosť a spoľahlivosť, vysvetliteľnosť a interpretovateľnosť rozhodnutí modelu.
• Adaptácia LLM na konkrétny kontext a úlohy – napr. parameter-efficient fine-tuning (PEFT), retrieval-augmented generation (RAG), inštrukčné doladenie, kontinuálne učenie.
• Pokročilé techniky učenia – transferové a multilingválne učenie, aktívne učenie, low-shot a nízkozdrojové prístupy pre nedostatočne pokryté jazyky.
• Doménovo špecifické NLP aplikácie – extrakcia informácií a textová klasifikácia v špeciálnych doménach (napr. právo, financie, technické texty, zákaznícka podpora), zlepšovanie kvality dialógu v konverzačných asistentoch, budovanie úloho-orientovaných asistentov.

Téma ponúka vysokú mieru flexibility a dá sa prispôsobiť záujmom doktoranda – od teoretickejšie zameraného výskumu správania modelov až po aplikovaný výskum v spolupráci s akademickými či priemyselnými partnermi.

Súvisiace publikácie:

• Vykopal, I., Ostermann, S., Simko, M. Soft Language Prompts for Language Transfer. In Proceedings of the 2025 Conference of the NAACL: Human Language Technologies (Volume 1: Long Papers), pages 10294-10313, ACL, 2025. https://doi.org/10.18653/v1/2025.naacl-long.517

• Pikuliak, M., Hrčková, A., Oreško, Š., Šimko, M. Women Are Beautiful, Men Are Leaders: Gender Stereotypes in Machine Translation and Language Modeling. In Findings of the Association for Computational Linguistics: EMNLP 2024, pages 3060-3083, ACL, 2024. https://doi.org/10.18653/v1/2024.findings-emnlp.173

Výskum bude doktorand(ka) vykonávať v rámci Kempelenovho inštitútu inteligentných technológií (KInIT, https://kinit.sk) v Bratislave v spolupráci s priemyselnými partnermi alebo výskumníkmi zo svetovo uznávaných výskumných skupín. Predpokladá sa kombinovaná (externá) forma štúdia a pracovný pomer na plný úväzok v KInIT.