Meta-evaluácia viacjazyčných textov pomocou veľkých jazykových modelov

Multilingválne schopnosti veľkých jazykových modelov (LLM) umožňujú generovať text v mnohých jazykoch, prípadne viacjazyčný text aj analyzovať. Chýbajú však štandardné metódy a metriky schopné merať kvalitu viacjazyčných textov. Analýza, hodnotenie a anotácia týchto textov ľuďmi je nákladná a časovo náročná, pričom následná replikovateľnosť je otázna (kvôli zabezpečeniu konzistencie anotátorov). V niektorých jazykoch je veľmi náročné získať ľudské anotácie, nehovoriac o vyvážení úrovne expertízy a prípadnej demografickej diverzity anotátorov naprieč jazykmi. Výskumníci už dlhšie experimentujú s použitím samotných LLM na vyhodnotenie rôznych aspektov kvality textov (napr. koherencia, gramatická korektnosť, lingvistická akceptovateľnosť) vo viacerých jazykoch, či už generovaných jazykovými modelmi alebo písaných ľudmi. Aj LLM anotácia môže byť však zaujatá kvôli vnútornej zaujatosti samotných hodnotiacich modelov zapríčinenej trénovacími dátami.

Je potrebné neustále zvyšovať robustnosť takejto meta-evaluácie (kvôli minimalizovaniu zaujatosti a zvýšeniu objektívnosti), či už zvýšením počtu hodnotiacich LLM alebo zabezpečením diverzity pomocou modifikácie personality hodnotiaceho modelu, s ohľadom na výpočtovú efektívnosť metódy a jej praktickú využiteľnosť. Taktiež je potrebné preukázať koreláciu meta-evaluácie s ľudskými anotáciami a vyhodnotiť pre ktoré aspekty kvality textu a v ktorých jazykoch je takáto meta-evaluácia vhodnou a použiteľnou alternatívou.

Súvisiace publikácie:

• Macko, D., Kopal, J., Moro, R., and Srba, I., 2025. MultiSocial: Multilingual Benchmark of Machine-Generated Text Detection of Social-Media Texts. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 727–752, Vienna, Austria. Association for Computational Linguistics. https://aclanthology.org/2025.acl-long.36/
• Zugecova, A., Macko, D., Srba, I., Moro, R., Kopal, J., Marcinčinová, K., and Mesarčík, M., 2025. Evaluation of LLM Vulnerabilities to Being Misused for Personalized Disinformation Generation. In Proceedings of the 63rd Annual Meeting of the Association for Computational Linguistics (Volume 1: Long Papers), pages 780–797, Vienna, Austria. Association for Computational Linguistics. https://aclanthology.org/2025.acl-long.38/

Výskum bude doktorand vykonávať v rámci Kempelenovho inštitútu inteligentných technológií (KInIT, https://kinit.sk) v Bratislave v spolupráci s priemyselnými partnermi alebo výskumníkmi zo svetovo uznávaných výskumných skupín v rámci medzinárodných výskumných grantov. Predpokladá sa kombinovaná (externá) forma štúdia a pracovný pomer na plný úväzok v KInIT.