Manipulace LLM? Řešení hledá spolupráce doktoranda FIT VUT Jakuba Reše a firmy Red Hat
|
Velké jazykové modely (LLM) patří v posledních letech mezi nejčastěji skloňované pojmy v oblasti umělé inteligence. Ruku v ruce s jejich masivním využíváním v praxi roste četnost a závažnost pokusů o manipulaci či zneužití a souběžně s tím i význam kyberbezpečnostní ochrany. Právě na tomto poli se v loňském roce zrodilo zajímavé prolnutí doktorského výzkumu z FIT VUT a firemní praxe. Navíc hned u předního světového tvůrce open-source softwarových řešení pro podniky. Jakub Reš, doktorand pracující pod vedením doc. Kamila Malinky a člen výzkumné skupiny Security@FIT, zahájil výzkumnou stáž u společnosti Red Hat. Spolupráce se týká zajišťování integrity jazykových modelů a jejich zabezpečení. Jakub se konkrétně věnuje vývoji softwarových metod pro prevenci nebo detekci nepřiznané manipulace s AI modelem. Zásahy do fungování LLM mohou mít několik scénářů: „Uvedu příklad: chatbot na webu zahradnictví, který vrací doporučení na konkurenci anebo odkazuje na nevhodné zboží. Ovšem existují i zneužití vedoucí k možnému masivnímu politickému ovlivňování uživatelů nebo třeba ke generování nebezpečného kódu. A velmi závažným projevem skrytých úprav modelu mohou být i chybné rady týkající se našeho zdraví,“ konkretizuje Jakub Reš možná rizika. Jak se zrodila Rešova cesta k velkému hráči softwarového vývoje? A k jakým výsledkům spolupráce již vedla? To si můžete přečíst ZDE. |

