Jak odhalit manipulace LLM? Odpověď hledá spolupráce doktoranda FIT VUT Jakuba Reše a firmy Red Hat

Velké jazykové modely (LLM) patří v posledních letech mezi nejčastěji skloňované pojmy v oblasti umělé inteligence. Technologie pracující s lidským jazykem, která stojí například za generativními chatovacími asistenty, se stále intenzivněji přesouvá do každodenní praxe, firemní i soukromé. Samozřejmě ruku v ruce s tím roste četnost a závažnost pokusů o její manipulaci či zneužití a souběžně s tím i význam kyberbezpečnostní ochrany modelů.

Právě na tomto poli se v loňském roce zrodila zajímavá aplikace doktorské výzkumu z FIT VUT ve firemní praxi. Navíc hned u předního světového tvůrce open-source softwarových řešení pro podniky. Jakub Reš, doktorand pracující pod vedením doc. Kamila Malinky a člen výzkumné skupiny Security@FIT, loni zahájil výzkumnou stáž u společnosti Red Hat. Jejich spolupráce se, nejobecněji řečeno, pohybuje na poli zabezpečování nové generace systémů umělé inteligence proti manipulaci. Konkrétním příkladem zmíněné manipulace LLM je jev zvaný fact injection. Jeho cíl je jasný: Přimět jazykový model nepřiznanými úpravami k tomu, aby s jistotou generoval smyšlená data jako pravdivá, čímž se naruší jeho spolehlivost a uživatelé jsou úmyslně klamáni. Tohoto stavu dosahují útočníci velmi detailními, přesnými a současně obtížně zjistitelnými úpravami parametrů modelu. Velkou výzvou je obtížnost odlišení těchto škodlivých vstupů od těch legitimních v podobě neškodných aktualizací modelu. Dopad může být závažný: plošné šíření sofistikovaných dezinformací vedoucí k chybným rozhodnutím v citlivých oblastech (např. finance) nebo třeba poškození reputace organizace, resp. obecně důvěry uživatelů v systémy umělé inteligence. Kyberbezpečnostní výzkum se pak zaměřuje na technickou stránku útoků s cílem eliminace jejich dopadů.

Pole, na němž začal čerstvě spolupracovat s firmou Red Hat, vymezuje Reš následovně: Integrita jazykových modelů a její zabezpečení. To je samozřejmě široká definice, proto hned přidává upřesnění – zajímá jej verifikace integrity AI modelu, tedy vývoj softwarových metod pro prevenci nebo detekci nepřiznané manipulace s AI modelem. Zásahy do fungování LLM mohou mít několik scénářů: Může k nim dojít v okamžiku mezi vznikem modelu u tvůrce a jeho použitím koncovým uživatelem. Problém však může vzniknout už u samotného tvůrce. Třetí možností jsou pak komunitní přispěvatelé k modelu (vývojáři s vlastním datasetem), kteří jej běžně pozměňují s cílem vylepšování pro specifickou oblast (když uživatelé nechtějí obecný model, ale třeba ten zaměřený na programování). A v čem konkrétně může spočívat škodlivost manipulací s LLM modely? Zde už velmi závisí na konkrétním použití. „Uvedu příklad: chatbot na webu zahradnictví, který vrací doporučení na konkurenci anebo odkazuje na nevhodné zboží. Ovšem existují i zneužití vedoucí k možnému masivnímu politickému ovlivňování uživatelů nebo třeba ke generování nebezpečného kódu. A velmi závažným projevem skrytých úprav modelu mohou být chybné rady týkající se našeho zdraví,“ konkretizuje Jakub Reš možná rizika. Verifikace, jíž se zabývá, kombinuje dva hlavní přístupy: a) prevenci – zabezpečení důvěryhodných výpočtů od zdroje modelu až k uživatelům s využitím kryptografie a digitálních podpisů modelu; b) detekci nepřiznaných úprav, kdy je třeba jít do hloubky modelu a zkoumat nejen to, jak se chová, ale i jeho „vnitřek“, to, jak moc byl upravován a jak to ovlivňuje jeho interní stavy.

Jak se vůbec zrodila Rešova cesta k velkému hráči softwarového vývoje? „Pokud máte zajímavé výzkumné téma, nenechávejte si ho pro sebe. Povídejte si s lidmi, šiřte povědomí o něm. Někdy najdete spřízněné lidi s nabídkou spolupráce. V mém případě patří hlavní díky Martinu Ukropovi a Markovi Grácovi z Red Hatu,“ vzpomíná na začátek spolupráce náš student. Research internship, na jehož základě se spolupráce realizuje, je podle něj málo známou a využívanou platformou zapojení studentů do firemní praxe. „Moc se o něm mezi studenty neví, rozhodně méně než v případě klasického internshipu, a to je škoda.“ Přitom propojení univerzitního výzkumu a firemní praxe dává často studentům velký smysl, motivaci, jak potvrzuje i Reš: „Pro mě to znamená jasnou vizi toho, co chci dokázat a k čemu to bude. Nezastavím se u článku, který bude někde viset. Akademické výsledky mohou být hned využity v praxi a existuje někdo, kdo by o toto mohl mít zájem. Je to pro mě neskutečná motivace, jiskra do toho, co dělám.“

Přejeme Jakubu Rešovi, aby jej tato spolupráce bavila po celou dobu doktorského studia. Smysl a společenský přesah totiž rozhodně má.