Aktuality

Soutěž Idea Challenge@FIT podpořila studentské nápady. Mezi projekty rozdělila téměř 80 tisíc korun

Férová studentská seznamka, AI nástroj pro personalizované doporučování a virtuální zkoušení oblečení nebo komunitní aplikace pro průzkumníky urbexových lokací. To jsou jen některé z nápadů, které včera zabodovaly v soutěži pro podnikavé studenty Idea Challenge@FIT 2026. Studentské týmy z FIT VUT své projekty během včerejšího finále představily odborné komisi. Ta mezi všechny finálové projekty nakonec rozdělila finanční podporu téměř 80 000 korun.

„Idea Challenge@FIT dává studentům prostor ověřit si, jestli jejich nápad obstojí i mimo školní prostředí. Nejde jen o soutěž, ale hlavně o příležitost získat zpětnou vazbu od odborníků, promyslet další směřování projektu a udělat první krok k jeho reálnému využití,“ říká organizátor soutěže Vítězslav Beran.

Každý přihlášený projekt před finále prošel hodnocením dvou odborných recenzentů. Studenti tak získali zpětnou vazbu ještě před samotnou prezentací. Ve finálové části pak své nápady představili formou pitch prezentací před komisí, která hodnotila mimo jiné originalitu, proveditelnost, přínos pro cílovou skupinu a potenciál dalšího rozvoje.

Mezi projekty se objevily například také nápady na přenosné autonomní zařízení pro ochranu perimetru, bezpečné zapojení umělé inteligence do firemních procesů, automatizaci výpočetních workflow nebo jednodušší tvorbu odborných dokumentů.

„Letos se znovu ukázalo, že studenti FIT přicházejí s nápady, které mají nejen technickou kvalitu, ale také ambici řešit skutečné potřeby uživatelů nebo společnosti. Právě takové projekty chceme v rámci Idea Challenge@FIT podporovat – v rané fázi, kdy může správná zpětná vazba a kontakt s odborníky výrazně pomoci jejich dalšímu rozvoji,“ dodal Vítězslav Beran.

Soutěž je součástí fakultní iniciativy Star(t)up@FIT, která má za cíl podpořit studentskou podnikavost. Navazuje na ni letní soutěž BoosterChallenge VUT, která je určena pro všechny studenty Vysokého učení technického v Brně a zaměřuje se na technologický vývoj a cestu od nápadu k prvnímu prototypu.



Výsledky soutěže

Projekt Ocenění Výhra
Brndr Projekt má silný etický a společenský rozměr se skvělým zaměřením na offline komunitní akce a podporu mezilidských vztahů. 8 000 Kč
StyleMe Pokročilé technologické řešení využívající AI k analýze osobního stylu z fotografií, doporučování a vizualizace oblečení na avataru uživatele, čímž se snaží snižit míru vratek v e-commerce. 8 000 Kč
UrbexVault Projekt vyniká unikátním zaměřením na specifickou subkulturu s velkým důrazem na bezpečnost, komunitní etiku a atraktivní prvky gamifikace. 8 000 Kč
RemoteSentry Projekt s technickým náskokem, který kombinuje senzory s edge AI pro spolehlivou ochranu perimetru s minimalizací falešných poplachů. 7 000 Kč
SecureFlow Aktuální koncept, který propojuje matematické Petriho sítě s LLM pro bezpečné a auditovatelné nasazení AI do firemních procesů. 7 000 Kč
IRCOMP Jedná se o špičkový technický projekt s ambiciózní vizí, který přináší unikátní inovaci v bioinformatice díky kombinaci deterministického kompilátoru a AI. 6 000 Kč
NextTeX Projekt využívá moderní technologii Typst a webové rozhraní k tomu, aby studentům zjednodušil a zpříjemnil tvorbu dokumentů bez složitostí LaTeXu. 5 000 Kč
PChat Přináší radikální a technicky vyspělou inovaci v podobě stromové struktury chatu, která se snaží řešit přehlednost komplexních týmových diskuzí. 5 000 Kč
SwiftWave Projekt zaplňuje mezeru na trhu poskytnutím nativního a výkonného simulátoru hardwarových obvodů pro vývojáře na platformě macOS. 5 000 Kč
hankaai-padisoft Prakticky orientovaný projekt s potenciálním přínosem pro gastro sektor, který díky pokročilé automatizaci komunikace šetří čas a personální kapacity restaurací. 4 000 Kč
NextPage Hlavní předností je promyšlená gamifikace a využití AI, které efektivně pomáhají uživatelům překonávat digitální prokrastinaci a budovat čtenářské návyky. 4 000 Kč
MindTest Projekt nabízí originální a užitečný přístup k objektivní diagnostice mentální připravenosti a wellbeing studentů pomocí krátkých her. 4 000 Kč
Graphio Oceňuje se potenciál pro akademiky a studenty při generování grafů a vizualizací. 3 000 Kč
Serveis2026 Oceňuje se praktický přístup k informačnímu systému pro menší autoservisy, který zpřehledňuje celý proces zakázky od VIN až po předání. 3 000 Kč

Hodnocení recenzentůfinální hodnocení komise.


Mohlo by vás zajímat:

[img]

„Mám radost, když můžu pomáhat ostatním cítit se v digitálním prostoru bezpečně,“ říká úspěšný student FIT VUT Vojtěch Dvořák

Vojtěch Dvořák je studentem Fakulty informačních technologií VUT. Současně už více než tři roky pracuje jako softwarový inženýr ve společnosti Gen (dříve Avast), konkrétně v týmu Threat Labs. Jedná se o specializovaný tým pro výzkum v oblasti kybernetické bezpečnosti, který je zodpovědný za identifikaci, analýzu a sledování nových digitálních hrozeb a podvodů po celém světě. Vojtěch se konkrétně zaměřuje na extrakci příznaků malwaru a jejich následnou klasifikaci. Jako softwarový inženýr pomáhá s vývojem a údržbou interních systémů, které využívají převážně analytici hrozeb.

K práci ve významné technologické společnosti se Vojtěch Dvořák dostal už během bakalářského studia na FIT VUT, kdy jej zaujaly formální jazyky a překladače. Ve své bakalářce, která vznikala i díky působení v Genu, se věnoval inkrementální statické analýze jazyka YARA, který analytici využívají k detekci a klasifikaci malwaru. Za tuto práci od Genu obdržel ocenění za mimořádně kvalitní zpracování. Dnes dokončuje magisterské studium se specializací na strojové učení a společně s Genem pracuje na diplomové práci na téma vylepšení detekce kybernetických podvodů na základě vizuálních dat, konkrétně snímků PDF dokumentů a webových stránek. Vojtěchova dosavadní dráha je dalším příkladem perfektně zvládnuté symbiózy vysokoškolského studia a výzkumu v prostředí průmyslového partnera fakulty. Právě proto jsme jej pozvali ke krátkému rozhovoru a zeptali se ho na jeho dosavadní kariérní cestu.

---

Pamatujete si, kdy se zrodil Váš zájem o informatiku a informační technologie?

Já byl vždycky orientovaný spíše technickým směrem, nejspíš v tom hrála roli i technická profese mého táty, který je elektrotechnik. Na víceletém gymnáziu jsme dělali technické středoškolské projekty, které se týkaly robotiky. Tam jsem se poprvé dostal do kontaktu také s programováním. Konkrétně pro FIT jsem se rozhodl na základě zážitku na dni otevřených dveří.

Pochopil jsem, že jste se ke kyberbezpečnosti dostal už brzo během studia. Čím Vás tato oblast tak zaujala?

IT je sám o sobě dynamický svět, ale právě kyberbezpečnost mě zaujala tím, jak rychle se vyvíjí. S tím, jak intenzivně se proměňují hrozby, se člověk nikdy nenudí. A samozřejmě v tom vidím velký smysl. Mám radost, když můžu pomáhat ostatním cítit se v digitálním prostoru bezpečně. Dokud se v něm budou lidé pohybovat, budou se chtít vyhnout rizikům jako ve skutečném světě, což alespoň v mých očích dělá tuto oblast perspektivní.

Jak jste se vlastně ocitl v Genu?

Nejdříve jsem na FITu absolvoval předmět Formální jazyky a překladače a potom jsem v jiném předmětu navštívil zvanou přednášku doktorandky, která souběžně pracovala v Genu. A tam byla prezentována možnost psát bakalářskou práci ve spolupráci s firmou. Já v tu dobu hledal cestu k tomu, jak ochutnat při studiu i praxi, takže to do sebe hezky zapadlo.

Tady se musím zeptat: Formální jazyky a překladače nejsou snadné téma. Stejně tak kombinace studia a stáže v technologické firmě rozhodně nepřipomíná jednoduchou cestu. Co Vás vedlo k podobnému „komplikování si“ života?

Abych byl upřímný: Vidina toho, že stáž bude současně prací na bakalářce, celý obraz poměrně zjednodušila. Výzva to byla, to nepopírám. Ovšem konkrétně v Genu je velkou výhodou, že vedení jde studiu naproti – třeba ve zkouškovém se s náročností programu studenta jasně počítá. Přesto je třeba nějaký ten čas nad rámec studia obětovat, i když až na dno svých rezerv jsem jít nemusel. Pokud si vyberete studium IT, není to koníček, ale volba profesní cesty. A když si pak můžete už během studia vyzkoušet praxi, lépe vám to pomůže vybrat si také specializaci v magisterském studiu, volitelné předměty a podobně. Je to vlastně forma sebepoznání.

Vaše bakalářská práce se věnovala inkrementální statické analýze jazyka YARA. Co Vás na tomto tématu zaujalo?

Tušil jsem, že se téma týká právě látky probírané v předmětu Formální jazyky a překladače. Chtěl jsem se dozvědět, jaký je aktuální vývoj této oblasti v praxi a jak vlastně lze teorii aplikovat. Kromě toho jsem se však naučil během stáže spoustu dalších věcí týkajících se software developmentu a pokročilejších konceptů v jazycích jako např. C, C++ a Python. Na druhou stranu mě potěšilo, že jsem mohl už během stáže využít spoustu znalostí ze školy – mimo teorie taky soft skills typu týmová práce nebo schopnosti systematického učení. Na fakultě člověk stojí před výzvami opakovaně a na výzvy v práci je pak lépe připraven.

Od začátku stáže působíte v týmu Threat Labs. Jak byste jej čtenářům představil?

Tým se zabývá analýzou nových hrozeb, které se objeví v kyberprostoru. Já se konkrétně věnuji extrakci příznaků malwaru, na jejichž základě jej lze klasifikovat. Musím říct, že mám poměrně velkou svobodu v tom, jak mohu problémy řešit, což ovšem současn vyžaduje poctivý research.

… a v rámci Threat Labs jste řešil i téma své bakalářky, která mimochodem získala v Genu interní ocenění za kvalitní zpracování. Co bylo cílem Vašeho výzkumu?

Stav, kdy máme obrovské množství hrozeb, vyvolává potřebu je jednoznačně popisovat, klasifikovat. K tomu slouží nástroj YARA a stejnojmenný jazyk. V tomto jazyce píšeme pravidla, která definují charakteristické znaky malwaru, resp. pomocí těchto pravidel lze malware identifikovat a vyhledávat. Stejně jako se programátoři při psaní kódu v programovacích jazycích snaží být co nejefektivnější, tak i analytici kyberbezpečnostních hrozeb chtějí to samé při psaní pravidel v jazyce YARA. Z tohoto důvodu používají různé nástroje, aby si práci se zdrojovými kódy v jazyce YARA usnadnili. Moje práce se konkrétně zabývala tím, jak zefektivnit automatickou kontrolu pravidel v tomto jazyce po sémantické a syntaktické stránce. Cílem byla rychlejší detekce chyb v kódu, což v důsledku urychluje práci analytiků malwaru.

Pro diplomku jste ale zvolil jiné téma: detekce kybernetických podvodů na základě vizuálních dat. Proč právě toto?

Po bakaláři jsem si vybíral specializaci navazujícího magisterského studia, a i s ohledem na trendy v IT jsem dal přednost strojovému učení. Zhruba po roce jsem se začal ve firmě věnovat přímo detekci malwaru pomocí vizuálních příznaků. To téma jsem vnímal jako skvělou příležitost zkombinovat studijní specializaci s kyberbezpečnostním oborem. Ale ten můj „shift“ ke strojovému učení vlastně odpovídá proměnám na poli kyberbezpečnostních hrozeb a podvodů obecně. Každému se už asi stalo, že mu přišel podvodný e-mail, příloha a podobně. Při detekci podvodu se snažíme hlouběji porozumět obsahu dokumentu. Podvodníci se ale na druhé straně snaží detekci ztížit obfuskací neboli „zatemněním“ dokumentů, což komplikuje práci analytiků, kteří se snaží podvod odhalit pomocí specializovaných nástrojů.

Zatemněním vůči specializovaným nástrojům myslíte například…

… například to, když se text v PDF dokumentu nahradí obrázkem. Text pak není pro detekční nástroj viditelný. Moje diplomová práce se zjednodušeně řečeno zabývá tím, že namísto toho, abychom se snažili detekovat podvod přímo v dokumentu ve výchozím formátu, vycházíme z jeho obrazové reprezentace, z vykresleného dokumentu, čímž obejdeme tyto způsoby zatemňování. Využíváme algoritmy strojového učení, s nimiž jsme schopni dokumenty v obrazové formě automaticky popsat, anotovat. Následně se snažíme shlukovat dokumenty na základě jejich sémantické a vizuální podobnosti. Díky tomu víme, na co se máme zaměřit při nasazení specializovaných detekčních nástrojů. Já se v práci zabývám nejvíce PDF dokumenty, ale nejde o nejčastější vektor útoku. Útočníci při podvodech využívají takřka všechny komunikační kanály.

Existuje nějaký výsledek Vaší práce, na nějž jste obzvlášť hrdý?

Nedávno jsem zažil opravdu příjemný pocit, když jsem se dozvěděl, že moje řešení diplomky pomohlo odhalit první skutečnou podvodnou kampaň.

Kyberbezpečnost je obor, který se velmi dynamicky vyvíjí a proměňuje. Myslíte si, že typ hrozeb, jimž se v práci věnujete, bude aktuální i za pár let?

Je stále snazší generovat podvodné dokumenty, a to i díky nástrojům, které využívají takzvanou umělou inteligenci. Útočníci mohou poměrně levně vytvářet kvalitní personalizované podvodné dokumenty a současně je adresovat velkému počtu uživatelů. Proto si myslím, že ještě nějakou dobu množství útoků tohoto typu poroste.

A kde se vidíte Vy sám za několik let? Kam povedou Vaše kroky po dokončení magisterského studia na FIT? Zvažujete třeba doktorát?

Zvažuji, rád zkouším nové věci, nové výzvy. Ale myslím si, že po nějakou dobu se budu rád věnovat jen práci v Genu. Nemám konkrétní velký kariérní cíl. V tom, co dělám, vidím smysl, a to přece není málo.

[img]

FIT otevírá přípravný kurz matematiky pro maturanty

Máte respekt z matematiky na vysoké škole, nebo si chcete jen pojistit úspěch u přijímaček a maturity? FIT VUT letos otevírá přípravný kurz pro maturanty. Proč se do kurzu přihlásit:

  • Doplníte si znalosti k maturitě,
  • otevřete si cestu k přednostnímu přijetí,
  • usnadníte si start v prvním semestru,
  • po úspěšném absolvování můžete v 1. semestru získat 2 kredity za volitelný předmět,
  • seznámíte se naživo s prostředím fakulty.

Kurz se bude konat na Fakultě informačních technologií VUT v Brně každý čtvrtek 16:00 - 17:50 (výuka neprobíhá v týdnu podzimních prázdnin) od 17. září do 10. prosince 2026. Čeká na vás celkem 11 týdnů výuky. Poplatek za kurz je 1990 Kč.

Přihlašování je spuštěno. Přihlášku a detailní informace nalezente na webu fit.vut.cz/matematika.

[img]

Tradice brněnského univerzitního šachu má úzkou vazbu na naši fakultu

V pořadí už čtvrtý Mezifakultní turnaj v šachu, který bez přehánění můžeme označit za největší akademické šachové klání v České republice, se uskutečnil koncem března (24. 3. 2026). Tentokrát na Fakultě strojního inženýrství VUT – předchozí turnaj hostila na podzim právě naše fakulta. Začátkem jara se nad šachovnicemi skláněli členové hned 20 týmů a alespoň jednu partii odehrálo 90 hráčů. Mezi nimi třeba i prorektor VUT pro vzdělávání a kvalitu doc. Vítězslav Máša. Šestnáct týmů bylo studentských, jeden byl složen z absolventů VUT napříč fakultami a tři byly „zaměstnanecké“. Turnaj neměl jasného favorita, nejvýše nasazeným byl výběr ESF MUNI – všichni jeho hráči disponovali FIDE ratingem nad 2000. Ve hře o vítězství byli i obhájci titulu z Fakulty informačních technologií a tradičně silná Fakulta strojního inženýrství.

A studenti FITu, kteří byli pasováni na černého koně turnaje, si vedli skvěle. Náš tým dokázal obhájit vítězství. Šlo celkově o třetí triumf ze čtyř možných! Na druhém místě skončil Pro-AS VUT se stejným bodovým ziskem a třetí příčku obsadil tým FSI VUT 1.

4. Mezifakultní turnaj v šachu: Vítězný tým FIT VUT 1, zleva: Samuel Chovan, Sava Rakič, Jakub Ryšánek, Kristián Rúček.
4. Mezifakultní turnaj v šachu: Vítězný tým FIT VUT 1, zleva: Samuel Chovan, Sava Rakič, Jakub Ryšánek, Kristián Rúček. | Autor: Foto: Matěj Grim, Fotoklub Technika


„Odměny sestávající z 3D pohárů tištěných ve fakultním Open Space, deskovek zakoupených z rozpočtu SU a FIT merche, poskytnutého PR týmem FITu."
„Odměny sestávající z 3D pohárů tištěných ve fakultním Open Space, deskovek zakoupených z rozpočtu SU a FIT merche, poskytnutého PR týmem FITu." | Autor: Studentská unie FIT

Mezifakultní turnaje organizuje od dubna 2023 spolek Brněnský univerzitní šach, v jehož čele stojí student FIT VUT Martin Benovič, a to společně s Ondřejem Havelkou z FSI VUT. Spolek je, slovy Benoviče, „partou šesti nadšenců, kteří se snaží o organizaci a propagaci šachových akcí pro vysokoškoláky“. Březnový Mezifakultní turnaj byl posledním, který v roli organizátora vedl právě Martin Benovič, výrazná osobnost brněnského univerzitního šachu.

„Organizační tým Brněnského univerzitního šachu, zleva: Ondřej Havelka (VUT), Martin Benovič (VUT), Rostislav Berezjuk (MENDELU), Martin Kuna (VUT), Marián Taragel' (VUT), Petr Pečenka (MUNI).“
„Organizační tým Brněnského univerzitního šachu, zleva: Ondřej Havelka (VUT), Martin Benovič (VUT), Rostislav Berezjuk (MENDELU), Martin Kuna (VUT), Marián Taragel' (VUT), Petr Pečenka (MUNI).“ | Autor: Archiv Martina Benoviče

Spiritus agens brněnských turnajů

Benoviče přivedl ke královské hře otec. Poprvé si ji vyzkoušel už v pěti letech. V rodné Strážnici začal navštěvovat šachový kroužek v místním Domově dětí a mládeže a po několika letech sám kroužek jako vedoucí převzal a pro jeho členy začal organizovat turnaje. Po maturitě, absolvované na Průmyslové a umělecké škole v Hodoníně, se rozhodl pro IT směr. Na podzim 2019 nastoupil na naši fakultu. Martinovo nadšení pro šach nešlo zvlášť ve studentském klubu U Kachničky přehlédnout. Když přišel covid a partie se mnohdy přesunuly do online prostředí, Benovič dostal pozvání od správce fakultního Discordu Ondřeje Kinšta (alias Toaster) a na platformě začal vytvářet online turnaje. Těch se občas zúčastnil i proděkan FIT VUT Bohuslav Křena, který fakultní šachisty a šachistky dlouhodobě podporuje. „Dokonce jsme sehráli online zápas FIT VUT vs. FIT ČVUT, který byl streamován na Twitchi,“ vzpomíná Benovič. Zájem ze strany studujících i akademiků ho motivoval k tomu zkusit si organizaci velkého klání. Benovič vstoupil do Studentské unie FIT VUT, první turnaj zrealizoval na podzim 2021 pro 32 účastníků. „Ty začátky byly náročné, musel jsem třeba složitě shánět šachovnice, a to i přes účastníky. Neměl jsem jasno v tom, co všechno musí organizátor pohlídat, o čem a kdy má informovat a podobně. Díky zpětné vazbě hráčů jsem se posouval a zlepšoval jsem samotné turnaje,“ popisuje Martin.

„S oblibou jsem v průběhu turnaje sledoval partie. Na všech šachovnicích byly k vidění napínavé taktické boje a různorodé zápletky.“
„S oblibou jsem v průběhu turnaje sledoval partie. Na všech šachovnicích byly k vidění napínavé taktické boje a různorodé zápletky.“ | Autor: Studentská unie FIT

Mezifakultní turnaje dnes považuje za jeden ze dvou vrcholů své organizátorské dráhy. Tím druhým je Mistrovství brněnských univerzit v šachu, které proběhlo na Mendelově univerzitě v říjnu 2023. Tuto akci by chtěli s kolegou Havelkou zopakovat na podzim letošního roku. „Ale k tomu, na co jsem hrdý a za co jsem vděčný, musím počítat i fakt, že se podařilo sestavit skvělý kolektiv organizátorů a nadšenců. Jeho součástí je Ondřej Havelka, který disponuje velkou sítí kontaktů a umí naše turnaje skvěle zpropagovat. Dál musím zmínit Martina Kunu z Ústavu soudního inženýrství, který má kontakty na Slovensku. Taky díky němu mi ubyla starost o šachovnice pro turnaje. A to je velká úleva,“ konstatuje s úsměvem Benovič. Jejich tým doplnili kolegové z MENDELU a MU. „Mělo by tady zaznít ještě jedno jméno – Marián Tarageľ, student FITu. Od prvního turnaje byl rozhodčím, pomáhal mi s drtivou většinou turnajů po rozhodcovské stránce. Díky tomu jsme mohli mít i online rozpis jednotlivých kol na serveru Chess-results, urychlilo a zjednodušilo se tak usedání ke šachovnicím. Marián zajistil hladký chod soutěží,“ uzavírá výčet kolegů a poděkování Benovič.

„Momentka z 3. Mezifakultního turnaje týmů, který se konal ve studentském klubu U Kachničky (zvítězil domácí FIT). Je vidět, jaký ohlas měly turnaje na naší fakultě.“
„Momentka z 3. Mezifakultního turnaje týmů, který se konal ve studentském klubu U Kachničky (zvítězil domácí FIT). Je vidět, jaký ohlas měly turnaje na naší fakultě.“ | Autor: Studentská unie FIT

Samozřejmě se nelze nezeptat, proč Martin roli hlavního organizátora Mezifakultních turnajů po takové době opouští. „Říkal jsem si, že té práce je po pěti letech už dost, často jsem býval hlavním motorem turnajů. Dohromady šlo o akce pro zhruba tisíc lidí. Chci ponechat prostor ostatním a sám si chci užít třeba roli rozhodčího. Prostě si turnaje vychutnat v jiné roli,“ odhaluje svou motivaci Benovič s dodatkem, že zůstává členem Brněnského univerzitního šachu.

„Na posledním turnaji jsem naskočil v závěrečném kole za jednoho účastníka, který po předposledním kole musel za jinými povinnostmi, a symbolicky jsem odehrál partii proti Hungovi Do, který byl účastníkem mého prvního turnaje v roce 2022.“
„Na posledním turnaji jsem naskočil v závěrečném kole za jednoho účastníka, který po předposledním kole musel za jinými povinnostmi, a symbolicky jsem odehrál partii proti Hungovi Do, který byl účastníkem mého prvního turnaje v roce 2022.“ | Autor: Studentská unie FIT

Šachy jsou pro Martina všeobjímajícím koníčkem. „Líbí se mi jejich pestrost, můžete se jim věnovat jako trenér, hráč i organizátor. Řadu let jsem závodně hrál tenis, hraji stolní tenis, kulečník na závodní úrovni. A šach mě vybavuje i pro ostatní sporty taktickým myšlením, trpělivostí, sebekontrolou – vždyť jeho partie trvají třeba až pět hodin,“ hodnotí přínos svého srdcového koníčku. Martin je i velmi úspěšným hráčem: Stal se vicemistrem České republiky v rapid šachu neslyšících. Vytrvalost, kterou si osvojil královskou hrou, dlouhou dobu využíval coby hlavní organizátor vysokoškolských turnajů v jihomoravské metropoli. Přejeme mu, ať mu radost ze hry vydrží i do dalších let, a děkujeme za to, že dal brněnskému univerzitnímu šachu jeho tvář.

„Po skončení turnaje: Vedl jsem klidné rozhovory s ‚vytrvalci‘, kteří i po skončení akce pokračovali v šachovém zápolení (a také mi pomáhali se sklizením veškerého šachového materiálu).“
„Po skončení turnaje: Vedl jsem klidné rozhovory s ‚vytrvalci‘, kteří i po skončení akce pokračovali v šachovém zápolení (a také mi pomáhali se sklizením veškerého šachového materiálu).“ | Autor: Studentská unie FIT

[img]

Jak odhalit manipulace LLM? Odpověď hledá spolupráce doktoranda FIT VUT Jakuba Reše a firmy Red Hat

Velké jazykové modely (LLM) patří v posledních letech mezi nejčastěji skloňované pojmy v oblasti umělé inteligence. Technologie pracující s lidským jazykem, která stojí například za generativními chatovacími asistenty, se stále intenzivněji přesouvá do každodenní praxe, firemní i soukromé. Samozřejmě ruku v ruce s tím roste četnost a závažnost pokusů o její manipulaci či zneužití a souběžně s tím i význam kyberbezpečnostní ochrany modelů.

Právě na tomto poli se v loňském roce zrodila zajímavá aplikace doktorské výzkumu z FIT VUT ve firemní praxi. Navíc hned u předního světového tvůrce open-source softwarových řešení pro podniky. Jakub Reš, doktorand pracující pod vedením doc. Kamila Malinky a člen výzkumné skupiny Security@FIT, loni zahájil výzkumnou stáž u společnosti Red Hat. Jejich spolupráce se, nejobecněji řečeno, pohybuje na poli zabezpečování nové generace systémů umělé inteligence proti manipulaci. Konkrétním příkladem zmíněné manipulace LLM je jev zvaný fact injection. Jeho cíl je jasný: Přimět jazykový model nepřiznanými úpravami k tomu, aby s jistotou generoval smyšlená data jako pravdivá, čímž se naruší jeho spolehlivost a uživatelé jsou úmyslně klamáni. Tohoto stavu dosahují útočníci velmi detailními, přesnými a současně obtížně zjistitelnými úpravami parametrů modelu. Velkou výzvou je obtížnost odlišení těchto škodlivých vstupů od těch legitimních v podobě neškodných aktualizací modelu. Dopad může být závažný: plošné šíření sofistikovaných dezinformací vedoucí k chybným rozhodnutím v citlivých oblastech (např. finance) nebo třeba poškození reputace organizace, resp. obecně důvěry uživatelů v systémy umělé inteligence. Kyberbezpečnostní výzkum se pak zaměřuje na technickou stránku útoků s cílem eliminace jejich dopadů.

Pole, na němž začal čerstvě spolupracovat s firmou Red Hat, vymezuje Reš následovně: Integrita jazykových modelů a její zabezpečení. To je samozřejmě široká definice, proto hned přidává upřesnění – zajímá jej verifikace integrity AI modelu, tedy vývoj softwarových metod pro prevenci nebo detekci nepřiznané manipulace s AI modelem. Zásahy do fungování LLM mohou mít několik scénářů: Může k nim dojít v okamžiku mezi vznikem modelu u tvůrce a jeho použitím koncovým uživatelem. Problém však může vzniknout už u samotného tvůrce. Třetí možností jsou pak komunitní přispěvatelé k modelu (vývojáři s vlastním datasetem), kteří jej běžně pozměňují s cílem vylepšování pro specifickou oblast (když uživatelé nechtějí obecný model, ale třeba ten zaměřený na programování). A v čem konkrétně může spočívat škodlivost manipulací s LLM modely? Zde už velmi závisí na konkrétním použití. „Uvedu příklad: chatbot na webu zahradnictví, který vrací doporučení na konkurenci anebo odkazuje na nevhodné zboží. Ovšem existují i zneužití vedoucí k možnému masivnímu politickému ovlivňování uživatelů nebo třeba ke generování nebezpečného kódu. A velmi závažným projevem skrytých úprav modelu mohou být chybné rady týkající se našeho zdraví,“ konkretizuje Jakub Reš možná rizika. Verifikace, jíž se zabývá, kombinuje dva hlavní přístupy: a) prevenci – zabezpečení důvěryhodných výpočtů od zdroje modelu až k uživatelům s využitím kryptografie a digitálních podpisů modelu; b) detekci nepřiznaných úprav, kdy je třeba jít do hloubky modelu a zkoumat nejen to, jak se chová, ale i jeho „vnitřek“, to, jak moc byl upravován a jak to ovlivňuje jeho interní stavy.

Jak se vůbec zrodila Rešova cesta k velkému hráči softwarového vývoje? „Pokud máte zajímavé výzkumné téma, nenechávejte si ho pro sebe. Povídejte si s lidmi, šiřte povědomí o něm. Někdy najdete spřízněné lidi s nabídkou spolupráce. V mém případě patří hlavní díky Martinu Ukropovi a Markovi Grácovi z Red Hatu,“ vzpomíná na začátek spolupráce náš student. Research internship, na jehož základě se spolupráce realizuje, je podle něj málo známou a využívanou platformou zapojení studentů do firemní praxe. „Moc se o něm mezi studenty neví, rozhodně méně než v případě klasického internshipu, a to je škoda.“ Přitom propojení univerzitního výzkumu a firemní praxe dává často studentům velký smysl, motivaci, jak potvrzuje i Reš: „Pro mě to znamená jasnou vizi toho, co chci dokázat a k čemu to bude. Nezastavím se u článku, který bude někde viset. Akademické výsledky mohou být hned využity v praxi a existuje někdo, kdo by o toto mohl mít zájem. Je to pro mě neskutečná motivace, jiskra do toho, co dělám.“

Přejeme Jakubu Rešovi, aby jej tato spolupráce bavila po celou dobu doktorského studia. Smysl a společenský přesah totiž rozhodně má.

Skupinové foto – Security@FIT
Skupinové foto – Security@FIT

[img]

Stránka:

Odebírejte novinky FIT

odebírat přestat odebírat

Nahoru