V červnu obhajuje svou disertační práci Michal Piňos z Ústavu počítačových systémů

Zveme vás na obhajobu disertační práce Ing. Michala Piňose z Ústavu počítačových systémů FIT VUT, která se bude konat v pondělí 29. 6. 2026 od 14:00 v zasedací místnosti G108. Vedoucím disertační práce s titulem „Automatizovaný návrh aproximativních architektur konvolučních neuronových sítí pro energeticky úspornou inferenci“ je prof. Lukáš Sekanina.

Michal Piňos se zabývá automatizovaným návrhem architektur neuronových sítí (NS), které by neměly být jen přesné, ale také úsporné při běhu na konkrétním hardwaru. To je důležité například pro zařízení s omezeným zdrojem energie – typicky senzory, vestavěné systémy apod. Konkrétně se zaměřuje na konvoluční neuronové sítě, tedy druh NS, který se nejčastěji používá pro zpracování obrazových dat (např. rozpoznávání objektů na obrázku). „Neuronové sítě se skládají z vrstev. Jde o to zvolit, jaké vrstvy použít, kolik jich bude a jak je vzájemně propojit – a každá vrstva má navíc své parametry,“ komentuje východisko své práce Piňos. Elementárním předpokladem jeho počínání je fakt, že neexistuje jedna univerzální NS, která by byla vhodná pro všechny účely. „Pro každý úkol a každý typ hardwaru je třeba sestavit neuronovou síť tak, aby byla optimální.“ V termínu „optimální“ se pak skrývá jádro problému: Síť musí být co nejpřesnější pro daný úkol, ale současně musí spotřebovávat co nejméně energie.

U konvolučních NS je výpočetně náročná zejména inference, tedy používání již natrénovaného modelu. Při trénování se síti opakovaně předkládají vstupní data se správnými odpověďmi a metodou zpětného šíření chyby (tzv. backpropagation) se postupně dolaďují její vnitřní parametry. „Inference pak znamená, že už máme k dispozici natrénovaný model a nasazujeme jej do praxe. Dáme mu vstup, dochází k jednomu průchodu sítí a dostáváme výstup,“ komentuje souvislosti problému Michal Piňos. Hlavní otázkou jeho výzkumu je: Lze už při návrhu konvoluční neuronové sítě počítat s tím, kolik energie bude spotřebovávat na daném hardwaru? Tedy jak lze dopředu zajistit energetickou efektivitu při inferenci? „Ideálem je najít algoritmus, jemuž vyspecifikujeme jako vstup to, co chceme dělat, kde to chceme dělat, tedy na jakém hardwaru, a s jakými parametry např. vzhledem k energetické spotřebě. A algoritmus parametry takové konvoluční neuronové sítě navrhne,“ specifikuje výzkumný cíl Piňos.

Jádrem autorovy disertační práce je využití aproximačních výpočtů. Laicky řečeno: Bavíme se o situaci, kdy hardware nepočítá vždy úplně přesně, ale dostatečně přesně. Energeticky nejnáročnější aritmetickou operací konvolučních NS je násobení – právě na něj připadá většina energie spotřebované při inferenci. Ideou je pak použít aproximované násobení. Přínos? Snížení spotřeby energie. Neuronové sítě jsou robustní výpočetní modely, které se dokáží s chybou vypořádat. „U konvolučních NS navíc pracujeme, zjednodušeně řečeno, s obrazovými daty, s pixely, takže drobné nepřesnosti aproximovaných násobiček nezhorší výsledek nad únosnou míru,“ přidává kontext Michal Piňos. Významné je, že ve své práci Piňos již navrhuje sítě tak, aby s aproximovanými násobičkami počítaly už od začátku – a to oproti dosavadnímu přístupu, který přidával aproximaci ad hoc k již existující NS. A k tomu autor používá metodu stavící na algoritmu NAS, konkrétně na jeho hardwarově orientované variantě (HW-NAS), tedy automatizovaném návrhu architektur neuronových sítí zohledňujícím cílový hardware, který Piňos navíc rozšiřuje tak, aby zohledňoval i aproximované násobení. „V rámci tohoto algoritmu mohu použít evoluční přístup, diferencovatelný přístup, je jich hodně. Vždy ale navrhuji neuronové sítě tak, aby počítaly s používáním aproximovaných násobiček.“ Výsledné sítě se přitom svou strukturou liší od běžných ručně navržených architektur – jejich podobu totiž algoritmus „objevuje“ sám s ohledem na to, aby co nejlépe vyvážil přesnost a spotřebu energie. Aby šlo takto navrhovat sítě v rozumném čase, musel Piňos vyvinout i rychlé metody odhadu energetické náročnosti: Návrhový algoritmus totiž porovnává tisíce kandidátních sítí a přesné měření každé z nich na hardwaru by bylo nereálně pomalé. Experimenty navíc dokazují, že takto navržené NS nabízejí lepší kompromis mezi přesností a spotřebou energie než sítě aproximované až dodatečně. Právě to Piňos považuje za zásadní výstup své disertační práce.

Při odpovědi na dotaz, jak vnímá dokončený doktorát, je Piňos poměrně pragmatický. Téma NS a evolučních algoritmů jej oslovilo u vypsaných diplomových prací – když pak přišla nabídka pokračovat v něm na doktorátu, přijal ji, protože, jak sám poznamenává, by se k takto specifické oblasti IT už jen stěží dostal. „Aktuálně si ale myslím, že hotová disertace je současně ukončením mé vysokoškolské cesty. Několik let už pracuji na plný úvazek ve společnosti NXP a právě tímto směrem bych chtěl pokračovat.“ Za absolvování doktorátu je vděčný, nikdy se nedostal do situace, která by jej nutila uvažovat o tom, že jej vzdá. Zvlášť vyzdvihuje šanci zúčastnit se velkých zahraničních konferencí věnovaných neuronovým sítím, jakou byla např. konference IJCNN v rámci kongresu IEEE WCCI 2024 v japonské Yokohamě. A opakovaně připomíná také osoby, které měl na FIT kolem sebe. Konkrétně jmenuje dlouholeté vedení a pomoc prof. Lukáše Sekaniny. „Jemu a své rodině bych chtěl moc poděkovat.“

Přejeme Michalu Piňosovi úspěšnou obhajobu a štěstí v další profesní cestě.