Detail publikace
RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks
Mrázek Vojtěch, Ing., Ph.D. (UPSY FIT VUT)
Massa Andrea (POLITO)
Bussolino Beatrice (POLITO)
Martina Mauricio (POLITO)
Shafique Muhammad (TU-Wien)
Cílem algoritmů NAS (Neural Architecture Search) je najít efektivní architektury hlubokých neuronových sítí (DNN) pro danou aplikaci při daných omezujících podmínkách systému. DNN jsou výpočetně složité a také zranitelné vůči útokům. Za účelem řešení více návrhových kritérií navrhujeme RoHNAS, nový framework pro NAS, který společně optimalizuje odolnost vůči útokům protivníka a hardwarovou efektivitu DNN prováděných na specializovaných hardwarových akcelerátorech. Kromě tradičních konvolučních DNN systém RoHNAS navíc počítá se složitými typy DNN, jako jsou například kapsulové sítě. Pro zkrácení doby průzkumu RoHNAS analyzuje a vybírá vhodné hodnoty adversariální perturbace pro každou datovou sadu, kterou použije v průběhu NAS. Rozsáhlá evaluace na uzlech s více grafickými procesory (GPU) a vysoce výkonnými výpočetními jednotkami (HPC) poskytuje sadu Pareto-optimálních řešení, která využívají výhod kompromisu mezi výše diskutovanými cíli návrhu. Například Pareto-optimální DNN pro datovou sadu CIFAR-10 vykazuje 86,07 % přesnost, přičemž má energii 38,63 mJ, paměťovou náročnost 11,85 MiB a latenci 4,47 ms.
@ARTICLE{FITPUB12427, author = "Alberto Marchisio and Vojt\v{e}ch Mr\'{a}zek and Andrea Massa and Beatrice Bussolino and Mauricio Martina and Muhammad Shafique", title = "RoHNAS: A Neural Architecture Search Framework with Conjoint Optimization for Adversarial Robustness and Hardware Efficiency of Convolutional and Capsule Networks", pages = "109043--109055", journal = "IEEE Access", volume = 2022, number = 10, year = 2022, ISSN = "2169-3536", doi = "10.1109/ACCESS.2022.3214312", language = "english", url = "https://www.fit.vut.cz/research/publication/12427" }