ApproxDARTS: Differentiable Neural Architecture Search with Approximate Multipliers

Integrace principů aproximativních výpočtů do návrhu hardwarově orientovaných hlubokých neuronových sítí (DNN) vedla k implementacím DNN, které vykazují dobrou kvalitu výstupu a vysoce optimalizované hardwarové parametry, jako je nízká latence nebo energie inference. V této práci představujeme ApproxDARTS, metodu prohledávání neuronové architektury (NAS), která umožňuje populární diferencovatelné metodě prohledávání architektury neuronových sítí zvané DARTS využívat aproximativní násobičky, a tím snižovat spotřebu energie generovaných neuronových sítí.
Na datové sadě CIFAR-10 jsme ukázali, že metoda ApproxDARTS je schopna provést kompletní prohledání architektury za méně než 10 hodin na GPU a vytvořit konkurenceschopné konvoluční neuronové sítě (CNN) obsahující přibližné násobičky v konvolučních vrstvách. ApproxDARTS například vytvořil CNN vykazující snížení spotřeby energie o a) 53,84 % v aritmetických operacích inferenční fáze ve srovnání s CNN využívající nativní 32bitové násobiče s pohyblivou řádovou čárkou a b) 5,97 % ve srovnání s CNN využívající přesné 8bitové násobiče s pevnou řádovou čárkou, v obou případech se zanedbatelným poklesem přesnosti. ApproxDARTS je navíc 2,3krát rychlejší než podobná metoda založená na evolučním algoritmu s názvem EvoApproxNAS.