Prediction of Inference Energy on CNN Accelerators Supporting Approximate Circuits

aproximované počítání, predikce, hardwarový akcelerátor, konvoluční neuronové sítě

Metodologie návrhu vyvinuté pro optimalizaci hardwarových implementací konvolučních neuronových sítí (CNN) nebo hledání nových hardwarově orientovaných neuronových architektur spoléhají na rychlý a spolehlivý odhad klíčových hardwarových parametrů, jako je energie potřebná pro jednu inferenci. Při využití aproximovaných obvodů v hardwarových akcelerátorech CNN čelí konstruktéři při jejich simulacích novým problémům - běžně používané nástroje (TimeLoop, Accelergy, Maestro) nepodporují aproximované aritmetické operace. Tato práce se zabývá rychlou a efektivní predikcí spotřebované energie v hardwarových akcelerátorech CNN, které využívají aproximované obvody, jako jsou aproximované násobičky. Tato práce zaprvé rozšiřuje nejmodernější softwarové frameworky TimeLoop a Accelergy, s cílem predikovat inferenční energii, pokud jsou přesné násobičky nahrazeny různými aproximovanými implementacemi. Energie získané pomocí upravených nástrojů jsou považovány za reálné (referenční) hodnoty. Poté, za pomocí dvou akcelerátorů (Eyeriss a Simba) a dvou typů sítí (CNN generované EvoApproxNAS a standardní ResNet CNN), jsou navrženy a vyhodnoceny dva prediktory inferenční energie. Došli jsme k závěru, že jednoduchý prediktor založený na součtu energií potřebných pro všechna násobení vysoce koreluje s referenčními hodnotami, pokud je architektura CNN pevně dána. Pro komplexní CNN s proměnnou architekturou, typicky generovanou vyhledávacími algoritmy, je třeba použít sofistikovanější prediktor založený na modelu strojového učení. Navrhované prediktory jsou 420-533× rychlejší než referenční řešení.