Detail publikace

Acceleration Techniques for Automated Design of Approximate Convolutional Neural Networks

PIŇOS, M.; MRÁZEK, V.; VAVERKA, F.; VAŠÍČEK, Z.; SEKANINA, L. Acceleration Techniques for Automated Design of Approximate Convolutional Neural Networks. IEEE Journal on Emerging and Selected Topics in Circuits and Systems, 2023, vol. 13, no. 1, p. 212-224. ISSN: 2156-3357.
Název česky
Akcelerační techniky pro automatizovaný návrh aproximativních konvolučních neuronových sítí
Typ
článek v časopise
Jazyk
anglicky
Autoři
Piňos Michal, Ing. (UPSY)
Mrázek Vojtěch, Ing., Ph.D. (UPSY)
Vaverka Filip, Ing., Ph.D.
Vašíček Zdeněk, doc. Ing., Ph.D. (UPSY)
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
URL
Klíčová slova

   - Approximate computing,    - convolutional neural network,    - neural
architecture search,    - energy efficiency,    - quantization,    -
acceleration

Abstrakt

Hlavním problémem spojeným s používáním aproximativních komponent, jako jsou
aproximativní násobičky, v hlubokých konvolučních neuronových sítích (CNN) během
procesu návrhu je nutnost jejich emulace. Ta je výpočetně nákladná kvůli
nedostatečné nativní podpoře aproximativních operací v moderních CPU a GPU. Pro
urychlení emulace aproximativních operací CNN na GPU navrhujeme softwarovou
knihovnu TFApprox4IL rozšiřující TensorFlow o nové aproximované vrstvy. Tyto
vrstvy podporují symetrické i asymetrické kvantizační režimy, aproximativní 8xN
bitové násobičky emulované pomocí vyhledávacích tabulek, nový typ aproximativní
vrstvy známý jako aproximativní depthwise konvoluce a trénování s ohledem na
kvantizaci. Výkonnost TFApprox4IL je rozsáhle hodnocena při simulaci
aproximovaných implementací sítí MobileNetV2 a ResNet na architekturách GPU
Nvidia Pascal a Tesla. Kromě toho je TFApprox4IL vyhodnocován také v algoritmech
vyhledávání neuronových architektur (NAS) pro automatický návrh architektur CNN,
které přímo využívají aproximativní násobičky. Na dvou různých metodách NAS,
EvoApproxNAS a Google Model Search (GMS), ukazujeme, jak lze aproximativní
násobiče efektivně začlenit do procesu návrhu CNN. Pro odhad spotřeby energie
aproximativních CNN je představen nástroj AxMultAT založený na technologiích
Timeloop a Accelergy. V porovnání s vysoce optimalizovanou simulací CNN na GPU
implementovanou pomocí exaktních aritmetických operací, která je k dispozici
v rámci TensorFlow, je průměrná režie inference a trénování, zavedená nástrojem
TFApprox4IL, 13,6× a 8,0× , v tomto pořadí, s ohledem na ResNet50V2 a MobileNetV2
CNN na datových sadách ImageNet a CIFAR-10. Tato režie se oproti předchozím
metodám snížila o jeden řád.

Rok
2023
Strany
212–224
Časopis
IEEE Journal on Emerging and Selected Topics in Circuits and Systems, roč. 13, č. 1, ISSN 2156-3357
DOI
10.1109/JETCAS.2023.3235204
UT WoS
000965262200001
EID Scopus
2-s2.0-85147308000
BibTeX 
@article{BUT180721,
  author="Michal {Piňos} and Vojtěch {Mrázek} and Filip {Vaverka} and Zdeněk {Vašíček} and Lukáš {Sekanina}",
  title="Acceleration Techniques for Automated Design of Approximate Convolutional Neural Networks",
  journal="IEEE Journal on Emerging and Selected Topics in Circuits and Systems",
  year="2023",
  volume="13",
  number="1",
  pages="212--224",
  doi="10.1109/JETCAS.2023.3235204",
  issn="2156-3357",
  url="https://ieeexplore.ieee.org/document/10011413"
}
Nahoru