Detail publikace

ReD-CaNe: A Systematic Methodology for Resilience Analysis and Design of Capsule Networks under Approximations

MARCHISIO Alberto, MRÁZEK Vojtěch, HANIF Muhammad A. a SHAFIQUE Muhammad. ReD-CaNe: A Systematic Methodology for Resilience Analysis and Design of Capsule Networks under Approximations. In: Proceedings of the 2020 Design, Automation and Test in Europe Conference and Exhibition, DATE 2020. Grenoble: Institute of Electrical and Electronics Engineers, 2020, s. 1205-1210. ISBN 978-3-9819263-4-7. Dostupné z: https://arxiv.org/pdf/1912.00700.pdf
Název česky
ReD-CaNe: Systematická metodika pro analýzu odolnosti proti chybám a návrh aproximovaných kapsulových neuronových sítí
Typ
článek ve sborníku konference
Jazyk
angličtina
Autoři
Marchisio Alberto (TU-Wien)
Mrázek Vojtěch, Ing., Ph.D. (UPSY FIT VUT)
Hanif Muhammad A. (TU-Wien)
Shafique Muhammad (TU-Wien)
URL
Abstrakt
Nedávný pokrok v Kapsulových neuronových sítích (Capsule Network, CapsNets) ukázal jejich vynikající schopnost učení, ve srovnání s tradičními konvolučními (CNN). Extrémně vysoká složitost CapsNets však omezuje jejich rychlé nasazení v reálných aplikacích. Ačkoli byla odolnost CNN rozsáhle zkoumána, aby se umožnila jejich energeticky účinná implementace, analýza odolnosti CapsNets je neprozkoumanou oblastí, která může poskytnout silný základ pro zkoumání technik k překonání složitosti těchto sítí. Inspirováni aproximačním počítáním umožňujícím energeticky efektivní implementace, provádíme rozsáhlou analýzu odolnosti dopředné cesty aproximovaných CapsNets. Naše metodika modeluje chyby vznikající z přibližných jednotek (jako násobičky) a analyzuje jejich dopad na přesnost klasifikace neuronové sítě. To umožňuje výběr přibližných komponent na základě odolnosti každé operace. Modifikujeme framework  TensorFlow tak, aby simuloval injekci aproximačního šumu (na základě modelů přibližných komponent) při různých výpočetních operacích dané sítě. Naše výsledky ukazují, že CapsNets jsou odolnější vůči chybám způsobeným výpočty, které se vyskytují během dynamického směrování (softmax funkce a aktualizace koeficientů), spíše než v jiných fázích, jako jsou konvoluce a aktivační funkce. Naše analýza je velmi užitečná při navrhování efektivních hardwarových akcelerátorů CapsNet s přibližnými komponentami. Podle našich nejlepších znalostí je to první důkaz koncepce využití aproximací na specializovaném hardwaru CapsNet.
Rok
2020
Strany
1205-1210
Sborník
Proceedings of the 2020 Design, Automation and Test in Europe Conference and Exhibition, DATE 2020
Konference
Design, Automation and Test in Europe Conference, Grenoble, FR
ISBN
978-3-9819263-4-7
Vydavatel
Institute of Electrical and Electronics Engineers
Místo
Grenoble, FR
DOI
UT WoS
000610549200220
EID Scopus
BibTeX
@INPROCEEDINGS{FITPUB12071,
   author = "Alberto Marchisio and Vojt\v{e}ch Mr\'{a}zek and A. Muhammad Hanif and Muhammad Shafique",
   title = "ReD-CaNe: A Systematic Methodology for Resilience Analysis and Design of Capsule Networks under Approximations",
   pages = "1205--1210",
   booktitle = "Proceedings of the 2020 Design, Automation and Test in Europe Conference and Exhibition, DATE 2020",
   year = 2020,
   location = "Grenoble, FR",
   publisher = "Institute of Electrical and Electronics Engineers",
   ISBN = "978-3-9819263-4-7",
   doi = "10.23919/DATE48585.2020.9116393",
   language = "english",
   url = "https://www.fit.vut.cz/research/publication/12071"
}
Nahoru