Evolutionary Approximation and Neural Architecture Search

Metody automatického návrhu neuronových sítí (Neural Architecture Search, NAS) se v současnosti používají k rutinnímu generování vysoce kvalitních architektur neuronových sítí pro dodané datové sady, a snižují tak úsilí návrhářů. Metody NAS využívající vícekriteriální evoluční algoritmy jsou užitečné zejména tehdy, pokud cílem není pouze minimalizace chybu neuronové sítě, ale také snížení počtu parametrů (vah) nebo spotřeby energie při inferenci. V článku popisujeme vícekriteriální metodu NAS založenou na kartézském genetickém programování určenou pro automatizovaný návrh konvolučních neuronových sítí (CNN). Metoda umožňuje použití aproximativních operací v CNN pro snížení spotřeby energie cílové hardwarové implementace. Během procesu NAS je vyvíjena vhodná architektura CNN současně s výběrem aproximativních násobiček tak, aby bylo dosaženo nejlepších kompromisů mezi přesností, velikostí sítě a spotřebou energie při inferenci. Nejvhodnější 8xN-bitové aproximativní násobičky jsou vybrány z knihovny aproximativních násobiček. Získané CNN jsou porovnávány s CNN vyvinutými jinými metodami NAS na problémech CIFAR-10 a SVHN.