Detail projektu
LEDNeCo: Low Energy Deep Neurocomputing
Období řešení: 1. 1. 2025 – 31. 12. 2027
Typ projektu: grant
Kód: GA25-15490S
Agentura: Grantová agentura České republiky
Program: Standardní projekty
hluboké neuronové sítě;transformery;energetická složitost;hardwarový
akcelerátor;aproximační teorie;robustní učení;genetické programování
Moderní technologie umělé inteligence založené na hlubokých neuronových sítí
(DNN) jako např. GPT jsou výpočetně extrémně náročné. Kromě toho, že spotřebují
ohromné množství energie, to omezuje jejich nasazení ve vestavěných (koncových)
zařízeních napájených bateriemi (např. chytré mobilní aplikace). LEDNeCo je
projektem základního výzkumu, jehož ambicí je rozvoj paradigmatu
nízkoenergetických hlubokých neurovýpočtů, který je založený na strojově
nezávislé teorii energetické složitosti DNN vycházející z praktických zkušeností
s návrhem různých hardwarových akcelerátorů DNN. Mj. budou odvozeny univerzální
dolní meze energetické složitosti DNN a odhady inferenční chyby pro identifikaci
komponent DNN (např. vah, neuronů, vrstev), jejichž aproximace je prokazatelně
energeticky nejefektivnějsí. Teoretické poznatky budou použity v nových
pokročilých aproximačních technikách (např. komprese vah, booleovská
optimalizace, robustní aproximace komponent) návrhu hardwarových implementací DNN
(vč. transformerů) s nízkou spotřebou energie, které budou testovány na
referenčních datech.
Klhůfek Jan, Ing. (UPSY)
Mrázek Vojtěch, Ing., Ph.D. (UPSY)
Sekanina Lukáš, prof. Ing., Ph.D. (UPSY)
2025
- KALKREUTH, R.; DE, O.; JANKOVIC, A.; ANASTACIO, M.; DIERKES, J.; VAŠÍČEK, Z.; HOOS, H. TinyverseGP: Towards a Modular Cross-domain Benchmarking Framework for Genetic Programming. Proceedings of the Genetic and Evolutionary Computation Conference Companion. Malaga: Association for Computing Machinery, 2025.
p. 2172-2176. ISBN: 979-8-4007-1464-1. Detail - KLHŮFEK, J.; MARCHISIO, A.; MRÁZEK, V.; SEKANINA, L.; SHAFIQUE, M. TransInferSim: Toward Fast and Accurate Evaluation of Embedded Hardware Accelerators for Transformer Networks. IEEE Access, 2025, vol. 13, no. October,
p. 177215-177226. Detail - MRÁZEK, V.; BALASKAS, K.; DUARTE, P.; VAŠÍČEK, Z.; TAHOORI, M.; ZERVAKIS, G. Arbitrary Precision Printed Ternary Neural Networks with Holistic Evolutionary Approximation. IEEE Transactions on Circuits and Systems for Artificial Intelligence, 2025, vol. 2, no. 4,
p. 351-363. Detail - PLEVAČ, L.; VAŠÍČEK, Z. Towards Efficient Semantic Mutation in CGP: Enhancing SOMOk. Proceedings of the Genetic and Evolutionary Computation Conference Companion. Malaga: Association for Computing Machinery, 2025.
p. 2172-2176. ISBN: 979-8-4007-1464-1. Detail - SEDLÁK, D.; KLHŮFEK, J.; MRÁZEK, V.; VAŠÍČEK, Z. Towards Efficient Scheduling of Transformer Neural Network Computation for Edge AI Deployment. Proceedings of the Genetic and Evolutionary Computation Conference Companion. Malaga: Association for Computing Machinery, 2025.
p. 2242-2248. ISBN: 979-8-4007-1464-1. Detail