将多目标贝叶斯优化与强化学习相结合用于TinyML

论文标题

Combining Multi-Objective Bayesian Optimization with Reinforcement Learning for TinyML

作者信息

• Mark Deutel, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany

• Georgios Kontes, Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS, Germany

• Christopher Mutschler, Fraunhofer IIS, Fraunhofer Institute for Integrated Circuits IIS, Germany

• Jürgen Teich, Friedrich-Alexander-Universität Erlangen-Nürnberg, Germany

论文出处

本文发表于《ACM Transactions on Evolutionary Learning and Optimization》。

论文主要内容

本文提出了一种新颖的神经架构搜索（NAS）策略，用于在微控制器（TinyML）上部署深度神经网络（DNN）。由于微控制器资源和延迟的限制，寻找最优的DNN架构是一个挑战。传统的NAS方法通常计算成本高昂且大多只关注单一目标（如最大化准确率），而忽略了内存需求和计算复杂性等关键因素。为此，本文结合多目标贝叶斯优化（MOBOpt）和增强随机搜索（ARS）强化学习（RL）代理，提出了一种高效的NAS方法，旨在平衡DNN的预测准确率、内存需求和计算复杂性。

研究的核心方法是将架构搜索转化为超参数优化（HPO）问题，通过控制滤波器剪枝和权重量化等技术来优化DNN的性能。该方法包括两个主要部分：多目标优化循环和目标函数评估器。通过迭代地提出新的超参数组合，并评估其在目标系统上的性能，最终生成一个帕累托前沿（Pareto front），表示在准确率、内存和计算复杂性之间的最佳权衡。

实验结果表明，该方法在不同数据集（如CIFAR10和DaLiAc）和架构（如ResNet-18和MobileNetV3）上均优于现有的MOBOpt方法。此外，作者还比较了ARS与其他强化学习算法（如PPO）以及自动化剪枝和零成本NAS等方法，结果表明ARS在多目标优化中具有更高的效率和更好的性能表现。最后，作者开源了该方法的实现代码，以便其他研究人员使用和参考。

该研究为TinyML领域提供了一种新的NAS解决方案，能够在资源受限的微控制器上高效部署DNN，同时平衡多个优化目标，具有重要的实际应用价值。