4、先进机器学习架构的背景及相关工作

先进机器学习架构的背景及相关工作

在如今的机器学习领域，各种先进的神经网络架构不断涌现，它们各自具有独特的特点和应用场景。本文将详细介绍近似深度神经网络（DNNs）、硬件感知神经架构搜索（HW - Aware NAS）、胶囊网络（Capsule Networks）以及脉冲神经网络（Spiking Neural Networks）的相关内容。

近似深度神经网络（Approximate DNNs）

深度神经网络存在较高的冗余性，我们可以利用近似硬件模块来降低其复杂度并提高效率。由于DNNs本身对近似误差具有较高的容忍度，使用近似组件在显著降低能耗的同时，只会造成较低的精度下降。

在DNNs中，乘法累加（Multiply - and - Accumulate，MAC）单元的操作最为频繁，因此常见的方法是采用近似乘法器和加法器。此外，还有自动化框架可以根据DNNs的误差容忍度有选择地进行近似处理。不过，这些优化方法虽然能大幅节省能源，但会导致一定的精度损失，或者需要进行大量的重新训练来恢复原始精度。

硬件感知神经架构搜索（HW - Aware NAS）

传统的神经架构搜索（NAS）方法主要侧重于优化DNNs的精度，而硬件感知NAS则会同时考虑DNNs的精度以及在专用硬件上的执行效率，如能耗、延迟和面积等。

然而，由于搜索空间巨大，并且DNN训练和硬件测量的成本较高，当考虑所有DNN超参数时，搜索时间会急剧增加。启发式搜索方法包括进化算法、强化学习和可微NAS，但即使使用这些方法，要找到一组完整的帕累托最优解，需要探索的大量可能配置也是难以承受的。此外，由于详细的综合后硬件测量模拟时间过长，这种搜索在实际的软硬件协同设计中存在