1、嵌入式机器学习：硬件加速与挑战应对

嵌入式机器学习：硬件加速与挑战应对

1. 机器学习与嵌入式系统的现状

机器学习（ML）算法已广泛应用于各个领域，如计算机视觉、语音识别、医疗诊断等。其中，深度神经网络（DNNs）尤其是卷积神经网络（CNNs），凭借其卓越的准确性，成为众多应用的关键驱动力。近年来，更大更深的CNN模型不断涌现，虽然能带来更高的精度，但也带来了巨大的内存占用、密集的计算需求和高能耗问题。

同时，许多ML应用正逐渐向移动和嵌入式平台转移，如网络物理系统（CPS）和物联网边缘设备。这些嵌入式平台通常使用预训练的CNN模型进行推理，但由于资源和能量受限，执行推理任务面临巨大挑战。例如，ResNet - 152模型对单张输入图像进行推理时，需要超过200MB的内存空间和113亿次操作，这对于嵌入式平台而言是难以高效完成的。因此，设计专门的硬件加速器来高效执行嵌入式系统的CNN推理至关重要。

2. 现有CNN加速器的局限性

目前，已经有大量关于专门CNN加速器的研究工作。这些加速器大致可分为两类：
- 加速非结构化稀疏网络的加速器 ：这类加速器通过利用稀疏权重和/或激活值来减少计算需求，期望提高性能和能源效率。然而，近期研究表明，采用稀疏性并不能直接实现节能，而且需要更复杂的加速器设计来实现高性能，这会导致较高的功耗、能耗和面积消耗。此外，这些加速器通常使用整流线性单元（ReLU）将所有负激活值转换为零，因此无法有效处理不会产生高稀疏性的高级激活函数（如Leaky ReLU），从而降低了效率。
- 加速密集网络的加速器 ：这类加速器旨在实现高性能和能源效率，也可通过调整数据流来加速结构化稀疏