60、微控制器上高效 CNN 部署：压缩技术与方法研究

微控制器上高效 CNN 部署：压缩技术与方法研究

在当今的技术领域，将卷积神经网络（CNN）部署到内存受限的设备（如微控制器单元，MCUs）是一个具有挑战性的任务。微控制器的可用易失性和非易失性内存通常只有几百到几千千字节，而且边缘应用的可用内存还会被其他软件栈（如 WiFi、蓝牙等）占用。为了降低 CNN 的计算和内存需求，压缩技术成为了一种广泛使用的方法。

1. 压缩技术概述

压缩 CNN 可以通过一系列技术实现，主要包括量化、剪枝和无损压缩（编码）。

• 量化 ：通过减少每个权重表示所需的位数，量化在解决神经网络在受限硬件平台上的部署问题方面表现出了可靠性和成功性。不过，低于半精度的量化是一项具有挑战性的任务，需要大量的微调来保持可接受的错误率。为此，出现了一些框架，如 TensorFlow Lite Micro、Larq Compute Engine、CMSIS - NN 和 CMIX - NN，用于在微控制器上进行 8 位及以下的量化训练和部署。
• 剪枝 ：是从现有网络中系统地移除参数或神经元以减小整体规模的过程。剪枝方法在稀疏结构、评分、调度和微调等方面存在差异。开发过程中，可以使用 PyTorch 和 TensorFlow 等框架的内置函数进行剪枝，也可以采用自定义技术。
• 无损压缩（编码） ：允许从压缩数据中无信息损失地重建原始数据。广泛使用的无损编码方法之一是霍夫曼编码，它已应用于多个先进的神经网络，如 ResNet - 20、VGG - 16、LeNet 等，可实现高达 31 倍的压缩比。 </