7、设备端推理的模型压缩技术解析

设备端推理的模型压缩技术解析

1. 模型压缩背景

深度学习作为人工智能的旗舰技术，在图像和语音处理领域应用广泛，同时在为物联网等终端设备提供智能服务方面也发挥着关键作用。传统的基于云的人工智能引擎难以满足终端智能应用的低延迟和隐私要求。虽然将人工智能模型部署在移动设备上可避免额外的通信负载和信息共享，但大型人工智能模型（尤其是深度学习模型）的密集计算负载成为设备端推理的主要瓶颈。为解决这一问题，人们提出了多种深度学习模型压缩方法：
- 剪枝（Pruning） ：在训练好的深度神经网络（DNN）中，去除神经元之间的部分连接以降低模型复杂度。早期研究利用二阶导数信息平衡模型复杂度和性能，近年来的工作主要集中在修剪预训练DNN的不重要权重并重新训练剪枝后的网络。此外，还有启发式贝叶斯方法，但缺乏收敛保证。
- 量化（Quantization） ：使用更少的比特表示模型参数来压缩人工智能模型。由于直接对训练好的模型参数进行量化会导致显著的性能损失，因此通常在模型训练过程中对网络权重进行量化。
- 草图（Sketching） ：作为一种强大的降维技术，随机草图可用于模型压缩。例如，HashedNet通过哈希函数将DNN的网络权重映射到多个哈希桶，同一哈希桶中的网络链接共享相同的权重值，该方法还可扩展到卷积神经网络（CNN）。
- 矩阵分解（Matrix factorization） ：将DNN的权重压缩到较低维度，通过矩阵乘积表示。通过这种方式，可显著减少DNN和CNN的计算复杂度和存储大小。
- 稀疏正则化（S