深度学习模型压缩方法综述（一）

最新推荐文章于 2025-02-17 11:58:17 发布

小时候贼聪明

最新推荐文章于 2025-02-17 11:58:17 发布

阅读量5.6w

点赞数 35

本文链接：https://blog.youkuaiyun.com/wspba/article/details/75671573

版权

本文概述了深度学习模型压缩的方法，重点关注基于核的稀疏化技术，包括Structured Sparsity Learning、Dynamic Network Surgery和Iterative Hard Thresholding Methods。这些方法在训练过程中诱导权重更新以实现稀疏性，提高模型运算效率。尽管存在优化难度和硬件平台限制，它们为深度学习模型的高效部署提供了有价值的途径。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深度学习模型压缩方法综述（一）
深度学习模型压缩方法综述（二）
深度学习模型压缩方法综述（三）

前言

目前在深度学习领域分类两个派别，一派为学院派，研究强大、复杂的模型网络和实验方法，为了追求更高的性能；另一派为工程派，旨在将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上的重要原因。

最近正好在关注有关深度学习模型压缩的方法，发现目前已有越来越多关于模型压缩方法的研究，从理论研究到平台实现，取得了非常大的进展。

2015年，Han发表的Deep Compression是一篇对于模型压缩方法的综述型文章，将裁剪、权值共享和量化、编码等方式运用在模型压缩上，取得了非常好的效果，作为ICLR2016的best paper，也引起了模型压缩方法研究的热潮。其实模型压缩最早可以追溯到1989年，Lecun老爷子的那篇Optimal Brain Damage（OBD）就提出来，可以将网络中不重要的参数剔除，达到压缩尺寸的作用，想想就可怕，那时候连个深度网络都训练不出来，更没有现在这么发达的技术，Lecun就已经想好怎么做裁剪了，真是有先见之明，目前很多裁剪方案，都是基于老爷子的OBD方法。

目前深度学习模型压缩方法的研究主要可以分为以下几个方向：
更精细模型的设计，目前的很多网络都具有模块化的设计，在深度和宽度上都很大，这也造成了参数的冗余很多，因此有很多关于模型设计的研究，如SqueezeNet、MobileNet等，