【DeepCV】模型压缩

最新推荐文章于 2025-07-13 09:25:14 发布

北境の守卫

最新推荐文章于 2025-07-13 09:25:14 发布

阅读量408

点赞数

CC 4.0 BY-SA版权

分类专栏： CV 文章标签： compact model

本文链接：https://blog.youkuaiyun.com/baishuo8/article/details/88870050

模型压缩旨在减小模型大小，提高在嵌入式设备上的运行效率。主要方法包括网络修剪、量化、知识蒸馏和低秩分解。网络修剪通过移除冗余权重来降低模型复杂度，研究表明其价值在于结构优化而非重要权重选择。量化可将模型推至低比特运算，加速硬件执行。知识蒸馏和紧凑架构设计也是压缩技术的重要组成部分。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Backto DeepCV

模型压缩，或曰 精简网络设计，目的是压缩一个模型，让它可以更好的部署到手机、无人机、FPGA 等上面去。当然前提是保证精度差不多，但是模型小了，功耗低了，在嵌入式上跑起来就顺畅了。

大致流程是:

input: pre-trained model
process: a mixed formula of pruning/distillation/quantization/etc...
output: compact model

Network Pruning

被广泛用于降低CNN的模型复杂度与计算量。典型的剪枝算法pipeline通常有三个阶段，首先训练一个大型模型，然后进行剪枝和最后微调。在剪枝过程中，根据一定的标准，对冗余权重进行修剪并保留重要权重，以最大限度地保持精确性。普遍观念认为模型压缩通常能大幅减少参数数量，压缩空间，从而降低计算量。

在 Liu, Zhuang, et al. "Rethinking the Value of Network Pruning."arXiv preprint arXiv:1810.05270(2018) 中，作者在这篇论文里，发现了几个与普遍观念相矛盾的的观察。他们了试验了几种剪枝算法，发现对剪枝后的模型进行fine tuning，只比使用随机初始化权重训练的网络的性能好一点点，甚至性能更差。文章认为自动剪枝算法的价值在于识别有效的结构和执行隐式架构搜索（implicit architecture search），而不是选择“important”权重。所以训练一个大型的、over-parameterized的模型对于最终得到一个有效的小模型不是必需的; 为了得到剪枝后的小模型，求取大模型的“important” weights不一定有用; 剪枝得到