卷积神经网络压缩参数加速(二)---低秩估计

最新推荐文章于 2025-05-19 11:16:14 发布

原创

最新推荐文章于 2025-05-19 11:16:14 发布 · 4.5k 阅读

·

1

·

CC 4.0 BY-SA版权

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文深入探讨了深度学习模型压缩中的低秩估计技术，主要包括矩阵分解和张量分解两大方法。矩阵分解通过SVD分解减少计算量，而张量分解如Tucker分解能进一步简化卷积操作，有效降低模型复杂度。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

上篇讲述了卷积神经网络网络压缩的理论基础，包含filter层面、channel层面、group层面和稀疏矩阵。

本篇博客将总结一下低秩估计的方法，低秩估计主要分为矩阵分解和张量分解。

一、矩阵分解

如上图中两个矩阵相乘，每个向量相乘所需要的计算次数为b个乘法，b-1个加法，共a*c*(2b-1),通常情况下加法的速度比乘法的速度快很多，并且后面求比例时可以约掉，为了方便计算，计算为a*b*c。

SVD分解后，参数压缩比为 $\frac{a*b}{c(a+b+c)}$

卷积核矩阵可以通过SVD分解为如下：

上图中的a在为 $K_{H}K_{W}C_{in}$ , b为

最低0.47元/天解锁文章

200万优质内容无限畅学

评论 1

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。