SVD加速神经网络

原创 已于 2022-02-26 09:12:14 修改 · 1.1k 阅读 · 3 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#神经网络 #caffe #深度学习

于 2022-02-24 00:05:03 首次发布
通过SVD分解，网络模型权重文件大小降低1/3，运行显存减少18%，运行时间下降9%。在某些情况下，前10%甚至1%的奇异值就能近似描述矩阵，从而允许在全连接层引入中间层，将权重矩阵维度由(m, n)降低到(m+n)k，实现模型压缩。" 112467818,10551950,Glide源码解析：内存和磁盘缓存策略,"['Android开发', '图片加载库', 'Glide框架', '内存缓存', '磁盘缓存']

 网络模型权重文件大小降低1/3；

网络运行显存降低18%；

运行时间降低9%；

baseline模型提取的特征余弦距离为0.99

根据ip1和ip2的num_output，我们可以看出，ip1有64个神经元，ip2有10个神经元。也就是说在ip2这一层的权重矩阵W，其shape为(10, 64)，根据SVD公式：

 分解之后，得到U矩阵的shape为(10, 10)，V矩阵的(64, 64)，s为10个奇异值组成的向量。对于奇异值,它跟我们特征分解中的特征值类似，在奇异值矩阵中也是按照从大到小排列，而且奇异值的减少特别的快，在很多情况下，前10%甚至1%的奇异值的和就占了全部的奇异值之和的99%以上的比例。也就是说，我们也可以用最大的k个的奇异值和对应的左右奇异向量来近似描述矩阵, 如下图所示：

 所以，我们将权重矩阵分解，

最低0.47元/天 解锁文章
zad287
关注
【变分模式分解】基于matlab动态带宽变分模式分解【含Matlab源码 3722期】
订阅付费专栏Matlab（奶茶价版），可赠送奶茶价版付费专栏指定代码1份；
12-26 498
动态带宽变分模式分解 完整的代码，方可运行；可提供运行操作视频！适合小白！
AI使能的SVD算子：基于深度学习的矩阵分解方法
huanghm88的专栏
07-26 733
奇异值分解(Singular Value Decomposition, SVD)是线性代数中一种重要的矩阵分解方法，广泛应用于信号处理、数据降维、推荐系统等领域。传统SVD算法虽然精确，但在处理大规模矩阵时面临计算复杂度高、内存需求大等问题。本文提出了一种基于深度学习神经网络的SVD算子实现方法，完全摒弃传统数值算法，仅使用PyTorch框架构建的神经网络模型来完成大规模信道矩阵的SVD分解与还原。
深度学习模型压缩加速专题-2.SVD
weixin_42096202的博客
04-17 1146
接着上一篇，这个比赛的考核点主要是两个方面：1.运行显存，这个主要跟参数量有关 2.运行时间，由MAC即乘加等运算量决定。熟悉DCNN网络的应该都知道，网络的参数量主要集中在FC层，所以SVD是用来对FC矩阵分解，减少参数量。 1.SVD原理： 2.SVD代码 ...
OpenCV——svd速度优化
coco的博客
08-23 2129
在发现opencv运行SVD::compute()过程太慢，一张299*299的图片Debug要几s，release也要0.5s。 第一次尝试： 将299*299图像分成13份23*299的图像运行svd。release模式下能达到0.25s，将近快一倍。 第二次： 加上UMat，成绩感人。release模式下速度0.02s，又快了10倍。 void main() { Mat ...
SVD在神经网络中的常用应用以及原理
u010260681的博客
07-29 1603
SVD回顾 SVD常用矩阵分解:A(m*n) = U(m*n)A(n*m)V(m*n), 在PCA中可以看到，SVD做矩阵压缩，假设压缩至K纬，只需要保留特征值最大的top即可， 那么有:A(m*n) ～ U(m*k)A(k*k)V(k*n) = U(m*k)V(k*n) 应用： 总结：可以看出模型的参数大大压缩而且效果基本上一样。 训练过程注意事项： 由于变换后的网络模型深度增加了，因此不要在变...
【论文实现】以SVD的分解形式进行深度神经网络的训练（PyTorch）
热门推荐
梦想破三的奔三狗
05-30 1万+
年轻人少熬夜
第八周【任务1】神经网络推理加速(笔记)
weixin_39236489的博客
02-03 612
推理加速主要针对串行加速 1. SVD分解 Am×n=Vm×mT(λ112λ212⋱)Un×n A_{m \times n}=V_{m \times m}^{T}\left(\begin{array}{cccc} \lambda_{1}^{\frac{1}{2}} & & \\ & & \lambda_{2}^{\frac{1}{2}} & \\ & & & \ddots & \\ & & & \end{arra
卷积神经网络算法模型的压缩与加速算法比较.pdf
09-25
综合运用这些压缩和加速策略，可以在保证模型精度损失最小的情况下，提高模型的移植性和运行速度，充分发挥卷积神经网络在各种应用场景中的潜力。在实际应用中，通常需要根据具体任务、设备资源和性能要求，灵活选择...
44、FPGA在卷积神经网络加速中的应用与挑战
最新发布
vim8coder的博客
10-10 39
本文探讨了FPGA在卷积神经网络（CNN）加速中的应用与挑战，分析了CNN的结构组成及其在FPGA上的实现方式。文章比较了FPGA、GPU和ASIC等硬件平台在性能、功耗、通用性和开发难度等方面的差异，指出FPGA在灵活性和能效方面具有优势，但面临软件生态不成熟、设计复杂度高等挑战。通过对多种FPGA实现方案的数据分析，展示了不同架构在频率、性能、功耗和资源占用方面的表现，并通过mermaid流程图揭示关键参数间的关系。最后，文章展望了多FPGA协同计算和尖峰神经网络（SNN）在FPGA上实现的未来方向，强
【数值分析×机器学习】以SVD的分解形式进行深度神经网络的训练（逐渐熟练）
梦想破三的奔三狗
05-12 1万+
英文标题：Deep Learning of Preconditioners for Conjugate Gradient Solvers in Urban Water Related Problems 中文标题：机器学习辅助数值线性代数：用于高效预处理器生成的卷积神经网络 论文下载链接：arxiv@1906.06925 论文项目地址：暂时没找到 序言 写proposal前的最后一篇paper，这部分内容还是很有意思的，很开拓思路，值得深究。 其实一共是看了四篇，前两篇的笔注： 【数值分析×机器学习..
SVD分解结果优化
02-27
对opencv 2.4.9中Mat类自带的SVD分解结果进行了优化，补全了U矩阵，特别是对于特征值中有0的情况下，能够得到同Matlab相同的结果（可能符号有所不同）
使用SVD（奇异值分解）将滤波核进行行列滤波核的拆分，来减少滤波时计算次数，从而加快滤波速度
Major_S的博客
07-12 1071
SVD分解滤波核
mf模型 svd++_神经协同过滤NCF|模型篇
weixin_39960319的博客
12-21 805
本文从模型的角度出发，分析通用框架NCF及其实例化后的GMF、MLP、NeuMF并对其实现协同过滤推荐过程中涉及的如对用户-项目交互的交互函数的学习及交互隐特征的建模的原理及作用机制进行简要概述。内容如下图所示：首先，为了方便对各实例化模型进行分析，我们先形式化问题即将用户-项目交互矩阵定义为如公式所示。在对神经协同过滤通用框架进行简要概述后，引入现有解决对包含隐式反馈的协同过滤的推荐系统中应用普...
积神经网络的参数优化方法——调整网络结构是关键 你只需不停增加层，直到测试误差不再减少.
qq_42946961的博客
04-05 2695
积神经网络(CNN)的参数优化方法 from：http://blog.youkuaiyun.com/u010900574/article/details/51992156 著名：本文是从 Michael Nielsen的电子书Neural Network and Deep Learning的深度学习那一章的卷积神经网络的参数优化方法的一些总结和摘录，并不是我自己的结论和做实验所得到的结果。我想Michael的实验结果更有说服力一些。本书在github上有中文翻译的版本， 前言 最近卷积神经网络（CNN）很.
奇异值分解(SVD)原理与在降维中的应用
Anne033的博客
07-25 1465
奇异值分解(Singular Value Decomposition，以下简称SVD)是在机器学习领域广泛应用的算法，它不光可以用于降维算法中的特征分解，还可以用于推荐系统，以及自然语言处理等领域。是很多机器学习算法的基石。本文就对SVD的原理做一个总结，并讨论在在PCA降维算法中是如何运用运用SVD的。 1. 回顾特征值和特征向量 2. SVD的定义 3. SVD计算举例 4. SVD的一些性质 5. SVD用于PCA SVD小结 SVD作为一个很基本的算法，在很多机器学习算法中都有它的
linalg文档笔记 & 利用linalg进行计算加速
Samulater的专栏
08-18 915
官方文档 numpy.linalg官方文档 功能介绍 1. Matrix and vector products 矩阵（向量）之间的成绩，包括矩阵 乘积、（高维）內积、（高维）外积、沿着特定维度的乘积求和、矩阵的幂运算、克罗内克积、高纬度矩阵看作矩阵的叠加 PS np.dot(A, B) 矩阵乘积 np.multiply(A, B)或者A*B 矩阵对应元素相乘 一个行向量乘以一个列向量称作向...
torch使用踩坑日记，矩阵加速运算
weixin_43918046的博客
03-08 2419
我们知道矩阵运算可以加速，用torch搭建的模型，我们预测数据往往都是同时读取多条（在显卡支持的条件下尽可能同时处理多条数据），这样时间会很快，如果单条数据预测非常慢的，最近在写模型处理大数据，我加载多条数据一起处理，因为数据量太大，没法直接全部转换成矩阵，所以是用列表储存了数据，然后预测的时间就是切片导入到模型中，如下代码所示。 import torch from torch.autograd import Variable from torch import nn import numpy as np
使用svd 分解的方法对神经网络模型进行压缩（能不能压缩要看秩的大小）
东方佑
08-19 410
SVD可以将一个任意的实数矩阵A分解为三个实数矩阵U、Σ、V的乘积，其中U和V是正交矩阵，Σ是对角矩阵。然后，我们可以选择保留Σ的部分（即对角线上的奇异值），并丢弃U和V的部分，以降低矩阵的维度。在这种情况下，SVD分解得到的U和V矩阵的维度与W相同，因此无法实现压缩。然而，当矩阵是满秩时，SVD分解的维度可能大于原始权重矩阵的维度，这意味着无法通过SVD有效地压缩神经网络的权重。总之，SVD分解不一定能压缩神经网络的权重，因为在满秩的情况下，分解后的维度可能大于原始权重矩阵的维度。
稀疏学习、稀疏表示、稀疏自编码神经网络、字典学习、主成分分析PCA、奇异值分解SVD 等概念的梳理，以及常用的特征降维方法
水声建模与声呐系统
03-04 6502
传统特征降维方法 参考文献 稀疏编码 Sparse Coding 原始数据 x 的 稀疏表示 α 如下： 南大周志华老师写的《机器学习》这本书上原文：“为普通稠密表达的样本找到合适的字典，将样本转化为合适的稀疏表达形式，从而使学习任务得以简化，模型复杂度得以降低，通常称为‘字典学习’（dictionary learning），亦称‘稀疏编码’（sparse coding）”块内容。 延伸阅读：参...
卷积神经网络野分解
03-15
### 卷积神经网络中的野分解概念 卷积神经网络（CNN）作为一种深度学习模型，在图像识别等领域取得了显著成果。然而，“野分解”的具体定义并未在常见的 CNN 文献中被广泛提及[^1]。如果这里的“野分解”是指某种特定的矩阵或张量分解技术，则可能涉及如何通过数学工具优化 CNN 的参数表示形式。 #### 可能的相关背景 一种合理的推测是，“野分解”可能是指 **奇异值分解 (SVD)** 或其他类似的低秩近似方法应用于卷积核权重矩阵的情况。这种方法可以用于压缩 CNN 模型，减少存储需求并加速推理过程。例如： - 奇异值分解能够将一个较大的卷积核拆分为两个较小的卷积核组合，从而降低计算复杂度。 - 这种操作通常发生在全连接层或者某些特殊设计的卷积层上[^2]。 以下是基于 SVD 的卷积核分解的一个简单实现示例： ```python import numpy as np def svd_decompose_conv_kernel(kernel, rank=None): """ 使用奇异值分解(SVD)对卷积核进行降维处理 参数: kernel: ndarray, 形状为 [H,W,C_in,C_out] 的原始卷积核 rank: int, 保留的最大秩数，默认为 None 表示不截断 返回: U,S,Vt: 分解后的三个部分 """ H, W, C_in, C_out = kernel.shape # 将卷积核重塑为二维矩阵以便于应用标准线性代数运算 reshaped_kernel = kernel.transpose(2, 3, 0, 1).reshape(C_in * C_out, H * W) # 执行奇异值分解 U, S, Vt = np.linalg.svd(reshaped_kernel, full_matrices=False) if rank is not None and rank < len(S): U = U[:, :rank] S = S[:rank] Vt = Vt[:rank, :] return U, S, Vt # 示例调用 conv_kernel = np.random.randn(3, 3, 64, 128) # 随机初始化一个卷积核 U, S, Vt = svd_decompose_conv_kernel(conv_kernel, rank=50) print(f"U shape: {U.shape}, S shape: {S.shape}, Vt shape: {Vt.shape}") ``` 上述代码展示了如何利用 SVD 对高维度的卷积核进行简化重构的过程。尽管这并非严格意义上的“野分解”，但它确实体现了通过数学手段改进传统 CNN 架构的思想。 --- ### §相关问题§ 1. 如何评估不同类型的矩阵分解技术对于卷积神经网络性能的影响？ 2. 是否存在针对三维数据集的有效张量分解策略来进一步提升 CNN 效率？ 3. 在实际工程实践中，采用何种方式平衡精度损失与模型尺寸缩减之间的关系？
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值