深度学习模型压缩加速专题-2.SVD

最新推荐文章于 2025-06-25 15:10:23 发布

原创

最新推荐文章于 2025-06-25 15:10:23 发布 · 1.1k 阅读

1 ·

CC 4.0 BY-SA版权

接着上一篇，这个比赛的考核点主要是两个方面：1.运行显存，这个主要跟参数量有关 2.运行时间，由MAC即乘加等运算量决定。熟悉DCNN网络的应该都知道，网络的参数量主要集中在FC层，所以SVD是用来对FC矩阵分解，减少参数量。

1.SVD原理：
具体原理博客

2.SVD代码，将原本的fc5_分解为fc5_svd，fc5_两个layer:

# coding=utf-8
import caffe
import numpy as np

caffe.set_mode_gpu()
# BN层融合后的model
orig_net = caffe.Net("./models/merge/merge_bn.prototxt", "./models/merge/merge_bn.caffemodel", caffe.TEST)
# 需要手动修改.prototxt文件
svd_net = caffe.Net("./models/svd_150/TestModel.prototxt", caffe.TEST)

weight, bias = orig_net.params['fc5_']
U, sigma, VT = np.linalg.svd(weight.data, full_matrices=False)
print(U.shape)
print(sigma.shape)
print(VT.shape)
# k值越小，参数量越少，但是也会承担准确率降低的风险
k = 150
print(sigma[:k].sum()/sigma.sum())

for key in svd_net