【1】Exploiting Linear Structure Within Convolutional Networks for Efficient Evaluation -- NIPS2014

最新推荐文章于 2021-12-14 09:08:35 发布
置顶 最新推荐文章于 2021-12-14 09:08:35 发布
阅读量1.5k 收藏 2
点赞数
CC 4.0 BY-SA版权
分类专栏： 模型压缩与加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/u012936765/article/details/89461876
本文提出了一组方法来利用深度卷积神经网络中的固有冗余，实现在卷积层上2-3倍的计算速度提升，并在全连接层中减少5-10倍的参数量。主要贡献包括单色卷积逼近和双聚类逼近，通过低秩近似和奇异值分解等技术压缩网络权重，以提高效率。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

文章地址: https://arxiv.org/pdf/1404.0736.pdf
代码地址: https://cs.nyu.edu/~denton/compress_conv.zip
Contribution.

  1. A collection of generic methods to exploit the redundancy inherent in deep CNNs.
  2. Showing empirical speedups on convolutional layers by a factor of 2-3x and a reduction of parameters in fully connected layers by a factor of 5-10x.

Monochronmatic Convolution Approximation.
Let W ∈ R C × X × Y × F ( 96 , 7 , 7 , 3 ) W\in \mathbb{R}^{C\times X \times Y \times F} (96,7,7,3) W∈RC×X×Y×F(96,7,7,3)
For every output feature f f f, consider the matrix W f ∈ R C × ( X Y ) W_f \in \mathbb{R}^{C\times (XY)} Wf​∈RC×(XY)
Find the SVD, W f = U f S f V f T W_f = U_fS_fV_f^{T} Wf​=Uf​Sf​VfT​, where U f ∈ R C × C ( 3 , 3 ) , S f ∈ R C × X Y ( 3 , 7 × 7 = 49 ) , V f ∈ R X Y × X Y ( 49 , 49 ) U_f \in \mathbb{R}^{C\times C }(3,3), S_f \in \mathbb{R}^{C\times XY}(3,7\times 7 =49), V_f \in \mathbb{R}^{XY\times XY}(49,49) Uf​∈RC×C(3,3),Sf​∈RC×XY(3,7×7=49),V

最低0.47元/天 解锁文章

200万优质内容无限畅学
论文解读: Quantized Convolutional Neural Networks for Mobile Devices
SIGAI_优快云的博客
03-04 3108
CNN网络在许多方面发挥着越来越重要的作用，但是CNN模型普遍很大，计算复杂，对硬件的要求很高，这也是限制CNN发展的一个因素。在这篇论文中，作者提出了一个加速和压缩CNN的方法——Quantized CNN，主要思想是对卷积层和全连接层中的权重进行量化，并最小化每层的响应误差。作者也在ILSVRC-12上做了大量的实验，证明对于分类任务在仅损失很小的准确率下，该方法可以达到4-6倍的加速，和15...
【2011-2016】 NIPS汇总 - Advances in Neural Information Processing Systems
Testing的博客
10-02 1万+
Advances in Neural Information Processing Systems 24 (NIPS 2011) The papers below appear in Advances in Neural Information Processing Systems 24 edited by J. Shawe-Taylor and R.S. Zemel and P.L.
【网络裁剪】——Learning Efficient Convolutional Networks through Network Slimming
怡宝2号
03-04 1319
转载自:https://blog.youkuaiyun.com/h__ang/article/details/89376079 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/foolwood/pytorch-slimming 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文.
深度学习模型压缩与加速
Fantastic
11-16 3498
模型压缩与加速前言加速网络的设计分组卷积分解卷积BottleNeck结构神经网络搜索模型剪枝核稀疏化量化操作 前言 压缩与加速对于深度学习模型的端侧部署至关重要，但假设你的模型部署在服务端，模型的压缩与加速显得作用并不是特别大。在前一篇博客中，深度学习 模型压缩之知识蒸馏介绍了蒸馏的知识。我对知识蒸馏个人看法是没太大的必要去设计这样的网络训练，因为知识蒸馏需要花费功夫去训练一个好的教师模型，然后通过这个教师模型去训练学生模型（轻量模型），在这个过程中，也可以对教师模型进行压缩与量化从而达到模型的轻量化。另一
神经网络压缩综述
yuanCruise
05-04 1万+
1.研究背景 对模型预测精度无明显影响 压缩模型的参数数量、深度来降低模型空间复杂度 全连接层参数多，模型大小由全连接层主导 不显著提高训练时间复杂度，降低预测时间复杂度（计算量） 卷积层计算量大，计算代价由卷积操作主导 2.方法 2.1.更精细模型的设计 Aggregated Residual Transformations for Deep Neural Networ...
【论文】模型剪枝（Network Pruning）论文详细翻译
热门推荐
u013044310的博客
05-03 1万+
前言： 这是关于模型剪枝（Network Pruning）的一篇论文，论文题目是：Learning both weights and connections for efficient neural networks，作者在论文中提出了一种通过网络剪枝对模型进行压缩的思路，详细地描述了模型剪枝的思路，流程和方法。 论文地址：Learning both weights and connecti...
论文笔记|Fast R-CNN
bea_tree的博客
06-19 3348
Author Ross Girshick Abstract Compared to SPP net, Fast R-CNN trains VGG16 x3 faster, tests 10x faster, and is more accurate. 1 Introduction Localization challenges: 1. numerous candidate ob
卷积神经网络——目标检测之Fast R-CNN论文翻译
itlilyer的博客
08-15 1991
论文连接 https://arxiv.org/abs/1504.08083 0. 摘要 本文针对目标检测问题提出了基于区域的快速卷积网络方法(Fast Region-based Convolutional Network：Fast R-CNN)。Fast R-CNN建立子以前工作的基础上，使用深度卷积网络对目标对象进行有效的分类。与以往的实现方案相比，Fast R-CNN使用了几项创新技术来提高训练和测试的速度，同时也提高了检测的精度。**Fast R-CNN与R-CNN相比，训练超深VGG16网络的速度快
目标检测经典论文——Fast R-CNN论文翻译（中英文对照版）：Fast R-CNN（Ross Girshick， Microsoft Research（微软研究院））
bigcindy的博客
07-28 6693
Fast R-CNN Ross Girshick Microsoft Research（微软研究院） rbg@microsoft.com Abstract This paper proposes a Fast Region-based Convolutional Network method (Fast R-CNN) for object detection. Fast R-CNN builds on previous work to efficiently c...
模型压缩之Learning Efficient Convolutional Networks through Network Slimming
程序员深度学习
05-25 2257
1. 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文中，我们提出了一种新颖的CNNs学习方案，它同时满足： 减小模型大小； 减少运行时的内存占用； 在不影响精度的同时，降低计算操作数； 利用通道稀疏化这样一个简单但却有效的方法，上面的条件很容易获得。不同于许多已经存在的方法，我们的方法可以直接应用到现代CNN网络架构中，在训练过程引入最小的花销，而且不需要其他特殊的软硬件加速器。我们将我们的方法称为“网络瘦身”，输入模型是一个宽大的网络，但是在训练期间不重要的通道.
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
08-30
Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition
全连接层的顺序是先通道还是先_通道剪枝（channel pruning）：Network Slimming
weixin_39946266的博客
11-23 1262
最开始关注这个工程是因为看到有人用YOLOv3进行模型剪枝后参数量减少80%，Flops降低70%，mAP反而还提升了，github链接：https://github.com/Lam1360/YOLOv3-model-pruning，是在ICCV2017的Learning Efficient Convolutional Networks through Network Slimming基础上实现的...
一文详解计算机视觉的广泛应用：网络压缩、视觉问答、可视化、风格迁移等
人工智能学家
04-01 1002
作者 | 张皓（南京大学）来源：人工智能头条丨公众号引言深度学习目前已成为发展最快、最令人兴奋的机器学习领域之一，许多卓有建树的论文已经发表，而且已有很多高质量的开源深度学习框架可供使用。然而，论文通常非常简明扼要并假设读者已对深度学习有相当的理解，这使得初学者经常卡在一些概念的理解上，读论文似懂非懂，十分吃力。另一方面，即使有了简单易用的深度学习框架，如果对深度学习常见概念和基本思路不了解，面对
深度神经网络模型压缩方法总结
Cheese_pop的博客
03-13 5660
新的卷积计算方法 这种是直接提出新的卷积计算方式，从而减少参数，达到压缩模型的效果，例如SqueezedNet,mobileNet 1. SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size 代码地址：https://github.com/DeepScale/Squeez...
神经网络模型压缩与加速
AlgoComp
03-08 5250
介绍神经网络（主要是CNN）模型压缩与加速的常见方法 目标：模型运行速度尽可能快，大小尽可能小，准确率尽可能保持不变 模型压缩 改变网络结构 使用特定结构 如 ShuffleNet, MobileNet, Xception, SqueezeNet MobileNet 把普通卷积操作分成两部分 Depthwise Convolution 计算量 DK⋅DK⋅M⋅D...
AI实战：深度学习模型压缩：模型裁剪——Pruning with Tensorflow
Zack的博客
08-24 8452
前言 从工程角度来说，模型压缩其目的是将算法更稳定、高效的落地在硬件平台上，效率是其追求的目标。复杂的模型固然具有更好的性能，但是高额的存储空间、计算资源消耗是使其难以有效的应用在各硬件平台上。 本文总结深度学习模型裁剪的一些方法及开源代码分享。 模型裁剪 深度学习模型裁剪方法： 1、剪枝 2、权值共享 3、量化 4、神经网络二值化 Pruning经典开源代码及论文 1、《T...
模型剪枝方法：通过网络瘦身学习高效的卷积网络
ManiacLook的博客
12-14 5165
​ 深度卷积神经网络 (CNN) 在许多实际应用中的部署在很大程度上受到其高计算成本的阻碍。在本文中，我们为CNN提出了一种新颖的学习方案，以同时1) 减小模型大小；2) 减少运行时内存占用；3) 在不影响准确性的情况下，减少计算操作的次数。这是通过以一种简单但有效的方式在网络中实施通道级稀疏性来实现的。与许多现有方法不同，所提出的方法直接适用于现代CNN架构，将训练过程的开销降至最低，并且不需要为生成的模型使用特殊的软件/硬件加速器。我们称我们的方法为网络瘦身。
【论文阅读笔记】Rocket Launching: A Universal and Efficient Framework for Training Well-performing Light Net
寸先生的AI道路
01-06 3464
【作者】周国睿、范颖、崔润鹏、卞维杰、朱小强、盖坤 【团队名称】阿里巴巴 【收录】AAAI2018论文  【论文链接】https://arxiv.org/abs/1708.04106    深度网络通常采用复杂的网络结构来实现精确预测，但对于点击率预估这样的在线实时响应系统对响应时间要求非常严格。结构复杂，层数很深的深度模型不能很好的满足严苛的响应时间的限制。为了在满足响应时间的前提下还
CNN压缩的各种方式与历史
Don't worry,be happy
06-14 1559
本文转载自公众号《与有三学AI》为了压榨CNN模型，这几年大家都干了什么​mp.weixin.qq.com如果从2006年算，深度学习从产生到火爆已经十年了，在工业界已经产生了很多落地的应用。现在网络的深度已经可达1000层以上，下面我们关注一个问题：这些年大家是怎么“压榨”CNN模型的。首先回顾一下几个经典模型，我们主要看看深度和caffe模型大小。当然，在实际应用中，各自调试出的version...
Exploiting Spatial-temporal Relationships for 3D Pose Estimation via Graph Convolutional Networks
最新发布
12-26
图卷积网络（Graph Convolutional Networks, GCNs）是一种专门处理结构化数据的强大工具。这类神经网络能够有效地捕捉节点之间的复杂依赖关系，适用于诸如社交网络分析、推荐系统以及生物信息学等领域。当应用于人体...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值