【Pruning系列：一】Learning Efficient Convolutional Networks through Network Slimming

最新推荐文章于 2023-02-06 21:15:40 发布
原创 最新推荐文章于 2023-02-06 21:15:40 发布 · 2.7k 阅读 · 8 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习 #神经网络 #卷积 #网络

本文介绍了通过在网络中引入BN层的channel-wise scaling factor并应用L1正则化，来实现卷积网络的高效学习。通过使γ参数趋于0，可以有效地剪枝不重要的通道。在目标函数中，结合模型损失与γ的稀疏约束，逐步调整网络结构。实验结果显示，经过网络瘦身，γ值大部分接近0，表明大量通道被有效精简。

NS

机构

Tsinghua,Intel

【Pruning系列：二】Learning Efficient Convolutional Networks through Network Slimming｜YOLOv3实践 ｜Pytorch 总结

motivation

训练中的剪枝

基于BN（Batch Normalization）层的广泛使用，在BN层加入channel-wise scaling factor 并对之加L1 regularizer使之稀疏，然后裁剪scaling factor值小的部分对应权重

在这里插入图片描述

  • 用 BN 层的 y 来表示卷积核的重要程度，y 小对应卷积核重要性低

    γ 非常小时，送入下一层的值就非常小，可以直接剪掉

  • 虽然可以通过删减 γ 值接近零的channel，但是一般情况下， γ 值靠近0的channel还是属于少数
    于是作者采用 L1 or smooth-L1 惩罚 γ ，来让 γ 值倾向于0

method

目标函数：

在这里插入图片描述

  • 第一项是模型预测所产生的损失<

最低0.47元/天 解锁文章
阅读笔记——Learning Efficient Convolutional Networks through Network Slimming
哇哇的博客
12-19 648
目录概述方法实验及指标实验细节实验指标 概述 CNN 模型在许多方面都取得了进展，但要将一些高精度 CNN 模型应用到实际场景中，还是面临一些问题： 模型大小：模型参数和结构需要保存在硬盘上，对于一些嵌入式系统来说是一个不小的负担； 运行时内存需求：推理时产生的中间变量需要地方存储； 计算操作次数：一个比较大的 CNN 网络在移动设备上的处理时间可能可以达到数分钟，这使得应用于实时应用不现实。 这些实际问题使得人们考虑对模型大小进行压缩。这篇文章提出，可以对 BN 层的尺度因子使用 L1 正则化，将 B
模型剪枝----Learning Efficient Convolutional Networks through Network Slimming
litt1e的博客
03-14 1626
模型剪枝是模型压缩中较为核心的方法，它可以清除网络中冗余的参数与计算量，让模型更加紧凑高效。下面我们介绍Learning Efficient Convolutional Networks through Network Slimming。 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang...
论文复现：Learning Efficient Convolutional Networks through Network Slimming
qq_28094537的博客
09-23 1542
论文复现：Learning Efficient Convolutional Networks through Network Slimming
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
weixin_50862344的博客
02-04 2528
【论文阅读】【剪枝】Learning Efficient Convolutional Networks through Network Slimming
【论文阅读】Learning Efficient Convolutional Networks through Network Slimming
luolinll1212的专栏
01-20 2580
1 论文地址
【Pruning系列：二】Learning Efficient Convolutional Networks through Network Slimming｜YOLOv3实践 ｜Pytorch 总结
鹿鹿的博客
04-19 2428
YOLOv3-model-pruning https://github.com/Lam1360/YOLOv3-model-pruning YOLOv3模型剪枝，瘦身80%，提速100%，精度基本不变 Introduction 以 eriklindernoren/PyTorch-YOLOv3（https://github.com/eriklindernoren/PyTorch-YOLOv3）为Y...
模型压缩之Learning Efficient Convolutional Networks through Network Slimming
程序员深度学习
05-25 2289
1. 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文中，我们提出了一种新颖的CNNs学习方案，它同时满足： 减小模型大小； 减少运行时的内存占用； 在不影响精度的同时，降低计算操作数； 利用通道稀疏化这样一个简单但却有效的方法，上面的条件很容易获得。不同于许多已经存在的方法，我们的方法可以直接应用到现代CNN网络架构中，在训练过程引入最小的花销，而且不需要其他特殊的软硬件加速器。我们将我们的方法称为“网络瘦身”，输入模型是一个宽大的网络，但是在训练期间不重要的通道.
网络模型剪枝-论文阅读-Network Slimming
AManFromEarth的博客
06-24 1893
论文地址：Learning Efficient Convolutional Networks through Network Slimming 这篇论文是在2017年的ICCV发表的，可以看做是之前讲过的channel pruning方法的变种，但是更加简单有效。 简单来说，这篇论文的剪枝方式是，给每个通道加上权重，在训练的过程中使用L1正则化对通道权重进行稀疏化，然后对于最终通道权重低于阈值的通道剪枝，最后重新训练得到剪枝模型。论文非常聪明的就是对batch normliization(BN)层的γ\ga
Network slimming，一个比较好用的模型剪枝方法
小菜鸟的AI之路
06-24 2881
由于深度学习模型大小以及计算资源的限制，导致将深度学习模型部署到如移动端的时候会受到一定的限制，为了解决这个问题，就形成了一个新的领域：模型压缩，即减少模型的参数以及计算量，并且依然保证模型的精度。常见的方法比如：量化、剪枝、蒸馏等，本文便是“剪枝”当中一篇非常经典的文章，也是比较有效果的一篇文章。本文方法其实比较简单：首先，使用L1 regularization对BN层的scaling factor进行稀疏化训练，然后将scaling factor较小的参数相连接的filter减掉，达到减少模型size.
learning Efficient Convolutional Networks through Network Slimming
椰子奶糖的博客
04-30 820
learning Efficient Convolutional Networks through Network Slimming 文章目录learning Efficient Convolutional Networks through Network Slimming总结 总结
【论文阅读笔记】Learning Efficient Convolutional Networks through Network Slimming
热门推荐
时光机 °的博客
07-08 1万+
论文地址：Network Slimming 论文总结   本文提出了一种channel-level的裁剪方案，可以通过稀疏化尺度因子（BN层的scaling factor）来裁掉“不重要”的channel。   文中的方案为： 在训练时，对BN层的scaling factor施加L1L_1L1​正则化，在训练网络的同时得到稀疏化的尺度因子； 裁掉低于指定阈值的channel；【（1）设定裁剪的百分比；（2）依据百分比找到所有尺度因子对应的值作为阈值；（3）逐层进行裁剪】 对得到的模型进行fine-tune
Learning Efficient Convolutional Networks through Network Slimming
Gavinmiaoc的博客
08-21 690
模型剪枝：https://blog.youkuaiyun.com/h__ang/article/details/89376079
【网络裁剪】——Learning Efficient Convolutional Networks through Network Slimming
怡宝2号
03-04 1361
转载自:https://blog.youkuaiyun.com/h__ang/article/details/89376079 论文链接：https://arxiv.org/abs/1708.06519 官方代码（Torch实现）：https://github.com/liuzhuang13/slimming 第三方代码（PyTorch实现）：https://github.com/foolwood/pytorch-slimming 摘要 在许多现实应用中，深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文.
模型剪枝-ICCV2017-Learning Efficient Convolutional Networks through Network Slimming
weixin_44214375的博客
11-28 1666
方案目标 1）减小模型大小; 2）减少运行时内存占用; 3）在不影响准确率的情况下降低计算操作的数量。 方案实现 通过在网络中进行通道层次稀疏来实现 CNN部署限制 1）模型大小：CNN的强大表现力来自其数百万可训练参数。这些参数以及网络结构信息需要存储在磁盘上并在推理期间加载到内存中。例如，存储一个ImageNet上训练的典型CNN会占用超过300MB的空间，这对嵌入式设备来说是一个很大的资源负担。 2）运行时内存（占用情况）：在推理期间，即使批量大小为1，CNN的中间激活/响应占用的内存空间甚至可以比存
Learning Efficient Convolutional Networks through Network Slimming【译】
epic_Lin的博客
01-15 865
Learning Efficient Convolutional Networks through Network Slimming【CVPR2017】 摘要 在本文中，我们提出了一种新的cnn学习方案（learning scheme），来同时 1)减少模型大小；2)减少运行时内存占用；3)减少计算操作的次数并且不降低准确性。这是通过以一种简单而有效的方式在网络中增强通道级的稀疏性来实现的。与现有的许多方法不同，该方法直接适用于现代CNN架构，它为训练过程引入了最小的开销，并且生成的模型不需要特殊的软件/硬
1/200 Learning Efficient Convolutional Networks through Network Slimming
weixin_72380563的博客
02-06 577
Learning Efficient Convolutional Networks through Network Slimming
Learning Efficient Convolutional Networks Through Network Slimming
qq_41823532的博客
01-04 404
【代码】Learning Efficient Convolutional Networks Through Network Slimming。
[2017ICCV F] Learning Efficient Convolutional Networks through Network Slimming
JY丫丫
05-09 937
Learning Efficient Convolutional Networks through Network Slimming Learning Efficient Convolutional Networks through Network Slimming_网络_h__ang的博客-优快云博客 https://blog.youkuaiyun.com/h__ang/article/details/8...
pruned-yolo: learning efficient object detector using model pruning
09-01
Pruned-YOLO是一种利用模型修剪来学习高效物体检测器的方法。 物体检测是计算机视觉领域的重要任务之一，旨在从图像中准确地识别和定位出现的物体。然而，传统的物体检测器通常具有复杂的结构和大量的参数，导致它们在实时应用或资源受限的环境中效率不高。 为了解决这个问题，Pruned-YOLO采用了一种名为模型修剪的技术。模型修剪是一种通过删除不必要的参数来减小模型大小和计算量的方法。在Pruned-YOLO中，首先训练一个原始的YOLO模型，在这个模型中包含了大量的参数。然后，通过对这个模型进行剪枝操作，删除冗余的参数，从而得到一个修剪后的模型。 模型修剪的关键是确定哪些参数可以被安全地删除。在Pruned-YOLO中，采用了一种称为敏感度分析的方法来评估参数对于模型性能的重要性。通过计算每个参数对于模型损失函数的梯度，可以确定其敏感度。如果某个参数的敏感度较低，即梯度接近于零，那么这个参数可以被删除而不会对模型性能产生显著影响。 通过对YOLO模型进行修剪，Pruned-YOLO可以显著减少模型的大小和计算需求，从而提高物体检测的效率。实验证明，Pruned-YOLO在保持较高检测准确率的同时，将模型大小和计算量减少了约50%。这使得Pruned-YOLO成为了一种适用于边缘设备、嵌入式系统和实时应用的高效物体检测解决方案。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值