蓝鲸鱼的博客

本系列文章介绍一种最近比较火的设计网络的思想，即利用网络的重参数化（意义在于训练时间模型有一组参数，而推理时间模型有另一组参数），把多层合成一层，进行网络加速。本文介绍的ResRep: Lossless CNN Pruning via Decoupling Remembering and Forgetting是将参数重组应用在剪枝的一篇论文，提出了一种新的无损通道修剪方法。在传统剪枝方法，conv参数同时涉及“记忆”（目标函数）和“遗忘”（惩罚损失），以实现两者的权衡。也就是说，传统的方法强迫每一个渠道

剪枝论文一（Network Slimming）：裁剪BN层权重较小的神经元

1. AutoSlim: Towards One-Shot Architecture Search for Channel Numbers作者研究了如何在神经网络中设置通道数，以在有限的资源下获得更好的准确性。提出了一种名为AutoSlim的方法，即训练单个可瘦身网络来近似不同通道配置的网络精度，示意图如下：通道配置搜索的目标是优化每一层的通道数量，使通道配置优化后的网络体系结构在资源受限的情况下能够达到更好的精度。作者的方法有两个基本步骤：给定一个backbone，我们首先为几个阶段（例如10%

本文介绍一种剪枝方法（ Sparse Structure Selection）。1. 核心思想如图为论文中提出的网络框架。F表示残差函数。灰色的block、group和neuron表示它们是不活跃的，对应的比例因子为0，可以被修剪。根据作者在论文中所描述的，改论文的贡献体现在以下2个方面:作者提出了一个统一的cnn模型训练和剪枝框架。特别地，通过在cnn的某些结构上引入缩放因子和相应的稀疏正则化，将其转化为一个联合稀疏正则化优化问题。作者利用改进的随机加速近端梯度(APG)方法，利用稀疏正则化

本文介绍一种经典的剪枝方法（Connection pruning）1. 核心思想步骤：通过正常的网络训练学习连通性。然而，与传统训练不同的是，我们不是在学习权重的最终值，而是在学习哪些连接是重要的。修剪低重量连接。所有权值低于阈值的连接都被从网络中删除，将一个密集网络转换为一个稀疏网络。训练网络学习剩余稀疏连接的最终权值。2. 算法记录卷积层的所有权重 # 统计卷积层的通道数 total = 0 for m in model.modules():

本文介绍一种经典的模型压缩方法Network Slimming，可以实现：减小模型大小减少运行时的内存占用在不影响精度的同时，降低计算操作数论文中提供的示意图如下，可以看到左侧BN层中橙色的神经元权重较小，因此剪枝之后就去掉了这些层的连接。论文的思路即通过去掉BN层中权重较小的神经元来达到精简网络的目的。实现去掉权重较小的神经元的流程如下：1. sparsity regularization论文提出，在训练的时候增加稀疏正则化方法。主要作用：令BN层中权值为0的神经元尽可能多，以达到

本文介绍一种经典的模型压缩方法Network Slimming，可以实现：减小模型大小减少运行时的内存占用在不影响精度的同时，降低计算操作数论文中提供的示意图如下，可以看到左侧橙色的神经元权重较小，因此剪枝之后就去掉了这些层的连接。论文的思路即通过去掉权重较小的神经元来达到精简网络的目的。实现去掉权重较小的神经元的流程如下：代码实现步骤：给定要保留层的比例，记下所有BN层大于该比例的权重。根据比例设置阈值，根据阈值建立一个mask，大于阈值的部分为1，小于阈值的部分为0。然后利用ma

本文介绍了一种剪枝方法（ThiNet）作者的主要思想：将过滤器修剪正式建立为一个优化问题，并需要使用从其下一层计算的统计信息来修剪过滤器，而不是当前层，这将ThiNet与现有方法区别开来。如图所示，步骤为：首先关注虚线框部分，确定几个弱通道及其相应的过滤器(在第一行中以黄色突出显示)。这些通道(和它们相关的过滤器)对整体性能的贡献很小，因此可以丢弃这些通道，导致模型被修剪。最后对网络进行微调以恢复其精度。和之前介绍过的另一篇介绍滤波器修剪的论文——剪枝论文二（Filters Pruning