tjufan的博客

主要介绍低秩表征学习的进展

论文地址代码地址1. 文章概述这篇文章主要是从 CNN 的特征图的角度出发增加包含信息的特征图的数量的角度构建了叫做 ghost module 的组件。在一系列称之为本质信息的特征图的基础上，通过简单的变换生成更多的特征图，并将这些变换的特征图和原有的本质特征图结合在一起增强 ghost module 的特征信息，更重要的是这样的操作方式并没有增加网络的参数和计算量。2. 模块介绍假设某层卷积的输入数据X∈RH×W×cX \in R^{H \times W \times c}X∈RH×W×c, 卷

论文地址: paper代码地址: code1. 论文概述可以通过使用低秩矩阵近似逼近每层权重的方法实现神经网络的压缩，但难点在于每层的最佳秩都是一个超惨搜索的问题。针对上述问题，本片文章基于秩和矩阵元素提出了一种混合离散-连续优化函数。本文提出了一种近似解决这个问题的算法，首先针对该问题的描述建立在减小分类网络的误差和基于秩的模型选择损失，利用秩约束网络的每层卷积。然后这个问题可以通过秩和权重进行优化，交错使用SGD步骤来训练未压缩网络和确定当前最优秩和权重矩阵。...

论文地址: paper代码地址: HRank, HRankPlus1. 论文概述这篇文章认为卷及神经网络中每层生成的特征图中包含信息量的大小可以使用特征图的秩作为评判标准，特征图秩的大小和对应着卷积核的重要性。因此本文在网络压缩中将保留 High Rank 对应的 filter, 裁剪 Low Rank 对应的 filter。上述网络裁剪的前提是基于每个 filter 产生的特征图的 rank 均值是一致的，并不会被 CNN 的参数和数据集中图片的不同而改变。同时，文章用数学证明了具有low-ran