fnoi2014xtx的博客

Paper : Residual Attention Network for Image ClassificationCode : official摘要作者尝试在视觉模型中引入自注意力机制，并通过残差学习的方式解决注意力模块梯度消失的问题。网络结构残差注意力网络相比普通的CNN网络具有以下几个特点Attention不止能使得运算聚焦于特定区域，同时也可以使得该部分区域的特征得到增强增加更多的注意力模块可以线性提升网络的分类性能，基于不同深度的特征图可以提取额外的注意力模型残差注意力模型.

Paper : ShuffleNet: An Extremely Efficient Convolutional Neural Network for MobileDevicesCode : unofficial摘要本文继续从group conv操作出发思考如何能进一步减少模型的参数，最终结合pointwise conv 和 shuffle channel的方式使模型尺寸大大减少，使移动端计算力支持网络推导。网络结构自从AlexNet将组卷积引入进来后，Xception, ResNeXt和Mo.

Paper : Dual Path NetworksCode : official摘要作者首先将ResNeXt和DenseNet使用HORNN的框架统一起来，说明了两个符合直觉的结论ResNeXt模型具有较高的特征复用性DenseNet模型可以更好的探索新特征接着，尝试使用直接将两个网络合并成一个网络，并说明在准确率良好的情况下，相比ResNeXt和DenseNet，计算力和模型规模更小。个人感觉结合方式没什么创新，分析得到的结论倒是值得一看。网络结构简单描述一下HORNN与ResN.

Paper : PolyNet: A Pursuit of Structural Diversity in Very Deep NetworksCode : official摘要PolyNet从多项式的角度将ResNet的核心推导式H(x)=F(x)+xH(x) = F(x)+xH(x)=F(x)+x进行扩展，尝试将其一般化，以找到最优的网络结构。网络结构当前改善网络表现的方法主要有三种：增加模型的深度，但是太深的网络会出现梯度消失的情况，有效的梯度无法反向传播回输入层，而且网络的识别准确率随.

Paper : MobileNets: Efficient Convolutional Neural Networks for Mobile VisionApplicationsCode : unofficial摘要与Xception一样都是以depthwise separate convolution作为核心扩展开的网络结构，MobileNet更倾向于低算力，有关depthwise separate convolution和Xception的内容见blog。网络结构MobileNet 网络结.

Paper : Xception: Deep Learning with Depthwise Separable ConvolutionsCode : unofficial摘要如果先看了这篇文章blog，那么Xception其实就是一种特例情况。Xception 可以从组卷积的角度进行重新理解，而不是考虑Xception自己提出的“depthwise separate convolution”网络结构在 Inception 中，特征可以通过1*1卷积，3*3卷积，5*5卷积，pooling 等.

Paper : Interleaved Group Convolutions for Deep Neural NetworksCode : official摘要组卷积操作在AlexNet中被提出，相比普通的卷积可以有效的减少参数，但是组卷积的结构限制了组与组之间相互独立，IGCNet提出使用两步组卷积来代替普通卷积，达到减少参数的目的。网络结构IGCNet的核心是交错组卷积结构，交错组卷积包含两个组卷积，结构如下第一层卷积(Primary Group Conv)用来处理空间相关信息，采用空.

Paper : Aggregated Residual Transformations for Deep Neural NetworksCode : official摘要ResNeXt 提出了 aggregated transformations，用一种平行堆叠相同拓扑结构的blocks代替原来 ResNet 的三层卷积的block，在不明显增加参数量级的情况下提升了模型的准确率。本文脱离了加深网络或是加宽网络的思路，从拓扑结构出发进行创新，比较新颖。网络结构上图中，左侧为普通的ResNet.

Paper : FractalNet: Ultra-Deep Neural Networks without ResidualsCode : unofficial摘要在各种各样ResNet魔改版横行的时候，作者提出了分形网络，并根据分型网络的网络结构模仿dropout提出了drop-path的训练方法，证明了不只有残差和shortcut一条路。分型网络在网络深度较深时也可以取得较好的表现，开阔了网络结构设计的视野。网络结构分型网络的模块结构大致如下根据以上分型网络模块的结构，我们可以设计出.

Paper : Densely Connected Convolutional NetworksCode : official摘要DenseNet将ResNet的shortcut进行进一步的扩展，原版shortcut只跨越1-3个Conv层，而DenseNet允许随意跨越，形成全连接，一图以蔽之网络结构Dense Block 结构如下假设第lll层的feature map使用xlx_lxl​来表示，那么递推式如下xl=Hl([x0,x1...xl−1])x_l = H_{l}([x_.

Paper : Deep Pyramidal Residual NetworksCode : official摘要其实文章的核心观点与Inception提出的设计原则区别不大，Pyramid Net 认为在设计网络结构的时候，网络的宽度(通道数)应当逐渐增大，而之前的模型一般在卷积网络的前几层时通道变化幅度过大。没有提出非常创新的设计思路，个人感觉是小改动。网络结构In this research, instead of sharply increasing the feature map .

Paper : SqueezeNet: AlexNet-Level Accuracy with 50x Fewer Parameters and <0.5MB Model SizeCode : torchvision摘要SqueezeNet是着重强调模型压缩的卷积网络模型，准确率与AlexNet相当但是参数规模只有AlexNet的1/50，在模型压缩技术的支持下，SqueezeNet可以压缩到<0.5MB。虽然理论上减少了50倍的参数，但是AlexNet本身全连接节点过于庞大，50倍.

Paper : Wide Residual NetworksCode : official摘要深度残差网络能够将网络深度扩大到上千层，并且有很好的性能提升。但是，分类准确率每提高百分之一的代价几乎是层数的两倍。深度越深的网络，出现梯度消失的可能性越高，训练起来越慢。因此，为了解决这些问题，作者提出使用深度适中，通道数更高的网络模型来替代深而细的网络模型。网络结构ResNet的引入大大加深了可训练的神经网络的深度，而为了减少参数规模而使用bottleneck更是使得网络变得细长。ResNet和著.

Paper : Deep Networks with Stochastic DepthCode : unofficial摘要随机深度神经网络是一种训练神经网络的方法，它是基于ResNet具有相当程度的冗余性的而提出的。在训练ResNet的过程中发现去掉中间几层对最终的结果也没什么影响，说明ResNet每一层学习的特征信息都非常少，冗余性很高。随机深度训练过程主要是用于解决梯度消失问题，提高训练速度，为之后的DenseNet 的提出奠定了基础。网络结构随机深度的训练过程核心是对于训练过程中的每个.

Paper : ResNet in ResNet : Generalizing Residual ArchitecturesCode : unofficial摘要作者尝试提出一种网络结构，将ResNet和普通的CNN网络统一起来，感觉意义不大。网络结构广义残差网络架构的模块化单元是一个并行结构的广义残差块，并行包含了一个残差通道r\text{r}r和一个瞬变通道t\text{t}t。残差通道采用和ResNet类似的identity shortcut connection，瞬变通道采用标准的卷积.

Paper : Inception-v4, Inception-ResNet andthe Impact of Residual Connections on LearningCode : unofficial unofficial摘要In order to optimize the training speed, we used to tune the layer sizes carefully in order to balance the computation between.

Paper : Rethinking the Inception Architecture for Computer VisionCode : torchvision摘要Inception 在缩小参数规模的道路上越走越远，之前遇到的卷积核大多是方形卷积核的，而这篇论文尝试使用长宽不同的长方形卷积核进行进一步的参数规模压缩。网络结构通用的网络模型设计原则设计神经网络时应当避免表示瓶颈，即使是在网络的前几层也一样。也就是说，网络结构从输入层到输出层，特征的规模应当逐渐的减小。层与层之间进行信息.

Paper : Identity Mappings in Deep Residual NetworksCode : official摘要PreActResNet其实只是将Conv-BN-ReLU的顺序换了一下，使得存在一条通路从第一个ResNet Block到最后一个ResNet Block，中间不经过非线性变换ReLU，提高模型的准确率。网络结构左侧的网络结构是ResNet中提出的网络结构，是继承自VggNet的经典的Conv-BN-ReLU的结构，由于激活函数是在Conv层之前，因此也被.

Paper : Deep Residual Learning for Image RecognitionCode : torchvision摘要ResNet也是从“深就是好”的思想出发，为了解决梯度下降和梯度消失的问题，开创性的提出了shortcut connection的结构，之后大部分论文都引入了shortcut connection的结构。网络结构ResNet 中最重要的结构就是identity shortcut connection，结构如下令H(x)=F(x)+x\mathcal.

Paper : Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet ClassificationCode : unofficial概要PReLU Net 其实并不是一种网络结构，而是一种新的激活函数，这种激活函数尝试解决ReLU函数在输入为负数时带来的反向传播停止的问题，而我认为这篇文章的更重要的一点是它提出了一种参数初始化的方法，优化了深度神经网络的训练过程，解决了梯度爆炸和梯度消失的问题。激活函.

Paper : Going deeper with convolutionsCode : torchvision概要GoogLeNet 的核心思想其实与之后的ResNet有一定的相关性，都是在尝试解决梯度爆炸/梯度消失的问题，只不过ResNet采用了更加激进的方式。GoogLeNet 尝试在网络深度与参数规模达到一种平衡，采用的方法相对来说比较trick，GoogLeNet引入了对于同一层输入使用不同大小的卷积核进行特征提取的观点。网络结构更深的网络可以带来更好的表现，因此加深加宽网络结构是发.

Paper : Very Deep Convolutional Networks for Large-Scale Image RecognitionCode : torchvision概要本文的主要贡献是提出了Vgg16和Vgg19两种网络结构，并强调了使用多个小卷积核代替大卷积核的重要性，提高了神经网络可训练的最大层数。再一次强调了对于神经网络而言，“深即使好”这一观点，之后若干篇paper的主要思路就是如何将网络层数增大。网络结构其中，Vgg16/19中的16/19指的是只包含卷积层和全.