wydbyxr的博客

Data Distillation: Towards Omni-Supervised Learning

Log-DenseNet: How to Sparsify a DenseNet原始的densenet改进后的densenet，即log-densenet

CrescendoNet: A Simple Deep Convolutional Neural Network with Ensemble Behavior整体结构path-wise training

Swish: a Self-Gated Activation Function  Swish 的设计受到 LSTM 和 highway network 中使用 sigmoid 函数进行门控的启发。我们使用同样的值进行门控来简化门控机制，称为自门控（self-gating）。自门控的优势是它仅需要一个简单的标量输入，而正常的门控需要多个标量输入。该特性令使用自门控的激活函数如 Swish 能够轻松...

Pyramidal RoR for Image Classification  有三个图从上到下依次是  1）两种结构的整体结构  2）RoR network architecture  3）Pyramidal RoR1）两种结构的整体结构2）RoR network architecture3）Pyramidal RoR...

特征金字塔网络 (FPN)  特征金字塔网络 (FPN) 发表在 2017 年的 CVPR 上。  FPN 是基于一个特征提取网络的，即是基于一个主干模型的，它可以是常见的 ResNet 或者 DenseNet 之类的网络（常见的命名方法是：主干网络-层数-FPN，例如：ResNet-101-FPN）。  这是个万金油网络，可以用在目标检测、实例分割、姿态识别、面部识别等各种各样的应用里。文...

Spiking Deep Residual Network  近些年，SNN由于它的生物可塑性吸引了大众注意力。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。  本篇文章，提出了一个方法来构造ResNet的脉冲版本。我们把训练好的ResNet网络转化为脉冲神经元组成的SpikingResNet。为了解决转化过...

End-to-end detection-segmentation network with ROI convolution

Semantic Scene Completion from a Single Depth Image Princeton University(普林斯顿大学)1.论文简介 1.1摘要 论文解决的问题是semantic scene completion（语义场景补全），之前的方法是将分为两个问题：1.场景补全（scene completion），也就是预测体积占用，一般是用体素 （vo

One Model To Learn Them All - 2017年6月 - google - 多模态多任务模型，目的是希望在一个模型中完成不同的任务，该论文重点介绍不同模块的整合。　　MultiModel 由几个模式网络、一个编码器、I/O 混合器、一个自回归解码器构成，它的主体由多个卷积层、注意力机制、和稀疏门控专家混合层组成。 　　上面提到的每个计算模块，都会在某些...

Training RNNs as Fast as CNNs- 2017年9月- Simple Recurrent Unit(SRU); NLP与语音识别任务; 加速- ASAPP inc；MIT　　通过有意简化状态计算并展现更多的并行性而提出了一个替代性的 RNN 实现，这一循环单元的运算和卷积层一样快，并且比 cuDNN 优化的 LSTM 快 5-10x。 　　该实现在诸如分类、...

NoScope: Optimizing Neural Network Queries over Video at Scale- 2017年3月- 视频中的目标检测；名为NoScope的检索引擎- 　　非常的快。 　　思想：由于视频目标是连续的，里面包含了大量时间局部性（temporal locality，即在不同的时间是相似的）和空间局部性（spatial locali...

Single Image Super-Resolution via Cascaded Multi-Scale Cross Network- 2018年2月- 单幅图像的超分辨率；级联+残差网络- IEEE成员(中国人)　　提出了一个级联多尺度交叉网络（CMSC），其中一系列子网络级联以便以粗到细的方式推断高分辨率特征。在每个级联子网中，我们将多个多尺度交叉（MSC）模块堆叠起来，同时...

End-to-end detection-segmentation network with ROI convolution- 2018年1月- ROI卷积- 阿尔伯塔大学【加拿大】　　主要是ROI convolution的介绍。

Data Distillation: Towards Omni-Supervised Learning- 2017年12月- 全方位监督（Omni-Supervised）；数据精馏（data distillation）- Ilija Radosavovic, Piotr Dollar, Ross Girshick, Georgia Gkioxari, Kaiming He,Facebook...

《Neural Machine Translation in Linear Time》  新型的source–target网络结构ByteNet，并通过两个扩张卷积神经网络（Dilated Convolution）堆叠实现,完成了机器翻译任务，并且将时间复杂度控制在线性范围。  dilated-conv，即使去掉池化层也能保证网络的感受野，从而确保图像语义分割的精度。...

spp  讲到的训练数据图片的大小，都是什么3232,9696,227*227等大小，也就是说训练数据必须归一化到同样的大小，那么假设我的训练数据是各种各样的图片大小呢？  我是否一定要把它裁剪成全部一样大小的图片才可以进入卷积神经网络训练呢？这就是SPP算法所要解决的问题，训练数据图片不需要归一化，而且江湖传说，效果比传统的方法的效果还好。...

DiracNets: Training Very Deep Neural Networks Without Skip-ConnectionsDirac参数化NCReLU

Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification  视频自然由静态和运动信息组成，可以用帧和光流来表示。最近，研究人员普遍采用深度网络来捕捉静态和动态信息，主要有两个局限性：  1）忽略空间和时间关注的共存关系，而要共同建模；  2）忽视静态信息和运动信息在视频...

Convolutional Normalizing Flows

Self-Normalizing Neural Networks（selu）  selu公式

Learning Activation Functions to Improve Deep Neural Networks  提出了APL激活函数。公式与示意图  1）输入为NHW，令它们为maps-1，每张为map-1  2）每张map-1的每个点会通过K种不同的分段函数（故APL会有2KHW个参数），则一张map-1会得到K张map-2。  再将这K张中间map-2进行eleme...

空间变换网络（Spatial Transform Networks，STN）  该网络不需要关键点的标定，能够根据分类或者其它任务自适应地将数据进行空间变换和对齐（包括平移、缩放、旋转以及其它几何变换等）。在输入数据在空间差异较大的情况下，这个网络可以加在现有的卷积网络中，提高分类的准确性。  STN 计算较快，几乎没有增加原有网络模型的训练时间。由于它能够在训练过程中，学习到与任务相关的空间...

Improving speech recognition by revising gated recurrent units  通过修改门控循环单元改善语音识别。一般的 GRU 架构本论文提出的M-reluGRU  移除重置门并且使用 ReLU 激活函数替代 tanh 后，我们可以得到新的公式：我们将这个架构称为 M-reluGRU。...

Deeper Bottleneck(瓶颈) Architectures  看50-layer那一栏，在进入到DBA层之前的网络比较简单，分别是：①卷积层"7×7, 64, stride 2"、②BN层、③ReLU层、④池化层"3×3 max pool, stride 2"，最终的输出结果是一个大小为 [batch_size, height, width, kernels] 矩阵。   再看c...

SENet  ImageNet冠军  SE模块相当于channel-wise attention。卷积核作为卷积神经网络的核心，通常被看做是在局部感受野上，将空间上（spatial）的信息和特征维度上（channel-wise）的信息进行聚合的信息聚合体。  最近很多工作被提出来从空间维度层面来提升网络的性能，如Inception结构中嵌入了多尺度信息，聚合多种不同感受野上的特征来获得性能增...

AlexNet   使用ReLu（整流线性单位）作为非线性部分，而不是 传统神经网络早期标准Tanh 或Sigmoid函数。  ReLu相对于S形的优势在于它的训练速度比后者快得多，因为S形的导数在饱和区域变得非常小，因此对权重的更新几乎消失，这被称为 消失梯度问题。...

各种inception  参考资料：https://blog.youkuaiyun.com/qq_14845119/article/details/73648100

VGG(visual geometry group，超分辨率测试序列)test过程  采用multi-scale输入尺寸的形式（输入尺寸介于[256:512]），具体执行流程如下：  1）采用不同规格的图片作为输入（4种或6种规格）；  2）最后一个maxpool层之前按照原有网络执行；  3）修改最后一个maxpool层为shift-max-pool，对网络中的最后一个卷积层的每一个f...

NIN(network in network)1）MLP卷积层  利用多层mlp的微型网络，对每个局部感受野的神经元进行更加复杂的运算，而以前的卷积层，局部感受野的运算仅仅只是一个单层的神经网络罢了。  提出了对卷积层的改进算法：MLP卷积层。Mlpconv层可以看成是每个卷积的局部感受野中还包含了一个微型的多层网络。一般来说mlp是一个三层的网络结构。NIN网络的mlp指的是局部感受野的，...

《Learning to Compare Image Patches via Convolutional Neural Networks》  即2-channel networks。关于图像相似度计算的文章，本篇文章对经典的算法Siamese Networks 做了改进。  因为文献基本上是在 Siamese Networks的基础上做修改，然后也要借助于空间金字塔池化实现不同大小图片的输入网...

Pseudo-siamese网络  这个网络与siamese network网络最大的区别在于两个分支是权值不共享的，是真正的双分支网络模型。  Pseudo-siamese在网络的两个分支上，每个分支是不同的映射函数，也就是说它们提取特征的结构是不一样的，左右两个分支，有不同的权值、或者不同的网络层数等，两个函数互不相关，只是在最后的全连接层，将他们连接在一起了。  这个网络相当于训练参数...

Two-stream Collaborative Learning with Spatial-Temporal Attention for Video Classification- 2017年11月- - 中国人　　之前的算法割裂了时空信息，而我们的方法利用了静态信息和动态信息的互补、时间信息与空间信息的互补。 　　用于视频分类；双流网络（RGB和光流）；CNN+LS...

L1-Norm Batch Normalization for Efficient Training of Deep Neural Networks- 2018年2月 - L1-BN- 中国人　　BN中的平方和根运算对低比特量化不友好。 　　我们提出在训练期中只有线性运算的L1范数BN（L1BN）。L1-BN被证明与原始的BN乘以比例因子(π/2的根号)近似相等。 　　对各种...

DiracNets: Training Very Deep Neural Networks Without Skip-Connections- 2017年6月 - 提出NCReLU和Dirac参数化，它适用于广泛的网络架构- ParisTech(巴黎高科，一个小学校)　　提出新的权重参数化（weight parameterization）方法，即Dirac参数化，它适用于广泛的网...

Spiking Deep Residual Network- - Spiking Neural Network- 浙江大学和四川大学　　脉冲神经网络（SNN）在生物理论中备受关注。理论上，SNN具有与ANN一样的计算能力，而且在功耗方面要比ANN更加节能。但是，在目前看来，训练一个很深的SNN依旧存在很大困难。 　　本文提出了一种脉冲版本的 ResNet。我们把训练好的ResNet...

Pelee: A Real-Time Object Detection System on Mobile Devices- - 然而被mobilenetv2吊打 - 加拿大西安大略大学　　已有的在移动设备上执行的深度学习模型例如 MobileNet、 ShuffleNet 等都严重依赖于在深度上可分离的卷积运算，而缺乏有效的实现。在本文中，来自加拿大西安大略大学的研究者提出了称为 ...

Feedforward semantic segmentation with zoom-out features- CVPR2015- TTI-zoomout-16；语义分割- 　　这篇文章的方法是superpixel-level的，主要是基于CNN实现的。 　　这篇文章的亮点应该是：1，它把CNN每一层的特征都拿出来使用，兼顾了local信息和global信息。2，直...

An Anchor-Free Region Proposal Network for Faster R-CNN based Text Detection Approaches- 2018年4月- 无锚区域提议网络（AF-RPN）- 微软亚洲研究院　　对于尺度变化比较大的数据集来说，Faster RCNN 的 RPN 阶段 anchor 的设计就会比较复杂(需要手动设计各种比例尺，高宽...

Detecting Faces Using Region-based Fully Convolutional Networks- 2017年9月- Face R-FCN；人脸检测- 腾讯AI Lab　　Face R-FCN主要是基于R-FCN（基于区域的全卷积网络）框架来解决人脸检测问题。在R-FCN框架的基础上，他们采用ResNet（残差网络）作为基础网络，结合了多尺度训练和测试、...