EntropyNeg-优快云博客

原创 One-Shot NAS

One-Shot NAS可以认为是权值共享的另一种实现方法（第一种是基于Controller RNN的强化学习方法，代表论文是ENAS），它的基本思想是训练时包含了所有输入操作路径，而在预测时只会保留其中一两条，零化其他的的操作路径。本博客重点介绍了one-shot方法的两种实现论文，一篇是早期谷歌推出的Understanding and Simplifying One-Shot Architecture Search，另外一篇是旷视出品的Single Path One-Shot Neural Archit

2021-02-13 19:43:03 2262 5

原创 Exploring Randomly Wired Neural Networks for Image Recognition论文解读

这是一篇由何凯明团队提出的AutoML论文，之前其他的NAS论文大部分将重点放在搜索算法上，而Randomly Wired则通过分析告诉大家，在当前的NAS研究上，人工设计的搜索空间的先验知识很重要，一个好的网络生成器就算使用随机算法最后也能得到与其他NAS算法相媲美的训练结果。论文中将网络生成器（Network Generator）定义为是从参数空间θ\thetaθ到网络架构NNN的一个映射关系，以ResNet为例，这个θ\thetaθ参数可以是stage、block的个数，或者是深度、宽度和卷积核大小

2021-02-10 11:09:50 356

原创 Octave Convolution 八度卷积

Facebook在2019年时推出了一种新的卷积方法，叫做Octave Convolution，中文名是八度卷积。这个名字借鉴了音乐中高音低音的命名方法，来表示图像中高低频的数据。图像和特征图的高低频表示对于一张图片来说，低频的数据是比较平滑的部分，也就是图像的整体结构，高频的数据是那些细节的纹理，也就是边缘像素变化比较大的部分。如图1(a)所示。图1. 图像和特征图的高低频表示图1(a)中左图是一张企鹅的原始图片，中间是图片分离出来的低频的部分，也就是整体轮廓图，右图是图像的高频部分，也就是图片

2021-01-17 15:35:50 2373 6

原创 FBNet系列论文解析

FBNet系列论文是由Facebook推出的NAS算法搜索到的网络，V1、V2采用的是和DARTS一样的方法，通过构建Supernet和微分梯度方法计算出最佳的网络；V3采用的是自己独特的方法——jointNAS，将超参数和训练策略都作为搜索空间，通过粗粒度和细粒度两个stage搜索出来最好的网络和训练参数。FBNetV1网络结构和搜索空间设计FBNet的训练方法和构建网络的方法基本上沿用了DARTS的方法，不同的是DARTS的Supernet主要体现在Cell结构里，搜索空间包括cell内部的连接和

2021-01-15 21:00:17 3724 2

原创 KDforAA论文笔记

KDforAA，论文全称是Circumventing Outliers of AutoAugment with Knowledge Distillation，论文的大概意思就是使用蒸馏的方法规避掉AutoAugment中的一些异常值，何为异常值，后面会详细说到。这篇论文也在ImageNet上取得不错的成绩，将EfficientNet-B8网络的top-1提升到85.8%的高度。图1是论文中使用到的数据增强的transform搜索列表，沿用了AutoAugment的设置。Augment的搜索目的是在训练集中

2020-11-21 22:19:58 268

原创 EfficientDet论文解析

既EfficientNet之后，Tan Mingxing等人再接再厉，在物体检测领域的特征融合和检测头等部分也采用了相似的方法进行研究和搜索，提出了EfficientDet的网络，在COCO数据集上吊打其他方法。EfficientDet主要有两个创新点，一个是FPN的加强版BiFPN，另一个是混合缩放。混合缩放和EfficientNet的思想高度相似，只是混合缩放的变量不一样。方法BiFPN图1是几种常见的Neck特征融合方法。其中(a)(a)(a)是最早的FPN的方法，就是把深层的特征信息从top-

2020-11-15 21:25:20 1130

原创 Big Transfer (BiT)论文阅读笔记

这篇论文讲的是迁移学习在图像分类任务中的应用，作者强调这是一种通用型的迁移学习，也就是说这种方法不会为特定的数据集做特殊的处理，不同等级的预训练模型在往其他数据集上迁移时均采用相同的处理的方法，以此来证明BiT这种方法的普适性。方法上游预训练模型上游预训练的模型规模体现在训练数据的大小，而不是模型的大小。作者试验了几种模型，默认采用ResNet152x4。论文中按照数据的大小，分别训练的BiT-S、BiT-M和BiT-L三种规模的预训练模型，分别对应的数据集是ILSVRC-2012（1.3M）、Ima

2020-11-09 22:57:18 3525 3

原创 YOLOv4论文详解

在Redmon宣布退出CV界后，YOLO算法的大棒由中国台湾的学者接力，并在今年推出了YOLOv4算法。和之前的版本一样，YOLOv4也是一个one-stage的物体检测方法，在YOLOv3的基础上，YOLOv4修改了Backbone网络，添加了新的Neck融合方法，并且从通用和专用的角度加入了一些新的技巧，有效地提升了算法的检测精度，同时提高了检测速度。方法Backbone对于GPU，综合考虑了网络输入的分辨率、卷积层数、参数量和卷积输出通道数等，论文选择的是Darknet53的改进版CSPDark

2020-10-25 11:50:37 1435

原创 Fixing the train-test resolution discrepancy论文解读

这篇论文的思想比较独特，从数据的训练集和测试集的输入分辨率着手进行分析，得出训练数据和测试数据的输入分辨率应该是不一样的，才能在图像分类上达到较好的精度。以前的大部分研究在网络输入的分辨率上基本上是一致的，然而由于训练数据和测试数据在预处理上的不同，导致了网络对图像的表观尺寸上是有偏差的，没有在测试集上达到最好的效果。...

2020-09-20 23:28:09 1070

原创 Self-training with Noisy Student improves ImageNet classification

本文提出了一种噪声学生模型（Noisy Student）自训练的方法，通过这种方法提高ImageNet的分类精度，并在EfficientNet-L2的网络上达到了state-of-the-art的水平。为了训练学生模型，先在ImageNet上训练一个老师模型，然后用这个老师模型在300万张无标签的数据上产生伪标签，用这个有标签和伪标签的数据共同来训练学生网络，如此循环几次，产生一个最终训练好的网络。训练Noisy Student的主要算法步骤是：用老师模型在有标签数据集（ImageNet）训练网络，损

2020-09-02 21:24:31 1217

原创 AdvProp论文解析

AdvProp的论文全称是：Adversarial Examples Improve Image Recognition。从论文的名称就可以知道，采用对抗样本去提升图像识别能力。在以前的研究中，对抗样本被认为是对卷积网络的一种威胁，在干净数据集上训练好的网络在对抗数据上的识别能力却急剧下降。AdvProp给了我们一种全新的角度来看对抗样本，因为对抗样本的分布和普通样本数据不一样，所以采用了一种叫做辅助BN（axuliary batch norm）的方法来对对抗样本进行分离建模和训练。思路很简单，但是结果很

2020-08-23 23:44:20 2397 6

原创 Auto-DeepLab论文解析

图像分割，和图像分类、图像检测可以称为是深度学习视觉领域的三个基础研究课题，图像分割的经典深度学习算法有FCN、Mask R-CNN、DeepLab等。2019年，谷歌和斯坦福大学合作，推出了Auto-DeepLab，将NAS用于图像分割的领域里，改进DeepLab的算法。Auto-DeepLab的论文全名是Auto-DeepLab: Hierachical Neural Architecture Search for Semantic Image Segmention。在设计上，借鉴了DARTS论文的方

2020-08-02 12:15:37 1335

原创 NAS-FPN论文解析

物体检测也是深度学习视觉领域内一个非常重要的应用场景，物体检测的主要方法目前有Faster R-CNN、SSD、YOLO等系列算法，以及近年涌现的FPN等改进方法。下面我们以NAS-FPN为例，介绍NAS在深度学习物体检测中的应用。NAS-FPN论文的全名是NAS-FPN: Learning Scalable Feature Pyramid Architecture for Object Detection。这是一篇由谷歌大脑团队提出来的针对FPN特征图的NAS方法，不同于前面博客介绍的方法，这篇论文并不

2020-07-27 21:56:05 6280

原创 MnasNet论文解析

现在的NAS方法越来越重视小模型的NAS搜索，在传统深度学习的模型压缩中，主要有MobileNet、ShuffleNet、SqueezeNet等方法。其中，MobileNet系列从分通道depthwise卷积（V1）发展到Invert Bottleneck结构（V2），在大量降低参数的同时，还能维持在较高的精度水平，在实际设备中广泛使用。MnasNet就是以MobileNet V2为backbone，在这个基础结构上搜索block架构以替代bottleneck结构。论文的全名是MnasNet: Platf

2020-07-19 20:56:07 1171

原创 ProxylessNAS论文和算法解析

ProxylessNAS，论文的全名是Direct Neural Architecture Search on Target Task and Hardware。之前介绍的方法，搜索的方式基本上都是在小的数据集（比如Cifar-10）搜索出一个最好的Cell架构，然后通过堆叠的方法扩展到大数据集上（比如ImageNet）上做实验。然而，在这一篇论文看来，在小数据集上搜索出来的架构对于大数据集不一定就是好的。基于此观点，ProxylessNAS直接在大数据集上对Cell架构进行搜索，直接找到适合大数据集的C

2020-07-12 20:55:52 1194

原创 DARTS论文和算法解析

DARTS，论文的全名是Differentiable Architecture Search，即可微分的架构搜索。综合之前的一些NAS论文方法可以看出，不管是强化学习、进化算法还是SMBO，这些都无法通过像传统深度学习那样由Loss的梯度来更新网络架构，只能间接去优化生成子网络模型的控制器（Controller RNN，Predictor）或方法（进化算法）。DARTS论文第一次把网络模型以可微分参数化的形式实现，网络模型和网络架构整合在一起，通过数据的训练集和验证集交替优化。在训练结束后，再从网络架构

2020-07-12 12:45:32 9815 3

原创 PNAS论文和算法解析

PNAS，论文的全名是Progressive Neural Architecture Search。这篇论文也是由谷歌团队Chenxi Liu和Zoph等人发表出来的，里面的很多思路承袭了NASNet的设计原则。本论文最大的特点是采用了SMBO（Sequential Model-based Optimization）的方法来训练Predictor（结构和controller RNN相似）。PNAS的基本设计思想是：Cell和Block的设计原则（与NASNet一样），不区分Normal和Reducti

2020-07-11 22:28:03 1798

原创 AmoebaNet论文和算法解析

AmoebaNet，论文的全名是Regularized Evolution for Image Classifier Architecture Search，是一篇比较早的采用进化算法来做NAS的论文。进化算法是传统人工智能中的一种群体启发式优化算法，它模拟生物学在自然界中的仿生原理，通过选择、交叉、变异等方式，一代又一代更新和进化，最终收敛于最优解的过程。AmoebaNet是由谷歌团队Real等人提出的一种基于年龄进化算法的神经网络架构搜索。为了解决网络架构参数无法通过验证集精度的梯度传播来更新，之前

2020-07-11 15:21:56 1513

原创 ENAS论文详解

ENAS论文的全称是EfficientNet Neural Architecture Search via Parameter Sharing，是由谷歌、CMU和斯坦福大学联合推出的论文。从早期的两篇NAS论文（NAS、NASNet）可以看出，在搜索架构的过程中，需要动用500个GPU，这对于普通人来说根本是可望而不可及的研究领域。ENAS的论文着重解决计算资源问题，将NAS的计算资源和搜索时间大幅降低，让一般的研究人员也能探索神经网络架构搜索的领域。ENAS的基本设计思想：采用NAS论文contro

2020-07-06 23:23:38 4890 4

原创 NASNet论文详解

NASNet，论文的全名叫做Learning Transferable Architectures for Scalable Image Recognition.这一篇论文是对神经网络架构搜索开篇之作NAS的集成和发展，也是由谷歌的Zoph等人提出来的，针对NAS论文中的缺点进行改进，在分类精度和训练资源、时间上，都优于前者。NASNet论文的基本设计思想是：和NAS论文一样，采用controller RNN来预测子网络参数第一次提出了Cell和Block的概念controller RNN不再

2020-07-05 23:53:56 6785 4

原创 Neural Architecture Search with Reinforcement Learning论文详解

这一篇可以算是神经网络架构搜索（NAS）的开篇之作，是谷歌的Zoph等人提出来的。论文采用RNN结构的Controller从搜索空间中预测生成自网络，用强化学习方法去优化controller RNN的参数。以视觉应用的CNN模型为例，该论文的基本思想有三点：用controller RNN去预测每一个网络层（layer）的卷积参数；将controller RNN的输出作为强化学习中的action作用于搜索空间，设计子网络；在训练完子网络后，将数据验证集的精度作为强化学习的reward去训练contr

2020-07-05 20:21:44 1762 1

逆熵而行