逆熵而行

One-Shot NAS可以认为是权值共享的另一种实现方法（第一种是基于Controller RNN的强化学习方法，代表论文是ENAS），它的基本思想是训练时包含了所有输入操作路径，而在预测时只会保留其中一两条，零化其他的的操作路径。本博客重点介绍了one-shot方法的两种实现论文，一篇是早期谷歌推出的Understanding and Simplifying One-Shot Architecture Search，另外一篇是旷视出品的Single Path One-Shot Neural Archit

这是一篇由何凯明团队提出的AutoML论文，之前其他的NAS论文大部分将重点放在搜索算法上，而Randomly Wired则通过分析告诉大家，在当前的NAS研究上，人工设计的搜索空间的先验知识很重要，一个好的网络生成器就算使用随机算法最后也能得到与其他NAS算法相媲美的训练结果。论文中将网络生成器（Network Generator）定义为是从参数空间θ\thetaθ到网络架构NNN的一个映射关系，以ResNet为例，这个θ\thetaθ参数可以是stage、block的个数，或者是深度、宽度和卷积核大小

Facebook在2019年时推出了一种新的卷积方法，叫做Octave Convolution，中文名是八度卷积。这个名字借鉴了音乐中高音低音的命名方法，来表示图像中高低频的数据。图像和特征图的高低频表示对于一张图片来说，低频的数据是比较平滑的部分，也就是图像的整体结构，高频的数据是那些细节的纹理，也就是边缘像素变化比较大的部分。如图1(a)所示。图1. 图像和特征图的高低频表示图1(a)中左图是一张企鹅的原始图片，中间是图片分离出来的低频的部分，也就是整体轮廓图，右图是图像的高频部分，也就是图片

FBNet系列论文是由Facebook推出的NAS算法搜索到的网络，V1、V2采用的是和DARTS一样的方法，通过构建Supernet和微分梯度方法计算出最佳的网络；V3采用的是自己独特的方法——jointNAS，将超参数和训练策略都作为搜索空间，通过粗粒度和细粒度两个stage搜索出来最好的网络和训练参数。FBNetV1网络结构和搜索空间设计FBNet的训练方法和构建网络的方法基本上沿用了DARTS的方法，不同的是DARTS的Supernet主要体现在Cell结构里，搜索空间包括cell内部的连接和

KDforAA，论文全称是Circumventing Outliers of AutoAugment with Knowledge Distillation，论文的大概意思就是使用蒸馏的方法规避掉AutoAugment中的一些异常值，何为异常值，后面会详细说到。这篇论文也在ImageNet上取得不错的成绩，将EfficientNet-B8网络的top-1提升到85.8%的高度。图1是论文中使用到的数据增强的transform搜索列表，沿用了AutoAugment的设置。Augment的搜索目的是在训练集中

这篇论文的思想比较独特，从数据的训练集和测试集的输入分辨率着手进行分析，得出训练数据和测试数据的输入分辨率应该是不一样的，才能在图像分类上达到较好的精度。以前的大部分研究在网络输入的分辨率上基本上是一致的，然而由于训练数据和测试数据在预处理上的不同，导致了网络对图像的表观尺寸上是有偏差的，没有在测试集上达到最好的效果。...

本文提出了一种噪声学生模型（Noisy Student）自训练的方法，通过这种方法提高ImageNet的分类精度，并在EfficientNet-L2的网络上达到了state-of-the-art的水平。为了训练学生模型，先在ImageNet上训练一个老师模型，然后用这个老师模型在300万张无标签的数据上产生伪标签，用这个有标签和伪标签的数据共同来训练学生网络，如此循环几次，产生一个最终训练好的网络。训练Noisy Student的主要算法步骤是：用老师模型在有标签数据集（ImageNet）训练网络，损

AdvProp的论文全称是：Adversarial Examples Improve Image Recognition。从论文的名称就可以知道，采用对抗样本去提升图像识别能力。在以前的研究中，对抗样本被认为是对卷积网络的一种威胁，在干净数据集上训练好的网络在对抗数据上的识别能力却急剧下降。AdvProp给了我们一种全新的角度来看对抗样本，因为对抗样本的分布和普通样本数据不一样，所以采用了一种叫做辅助BN（axuliary batch norm）的方法来对对抗样本进行分离建模和训练。思路很简单，但是结果很