yzhang的博客

Searching for MobileNetV3Motivation使用NAS的方法去寻找一个速度更快的的网络ArchitectureEfficient Mobile Building Blocks MobileMobile block在MobileNet v2的基础上加了一个SE模块，并且使用swish新的激活函数同时利用MNAS技术来搜索全局的结构，比如说各个Mobile block怎么连接，再使用NetAdapt来优化每层的通道数，来平衡精度和延迟计算量。再手动设计调整最后

Mnasnet: Platform-aware neural architecture search for mobileMotivation第一篇移动端自动设计网络，MnasNet的目的很简单就是设计出表现又好，效率又高的网络。Architecture之前的NAS算法（如ENAS)考虑更多的是模型最终结果是否是SOTA，MnasNet则是希望搜索出又小又有效的网络结构，因此将多个元素作为优化指标，包括准确率，在真实移动设备上的延迟等。最终定义的优化函数如下：????表示模型(model)??

Efficient Neural Architecture Search via parameter SharingMotivation通过强制所有子模型共享权重从而提升了NAS的效率，克服了NAS算力成本巨大且耗时的缺陷，GPU运算时间缩短了1000倍以上。NAS的本质是在一个大的搜索图中找到合适的子图作为模型，也可以理解为使用单个有向无环图(single directed acyclic graph, DAG)来表示NAS的搜索空间。基于此，ENAS的DAG其实就是NAS搜索空间中所有可能的子模型

Learning Transferable Architectures for Scalable Image RecognitionMotivationNAS直接搜全部结构方法太慢，设计一个搜索空间较小的方法。即类似于LSTM中的子结构，重复堆叠这些子结构，从而得到较深的网络。Architecture对于两种不同的数据集，大致的设计了两种不同的网络结构，确定好整体结构后，按照以下步骤Step 1. Select a hidden state from hi, hi−1 or from t

NEURAL ARCHITECTURE SEARCH WITH REINFORCEMENT LEARNINGMotivation神经网络架构搜索的第一篇文章，将强化学习与深度学习结合。其主要目的是使用强化学习寻找最优网络，包括一个图像分类网络的卷积部分（表示层）和RNN的一个类似于LSTM的cell。由于现在的神经网络一般采用堆叠block的方式搭建而成，这种堆叠的超参数可以通过一个序列来表示。所以，NAS会使用一个RNN构成的控制器（controller）以概率随机采样一个网络结构，接着在CIFAR

GhostNet: More Features from Cheap OperationsMotivation卷积神经网络中，特征冗余是其有效果的一大重要因素，为了解决CNN计算时会使用大量的计算量去计算冗余的特征的问题，这里提出了GhostNet。下图为ResNet-50里面特征图的可视化，可以看到有很多相似的特征图。ArchitectureGhost Module for More Features对于一般卷积来说，Y=X∗f+b,f∈c∗k∗k∗nY = X*f + b, f\in c

ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture DesignMotivation以往的移动端的CNN设计在考虑计算节省时都直接致力于优化整体网络计算所需的Flops。但实际上一个网络模型的训练或推理过程Flops等计算只是其时间的一部分，其它像内存读写/外部数据IO操作等都会占不小比例的时间。所以不应只限于去片面追求理论Flops的减少， 该篇从内存访问代价（Memory Access Cost，MAC）和GPU并行性

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices（arXiv:1707.01083v2）Motivation专为计算能力非常有限（例如10-150 MFLOP）的移动设备设计的模型，且弥补了之前Group convolution的缺点ArchitectureChannel Shuffle for Group Convolutions假设卷积层具有g组，其输出具有g×n个通道； 首

MobileNetV2: Inverted Residuals and Linear Bottlenecks（1801.04381）Motivation相比MobileNet v1性能更好的轻量化模型，做的改进。ArchitectureDepthwise Separable Convolutions和MobileNet v1一样Linear Bottlenecks这里通过有效的实验来证明，在特征信息更集中的缩减后的通道中，加上一个非线性激活层，比如ReLU，就会有较大的信息丢失 。

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications（arXiv:1704.04861v1）Motivation提出来用在手机或者边缘视觉应用上的轻量化模型，可以有效的做精度和延迟之间的trade off。ArchitectureDepthwise Separable Convolution使用DC和PC代替标准卷积input ：DF×DF×MD_F ×D_F × MDF​×