Neural Architecture Search: A Survey论文阅读

这篇是NAS领域2018年的一篇综述，NAS当时在CV领域中图像分类、目标检测、语义分割三大基础方向已经大放异彩。当时DARTS刚出来一定程度上改变了NAS的发展方向，这篇文章可以说当入门看了解NAS还是不错的。论文主要从三个方面来介绍NAS的发展现状：search space、search strategy、performance estimation strategy。如下图：

• 搜索空间：即人为事先制定的网络框架，预先设定好适合当前任务的结构能够有效减小搜索空间、简化搜索。但既然是人为设置也就限制了创新，参考ICLR 2020的 NAS evaluation is frustratingly hard也可以发现，搜索空间的设置可能已经极大程度上决定最终的网络性能。
• 搜索策略：定义了如何在搜索空间中寻找最优网络结构，一方面快速搜寻最好的结构另一方面也要避免收敛到局部最优的位置。
• 性能评估：既要评估在特定数据集上的性能，也要考虑到搜索的代价，自从DARTS出来后很多NAS系统都极大减少搜索耗时、测试时间。

搜索空间

链式结构

最简单的积木式结构，需要定义的有：层数、每个层的运算操作、运算的超参（卷积核大小数量、步长等）。