NAS入门基础（二）

Neural Architecture Search: A Survey (神经网络结构搜索)
这是一篇入门综述，我们一起看看吧~
（abstract：本文主要是对于搜索策略的介绍）

搜索策略（search strategy）
包括：随机搜索、贝叶斯优化、进化算法，强化学习（RL）和基于梯度的方法。从历史来看，在几十年前很多研究者已使用进化算法探索神经网络结构以及他们的参数。Yao 有对2000年以前的 此类方法的 review。
1. 贝叶斯优化：
引领了最先进的视觉架构、在无数据增强的条件下，在CIFAR-10 数据集上有优异的成绩，并且使第一个自动调整的网络胜过了人类专家设计的网络。在Zoph 和 Le（2017）通过基于强化学习的搜索策略 在CIFAR-10上获得和Penn Treebank基准相近的表现之后，NAS成为机器学习社区的主流研究课题。虽然Zoph和Le（2017）使用大量的计算资源来实现这一结果（800个GPU持续三到四周），但在他们的工作之后，已经快速并且陆续的发布了各种各样的方法，期望降低计算成本并实现进一步的性能改进。
2.强化学习：
为了将NAS定义为强化学习（RL）问题，可以认为**神经结构的生成 是 agent（智能体） 的 action，**动作空间与搜索空间相同。agent 的reward 来自于训练后的网络结构对没见过的数据的性能（第四部分讲性能时重点讲解）。不同的强化学习方法区别在于他们如何体现 agent 的 policy 以及他们