视觉与图形学领域的封神论文-基于强化学习的神经架构搜索

通过一个controller在搜索空间（search space）中得到一个网络结构（child network），然后用这个网络结构在数据集上训练得到准确率，再将这个准确率回传给controller，controller继续优化得到另一个网络结构，如此反复进行直到得到最佳的结果。这里使用RNN网络目的是在一个variable-length space中搜索模型，而原先其他超参数优化只能在一个fixed-length space中搜索模型。

摘要：

神经网络是一种功能强大且灵活的模型，适用于图像、语音和自然语言理解中的许多困难学习任务。尽管取得了成功，神经网络仍然很难设计。在本文中，我们使用一个递归网络来生成神经网络的模型描述，并使用强化学习来训练该RNN，以最大限度地提高在验证集上生成结构的预期精度。在CIFAR-10数据集上，我们的方法从零开始，可以设计一种新的网络体系结构，在测试集精度方面可以与人类发明的最佳体系结构相媲美。我们的CIFAR-10模型实现了3.65的测试错误率，比以前使用类似架构方案的最先进模型高0.09%，快1.05倍。在Penn Treebank数据集上，我们的模型可以组成一个新的循环单元，其性能优于广泛使用的LSTM单元和其他最先进的算法。我们的单元在Penn Treebank数据集上的测试复杂度为62.4，比之前最先进的模型好3.6复杂度。该单元还可以转移到PTB上的字符语言建模任务中，并实现1.214的最新复杂度。

控制器递归神经网络如何对简单卷积网络进行采样。它预测一层和重复层的滤波器高度、滤波器宽度、步幅高度、步幅宽度和滤波器