Neural Architecture Search: A Survey

本文是神经架构搜索相关主题的第一篇文章，针对《Neural Architecture Search: A Survey》的一个翻译。

摘要

过去几年，深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显著进展。这一进展的一个关键方面是新的神经结构。目前使用的架构大多是由人工专家手动开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动神经结构搜索方法越来越感兴趣。我们概述了该研究领域的现有工作，并根据三个维度对其进行了分类：搜索空间、搜索策略和性能评估策略。

1 引言

深度学习在感知任务中的成功很大程度上归功于其对特征工程过程的自动化：分层特征提取器是以端到端的方式从数据中学习的，而不是手动设计的。然而，伴随着这一成功，对架构工程的需求不断增长，越来越复杂的神经结构是手动设计的。因此，神经架构搜索（NAS）是架构工程自动化的过程，是机器学习自动化的下一步。到目前为止，NAS方法在一些任务上已经优于手动设计的架构，如图像分类、目标检测或语义分割。NAS可以被视为AutoML的子领域，并与超参数优化和元学习有显著重叠。我们根据三个维度对NAS的方法进行分类：搜索空间、搜索策略和性能估计策略：

• 搜索空间。搜索空间定义了原则上可以表示哪些体系结构。结合关于非常适合任务的体系结构的典型特性的先验知识可以减少搜索空间的大小并简化搜索。然而，这也引入了人类的偏见，这可能会阻止找到超越当前人类知识的新型架构构建块。
• 搜索策略。搜索策略详细说明了如何探索搜索空间（搜索空间通常是指数级的，甚至是无界的）。它包含了经典的探索与利用权衡问题，因为一方面，希望快速找到性能良好的体系结构，而另一方面，应避免过早收敛到次优体系结构区域。
• 性能评估策略。NAS的目标通常是找到在看不见的数据上实现高预测性能的体系