A Comprehensive Survey of Neural Architecture Search: Challenges and Solutions

这是NAS综述系列的第二篇文章，针对《A Comprehensive Survey of Neural Architecture Search:Challenges and Solutions》的翻译。

摘要

深度学习由于其强大的自动表示能力，在许多领域取得了突破和实质性进展。事实证明，神经结构设计对数据的特征表示和最终性能至关重要。然而，神经架构的设计在很大程度上依赖于研究人员的先验知识和经验。由于人类固有知识的局限性，人们很难跳出原有的思维范式，设计出一个最优的模型。因此，一个直观的想法是尽可能减少人为干预，让算法自动设计神经架构。神经结构搜索就是这样一种革命性的算法，相关的研究工作复杂而丰富。因此，对NAS进行全面、系统的综述是至关重要的。以前的相关综述已经开始主要根据NAS的关键组成部分对现有工作进行分类：搜索空间、搜索策略和评估策略。虽然这种分类方法更直观，但读者很难把握其中的挑战和里程碑式的工作。因此，在本次综述中，我们提供了一个新的视角：首先概述了最早的NAS算法的特点，总结了这些早期NAS算法中存在的问题，然后为后续的相关研究工作提供了解决方案。此外，我们对这些工作进行了详细而全面的分析、比较和总结。最后，我们提供了一些可能的未来研究方向。

1 引言

深度学习已经在许多领域表现出强大的学习能力，包括机器翻译、