Neural Architecture Search: A Survey

本文是神经架构搜索相关主题的第一篇文章，针对《Neural Architecture Search: A Survey》的一个翻译。

摘要

过去几年，深度学习在图像识别、语音识别和机器翻译等各种任务上取得了显著进展。这一进展的一个关键方面是新的神经结构。目前使用的架构大多是由人工专家手动开发的，这是一个耗时且容易出错的过程。正因为如此，人们对自动神经结构搜索方法越来越感兴趣。我们概述了该研究领域的现有工作，并根据三个维度对其进行了分类：搜索空间、搜索策略和性能评估策略。

1 引言

深度学习在感知任务中的成功很大程度上归功于其对特征工程过程的自动化：分层特征提取器是以端到端的方式从数据中学习的，而不是手动设计的。然而，伴随着这一成功，对架构工程的需求不断增长，越来越复杂的神经结构是手动设计的。因此，神经架构搜索（NAS）是架构工程自动化的过程，是机器学习自动化的下一步。到目前为止，NAS方法在一些任务上已经优于手动设计的架构，如图像分类、目标检测或语义分割。NAS可以被视为AutoML的子领域，并与超参数优化和元学习有显著重叠。我们根据三个维度对NAS的方法进行分类：搜索空间、搜索策略和性能估计策略：

• 搜索空间。搜索空间定义了原则上可以表示哪些体系结构。结合关于非常适合任务的体系结构的典型特性的先验知