68、神经网络架构搜索与快时尚决策树应用综述

神经网络架构搜索与快时尚决策树应用综述

1. 神经网络架构搜索（NAS）概述

神经网络架构搜索（NAS）自诞生以来面临诸多问题，如高计算开销、双层优化结构、离散优化问题和复杂约束等。2016 年谷歌发布的 NAS 被广泛认为是最早的 NAS 算法。

1.1 搜索空间

搜索空间是 NAS 的关键部分，它定义了如何描述神经网络的结构。一个设计良好的搜索空间，即使采用随机搜索策略，也有可能找到性能优异的网络结构。同时，搜索空间的设计决定了最终网络性能的上限，优秀的搜索策略只是让最终结果接近或达到这个上限。在设计搜索空间时，需要在结构搜索的自由度和搜索效率之间取得平衡，这两者是相互矛盾的。

神经网络的搜索空间可根据不同层次分为三个尺度：拓扑结构、操作类型和权重。
- 拓扑结构 ：神经网络的结构可抽象为无孤立节点的有向无环图（DAG）。DAG 中的每个节点代表一个操作，除首尾节点外，每个节点接收前序节点的数据，进行计算后传递给后续节点。一个节点可以有多个前序节点或后续节点，形成多分支或跳跃连接结构。
- 操作类型 ：指 DAG 中每个节点使用的计算方法。虽然有些方法使用非常基本的数学运算，但大多数算法仍使用基于单元的操作。单元是指前人手动设计的网络中被广泛认为具有优异性能的基本模块。除第一层和最后一层的类型必须是输入和输出外，中间层的操作通过某种搜索策略获得，且这些层的组合使用有时必须遵循一定的约束。

1.2 搜索策略

搜索策略定义了神经网络结构的迭代优化过程。常见的搜索方法包括随机搜索、贝叶斯优化、进化算法、强化学习（RL）和