10、渐进式自动设计NAS搜索空间：提升One - Shot NAS性能

渐进式自动设计NAS搜索空间：提升One - Shot NAS性能

在低功耗计算机视觉领域，One - Shot神经架构搜索（NAS）是一个重要的研究方向，但它面临着权重耦合等问题。本文将介绍一种名为PAD - NAS的方法，它通过渐进式修剪操作来自动设计搜索空间，从而缓解权重耦合问题，提升One - Shot NAS的性能。

1. 相关研究与背景

在NAS领域，已有多种方法被提出，这些方法在搜索策略和空间设计上各有特点：
- 多路径采样与搜索空间收缩 ：一些方法专注于训练潜在的优质路径，采用带拒绝的多路径采样策略。例如，ABS提出了基于角度的搜索空间收缩方法，通过新颖的基于角度的度量来评估子模型的能力并指导收缩过程。
- 网络设计空间参数化 ：RegNet提出设计网络设计空间，对网络群体进行参数化，并提出了一种新的网络设计范式。
- 渐进式搜索策略 ：本文提出的方法与上述不同，采用渐进式搜索策略，减少每个阶段的操作数量，并自动构建逐层操作搜索空间。此外，还与P - DARTS和HM - NAS密切相关。P - DARTS提出了DARTS的渐进版本，以缩小搜索和评估场景之间的深度差距；HM - NAS引入了多级架构编码方案，使架构候选能够具有任意数量的边和不同重要性的操作。
- 网络剪枝 ：网络剪枝旨在通过去除预训练网络中冗余、无信息的连接来降低网络复杂度。本文的方法与网络剪枝类似，都是从过参数化的超网开始，修剪冗余操作以获得优化架构。但不同的是，网络剪枝主要目的是降低网络复杂度，而本文的主要目标是通过修剪不必