2025_NIPS_Operation-Level Early Stopping for Robustifying Differentiable NAS

文章总结与翻译

一、主要内容

该研究聚焦于可微分神经架构搜索（DARTS）的核心鲁棒性问题——跳接连接（skip connections）主导导致的性能崩溃，从全新视角展开分析并提出解决方案：

1. 问题根源分析：不同于现有研究认为跳接连接存在优化优势的观点，本文指出问题本质是超网中参数化操作（如卷积）过度拟合训练数据，导致其在验证集上的性能优势逐渐减弱，而架构参数基于验证集训练，最终使得无参数操作（跳接连接为主）占据主导。
2. 解决方案提出：设计操作级早停（OLES）方法，通过梯度匹配（GM）分数监控每个操作在训练集和验证集上的梯度方向差异。当连续M次迭代的GM分数低于阈值ξ时，判定该操作过度拟合，停止其参数更新，避免过度拟合对架构搜索的负面影响。
3. 实验验证：在DARTS标准搜索空间、NAS-Bench-201、MobileNet类搜索空间中，基于CIFAR-10、CIFAR-100、ImageNet等数据集验证。OLES在几乎不增加计算开销（0.4 GPU-days，与原始DARTS一致）的情况下，实现SOTA性能，如CIFAR-10测试误差2.30%、CIFAR-100测试误差17.30%，且迁移至ImageNet仍保持竞争力。

二、创新点

1. 全新问题视角：首次从超网操作过度拟合的角度解释跳接连接主导问题，突破现有基于“跳接连接优化优势”的研究框架，通过实验验证该核心猜想。