2025_NIPS_On the Overlooked Pitfalls of Weight Decay and How to Mitigate Them: A Gradient-Norm Pe...

文章核心总结与翻译

一、主要内容

该研究聚焦深度神经网络训练中广泛使用的权重衰减（Weight Decay）技术，从梯度范数视角揭示了其被忽视的缺陷，并提出相应解决方案：

1. 权重衰减的核心缺陷：权重衰减会导致训练末期（或终止解处）出现大梯度范数问题，进而引发收敛性差和泛化性能不佳；同时，不恰当的权重衰减会造成不稳定的驻点，在自适应学习率优化器（如Adam）中该问题更为显著。
2. 大梯度范数的危害：从优化角度，大梯度范数破坏收敛保证；从泛化角度，大梯度范数与尖锐极小值相关，而尖锐极小值通常意味着泛化能力弱，且梯度范数惩罚已被证实是有效的正则化手段。
3. 解决方案：调度权重衰减（SWD）：提出首个基于梯度范数感知的权重衰减调度器（Scheduled Weight Decay, SWD），通过动态调整权重衰减强度来惩罚大梯度范数。将其与Adam结合得到AdamS，在保持低计算开销（性能损耗<5%）的同时优化性能。
4. 实验验证：在CIFAR-10/100、ImageNet等数据集上，通过ResNet、VGG、DenseNet等模型验证，AdamS显著优于传统权重衰减策略（如AdamW）及其他Adam变体，甚至能缩小Adam与SGD之间的泛化差距，且学习到更平坦的极小值，对超参数选择更稳健。

二、创新点

1. 首次揭示梯度范数相关缺陷：从理论（