探索可变参数提升不变学习以增强分布外泛化能力

探索可变参数提升不变学习以增强分布外泛化能力

https://arxiv.org/abs/2310.16391

论文核心原理解析

核心问题：如何在存在分布噪声的情况下，学习对分布变化鲁棒的模型？

---

1. 关键挑战

• 分布外（OOD）泛化：模型需适应未见过的分布，但传统方法易受分布特异性特征干扰。
• 彩票假设（LTH）的局限性：仅关注任务相关的“关键参数”，忽略了分布变化敏感的参数（可能误导优化）。

---

2. 核心思想：EVIL方法

提出**探索可变参数（Variant）与不变参数（Invariant）**的框架：

• 可变参数：对分布变化敏感的参数（如光照、背景等环境因素）。
• 不变参数：对任务核心特征（如物体形状、语义）稳定的参数。

核心步骤：

1. 参数敏感性分析：在多环境训练中，识别随分布变化显著波动的参数（可变参数）。
2. 排除可变参数：在后续训练中，仅保留不变参数，强制模型依赖鲁棒特征。<