2025_NIPS_Revisiting Out-of-distribution Robustness in NLP: Benchmarks, Analysis, and LLMs Evalua...

文章主要内容总结

本文重新审视NLP领域的分布外（OOD）鲁棒性研究，指出传统基准存在分布偏移挑战不足、数据集相似度高等问题。为此提出标准化基准构建协议，打造涵盖5类任务（情感分析、毒性检测、自然语言推理、命名实体识别、抽取式问答）、20个数据集的BOSS基准套件。通过实验分析了ID（分布内）与OOD性能的三类关联模式，评估了5种鲁棒性增强方法和5种大语言模型（LLMs），发现 vanilla 微调仍是强基线，LLMs的上下文学习在OOD场景更具优势，而领域特定模型微调在ID数据充足时表现更优。

文章创新点

1. 提出系统化基准构建协议，从数据集规模、分布差异性、挑战难度三方面保障OOD评估的严谨性，解决传统基准的设计缺陷。
2. 构建BOSS基准套件，覆盖多任务类型和多样化分布偏移，提供统一的OOD鲁棒性评估平台。
3. 揭示ID与OOD性能的三类关联模式（单调线性正相关、分段单调线性正相关、非单调V型相关），为OOD鲁棒性预测提供理论支撑。
4. 全面评估鲁棒性增强方法和LLMs的适配范式，明确不同场景下的最优模型选择策略，为实际应用提供指导。

---

Abstract 翻译

本文重新审视了自然语言处理（NLP）领域中分布外（OOD）鲁棒性的相关研究。我们发现，以往研究中的分布偏移设置通常缺乏足够的挑战性，这阻碍了对OOD鲁棒性的准确评估。为解决这些问题，我们提出了一套基准构建协议，以确保分布偏移具有明确的区分度和挑战性。随后，我们引入了BOSS基准套件，该套件涵盖5类任务和20个数据集，用于OOD