2025_NIPS_Beyond Single-Task: Robust Multi-Task Length Generalization for LLMs

文章核心总结与创新点

核心内容

文章聚焦大语言模型（LLMs）的长度泛化问题——即模型解决超出训练长度范围任务的能力，提出元规则遵循微调（Meta-RFFT） 框架。通过构建包含86个跨领域任务的大规模数据集，采用“规则预训练+下游适配”两阶段流程，使模型在少量微调或单样本提示下，就能在未见过的任务上实现稳健的长度泛化，尤其在长整数加法等任务上显著超越现有模型。

核心创新点

1. 多任务长度泛化数据集：构建涵盖代码执行、数字处理、逻辑与符号推理4大领域的86个任务数据集（31万训练样本），突破传统仅关注加法、排序等单一任务的局限。
2. Meta-RFFT框架：首创两阶段训练模式，先通过74个任务的规则预训练让模型掌握通用计算原语（如循环维护），再通过少量下游适配或单样本提示，实现跨任务长度泛化。
3. 跨格式与场景适配：模型经代码规则预训练后，能适配自然语言规则任务，且在航空行李费用估算等真实场景中表现优异，同时通过混合通用数据避免灾难性遗忘。
4. 性能突破：32B模型在30位整数加法任务上准确率达95%，远超DeepSeek-R1-671B（72%）和QwQ-32B（32%），且单样本提示下就能高效适配新任务。

---

文章关键部分翻译（Markdown格式）