2025_NIPS_Incentivizing Reasoning for Advanced Instruction-Following of Large Language Models

文章核心总结与创新点

主要内容

现有大语言模型（LLMs）在处理含并列、链式、分支等复杂结构约束的指令时存在不足，传统思维链（CoT）因表层推理仅复述指令，反而降低性能。为此，研究提出RAIF方法，通过指令自演进数据获取与推理驱动的强化学习，提升LLMs复杂指令遵循能力。在7个基准测试中，1.5B模型性能提升11.74%，媲美8B模型，且在分布外（OOD）约束上表现出强泛化性。

核心创新点

1. 提出自演进指令生成方案：基于原子约束及组合类型（And/Chain/Selection/Nested），结合代码执行与LLM作为评判者两种验证方式，构建多样化复杂指令数据集。
2. 设计推理导向强化学习框架：采用规则中心奖励（格式奖励+约束满足度奖励），通过优质CoT执行机制筛选有效推理样本，结合行为克隆避免策略分布偏移。
3. 破解复杂指令推理痛点：针对LLMs在复杂指令场景下缺乏深度推理动力的问题，通过样本级对比与专家行为模仿，培育真正赋能规则遵循的推理能力。

---

英文原文翻译（Markdown格式）

Abstract

现有大型