2025_NIPS_Activation Control for Efficiently Eliciting Long Chain-of-thought Ability of Language Mod

文章总结与翻译

一、主要内容总结

该研究聚焦于大型语言模型（LLMs）长链思维（long CoT）能力的高效激发，核心围绕“无需大规模训练即可唤醒模型内在推理潜力”展开，主要内容如下：

1. 核心发现：LLMs的长链思维能力与最后几层MLP层中的少量高影响力激活密切相关，这些激活具有可预测的动态模式——在特殊触发 token（如“wait”）后急剧上升，随后呈指数衰减；过度后训练的模型（如指令微调模型）中，这些关键激活会变得“惰性”甚至“失效”。
2. 训练无关激活控制方法（EELo-CoT）：提出无需训练的激活控制策略，通过少量对比样例识别关键激活，利用解析函数（对数衰减函数）动态调整推理时的激活值，并结合“强制反思”机制（当句子中数字数量超过阈值时插入“wait” token，搭配冷却窗口避免无效反思），实现长链思维的高效激发。
3. 参数高效微调方法：针对需进一步优化的场景，设计轻量微调方案——仅训练最后一层的激活放大模块和少量低秩LoRA层（仅更新1.51%的参数），在推理基准上优于全参数微调及传统LoRA方法（更新6.15%参数）。
4. 实验验证：在MATH、AMC23、GPQA-Diamond等复杂推理基准上，对Qwen2.5系列、Llama-3.1等模型的测试表明，所提方法显著提升了模型的准确率、自我反思率，且具有跨模型、跨任务的通用性。

二、创新点