2025_NIPS_Self-Verifying Reflection Helps Transformers with CoT Reasoning

文章核心总结与创新点

核心内容

本文聚焦Transformer模型的思维链（CoT）推理优化，提出极简自验证反思框架，通过小型Transformer（1M-16M参数）在整数乘法和数独任务中验证核心假设：自验证反思能提升训练与推理效果，而强化学习（RL）虽能优化分布内性能和反思频率，但缺乏泛化能力。文章从理论证明（验证误差有界时反思必提升准确率）和实验验证两方面，揭示了生成式Transformer与判别式验证结合对CoT推理的固有价值。

创新点

1. 提出极简自验证反思框架：无需自然语言，支持基础反思行为（步骤验证、错误重采样、回溯），降低实验成本且保证分析清晰度。
2. 理论突破：证明只要验证误差（假阳性+假阴性）≤1，自验证反思就能提升推理准确率；回溯机制在长步骤任务中进一步优化性能。
3. 小型模型验证有效性：首次用仅数百万参数的Transformer实现LLM级推理性能，证明反思的价值不依赖模型规模或自然语言。
4. RL与反思的关系新发现：RL能激励探索性推理的反思行为，但仅优化浅层统计模式，未真正降低验证误差或提升泛化能力。

---

译文（Markdown格式）

Abstract

先进的大型语言模型（LLMs）在思维链（CoT）推理中常进行反思，自我验证当前解决方案的正确性并探索替代方案。然而，近期研究发现LLMs在CoT中检测错误的能力有限，