Is Chain-of-Thought Reasoning of LLMs a Mirage? A Data Distribution Lens

文章主要内容和创新点

主要内容

本文从数据分布的视角探究了大语言模型（LLMs）的思维链（Chain-of-Thought, CoT）推理本质，提出CoT推理并非真正的逻辑推理，而是模型对训练数据中模式的结构化复制。具体而言：

• 核心假设：CoT的有效性源于模型从训练数据中习得的结构化归纳偏差，其表现受限于训练数据与测试数据的分布差异——当测试数据与训练数据分布一致或接近时，CoT表现良好；当存在分布偏移时，性能会急剧下降。
• 分析维度：从三个维度系统分析CoT的脆弱性：
  • 任务维度：探究CoT对未见过的任务结构或转换的泛化能力；
  • 长度维度：分析CoT对推理链长度与训练数据不同时的适应性；
  • 格式维度：检验CoT对表面形式（如提示词格式）变化的敏感度。
• 实验验证：设计了受控实验环境DataAlchemy，从头训练LLMs并在不同分布偏移场景下测试。结果表明，即使是轻微的分布偏移，CoT也会失效，生成看似流畅但逻辑不一致的推理步骤，证实其本质是对训练数据模式的匹配而非真正推理。