2025_NIPS_Creativity or Brute Force? Using Brainteasers as a Window into the Problem-Solving Abil...

文章核心总结与创新点

主要内容

本文聚焦大型语言模型（LLMs）的推理策略，通过构建名为BRAINGLE BRAINTEASER的基准数据集，系统探究模型在数学和逻辑脑筋急转弯问题中的解题方式。该数据集包含242道数学题和236道逻辑题，均由专家设计，强调创造性洞察而非知识记忆。研究通过多种提示策略（如思维链、数学导向提示、提供线索等），评估了OpenAI o3、DeepSeek系列、Gemini Flash等模型的表现，重点分析了模型在创造性解题与暴力枚举之间的选择，以及语义解析、自我修正、步骤分解等推理环节的能力。

创新点

1. 提出BRAINGLE BRAINTEASER基准，区分于现有数据集，以无知识壁垒的脑筋急转弯为核心，专注评估模型的创造性推理和逻辑链构建能力。
2. 突破仅以准确率为指标的评估模式，从解题策略（创造性vs暴力枚举）、自我修正、语义转换、线索利用等多维度解析LLM推理过程。
3. 发现关键洞察：LLM常倾向于暴力枚举而非创造性解题，提示策略与模型规模可影响这一倾向；模型能利用高级解题框架解决复杂问题，但自我修正易受错误信息误导。

---

翻译部分（Markdown格式）

Abstract

准确率仍是评估人工智能系统的标准指标，但它对模型如何得出解决方案的洞察力有限。在本研究中，我们引入了一个基于长篇叙事形式脑筋急转弯的基准，以更深入地探究模型所采用的推理策略类型。脑筋急转弯非