2025_NIPS_Tree of Thoughts: Deliberate Problem Solving with Large Language Models

文章总结与翻译

一、主要内容

本文针对大型语言模型（LLMs）在推理时依赖逐token左到右生成机制，难以完成需要探索、策略预判或关键初始决策的任务这一局限，提出了Tree of Thoughts（ToT） 框架。该框架将问题解决建模为对“思维树”的搜索，其中每个“思维”是迈向解决方案的连贯文本单元，通过分解思维步骤、生成多样思维候选、启发式评估状态和选择适配的搜索算法，实现LLMs的审慎决策（如前瞻、回溯）。

作者在三个挑战性任务上验证了ToT的有效性：

1. 24点游戏：需数学推理与步骤规划，ToT实现74%的成功率（GPT-4+CoT仅4%）；
2. 创意写作：需连贯结构与创意规划，ToT生成的文本连贯性显著优于IO和CoT方法；
3. 迷你填字游戏：需词汇推理与回溯调整，ToT的单词级成功率达60%（IO/CoT均不足16%）。

同时，文章对比了IO、CoT、CoT-SC等基线方法，通过消融实验验证了思维分解、状态评估、回溯搜索等核心组件的必要性，并讨论了ToT在成本、适配不同LLM（如GPT-3.5/GPT-4）和扩展任务（如GSM8K、StrategyQA）上的表现。

二、创新点

1. 框架泛化性：突破CoT的线性思维链局限，将问题解决抽象为思维树搜索，IO、CoT等方法可视为ToT的特殊情况（有限深度/广度的树），具备