收藏！8种提升大模型推理表现的方法，小白也能看懂-优快云博客

本文介绍了提升大语言模型（LLM）推理表现的主要方法，包括并行扩展和顺序扩展。文章详细解析了8种常见的推理机制：思维链（CoT）、多数投票、Best-of-N、扩展思考、自我改进、思维树（ToT）、使用过程奖励模型的束搜索以及蒙特卡洛树搜索（MCTS）。每种方法都有其适用场景和局限性，例如多数投票适用于简单问题，而思维树更适合探索性任务。文章强调，选择合适的推理机制需要根据任务难度和错误类型进行判断，并建议通过动态分配推理预算来优化模型表现。

模型如何获得更好的推理表现

让大语言模型（LLM）获得更强推理表现的方法，主要可以归为两类：

并行扩展（parallel scaling）：对同一个提示多次采样，再从多个候选结果中进行选择。

顺序扩展（sequential scaling）：在给出最终答案前，延长单条推理轨迹，让模型执行更多推理步骤。

树搜索类方法同时结合了这两种方式，因此也会继承两者的局限。

这些方法都不会改变模型权重，所有额外计算都发生在推理调用阶段。这也是模型准确率不理想时，团队通常会优先尝试测试时计算（test-time compute）的原因：它不需要重新训练模型，但会持续增加每次请求的成本。

训练成本通常只需支付一次，随后可分摊到大量调用中；推理计算则按请求持续付费。不过，额外计算往往能够换来更好的结果。一些研究发现，在 FLOPs 相当的比较中，对于较小模型本就具有较高成功率的问题，增加测试时计算的效果可能优于直接使用参数规模大 14 倍的模型。

⚡ 核心判断

测试时计算不是越多越好。不同方法都有适用边界：简单问题可能被过度优化，困难问题也未必能靠增加搜索预算解决。

下面介绍 8 种常见的推理机制。

思维链（Chain of Thought，CoT）

思维链引导模型逐步推理，在得出答案前生成中间步骤。推理模型通常已经具备这种能力，使用时主要增加的是推理 Token 消耗。

多数投票（Majority Voting）

在温度不为 0 的条件下，多次运行同一个提示，然后把出现次数最多的答案作为最终答案。这种方法不需要奖励模型，因为多个样本之间的一致性本身就是一种信号。

多数投票能够修正随机错误，却无法解决系统性错误。如果模型每次都以相同方式误判，所有样本仍会得出一致结果，投票反而会以更高置信度返回错误答案。

此外，这种方法要求不同答案之间能够进行等价性判断，因此不太适合开放式文本生成。

Best-of-N

Best-of-N 会生成 N 个完整答案，再使用奖励模型逐一评分，最终保留得分最高的答案。

随着对代理奖励的优化压力不断增加，真实奖励可能先上升、达到峰值，再开始下降。当 N 超过某个阈值后，搜索可能更倾向于找到“奖励模型喜欢的答案”，而不是真正正确的答案。

另一个难点是：奖励模型必须具备比生成模型更可靠的判断能力，而这往往是整个方案中更困难的一部分。

扩展思考（Extended Thinking）

模型在回答前先使用一定数量的 Token 进行内部推理。调用方通常可以通过 budget_tokens、thinkingBudget 或 reasoning_effort 等参数设置推理预算。

DeepSeek-R1-Zero 在 AIME 2024 上的准确率仅通过强化学习就从 15.6% 提升到 71.0%，推理阶段没有使用外部搜索框架。

但思考越多并不总是越好。Anthropic 的逆尺度分析构造了一些任务：随着推理轨迹变长，模型准确率反而下降。例如，预先注入无关数字的计数问题，以及模型反复重新审视已经解决的约束推理过程。

自我改进（Self-Refinement）

模型先写出答案，再批判自己的答案并进行重写，如此循环迭代。

不过，自我改进的证据相对较弱。在 GSM8K 测试中，GPT-3.5 虽然纠正了 7.6% 的错误答案，却也改坏了 8.8% 的正确答案，导致整体净收益为负。

思维树（Tree of Thoughts，ToT）

多数投票只在多个完整答案之间做选择，而思维树会改变每一步的推理过程，再从多条路径中选择整体最优方案。

在每个推理步骤中，模型都会探索多个可能方向。这些分支共同构成一棵树，另一个独立过程则评估在当前时间步，哪条路径最有希望。

可以把它理解为一种搜索算法：沿着多条推理路径寻找最合理、最连贯的解决方案。它需要更多计算，但在部分任务中会明显优于基础 CoT。

使用过程奖励模型的束搜索

这种方法保留 K 个部分解，并在生成过程中对每一步进行评分，而不是等到完整答案生成后再统一评价。

在计算预算较小时，它可能优于 Best-of-N；但随着预算增加，其表现又可能落后于 Best-of-N。过度优化时，推理过程可能出现步骤重复，甚至退化为只剩一两个步骤。

它通常更适合中等难度问题：在简单问题上容易过度优化，而面对最困难的问题时，增加搜索本身也未必有效。

蒙特卡洛树搜索（Monte Carlo Tree Search，MCTS）

MCTS 会选择一条有希望的部分路径，对其进行扩展，运行至完整答案，再把评分沿路径向上回传，并重复这一过程。

DeepSeek 在 R1 的研发过程中尝试过这种方法，但最终放弃了。语言模型下一 Token 的候选空间远大于棋盘游戏中的合法动作空间，因此，训练一个足够可靠的价值模型来指导搜索非常困难。

DeepSeek 也因类似原因放弃了过程奖励模型（Process Reward Model，PRM）：推理步骤的正确性难以定义，标注难以规模化，而且策略模型还可能利用评分器的漏洞。最终，DeepSeek 选择把搜索能力内化到模型权重中，并采用基于规则的奖励。

小结：先判断错误类型，再选择扩展方式

如果错误主要来自采样随机性，可以尝试多数投票或 Best-of-N。

如果任务需要探索多条中间路径，可以考虑思维树、束搜索或 MCTS。

如果模型本身已经具备较强推理能力，可以增加扩展思考预算。

如果模型存在稳定的系统性误判，单纯增加采样或推理长度通常无法从根本上解决问题。

💡 实践建议

推理预算应根据任务难度动态分配。先用低成本方案建立基线，再逐步增加采样数、推理长度或搜索宽度，并同时监控准确率与单位请求成本。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】