重磅！复旦大学联合上海人工智能实验室初步实现传说中的“Q*”算法

关注

原创最新推荐文章于 2026-08-15 00:50:09 发布 1k 阅读 AI 写同款· GEO 优化 ›

RD-Agent：一个基于AI的自动化研究与开发工具是一个开源的R&D（研究与开发）自动化工具，通过人工智能技术推动数据驱动的AI研发过程。该项目专注于数据和模型这两个R&D的核心方面，以自动化高价值的通用R&D流程。阅读详情

Q* 被验证了！小型的 LLM 在数学方面和前沿模型一样优秀‍

通过结合一种创新算法，Llama3 8B 在数学基准测试 GSM8K 上达到了 96.7% 的惊人成绩！这比 GPT-4、Claude 和 Gemini 都要好，而且它的参数量仅为这些模型的二百分之一！

Q* 相信大家都不会陌生，被称为OpenAI内部实现大模型数学和复杂推理重大突破的神秘算法，不过Q*迄今为止一直是一个传说，Q*究竟如何我们并不得而知

就在这两天，复旦大学联合上海人工智能实验室悄悄提交了一篇重磅论文，题为《LLaMa-3 8B使用蒙特卡洛树自我优化获取GPT-4级别的数学奥林匹克解题方法：一份技术报告》。论文中，科研人员开发出一种名为MCTSr的算法，可以显著提高大模型在数学和复杂推理方面的能力。这是自Q*这种神秘算法传说以来首次有类似技术被公开发表，并且其有效性通过了可靠评估

这是一篇探讨如何将大型语言模型(LLM)与蒙特卡罗树搜索(MCTS)算法结合,以提高LLM在复杂数学推理任务中的性能的研究论文，文章提出了一种创新算法MCTSr,旨在解决LLM在复杂计算和逻辑推理中存在的准确性和可靠性不足的问题

论文由复旦大学和上海人工智能实验室提交到了arxiv，论文第一作者Zhang Di 复旦PhD在读，曾经有多份大厂工作实习经历

传统的MCTS算法无法很好地与LLM的随机生成性质相结合。因此,作者提出了改进的UCB公式和动态剪枝策略,以更好地平衡探索和利用,优化决策框架。MCTSr算法构建一棵蒙特卡罗搜索树,通过选择、自完善、自评估和反向传播等迭代过程不断优化答案‍

在自完善环节,LLM根据提示对当前答案提出改进意见,并生成优化版本。在自评估中,LLM会对完善后的答案进行打分,并采用约束条件确保评分的严格性和可靠性‍

实验表明,在GSM8K、GSM Hard、MATH等数据集上,使用MCTSr算法能显著提高LLaMa-3 8B模型解决数学问题的成功率,尤其是在奥林匹克级别的数学竞赛题目上,也取得了显著进步,接近最新的封闭源模型GPT-4的表现‍

从最基本的Zero-Shot到逐步增强的不同模型配置,包括One-turn Self-Refine和新提出的MCTSr算法在不同迭代次数(rollouts)下的表现如下（相对简单的MATH数据集）

奥数级别的数据集中表现：AIME（美国高中奥数竞赛）， Math Odyssey（谷歌推出的极端复杂推理数据集），OlympiadBench（国际奥数）‍‍‍‍‍

这项研究证实了结合MCTS和LLM能够增强复杂推理能力,为LLM在逻辑决策和数学等领域的应用铺平了道路。不过,MCTSr算法目前还处于初级阶段,在更广泛场景下的适用性有待进一步探索。此外,算法各个环节都有改进空间,需要持续优化以提高实用性和有效性

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述