推理模型专题 | 开源类O1：Marco-o1技术全面解读

最新推荐文章于 2025-07-20 15:36:02 发布
原创 最新推荐文章于 2025-07-20 15:36:02 发布 · 1.2k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #最新科技成果 #O1 #推理模型 #LLM

  • 引言

  • 简介

  • Marco推理数据集

  • 通过MCTS扩展解空间

    • 前置知识：蒙特卡罗树搜索（MCTS）

    • MCTS扩展解空间

  • 推理行动策略

    • 行动选择

    • 思考后的反思

  • 实验

    • 设置

    • 主要结果

    • 翻译任务案例研究

  • 总结

0. 引言

小伙伴们好，我是《小窗幽记机器学习》的小编卖铁观音的柯南。

OpenAI的o1模型的出现：

OpenAI o1三部曲：上篇-概述、

OpenAI o1三部曲：中篇-原理、

OpenAI o1三部曲：下篇-乞丐版o1-mini

引发了学术界和工业界对大规模推理模型(large reasoning models ，LRM)研究的浓厚兴趣。鉴于前文对主流O1模型进行评测：实测主流O1模型，究竟谁才是地表最强王者？揭开三足鼎立局面！，结果显示开源的Marco-o1效果不错，甚至超越部分闭源产品。为此，今天这篇小作文将全面介绍Marco-o1的技术细节。

1. 简介

阿里国际数字化商业团队(非Qwen团队)提出Marco-o1，该模型不仅关注数学、物理和编程等具有标准答案的学科领域(这些领域非常适合强化学习)，还更加注重开放性解决方案。Marco-o1旨在解答一个问题:"o1模型能否有效地推广到那些缺乏明确标准且难以量化奖励的更广泛领域？"

Marco-o1采用思维链(CoT)微调、蒙特卡罗树搜索(MCTS)、反思机制和创新的推理动作策略，专门针对复杂的现实问题求解任务进行了优化。Marco-o1主要贡献包括:

  • 基于CoT数据的微调：通过对基础模型进行全参数微调，结合开源的CoT数据集和自主开发的合成数据，开发了Marco-o1-CoT模型。

  • MCTS扩展解空间：将大语言模型与MCTS整合，训练得到Marco-o1-MCTS。该模型使用模型输出置信度来指导搜索并扩展解空间。

  • 推理动作策略：引入了新型推理动作策略与反思机制（Marco-o1-MCTS Mini-Step），包括在MCTS框架内探索不同动作粒度，并提示模型自我反思，从而显著提高了模型解决复杂问题的能力。

  • 在翻译任务中的应用：首次将大推理模型（LRM）应用于机器翻译任务，探索了推理时间缩放定律在多语言和翻译领域的应用。

如图2所示，通过使用经过筛选的Open-O1 CoT数据集(OpenO1 Team在2024发布的)、Marco-o1 CoT数据集和Marco-o1指令数据集对Qwen2-7B-Instruct进行微调，Marco-o1提升了处理复杂任务的能力。MCTS利用top-k替代token的softmax对数概率得出的置信度分数，探索多个推理路径，引导模型找到最优解。此外，推理行动策略在步骤和微步骤中采用不同的行动粒度，以优化搜索效率和准确性。

图2：Marco-o1 概述

Github: https://github.com/AIDC-AI/Marco-o1

模型下载: https://huggingface.co/AIDC-AI/Marco-o1

论文地址: https://arxiv.org/abs/2411.14405

2. Marco推理数据集

为增强Marco-o1模型的推理能力，采用了监督微调(SFT)策略，使用多样化的数据集，如表1所示。

  • Open-O1 CoT数据集(经过筛选) ： 通过启发式和质量筛选过程优化Open-O1项目的CoT数据集，使模型能够有效采用结构化推理模式。

  • Marco-o1 CoT数据集(合成)：使用MCTS生成Marco-o1 CoT数据集，有助于形成复杂的推理路径，增强模型的推理能力。

  • Marco指令数据集：在执行复杂任务中强大的指令遵循能力将起到关键作用，为此融入了一套指令遵循数据。这种整合确保模型能够应对广泛的任务，同时显著提升其推理能力。

表1：Marco推理数据集概览

3. 通过MCTS扩展解空间

以下略章节，请前往公众号文章：推理模型专题 | 开源类O1：Marco-o1技术全面解读

前置知识：蒙特卡罗树搜索（MCTS）

略

MCTS扩展解空间

略

4. 推理行动策略

4.1 行动选择

略

4.2 思考后的反思

略

5. 实验

略

6. 总结

受OpenAI推出的o1模型启发，阿里国际团队研发了Marco-o1模型，以提升大语言模型的推理能力。通过结合CoT微调、MCTS算法和推理行动策略，Marco-o1显著增强了处理复杂任务的能力。在MGSM数据集上的实验表明，其推理准确率提升明显，并在翻译任务中展现出对细微语义的深入理解。该研究的主要贡献包括：全参数微调模型、融合MCTS扩展解空间、优化推理行动策略，以及首次探索大模型在翻译任务中的推理规律。

官方表示后续计划通过结果奖励建模(ORM)和过程奖励建模(PRM)来完善MCTS的奖励信号，这将减少随机性并进一步提高性能。此外，正在探索强化学习技术来微调Marco-o1的决策过程，最终增强其处理复杂现实任务的能力。

AI Agent: AI的下一个风口 AutoGPT：通过自然语言的需求描述执行自动化任务
AI天才研究院
06-29 1315
随着人工智能技术的快速发展，我们正在进入一个新的AI时代。传统的AI系统虽然在特定任务上表现出色，但往往缺乏灵活性和自主性。用户需要一种更智能、更自主的AI系统，能够理解复杂的自然语言指令，并自动执行各种任务。这种需求催生了AI Agent的概念，其中AutoGPT作为一个典型代表，正在引领AI的下一个风口。基于大型语言模型的自然语言理解和生成任务分解与规划上下文管理和记忆机制自主决策与执行持续学习与优化。
阿里开放式AI推理模型Marco-o1震撼开源！一文详解Marco-o1的推理策略
qq_51957239的博客
11-24 1382
OpenAI 最近推出了开创性的 o1 模型，以其卓越的推理能力而闻名。该模型在 AIME 和 CodeForces 等平台上表现出色，超越了其他领先模型。受此成功的启发，阿里研究团队旨在进一步拓展大型语言模型 (LLM) 的边界，增强其推理能力，以应对复杂的现实世界挑战，开源了Marco-o1推理模型。Marco-o1更加重视开放式问题的解决，目标是解决这个问题：“o1模型能否有效地推广到缺乏明确标准且奖励难以量化的更广泛领域？
Marco-o1 推理模型震撼发布 | 启开放之智，论无垠之解
m0_59163425的博客
11-24 1201
文章导读：MarcoPolo团队，隶属于阿里巴巴国际数字商务部，推出了Marco-o1，这是一款先进的大型语言模型（LLM），旨在解决开放性问题解决任务中的推理需求。Marco-o1采用了诸如链式思维（CoT）微调、蒙特卡罗树搜索（MCTS）和新型推理策略等技术，旨在推动AI模型在处理复杂现实挑战方面的边界。开发团队已将Marco-o1发布在GitHub和Hugging Face平台，使得研究人员和开发者可以访问。
o1圈杀疯了，阿里又开源Marco-o1
star_nwe的博客
11-23 802
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
阿里推理模型来了！Marco-o1 发布即开源
AI生成式技术曾小健
11-22 768
Marco-o1在翻译任务上展现出了惊人的实力。（Marco-o1-MCTS Mini-Step），在MCTS框架内探索不同的行动粒度，并引导模型进行自我反思。它不仅能解决标准问题，更重要的是能够处理那些没有标准答案、难以量化的开放性问题。和自研合成数据对基础模型进行全参数微调，打造出Marco-o1-CoT。）应用于机器翻译任务，探索多语言和翻译领域的推理时间扩展规律。这个名为Marco-o1的模型可不是简单的大语言模型。基础上，通过精心设计的数据集进行微调。2024年11月22日 13:00。
大模型论文 | 阿里开源Marco-o1，首个基于链式思考（COT）的开源大模型
Code1994的博客
11-23 1317
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
【读论文】Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions
wqxwy的博客
11-23 567
[2411.14405] Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions随着OpenAI推出的o1模型在逻辑推理能力上的突破，人们对大型推理模型（LRM）的兴趣逐渐增加。然而，目前的研究主要集中在标准答案明确的领域，如数学、物理和代码。Marco-o1旨在进一步拓展模型的推理能力，特别是在缺乏明确标准和难以量化奖励的开放性问题上，探索是否能实现广泛领域的有效泛化。现有的大型语言模型（LLM）通常通过强化学习（RL）优化在标准答
【开源+代码解读】Search-R1：基于强化学习的检索增强大语言模型框架3小时即可打造个人AI-search
aqfcca的博客
03-15 2502
（字数太多了，写下去怕我和读者都不好了，想要后面的可以订阅专栏后再私信我） 在当代自然语言处理领域，大语言模型（Large Language Models, LLMs）虽然在文本生成和理解任务中展现出卓越能力，但仍面临两个关键挑战：Search-R1创新性地将强化学习（Reinforcement Learning）与检索增强（Retrieval-Augmented Generation）相结合，构建了动态自适应的信息处理框架。通过设计奖励机制引导模型学习最优检索策略，在保
AI原生应用领域语义索引：提升信息检索的精准度
最新发布
AI天才研究院
07-20 655
本文旨在系统性地介绍语义索引技术在AI原生应用中的应用，涵盖从基础概念到实际实现的完整知识体系。我们将重点探讨如何通过语义理解提升传统信息检索系统的精准度。文章将从语义索引的基本概念入手，逐步深入到核心算法和实现细节，最后探讨实际应用案例和未来发展方向。语义索引：基于内容含义而非字面关键词构建的索引结构向量嵌入：将文本转换为高维数值向量的过程相似度计算：衡量两个向量之间语义相似程度的数学方法语义索引：理解内容含义而不仅是关键词的智能索引方法向量嵌入：将文本转换为保留语义关系的数学表示相似度计算。
CMU最新论文：机器人智慧流畅的躲避障碍物论文详细讲解
jiayoushijie的博客
06-14 4827
CMU华人博士生Tairan He最新论文：Agile But Safe: Learning Collision-Free High-Speed Legged Locomotion 代码开源：Code: https://github.com/LeCAR-Lab/ABS我会详细解读论文的内容,让我们开始吧。腿式机器人在杂乱环境中导航必须兼顾敏捷性以提高执行任务的效率,同时要确保安全性以避免与障碍物或人发生碰撞。
刚刚，OpenAI发布了o1模型，国内可用
Maynor的博客
09-13 1305
就在刚刚，OpenAI发布了全新的o1系列推理模型及其简化版o1-mini。这个系列专注于解决复杂问题，首发为预览版。o1系列在科学、编程和数学等领域表现出色，具备高安全性。o1-mini则更快、更经济，编程能力出众，价格比o1低80%。ChatGPT Plus和Team用户现已可用，Enterprise与Edu用户将于下周开放。注册即送24小时GPT4免费体验!镜像站已同步更新新模型。
类o1系列模型大盘点：QwQ、Deepseek-R1、Marco-o1、Huatuo-o1、GLM-Zero...
sherlockMa的博客
01-04 7213
OpenAI的o1模型代表了人工智能领域在推理能力方面的一个重要进步。本文将盘点几个具有代表性的类o1工作：包括OpenAI o1、来自阿里巴巴团队的QwQ、QVQ、Marco-o1、和Deepseek团队的R1、以及智谱团队的GLM-Zero、还有增强LLaVA性能的LLaVA-CoT，以及面向医学大模型的Huatuo-o1、来自微信团队的DRT-o1等。
国内“推理模型”卷疯了！类 o1 推理模型，谁更强？
m0_70486148的博客
12-04 2850
9 月份，OpenAI 正式公开前所未有的复杂推理大模型 o1，这是一个重大突破，新模型既具有通用的能力，也可以解决比此前的科学、代码和数学模型能做到的更难问题。实验结果表明，在绝大多数推理任务中，o1 的表现明显优于 GPT-4o。图：o1 在具有挑战性的推理基准上比 GPT-4o 有了很大的改进OpenAI 为大模型的能力开启了新方向：「能不能像人一样思考与推理」已经成为了评判它们能力的重要指标。最近这段时间，国内AI领域中，“推理模型”非常卷！01。
社区供稿｜阿里国际AI团队最新开源！探索面向开放性问题的推理模型 Marco-o1
bagell的博客
11-23 1016
我们发布了最新的Marco-o1模型，Marco-o1不仅关注具有标准答案的学科（例如代码、数学等）领域，而且更加强调开放式问题的解决方案。我们的目标是解决：“o1这类模型能否有效的推广到难以量化且缺乏明确奖励的其他领域上”这一问题。**1. 使用了超长CoT数据进行微调。**我们通过self-play+MCTS构建了一批具备反思、改正能力的超长CoT数据。结合其他开源数据一同训练了Marco-o1-CoT。**2. 使用MCTS扩展解空间。
最新开源：阿里巴巴开源推理模型 Marco-o1！智子引擎开源多模态MoE大模型 Awaker2.5-VL!
2401_85373898的博客
11-25 1101
11 月 22 日，阿里巴巴国际数字商业集团 MarcoPolo 团队发布了，这是一种旨在推进开放式问题解决的大型推理模型 (LRM)。不仅关注数学、物理和编程等有标准答案的学科，还强调开放性解决方案。通过使用等创新技术，优化了复杂的现实世界问题解决任务。_论文链接：__项目地址：_：团队使用开源和自研合成数据对基础模型进行全参数微调，打造出Marco-o1-CoT。：通过将大语言模型与（MCTS）相结合，利用模型输出的置信度来指导搜索，大大扩展了解决方案空间。：实现了全新的推理行动策略和。
阿里提出Marco-o1：探索开放推理模型在复杂问题解决中的应用与突破
zenRRan的博客
11-22 967
这篇论文介绍了Marco-o1模型，旨在通过结合Chain-of-Thought（CoT）微调、蒙特卡罗树搜索（MCTS）、反思机制和创新推理策略，增强大型语言模型（LLM）在复杂现实世界问题解决任务中的推理能力。论文：Marco-o1: Towards Open Reasoning Models for Open-Ended Solutions链接：https://arxiv.org/pdf/2...
OpenAl o1大模型：原理、突破、前景及影响
xx_nm98的博客
09-19 3516
北京时间2024年9月13日凌晨，OpenAI正式发布了新的人工智能模型o1（o是orion猎户座，1代表从头再来，也意味着后续将出现更多序列），就是此前OpenAI一直在高调宣传的草莓大模型。OpenAI没有延续使用GPT序列，可见其与传统预训练模型有新的变革性训练方法和功能，o1具备复杂推理能力，解决比目前专业的科学、代码和数学模型所能解决的更难的问题。值得注意的是，相比GPT-4o等其他大模型，一是采用大规模自我对弈强化学习**（Self-play RL）**，设置奖惩机制，让模型自行学习解决问题。
阿里AI团队开源：探索面向开放型问题的推理大模型 Marco-o1
2201_75499313的博客
12-09 975
最近已有不少大厂停止秋招宣讲，准备计划准备春招吧。节前，我们邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对新手如何入门算法岗、该如何准备面试攻略、面试常考点、大模型技术趋势、算法项目落地经验分享等热门话题进行了深入的讨论。阿里国际AI团队发布了最新的Marco-o1模型，Marco-o1不仅关注具有标准答案的学科（例如代码、数学等）领域，而且更加强调开放式问题的解决方案。研究团队的目标是解决：“o1这类模型能否有效的推广到难以量化且缺乏明确奖励的其他领域上”这一问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值