刚刚！Meta官宣！两篇Agent Learning论文，给AI智能体指明了新方向！

关注

原创最新推荐文章于 2026-09-24 10:09:03 发布 1k 阅读 AI 写同款· GEO 优化 ›

从零构建AI智能体：OpenRouter Ori Prime Agent实战指南在AI应用开发中，大语言模型API调用与智能体（Agent）架构是核心技术概念。API调用提供了基础的文本生成能力，而智能体则通过规划、工具使用和记忆等机制，实现了更复杂的任务自动化与推理能力。其技术价值在于将大模型从单纯的文本生成器升级为可执行多步骤工作流的自主系统，广泛应用于客服自动化、数据分析、代码生成等场景。本文聚焦于OpenRouter平台及其Ori Prime Agent功能，通过实战演示如何利用统一网关管理多模型调用，并构建具备工具调用能力的智能体。内容涵盖从基础API连通性测试到完整智能体循阅读详情

今天分享Meta SuperLabs最新发表的2篇关于Agent Learning的论文：

2025.11 《Scaling Agent Learning via Experience Synthesis》
2025.10 《Agent Learning via Early Experience》

两篇文章从“如何低成本获得高质量经验”出发，形成一条完整技术链：
离线专家数据 → 早期经验增广 → 合成环境狂飙 → Sim-to-Real 微调，为语言智能体进入“规模化 RL 时代”提供可复现的路线图。

一、Agent RL 的三座大山

rollout 太贵
WebArena 一次完整交互≈30 s，812 任务全跑一遍≈6.8 小时，训练 GRPO 动辄 80 k transitions。
奖励稀疏甚至缺失
网页场景无 ground-truth 奖励；form 提交成功≠字段全对。
任务多样性不足
手工写 800 条指令已是天花板，难以支持课程化训练。

二、Early Experience：把“专家演示”变成“经验海洋”

2.1 思想一句话

与其等环境给奖励，不如让 agent 自己“试一脚”——用产生的未来状态当监督信号。

2.2 两大技术路线

路线	输入	输出	目标
Implicit World Modeling (IWM)	(s, a’)	s’	学会“预测下一步世界”
Self-Reflection (SR)	(s, a_expert, a’, s’)	自然语言反思 c	学会“为什么专家更好”

图 1：从人类数据时代 → 早期经验时代 → 完全经验时代

2.3 数据飞轮

从专家轨迹 Dexpert 中采样状态 si
用初始策略 πθ 生成 K 个替代动作 aji
在真实环境执行，收集 (si, aji, sji) 构成 Drollout
用 Drollout 做 IWM 或 SR 的增广训练
微调后的 πθ 继续产生更多 Drollout → 正向循环

2.4 结果速览

Table2 8个benchmarks结果

OOD结果

结论：仅需 1/8 专家数据即可打平 IL 全量效果，且 OOD 泛化增益更大。

三、DreamGym：再往前一步，把“真实交互”直接省掉

3.1 核心洞察

Agent 训练不需要完美仿真，只需要“足够多样、因果一致、可解释”的经验。

于是作者用一个 LLM 扮演 Experience Model，直接“推理”出下一状态与奖励，形成“零真实 rollout”的 RL 训练场。

Fig-2 DreamGym 框架

图 2：Experience Model 交替与 Agent 交互，Replay Buffer 持续更新，Task Generator 动态产出高熵任务

3.2 三大组件

组件	作用	关键技巧
Reasoning Experience Model	给定 (s, a, τ, 历史, 相似轨迹) → (s’, r) + CoT 解释	抽象文本状态空间，过滤 HTML 噪声
Experience Replay Buffer	离线种子 + 在线新生成，top-k 相似检索防幻觉	持续与策略共进化
Curriculum Task Generator	选“成功率≈50%”的高熵任务 → 产生变体	保证信息增益最大

3.3 实验亮点

DreamGym不同agnet训练算法结果

DreamGym 零真实交互即可打平甚至超越传统 RL；再叠加 5 k 真实 rollout（DreamGym-S2R）直接 +8~10% 绝对增益。

case分析

四、技术对比：Early Experience vs DreamGym

维度	Early Experience	DreamGym
是否触碰真实环境	✅ 需要执行替代动作	❌ 完全合成
奖励信号	无需奖励，用 s’ 监督	自产奖励 r∈{0,1}
数据效率	10× 专家数据压缩	2 k-10 k 过渡即可训练
与 RL 衔接	提供热启动，后续接 GRPO	直接内置 PPO/GRPO
最大瓶颈	仍需真实 rollout 采集	依赖 LLM 推理能力，存在幻觉风险

体验即数据，推理即环境

从 Early Experience 到 DreamGym，两条工作共同指向一个核心趋势——

“经验”不再是昂贵采集的稀缺品，而是可以靠大模型按需合成的数据原材料。

当“体验”可以被无限生成、“奖励”可以被即时推理，语言智能体才真正迈入**“ scalable RL ”的飞轮时代。对于工业界而言，这意味着“小样本专家轨迹 + 大模型合成”**将成为新的标准范式，而“真实环境”只用在最后 5% 的关头做校准——轻量、低成本、可扩展，下一轮 agent 爆发或许就此开启。

https://arxiv.org/pdf/2510.08558https://arxiv.org/pdf/2511.03773

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【`保证100%免费`】

在这里插入图片描述

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用，大模型作为其中的重要组成部分，正逐渐成为推动人工智能发展的重要引擎。大模型以其强大的数据处理和模式识别能力，广泛应用于自然语言处理、计算机视觉、智能推荐等领域，为各行各业带来了革命性的改变和机遇。

在这里插入图片描述

适合人群

在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。