刚刚！Meta官宣！两篇Agent Learning论文，给AI智能体指明了新方向！

最新推荐文章于 2025-11-30 18:24:05 发布
原创 最新推荐文章于 2025-11-30 18:24:05 发布 · 723 阅读 · 23 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#人工智能 #人机交互 #数据挖掘 #机器学习 #分类

今天分享Meta SuperLabs最新发表的2篇关于Agent Learning的论文：

  • 2025.11 《Scaling Agent Learning via Experience Synthesis》
  • 2025.10 《Agent Learning via Early Experience》

两篇文章从“如何低成本获得高质量经验”出发，形成一条完整技术链：
离线专家数据 → 早期经验增广 → 合成环境狂飙 → Sim-to-Real 微调，为语言智能体进入“规模化 RL 时代”提供可复现的路线图。

一、Agent RL 的三座大山

  1. rollout 太贵
    WebArena 一次完整交互≈30 s，812 任务全跑一遍≈6.8 小时，训练 GRPO 动辄 80 k transitions。
  2. 奖励稀疏甚至缺失
    网页场景无 ground-truth 奖励；form 提交成功≠字段全对。
  3. 任务多样性不足
    手工写 800 条指令已是天花板，难以支持课程化训练。

二、Early Experience：把“专家演示”变成“经验海洋”

2.1 思想一句话

与其等环境给奖励，不如让 agent 自己“试一脚”——用产生的未来状态当监督信号。

2.2 两大技术路线

路线输入输出目标
Implicit World Modeling (IWM)(s, a’)s’学会“预测下一步世界”
Self-Reflection (SR)(s, a_expert, a’, s’)自然语言反思 c学会“为什么专家更好”

图 1：从人类数据时代 → 早期经验时代 → 完全经验时代

2.3 数据飞轮

  1. 从专家轨迹 Dexpert 中采样状态 si
  2. 用初始策略 πθ 生成 K 个替代动作 aji
  3. 在真实环境执行，收集 (si, aji, sji) 构成 Drollout
  4. 用 Drollout 做 IWM 或 SR 的增广训练
  5. 微调后的 πθ 继续产生更多 Drollout → 正向循环

2.4 结果速览

Table2 8个benchmarks结果

OOD结果

结论：仅需 1/8 专家数据即可打平 IL 全量效果，且 OOD 泛化增益更大。

三、DreamGym：再往前一步，把“真实交互”直接省掉

3.1 核心洞察

Agent 训练不需要完美仿真，只需要“足够多样、因果一致、可解释”的经验。

于是作者用一个 LLM 扮演 Experience Model，直接“推理”出下一状态与奖励，形成“零真实 rollout”的 RL 训练场。

Fig-2 DreamGym 框架

图 2：Experience Model 交替与 Agent 交互，Replay Buffer 持续更新，Task Generator 动态产出高熵任务

3.2 三大组件

组件作用关键技巧
Reasoning Experience Model给定 (s, a, τ, 历史, 相似轨迹) → (s’, r) + CoT 解释抽象文本状态空间，过滤 HTML 噪声
Experience Replay Buffer离线种子 + 在线新生成，top-k 相似检索防幻觉持续与策略共进化
Curriculum Task Generator选“成功率≈50%”的高熵任务 → 产生变体保证信息增益最大

3.3 实验亮点

DreamGym不同agnet训练算法结果

DreamGym 零真实交互即可打平甚至超越传统 RL；再叠加 5 k 真实 rollout（DreamGym-S2R）直接 +8~10% 绝对增益。

case分析

四、技术对比：Early Experience vs DreamGym

维度Early ExperienceDreamGym
是否触碰真实环境✅ 需要执行替代动作❌ 完全合成
奖励信号无需奖励，用 s’ 监督自产奖励 r∈{0,1}
数据效率10× 专家数据压缩2 k-10 k 过渡即可训练
与 RL 衔接提供热启动，后续接 GRPO直接内置 PPO/GRPO
最大瓶颈仍需真实 rollout 采集依赖 LLM 推理能力，存在幻觉风险

体验即数据，推理即环境

从 Early Experience 到 DreamGym，两条工作共同指向一个核心趋势——

“经验”不再是昂贵采集的稀缺品，而是可以靠大模型按需合成的数据原材料。

当“体验”可以被无限生成、“奖励”可以被即时推理，语言智能体才真正迈入**“ scalable RL ”的飞轮时代。对于工业界而言，这意味着“小样本专家轨迹 + 大模型合成”**将成为新的标准范式，而“真实环境”只用在最后 5% 的关头做校准——轻量、低成本、可扩展，下一轮 agent 爆发或许就此开启。

https://arxiv.org/pdf/2510.08558https://arxiv.org/pdf/2511.03773

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

在这里插入图片描述

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

在这里插入图片描述

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等
在这里插入图片描述

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

在这里插入图片描述

在这里插入图片描述

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

在这里插入图片描述

适合人群

  • 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
  • IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
  • IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
  • 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
    在这里插入图片描述

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

在这里插入图片描述
RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。 在这里插入图片描述

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

在这里插入图片描述

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。 在这里插入图片描述

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路
在这里插入图片描述

一对一学习规划，职业生涯指导

  • 真实商业项目实训
  • 大厂绿色直通车

人才库优秀学员参与真实商业项目实训
以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调 在这里插入图片描述
大厂绿色直通车，冲击行业高薪岗位

在这里插入图片描述

文中涉及到的完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

在这里插入图片描述

LLM-Based AI Agent 核心思想、发展历史、未来趋势【资料大全】
AI天才研究院
12-07 854
复旦大学NLP团队在其综述论文中提出,LLM-based Agent由大脑、感知和行动大脑: 由LLM组成,负责存储记忆和知识,以及信息处理、决策等功能感知模块: 负责获取环境信息,将多模态输入转换为可用提示行动模块: 执行决策,通过具身能力和工具使用与环境进行交互这一架构与人类智能具有显著的相似性,展现了AI Agent在模仿人类智能方面的进展。
AI的远征：当智能代理踏上没有尽头的任务之路
步子哥的博客
11-12 45
将原本串行的步骤改为并行执行。这种"快慢结合"的双循环设计，创造了一种。
当智能体开始“编造自己的经验”：Scaling Agent Learning via Experience Synthesis 解读
yanqianglifei的专栏
11-09 930
DreamGym 通过使强化学习在大语言模型（LLM）代理的先前难以处理的领域中实现有效训练，同时大幅减少可行领域的数据和计算需求，从而解决了强化学习中的基本可伸缩性挑战。该方法表明，关注与学习相关的信号而非环境保真度可以带来更高效、更有效的代理训练。该框架能够在“非强化学习就绪”环境中实现强化学习，同时在传统强化学习设置中提供显著的效率提升，这使其成为扩展自主代理开发的实用解决方案。
RL成本降幅超90%！Meta提出Agent训练新范式DreamGym
zenRRan的博客
11-10 42
实验表明，DreamGym 在多种任务和Agent模型上均取得显著性能提升，尤其在非RL就绪环境中表现突出，为通用Agent的规模化训练开辟了新路径。强化学习（RL）被视为提升Agent适应性的关键路径，但传统RL依赖大量真实环境交互，成本高昂、任务多样性有限、奖励信号不稳定，且基础设施复杂，导致其难以规模化应用。如图所示，DreamGym 以种子任务为起点，通过经验模型与Agent的交互生成轨迹，并结合课程任务生成器动态调整任务难度，形成一个闭环训练系统。模型据此生成渐进式更难的任务，形成“课程学习”。
AI-Agent系列(一)：智能体起源探究
2401_85375151的博客
08-14 1911
本文主要向大家讲述智能体的概念、渊源和发展历史，帮助大家对智能体这一概念奠定一个正确认知。
港科最新LLM Agent综述：揭秘交互学习到自主进化的AI智能体革命！
m0_63171455的博客
11-26 600
文章探讨了大语言模型智能体训练中静态数据集的局限性，提出"交互学习"范式作为解决方案。通过"生成-执行-反馈(GEF)循环"框架，从任务生成、执行和反馈三个阶段提升环境复杂度、动态性、多样性、交互性和真实性，使智能体从"被动学习者"转变为"主动探索者"，实现能力持续进化和自主突破。
万字长文！首篇智能体自进化综述：迈向超级人工智能之路
CV_Autobot的博客
09-12 174
点击下方卡片，关注“大模型之心Tech”公众号戳我 -> 领取大模型巨卷干货普林斯顿大学、普林斯顿AI Lab、清华大学、卡内基梅隆、上交等团队最新的自进化Agent综述！系统梳理了这个关键节点，尤其展开研究了三个核心问题：进化什么？（模型、记忆、工具、架构等）何时进化？（Test-Time 阶段内 vs 阶段间）如何进化？（通过奖励、反馈、记忆、搜索等机制）我们总结了相关都最新算法、评估指标与基准任务，并总结了多个应用场景，旨在探讨面向 Super Intelligence 的长期路径 。arXiv: h
揭秘通用AI智能体的核心模块：构建未来智能的关键技术！
2401_84204207的博客
06-14 1310
这些构建模块并非孤立存在，而是深度互联、协同工作的。例如，有效的“规划”依赖于准确的“感知”和可访问的“记忆”；“行动”执行的质量取决于“推理”的水平；而“学习”则会反过来改进所有其他组件的功能。设计通用智能体时，必须仔细考虑这些模块间的相互依赖关系以及它们之间的数据流。这意味着架构设计不仅要考虑模块化，更要关注模块间的接口和信息交互效率。
探索通用AI智能体的核心：揭秘构建未来智能的关键模块！
2401_84204413的博客
06-13 884
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来
2025年AI Agent智能体深度分析报告
专注于各行业领域AI最新进展及前沿技术探索
07-01 1509
2025年AIAgent发展报告摘要 2025年，AIAgent（智能体）技术从实验性原型演进为企业战略核心，市场规模预计从2024年的50亿美元增长至2030年的500亿美元，年均复合增长率达45%。 核心进展： 市场动能：企业转向垂直领域Agentic解决方案，ROI显著高于通用AI工具。 技术成熟：LangChain、AutoGen等框架支持复杂Agent系统开发；推理、记忆和多模态交互能力突破。 商业化加速：Salesforce、Google等推出企业级平台，Agent在销售、客服等领域规模化部署。
大模型GUI系列论文阅读 DAY1：《基于大型语言模型的图形用户界面智能体：综述》（6.6W 字长文）
feifeikon的博客
01-19 2625
大型语言模型（LargeLanguageModels,LLMs）的兴起[8][9]，特别是那些增强了多模态能力的模型[10]，为GUI自动化带来了颠覆性变化，重新定义了智能体与图形用户界面交互的方式。我们将回顾GUI智能体的发展历史，提供构建这些智能体的分步指南，汇总基本和高级技术，评审与框架、数据和模型相关的重要工具和研究，展示典型应用，并概述未来发展方向。通过这些问题，本综述旨在提供对该领域现状的全面概览，为构建LLM驱动的GUI智能体提供指导，识别关键研究空白，并提出未来工作的方向。
吴恩达深度解析Agent的四种工作方式
python122_的博客
06-15 1212
当我们讨论AGI时，Agent的工作方式无疑占据了技术前沿的中心舞台。随着大模型的快速进步，我们见证了各种新模式的涌现，这些模式不仅提升了llm的效能，更在根本上改变了它们与人类互动的方式。最近一个月时间，吴恩达在社交媒体上分享了关于AI代理四种工作方式的见解，这些内容不仅洞察深刻，还为AI的应用开辟了新的可能性。他的讨论不仅令人兴奋，更是对所有关注人工智能发展的人士的一次宝贵启示。接下来，让我们一起探索这些工作方式，并思考它们如何使得AI代理在执行复杂任务时更为高效和智能。
Agentic AI的崛起：人类智能的终极挑战
Python编程之道的博客
10-08 1066
清晨6:30，当李明睁开眼睛时，他的个人AI助手"晨曦"已经完成了一系列复杂任务：分析了他昨晚的睡眠数据，调整了今天的日程安排，与营养师合作优化了早餐配方，根据最新的交通数据重新规划了通勤路线，甚至自主联系了维修人员处理他家空调的潜在故障——这一切都基于对李明生活习惯的深度理解和一个简单的总体目标：“确保李明今天的生活高效且舒适”。最令人惊讶的是，"晨曦"发现李明近期工作压力过大，主动预约了一位心理咨询师，并根据李明的时间偏好和性格特点筛选了三位最合适的人选。
【推荐系统】深度学习训练框架（五）：pyspark分布式TorchDistributor主从读取OSS文件认证机制
人工智能领域博客
11-28 1822
摘要： 本文详细解释了Spark Driver端与Worker端在OSS认证上的核心区别。Driver端通过Spark配置自动认证，而Worker端（独立Python进程）需显式提供认证信息。认证来源优先级为：1)Driver传递参数，2)环境变量，3)IAM角色。文章分析了架构差异导致的不同认证方式，并推荐从Driver传递认证信息的解决方案。当前实现已采用该方案，通过Spark配置或环境变量获取认证后传递给Worker进程，确保PyArrow能正确访问OSS数据。
信息检索13
2301_80828873的博客
11-26 2173
最近邻检索的方法，PQ，IVF,HNSW
向量嵌入：RAG系统背后的语义引擎
uncle_ll的博客
11-29 1098
向量嵌入技术将高维语义信息压缩为低维向量，使相似概念在向量空间中聚集。作为RAG系统的核心，嵌入质量直接影响语义检索效果。从静态词嵌入到动态上下文嵌入，技术不断演进，解决了多义词等难题。现代嵌入模型基于Transformer架构，通过对比学习优化检索性能。选型需考虑MTEB排名、语言支持等维度，并结合业务测试。未来趋势包括多模态融合、知识图谱增强和轻量化部署。嵌入技术已成为NLP领域的关键支柱，其优化对提升RAG系统性能至关重要。
07_Spring AI 干货笔记之提示词
最新发布
在科技的浪潮中，我们寻找着创新的火种，在代码的海洋里，我们编织着智慧的网。腾飞开源，就是这样一个由技术精英汇聚而成的博客平台，我们致力于分享在Java、Python、IoT和人工智能等领域的最新研究成果和实战经验。 在腾飞开源的博客上，你会看到紧跟技术前
11-30 837
本文详细介绍了Spring AI中的提示词核心概念与API设计。提示词作为引导AI模型生成特定输出的关键输入，其结构从简单字符串演进为包含多角色消息的复杂形式。Spring AI通过Prompt和Message接口提供结构化提示词管理，支持系统、用户、助手等角色分配。PromptTemplate类实现动态内容渲染，并支持自定义模板引擎。文章还涵盖提示词工程的最佳实践与令牌机制，为开发者提供完整的提示词设计解决方案。
RAG信息检索全解析：从Embedding到Reranker的超详细教程1
Trb201013的博客
11-27 1385
文章介绍了RAG系统中信息检索环节的核心技术，包括文档段落嵌入和用户查询嵌入，将文本转换为向量表示；详细解释了相似度检索的多种方法，如Top-K检索、MMR策略和Reranker二次排序技术；强调了合理切分策略对嵌入效果的重要性，以及查询扩展技术对提高检索准确度的作用。指出RAG的本质是"开卷考试"，检索质量直接影响最终生成效果。
【LoRA（低秩适应）技术详解：原理、公式与实践】
m0_46882548的博客
11-26 1621
参数高效：可训练参数量通常仅为全量微调的0.01% - 3%，极大降低了计算和存储成本。内存友好：由于大部分原始权重被冻结，无需存储其优化器状态，显著减少了训练时的显存占用。无推理延迟：训练后可将LoRA权重合并回原模型，推理速度与原始模型一致。模块化与灵活性：一个基础模型可以搭配多个针对不同任务的、体积很小（几兆字节）的LoRA适配器，轻松切换任务。减轻灾难性遗忘：因为原始权重基本不动，模型在适应新任务时更不容易遗忘预训练时获得的通用知识。
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值