斯坦福新RL范式超详细教程：让3B模型超越GPT-4的核心技术，收藏这篇就够了！

近年来，大型语言模型（LM）代理通过调用外部工具（如代码执行器），已经能够完成从编写软件到进行科学研究的复杂任务。一个终极愿景是，让这些AI代理能够通过完成机器学习工程（MLE）任务，甚至迭代地创造出更好的AI模型本身。

然而，现有的MLE代理大多依赖于一个简单策略：提示（Prompting） 强大的、现成的大模型（如Claude、GPT）。这种方式存在一个根本性缺陷——代理本身不会学习。无论积累了多少成功或失败的经验，它的核心行为模式（即模型参数）是静态的。就像给一个天才学生不断出题，但他从不复习错题本，成绩提升全靠刷题量和题目提示的巧妙程度，自身能力并无增长。如图1所示，即使让最好的提示框架运行数天，其性能提升也微乎其微。

• 论文：Reinforcement Learning for Machine Learning Engineering Agents

一个很自然的想法是：为什么不让我们的小代理像学生一样学习呢？即利用积累的经验，通过强化学习（Reinforcement Learning, RL） 来更新其模型参数，从而真正地改进其能力。这篇论文正是基于这一思路，并取得了惊人发现：一个经过RL训练的小模型（Qwen2.5-3B），其最终性能可以显著超越仅被提示的、参数量大得多的顶级大模型（如Claude-3.5-Sonnet），在12个Kaggle任务上平均领先22%。

但这条路并非一帆风顺。本文将带你深入探讨研究者如何破解RL在代理环境中面临的两大独特挑战，并最终实现“小模型逆袭大模型”的精彩故事。

问题与方法

挑战一：可变时长动作导致的优化偏差

1. 问题分析：快就是好？

在标准的分布式RL训练中，多个“演员”（actor）并行地与环境交互，收集经验，然后发送给一个“学习者”（learner）进行梯度更新。这在模拟环境中（如游戏）很有效，因为每个动作（如移动一步）耗时基本相同。

但在MLE任务中，每个“动作”是一段代码，其执行时间天差地别。例如，训练一个逻辑回归模型可能只需1秒，而训练一个深度神经网络或进行复杂的特征工程可能需要几分钟甚至几小时。在分布式设置中，执行快的动作会更快地返回经验，从而更频繁地被用于梯度更新。执行慢的高质量动作，不仅采样次数少，甚至可能因超时而被丢弃。这导致RL优化过程产生了严重的偏差：它倾向于奖励“快”的动作，而非“好”的动作。如图2所示，未经处理的RL训练会迅速让代理收敛到执行飞快但性能差的解决方案（如简单的线性模型）。

2. 方法：持续时间感知的梯度更新

（1）数学建模与核心思想
研究者首先用一个简化的例子清晰地揭示了问题根源。假设有两个动作 (x) 和 (y)，其执行时间分别为 和 ，它们的优势函数（衡量动作好坏）估计值分别为 和 。在固定时间 (T) 内，动作 被采样的次数 与其被选择的概率 成正比，与其执行时间 成反比：

那么，动作 对总梯度的贡献 为：

注意到梯度贡献 被除以了 。这意味着，执行时间越短的动作，其对梯度更新的影响被放得越大！这是导致快动作占优的根本原因。

（2）解决方案与公式
为了解决这个问题，作者提出了一个直观而有效的解决方案：在计算梯度时，用动作的执行时间进行加权。这样，上面的梯度贡献就变成了：

看， 从分母移到了分子，与分子上的 中所隐含的 恰好抵消了！这样，每个动作对梯度的贡献就只取决于它本身被策略选中的概率 () 和它的优势值 ()，而与其执行速度彻底脱钩。

将这一思想推广到通用的策略梯度公式中，就得到了论文提出的持续时间感知的策略梯度更新规则：

• : 目标函数 关于策略参数 的梯度。
• : 在状态 下执行动作 所花费的时间。
• : 评分函数（score function），表示策略对当前动作的偏好程度。
• : 优势函数，衡量动作 相对于平均水平的优越程度。

用动作的执行时间来缩放其梯度更新量。 执行时间长的动作，即使它被采样的频率低，每次更新也会产生更大的影响，从而在优化过程中获得公平的对待。在实践中，作者还会对 进行批内平均时间归一化，避免单个极长动作导致梯度爆炸。

挑战二：稀疏奖励信号

1. 问题分析：成败论英雄的局限

MLE任务的天然奖励是模型在测试集上的性能指标（如准确率、AUC）。但这是一种非常稀疏（Sparse） 的奖励。代码必须从数据加载、预处理、模型构建、训练到最终推理提交，每一步都完全正确，才能获得一个正奖励。任何一步出错，奖励都是零或负值。

这就像考试只有“满分”和“零分”两种成绩。一个学生因为写错文件名而交卷失败，和另一个学生所有步骤都对但最后答案抄错了一位，获得的反馈都是“零分”。这种反馈无法区分“完全失败”和“接近成功”，使得学习过程异常困难。代理很容易被困在局部最优解中，例如，完全放弃复杂的机器学习步骤，转而用一些取巧的、能快速拿到基础分的方法。如图3所示，在一个情感分析任务中，代理最终收敛的方案是直接编码评估指标（Jaccard相似度）并在测试输入中搜索最佳短语，完全绕过了机器学习。

2. 方法：环境仪器化提供部分信用

为了解决稀疏奖励问题，作者提出了一个巧妙的“环境仪器化”方案，为中间步骤提供部分信用（Partial Credit）。

（1）核心思想：
在代码执行过程中插入“检查点”（print语句）。代理完成的步骤越多，它能打印出的检查点就越多，获得的部分奖励也就越高。这样，一个在数据加载阶段失败的方案，获得的奖励会远低于一个在模型训练完成后才失败的方案。

（2）方法流程：

1. 插入打印语句： 使用一个独立的、静态的（不参与RL训练）Qwen2.5-3B模型，来自动化地在代理生成的代码中插入预先定义好的打印语句（例如：print("imported packages"), print("loaded data"), print("training loss: {loss}") 等）。这个“仪器化LM”的提示词被设计为只添加打印语句，不修改原有代码逻辑。
2. 执行与匹配： 执行被仪器化后的代码，捕获终端输出。
3. 解析与赋分： 使用正则表达式（regex）匹配终端输出中的打印语句。完全失败的方案得-10分。每匹配到一个预定义的打印语句，就增加0.1分。如果能成功运行到最后并产生提交，则使用测试集上的真实性能得分（通常介于-1到1之间）作为奖励。

（3）关键设计：
必须使用一个独立的LM来进行仪器化。如果让正在学习的代理自己来插桩，它可能会学会“作弊”——生成大量打印语句来骗取部分奖励，而不去真正执行有价值的操作。

附加策略：自我改进提示（Multi-Step RL with Self-Improvement Prompt）

除了让代理直接从零开始解决问题，作者还进一步探索了让代理自我改进的能力。在训练过程中，以50%的概率给代理提供一个“自我改进”的提示，要求它基于之前某个解决方案的执行结果（包括终端输出和部分奖励）来修订和改进该方案。

这相当于给了代理一个“错题本”，让它学会分析失败原因并做出改进。虽然作者发现小模型的自我调试能力有限，但这种“从零生成”与“改进旧方案”相结合的方式，最终在12个任务中的10个上都带来了进一步的性能提升（平均提升8%）。

实验设置与评估

为了验证上述方法的有效性，作者在MLEBench基准上进行了全面的实验。MLEBench包含75个Kaggle挑战任务，涵盖图像、文本、表格数据上的分类和回归问题。

• 模型： 主要使用Qwen2.5-3B-Instruct作为可训练的RL智能体。对比的基线是诸如Claude-3.5-Sonnet、GPT-4o和Llama3.1-405B这样的“庞然大物”。
• 基线方法：

• 前沿模型+代理框架： 使用AIDE、OpenHands、MLAgentBench等先进的代理框架来提示（Prompt）大模型。
• 纯RL基线： 使用标准的分布式RL框架（如HybridFlow）而不加本文的改进。

• 评估指标： 使用MLEBench的评测器对最终提交的文件进行评分。报告多次运行的平均分和最佳分。
• 训练配置： 使用PPO算法，在8块A100 GPU上对每个任务训练1-3天直至收敛。超参数详情见附录表3。

结果与分析

主实验结果：RL小模型 vs. 提示大模型

表1

表2

表1 和 表2 展示了最核心的结果，令人印象深刻。

表1 将RL训练后的Qwen2.5-3B与使用AIDE框架提示的各大前沿模型进行对比。结果显示：

• 在12个任务中的8个上，3B的RL小模型取得了最佳性能。
• 平均而言，它的性能比强大的Claude-3.5-Sonnet高出22% ，比GPT-4o（100小时运行）高出24% 。
• 即使在它未能击败大模型的任务上，RL训练也显著超越了直接用AIDE提示Qwen2.5-3B本身的效果。

表2 对比了不同的代理框架。即使是用最强大的GPT-4o模型，搭配不同的代理框架（AIDE, OpenHands, MLAB），其性能也在不同任务上波动，且整体上仍然不敌经过RL训练的Qwen2.5-3B模型。这表明，RL提供了一种不依赖于特定提示框架的、更通用的性能提升途径。

图7

图7动态地展示了性能随时间的变化趋势。对于许多任务，提示大模型在开始时遥遥领先，但随着时间的推移，RL小模型通过持续学习，性能稳步提升并最终实现反超。这生动地体现了“学习”相对于“一次性推理”的长期优势。

消融研究（Ablation Studies）

消融实验有力地证明了每个创新组件的必要性。

1. 持续时间感知梯度的效果
没有持续时间感知加权时，代理生成的方案其平均执行时间会迅速下降并维持在很低水平（快但差的方案）。而采用了该方法后，代理能够探索并最终采用执行时间更长、但性能更好的方案（如梯度提升模型）。这表明该方法成功克服了优化偏差，鼓励代理追求高质量解。

2. 环境仪器化的效果
没有部分信用时，训练初期的平均得分极低（因为大量方案得-10分），且收敛速度慢，方差大（其中一个运行甚至未能产生任何有效解）。而有了环境仪器化提供的部分奖励，平均得分从训练开始就更高，且上升和收敛的速度更快、更稳定。这证明了部分信用对于缓解稀疏奖励、引导智能体学习至关重要。

3. 自我改进提示的效果
在12个任务中的10个上，加入“改进先前方案”的提示带来了进一步的性能提升，平均提升达8%。这表明RL不仅提升了代理“从零开始”的能力，也提升了其“迭代优化”的能力。

定性分析

上图展示了一些由代理发现的高性能解决方案。例如，在lmsys-chatbot-arena任务中，代理学会了进行复杂的特征工程，使用响应长度差、词数差、平均词长差等作为预测用户偏好的特征。在random-acts-of-pizza任务中，代理最终找到了结合TF-IDF文本特征和用户元特征，并使用随机森林+网格搜索的高成本、高回报方案。这些例子直观地展示了RL智能体是如何通过学习变得越来越“聪明”的。

讨论与相关 work

本文的工作与多个领域密切相关。

• ML工程代理： 本文没有像大多数现有工作那样专注于设计更复杂的提示框架或推理时启发式搜索，而是另辟蹊径，通过梯度更新让小型模型实现自我进化。
• LM的RL： 以往的研究（如RLHF）大多在奖励模型或数学/代码验证器提供瞬时奖励的环境中进行，忽略了动作执行时间的可变性。本文首次在实用智能体系统中明确提出并解决了这一问题。
• 智能体系统的RL： 先前关于交互式任务（如网页导航、终端操作）的RL研究，主要关注回合制交互，时间开销差异不大。本文关注的则是每个“回合”内部耗时差异巨大的场景，并提供了新的解决方案。

局限性： 目前的工作是针对每个任务单独训练一个代理。未来的方向包括训练一个通用代理解决多任务、研究其泛化能力，以及探索更复杂的多步分解规划。

社会影响： AI代理自动化ML工程流程可能影响相关就业市场，需政策研究。让代理在互联网上自由执行代码也存在安全风险，亟需更强的沙盒和安全技术。

结论

本文有力地论证了一个核心观点：对于机器学习工程这类任务，一个能够持续学习的小模型，可以超越一个仅被提示的、静态的巨模型。

其核心贡献在于：

1. 识别并形式化了RL在实用智能体系统中面临的两个关键挑战：可变时长动作导致的优化偏差和稀疏奖励。
2. 提出了两项创新性解决方案：持续时间感知的梯度更新，确保了不同耗时动作的公平优化；环境仪器化，通过提供部分信用有效缓解了稀疏奖励问题。
3. 通过大量实验证实，一套基于3B小模型的RL系统，能够在一系列复杂的Kaggle挑战中，稳定地超越由顶级大模型驱动的先进代理框架。

这项工作为未来AI代理的发展指明了重要方向：平衡计算资源在推理、交互（动作执行）和学习（梯度更新）之间的分配，尤其是在那些交互开销不可忽视的任务中。它告诉我们，让AI“学会学习”，或许比一味地追求更大的模型规模更加重要。

如何学习大模型 AI ？

我国在AI大模型领域面临人才短缺，数量与质量均落后于发达国家。2023年，人才缺口已超百万，凸显培养不足。随着Al技术飞速发展，预计到2025年，这一缺口将急剧扩大至400万，严重制约我国Al产业的创新步伐。加强人才培养，优化教育体系，国际合作并进，是破解困局、推动AI发展的关键。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

2025最新大模型学习路线

明确的学习路线至关重要。它能指引新人起点、规划学习顺序、明确核心知识点。大模型领域涉及的知识点非常广泛，没有明确的学习路线可能会导致新人感到迷茫，不知道应该专注于哪些内容。

对于从来没有接触过AI大模型的同学，我帮大家准备了从零基础到精通学习成长路线图以及学习规划。可以说是最科学最系统的学习路线。

针对以上大模型的学习路线我们也整理了对应的学习视频教程，和配套的学习资料。

大模型经典PDF书籍

新手必备的大模型学习PDF书单来了！全是硬核知识，帮你少走弯路！

配套大模型项目实战

所有视频教程所涉及的实战项目和项目源码等

博主介绍＋AI项目案例集锦

MoPaaS专注于Al技术能力建设与应用场景开发，与智学优课联合孵化，培养适合未来发展需求的技术性人才和应用型领袖。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】

为什么要学习大模型？

2025人工智能大模型的技术岗位与能力培养随着人工智能技术的迅速发展和应用 ， 大模型作为其中的重要组成部分 ， 正逐渐成为推动人工智能发展的重要引擎 。大模型以其强大的数据处理和模式识别能力， 广泛应用于自然语言处理 、计算机视觉 、 智能推荐等领域 ，为各行各业带来了革命性的改变和机遇 。

适合人群

• 在校学生：包括专科、本科、硕士和博士研究生。学生应具备扎实的编程基础和一定的数学基础，有志于深入AGI大模型行业，希望开展相关的研究和开发工作。
• IT行业从业人员：包括在职或失业者，涵盖开发、测试、运维、产品经理等职务。拥有一定的IT从业经验，至少1年以上的编程工作经验，对大模型技术感兴趣或有业务需求，希望通过课程提升自身在IT领域的竞争力。
• IT管理及技术研究领域人员：包括技术经理、技术负责人、CTO、架构师、研究员等角色。这些人员需要跟随技术发展趋势，主导技术创新，推动大模型技术在企业业务中的应用与改造。
• 传统AI从业人员：包括算法工程师、机器视觉工程师、深度学习工程师等。这些AI技术人才原先从事机器视觉、自然语言处理、推荐系统等领域工作，现需要快速补充大模型技术能力，获得大模型训练微调的实操技能，以适应新的技术发展趋势。
  

课程精彩瞬间

大模型核心原理与Prompt：掌握大语言模型的核心知识，了解行业应用与趋势；熟练Python编程，提升提示工程技能，为Al应用开发打下坚实基础。

RAG应用开发工程：掌握RAG应用开发全流程，理解前沿技术，提升商业化分析与优化能力，通过实战项目加深理解与应用。

Agent应用架构进阶实践：掌握大模型Agent技术的核心原理与实践应用，能够独立完成Agent系统的设计与开发，提升多智能体协同与复杂任务处理的能力，为AI产品的创新与优化提供有力支持。

模型微调与私有化大模型：掌握大模型微调与私有化部署技能，提升模型优化与部署能力，为大模型项目落地打下坚实基础。

顶尖师资，深耕AI大模型前沿技术

实战专家亲授，让你少走弯路

一对一学习规划，职业生涯指导

• 真实商业项目实训
• 大厂绿色直通车

人才库优秀学员参与真实商业项目实训

以商业交付标准作为学习标准，具备真实大模型项目实践操作经验可写入简历，支持项目背调

大厂绿色直通车，冲击行业高薪岗位

文中涉及到的完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】