一边训练 Agent，一边让它自己写技能：RESKILL把这两件事塞进了同一个RL循环

Agent强化学习有一个挺尴尬的矛盾。RL训练让Agent越跑越强。技能系统给Agent装"使用说明书"让它少走弯路。这两件事本来应该一起做，一边训练一边把学到的好策略沉淀成可复用的技能。但现实中它们是分开的。 技能离线生成好，塞进训练。Agent边训边用一套固定的技能，训完了技能还是那套，从来没跟着一起进化过。

分开做的后果很直接：Agent变了，技能没变。偏差越来越大。 一份三个月前总结的"最佳实践"，在新训出来的Agent眼里可能已经是多余的约束。更糟的是，离线生成的技能可能从一开始就跟Agent的理解方式不兼容，它根本看不懂这份技能在说什么。

AWS AI Labs发了一篇论文叫RESKILL，把这两件事塞进了同一个GRPO训练循环。不额外花一条rollout的预算。核心设计一句话：让Agent在训练中自己写技能、自己测技能、自己决定留不留。

一、为什么不能离线生成技能然后扔进训练

先理解这个矛盾为什么存在。Anthropic的Skill Creator是当前技能生成的标杆：人给例子，LLM诊断失败，提出候选技能，盲测验证效果。一个完整的人机协同闭环。但这个流程跑在推理时，依赖人类反馈，假设Agent的策略是静态的。

RL训练里完全没有这些条件。策略每一步都在变。上一轮总结的失败模式，下一轮可能已经被Agent自己克服了。离线生成的技能不知道Agent当前什么样，也不知道它接下来会变成什么样。 强行塞进去，就像给一个正在长身体的小孩穿三个月前量的衣服，穿不上，或者穿上了反而碍事。

已经有人尝试在RL训练里加技能了：SKILLRL用teacher model蒸馏技能，MEMRL演化情节记忆，INSPO维护指令候选池。但它们都走同一个模式：技能在外面生成好，单方面扔进训练。 Agent只能被动接受，没有反馈回路。

图1 Anthropic Skill Creator、RESKILL、SkillRL对比图

二、RESKILL怎么把技能生成塞进RL训练

GRPO天生有一个特性：每个训练步，同一批任务、同一个策略参数，采样 G 条rollout。 这 G 条rollout唯一的不同是采样噪声。这个特性恰好可以用来做受控实验：给同一个小组里的不同rollout分配不同的技能版本，谁好谁坏，一比就知道。

RESKILL的核心设计就是利用这个性质，让每一条rollout同时干三件事，零额外开销。

图2 RESKILL概览

2.1 三重身份：一条rollout同时优化策略、诊断失败、评测技能

**第一重，策略优化。**rollout的奖励信号按标准GRPO流程更新策略参数。

第二重，失败诊断。 每条rollout的完整轨迹（成功还是失败、用了新版还是旧版技能）被存进一个经验水库。水库保持LIFO更新，确保里面始终反映的是Agent最近的行为分布，不是训练早期的过时数据。水库是技能生成的原料，后面会讲。

第三重，技能评测。 rollout所属的版本收到的奖励，被用来更新Thompson Sampling的后验。一次rollout既是训练数据，也是技能评分的投票。

三样事情，一条rollout就搞定了。总rollout数跟标准GRPO一模一样。

2.2 经验水库驱动的技能生成管道

水库不是存着好看的。它驱动了一套完整的技能创建管道，灵感来自Anthropic的Skill Creator，但把"人类反馈"换成了"训练数据"。

断言评分。 每个训练周期结束时，一组规则化的断言扫过水库里的所有轨迹，生成每个断言的通过率。低通过率直接标注出Agent当前的高发失败模式。断言的妙处在于它们会被LLM诊断器动态更新：删掉已经不再触发的旧断言，添加针对新失败模式的新断言。

对比分析（Contrastive Analysis）。 水库按任务分组。每组内同时有成功案例和失败案例，有新技能和旧技能下的轨迹。LLM逐组对比：成功的时候做了什么？失败的时候缺了什么？技能的指导是被正确遵循了，还是被无视了？

推荐 → 撰写 → 验证。 基于诊断结果，一个"技能推荐器"提出 1-3 个操作：ADD（新建）、MODIFY（修改）、DELETE（删除）。一个"技能撰写器"把推荐变成结构化的技能内容：when_to_use（什么情况下用）、action（具体怎么做）、examples（DO/DON’T 示例），以及触发条件（general：每步触发；beginning：仅在任务开始时触发；action_pattern：上一动作匹配特定模式时触发）。

触发条件最后要过一道验证门：新技能的触发率必须在水库上超过50%。 触发频率太低，说明激活条件写得太窄，整个版本打回重写。最多 3 次。

2.3 Thompson Sampling：让技能版本在训练中公平竞争

新版本的技能生成了。要不要替换旧的？不能拍脑袋决定。策略正在训练，Agent的行为每天都在变。早期的比较结果和晚期的权重不一样，策略进化导致证据会"变质"。

RESKILL把新旧版本当成一个两臂Bandit问题。每个训练步，Thompson Sampling从Beta后验中采样，决定给分组里的每条rollout分配新版本还是旧版本。分配概率随证据累积动态偏移：好的版本自然拿到更多rollout，差的被边缘化。

但Agent在进化。上周的rollout数据是"旧政策"下的表现，不应该跟今天的同等权重。RESKILL引入了一个自适应折扣：伪计数在合并新观察前先收缩一个因子$w\_t=1/(1+n\_t/M)$。$n\_t$是这一步新拿到多少条rollout，M是记忆参数。关键细节：M不需要手动调。 系统从已完成的A/B测试数据里，用预测似然准则自动估计最优M。一组测试跑完，M的估计就够准了；没有完成的测试时，默认不加折扣。

每个周期结束时，新版本后验均值超过旧版本就接受，新版本成为基线。否则回滚，下一个周期立即开始。

三、实验里发生了什么

五个领域（ALFWorld具身推理、Agentic Search搜索推理、ScienceWorld科学实验、InterCode-SQL交互式编程、WANDS网络购物），两个模型规模（Qwen3-4B和8B）。

3.1 主要结果

两模型规模、两套基准上，RESKILL全部超过所有基线。ALFWorld 4B：89.8%，超出最强基线 SKILLRL（83.9%）5.9 个点。Search 4B：47.6%，超出 SKILLRL（45.1%）2.5 个点。

更关键的是未见任务。ALFWorld 8B 未见任务：RESKILL 95.3%，SKILLRL 82.6%，差距 12.7 个点，远大于已见任务上的 1.2 个点差距。Search 上 RESKILL 对 SKILLRL 的未见任务提升是已见任务的 2.1 倍。 和解的训练保留了更泛化的技能版本。

ScienceWorld OOD最极端：RESKILL 48.8%，SKILLRL 26.9%，差了近一倍。静态技能库在未见任务上直接崩盘。

3.2 消融实验

不测试就接受技能 = 训练崩盘。 关掉技能版本测试（auto-accept，每个候选技能直接接受不评测），ALFWorld 从 89.8 掉到 62.7，比裸 GRPO 的 75.3 还差 12.6 个点。没有经过评测的技能注入RL训练，不是没有帮助，是主动有害。换成均匀分配（新老各一半rollout），Search 从 47.6 掉到 46.0。比 auto-accept 强但不如Thompson Sampling：差的版本浪费了一半的rollout预算。

和解的顺序很重要。 “先离线生成技能再训练策略"和"先训完策略再加技能”，都没有"同时一起进化"好。 ALFWorld 上差 10 到 18 个点。技能和策略之间的偏差，在分离训练的间隙里就已经埋下了。

创始人能力不重要，和解机制更重要。 把技能创建器从Claude Sonnet 4.5换成基础模型自己（Qwen3-4B-Instruct），ALFWorld只掉了 4.8 个百分点，Search 只掉了 0.5。依然超过所有现有RL基线。 增益的大头在和解机制本身，不在技能生成器有多强。

技能生命周期：加、改、删都是自动的。 论文可视化了一条完整的技能进化线。训练早期，Agent还在探索，技能创建集中在ADD，补基础能力。训练中期策略能力上来后转向MODIFY和DELETE，删掉已经被Agent内化的技能，把剩余技能做精做细。整个过程没有人干预。

跨域迁移：换一个领域还能自己进化。 冻结ALFWorld训出来的策略，把整个RESKILL管线（除了策略更新）搬到ScienceWorld上跑，只让技能库进化。RESKILL迅速在新领域建立起有效的技能库，而所有基线都趴在零附近。和解训练不只是让Agent更强，它教会了Agent"怎么从技能中受益"。

四、局限与总结

RESKILL还有几个硬问题没解决。进化频率目前是固定的超参数（每 5 步一次），不同领域需要不同的频率。太密了，Agent还没适应上一版技能又来新版。太稀了，策略已经把技能内化了技能还没更新。小模型存在技能理解天花板。 4B模型偶尔把技能名字当成环境动作去执行，或者在不该用的时候强行套用。把技能当指令读，还是当推理指引来用，这道认知鸿沟小模型还跨不过去。

但RESKILL最让我触动的不是具体技术。是它对"技能"这件事的认知跳出了一切已有的框架。

不是"先写技能再训练"。不是"训完再反思成技能"。不是"人在外面看着，写一份技能扔进去"。 是在Agent自己变强的过程中，让它自己发现哪些策略值得沉淀下来、哪些技能已经过时了该淘汰、哪条新经验应该被提炼成下一版的技能内容。技能库不是一本写完就定稿的教科书。它是一个跟着Agent一起进化的器官。

学AI大模型的正确顺序，千万不要搞错了

🤔2026年AI风口已来！各行各业的AI渗透肉眼可见，超多公司要么转型做AI相关产品，要么高薪挖AI技术人才，机遇直接摆在眼前！

有往AI方向发展，或者本身有后端编程基础的朋友，直接冲AI大模型应用开发转岗超合适！

就算暂时不打算转岗，了解大模型、RAG、Prompt、Agent这些热门概念，能上手做简单项目，也绝对是求职加分王🔋

📝给大家整理了超全最新的AI大模型应用开发学习清单和资料，手把手帮你快速入门！👇👇

学习路线:

✅大模型基础认知—大模型核心原理、发展历程、主流模型（GPT、文心一言等）特点解析
✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑
✅开发基础能力—Python进阶、API接口调用、大模型开发框架（LangChain等）实操
✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用
✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代
✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经

以上6大模块，看似清晰好上手，实则每个部分都有扎实的核心内容需要吃透！

我把大模型的学习全流程已经整理📚好了！抓住AI时代风口，轻松解锁职业新可能，希望大家都能把握机遇，实现薪资/职业跃迁～

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】