收藏！小白也能看懂：XSKILL如何让多模态智能体越用越聪明？

关注

原创最新推荐文章于 2026-11-10 00:57:14 发布 392 阅读 AI 写同款· GEO 优化 ›

XSKILL通过“双流知识库”（经验+技能）让多模态智能体无需参数更新即可持续进化。经验提供短、具体的战术建议（如“图像暗时先增强对比度”），技能则是结构化的SOP（如代码/工具模板）。系统通过多轮rollout提炼知识，并在新任务中动态检索、适配并注入提示词，显著提升工具使用效率与编排灵活性。实验证明，该方法在视觉推理、多模态搜索等任务中优于基线方法，且具备跨任务迁移能力。核心在于将知识外显化、视觉绑定，实现可控的持续学习。

一、核心思想：把“经验”和“技能”拆开存、联合用

作者观察到，人类的进步往往来自两种不同层次的复用知识：

经验（Experience）：更像“战术小贴士”，通常是条件 → 动作的短建议，比如“当图像很暗时先增强对比度”“识别失败先检查是否需要旋转/翻转”等。经验的特点是短、具体、贴近当下决策，尤其影响工具选择、错误恢复、局部策略调整。
技能（Skill）：更像“标准作业流程（SOP）”，是一套结构化的工作流和工具模板，指导你如何分解任务、按步骤推进、如何写通用代码模板。技能的特点是结构化、可迁移、面向任务流程，能提升整体效率与稳定性。

XSKILL的关键就是：把经验和技能做成“双流知识库”，并且在多模态任务里非常强调一点: 这些知识要和“视觉观察”绑定（visually grounded），否则检索时容易只匹配到文字表面相似、却与当前图像状态不相关的内容，导致“检索到了也用不上”。

二、系统总览：一个“积累—检索—适配—再积累”的闭环

XSKILL把整个流程分成两个阶段：

阶段I：知识积累（Accumulation）
通过对同一训练任务做多次不同路径的rollout，提炼出经验与技能，并持续去重、合并、精炼，形成可扩展的知识库。
阶段II：带知识解题（Inference / Solving）
面对新任务，先分解子任务，再检索经验/技能，并根据当前图像语境做“适配改写”，最后把结果注入提示词，指导智能体执行工具推理；执行过程的“使用记录”还能回流到阶段I，形成持续学习闭环。

三、知识形式化：Skill 与 Experience 的结构长什么样

为了让知识可管理、可审计、可迁移，XSKILL把两类知识存成不同格式：

Skill（技能）：以Markdown文档形式保存，包含元信息（名称、描述、版本）、工作流步骤、以及可复用工具模板（尤其是代码模板、搜索模板）。技能强调“流程化、可复用”。
Experience（经验）：以“条件—动作”短条目保存，并配一个语义向量用于检索；每条经验长度严格受限（例如最多几十个词），确保短、准、可执行。

这种拆分很重要：技能负责把大方向和可复用流程立住，经验负责在具体执行点做“微调决策”。两者互补。

四、阶段I：知识如何从轨迹里“炼”出来？

阶段I的输入是：训练任务集合 + 每个任务多次rollout生成的多条轨迹。XSKILL的积累过程可以概括为三步：

1）Rollout Summary：带视觉证据的轨迹总结 + 技能片段抽取

系统不会只读文字日志，而是把图像观察、工具调用、工具输出、当前上下文交织起来做总结，强调“这一步为什么做”“图像里看到了什么证据导致这个决定”。
同时从成功轨迹中抽象出技能片段：

Workflow extraction：把可复用步骤序列抽出来；
Tool template extraction：把有效的代码/工具调用方式抽成模板，并用占位符替换具体实体，增强跨任务泛化。

2）Cross-Rollout Critique：跨轨迹对比，提炼“因果性经验”

同一个任务的多条轨迹里，有的成功、有的失败。XSKILL用“对比批判”来问：

成功的关键决策是什么？
失败是在哪一步偏离了？为什么偏离？
有没有遗漏了某条经验？某条经验是否需要改写得更一般、更可执行？

输出不是一大段总结，而是对经验库的结构化操作：新增（add）或修改（modify）经验条目。

3）Knowledge Consolidation：分层合并与精炼，保证规模可控

知识库会越积越大，所以必须管理：

经验合并：相似度高的经验会被合并成一条更完整、但仍短小的经验，减少冗余；
经验上限与清理：超过容量就删除低价值/重复条目；
技能精炼：当技能文档过长就触发再编辑，删掉过具体、难迁移的细节，把案例化表达改成可复用模板。

五、阶段II：新任务来了，怎么“检索—适配—注入”？

阶段II强调三件事：先分解、再检索、再适配，避免“一次检索押宝”。

1）任务分解检索：把一个复杂任务拆成2~3个“方法子需求”

直接拿原问题去检索，容易被表述细节干扰。XSKILL会先把任务分解成若干子任务（例如：图像太暗、对象太小、可能需要旋转、需要网页验证、需要数值计算等），然后对每个子任务独立检索top-k经验，最后汇总。
这样能保证覆盖面：不同“技术需求维度”的经验都能被召回。

2）经验改写（Experience Rewrite）：把通用经验改成“贴合当前图像状态”的可执行建议

检索到的经验是通用的，可能与当前任务细节不完全匹配。XSKILL用一个“经验改写器”在不改变经验结构的前提下：

把触发条件改写得更贴近当前图像；
把动作建议具体化到可执行层面；
删除明显不适用的经验。

3）技能适配（Skill Adaptation）：把大而全的技能裁剪成“本任务用得上的精简版”

全局技能文档可能很长。适配器会：

删掉无关流程，只保留当前任务需要的部分；
把改写后的经验“编织”进流程步骤，让技能更贴近当下；
保留可用的代码模板并做适度占位符调整。

最终，系统把“适配后的技能 + 改写后的经验”以非强制方式注入智能体提示词：它们是参考，而不是硬规则，从而在保留灵活性的同时提升成功率与效率。

六、实验设置：用哪些任务、哪些工具、怎么评估？

XSKILL在多个领域评测，覆盖三类场景：

视觉工具推理（需要用代码处理图像、量测、裁剪等）；
多模态搜索/浏览（需要网页搜索、以图搜图、访问网页）；
综合超难场景（同时要求复杂推理与工具编排）。

表1列出每个数据集可用的工具集合，如是否允许代码、网页搜索、以图搜图、访问网页。

评估指标用两种成功率：

Average@4：同一题做4次独立rollout的平均成功率，反映稳定性；
Pass@4：4次里至少成功一次的比例，反映上限能力。

对比方法包括：

只有工具（tool-only）
多种“从经验学习”的基线方法（例如工作流记忆、动态cheatsheet、结构化知识库等）
以及不同骨干模型设置，还测试了跨模型迁移：由一个模型积累知识，另一个模型直接使用。

七、主结果：为什么说双流知识库确实让智能体更强？

论文的核心对比结果集中在一张总表里：XSKILL在多个基准与多个骨干模型上，都能稳定超过“仅有工具”以及多种学习型基线，尤其在需要复杂视觉推理 + 多步工具编排的任务上优势更明显。

同时，作者做了系统性消融：去掉经验或去掉技能都会明显掉点；并且阶段I的知识质量管理（经验管理器、技能管理器）对最终表现影响最大，这说明“能不能把知识炼好、整理好”比“检索姿势花不花”更关键。

八、机制分析：经验和技能到底分别改变了什么？

作者不仅报分数，还分析了行为变化，给出了一个非常清晰的解释：

1）技能让工具执行更稳、错误更少

当只有经验时，智能体可能知道“该用什么工具”，但仍容易在代码语法、运行错误、工具名拼错等低级问题上翻车；技能提供模板与流程后，这类错误显著下降，工具调用更稳。

图3统计了不同设置下的语法错误、运行错误、工具名错误与总体错误，直观体现“技能提升执行鲁棒性”。

2）经验让工具选择更灵活、更贴合任务

经验会改变“用哪些工具、用多少次”。在视觉推理任务里经验更倾向引导用代码做图像处理；在多模态搜索任务里经验会提升以图搜图等更针对性的工具使用，而减少泛泛的文字搜索。

九、进一步分析：rollout数量与跨任务迁移

1）rollout越多，积累越好，效果越强

多条轨迹提供了“成功/失败对照”和“多路径共同点”，有利于批判机制提炼更通用的经验与技能，因此随着rollout数增加，Average@4和Pass@4都有提升。

2）跨任务零样本迁移更强

作者做了“把A数据集学到的知识拿去解B数据集”的测试，XSKILL在这种out-of-distribution设置下仍能稳定超过基线，说明它学到的不是死记硬背，而是更可迁移的“方法性知识”。

十、补充实验：知识迁移到开源模型会怎样？

论文还测试了把某个模型积累的知识迁移给开源视觉语言模型使用。整体现象是：

在部分任务上，XSKILL会鼓励更多探索与工具调用，使Pass@4上升；
但如果底座模型能力较弱，外部知识可能与其原生工具习惯“打架”，导致Average@4不一定同步提升。
这说明：跨模型迁移是可行的，但依赖底座模型对工具推理的基本能力与对提示注入的适配能力。

十一、案例研究：为什么“视觉落地 + 系统化流程”能避免低级失误？

论文最后给了一个非常直观的案例：问题是让智能体判断车身上第二个“GOOD”文本所在的颜色区域。没有知识注入的工具型智能体会凭肉眼直觉反复答错；而XSKILL注入了“系统定位文本实例 + 客观取样判断颜色”的技能片段后，智能体会先定位，再裁剪ROI，再做像素统计，甚至在RGB不确定时改用HSV色彩空间做更稳健判断，从而得到正确答案。

十二、总结与意义

最后总结一下XSKILL的贡献可以归纳为三点：

提出双流知识库：把“技能（流程化）”与“经验（条件-动作）”分开建模，分别解决“效率”和“灵活编排”的痛点。
强调多模态落地：从提炼到检索再到适配，都把关键决策与视觉观察绑定，缓解视觉语义鸿沟。
训练外持续进化：不改参数，通过“积累—检索—适配—再积累”闭环持续增强，并且具备一定跨任务、跨模型迁移能力。

从更大的视角看，这篇论文提供了一条很实用的路线：当我们不想频繁微调模型、又希望智能体越用越好时，把可复用知识外显成可编辑、可审计的文档与条目，可能是比“黑盒参数更新”更可控、更工程化的选择。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】