本文深入探讨了 AI Agent 在工具使用中的挑战，指出随着工具数量增加，模型难以正确选择能力的问题。介绍了 Harness 和 Tool Router 的概念，解释了它们如何通过分层路由和检索机制，帮助模型在庞大的能力空间中找到最相关的工具。文章强调了 Tool Router 在 LLM 时代的重要性，将其比作 API Gateway，并指出它扩展了模型的能力边界，是构建高效 AI 系统的关键基础设施。
一、Tool Explosion：Agent 的第一个规模问题
在真实系统中，工具数量的增长几乎是不可避免的。
原因很简单：Agent 的能力并不是内置在模型里的，而是通过工具接口提供的。
当系统能力不断增加时，工具数量也会持续增长。最初可能只有几个能力接口，例如代码搜索、日志查询或数据库访问。但随着系统复杂度提升，很快就会扩展到几十甚至上百个工具。
这种能力规模的快速膨胀，在工程领域通常被称为：Tool Explosion。
当系统进入这个阶段之后，问题就不再只是“模型是否聪明”，而是系统结构是否合理。因为当工具数量达到几十甚至上百个时，模型面对的已经不再是简单选择，而是一个 巨大的****能力空间。
二、Agent 的规模问题：能力搜索问题
从系统角度来看，Agent 的执行流程其实非常简单。
用户提出一个请求，系统需要完成两件事：首先确定应该使用哪种能力，其次执行这个能力。
在工具数量很少的时候，这个决策非常简单。但当工具数量不断增加时，问题会逐渐发生变化。
工具选择不再只是推理问题，而开始演变为一个 搜索问题。
模型需要在一个庞大的能力集合中找到最相关的一项。
这也是为什么很多 Agent 系统在工具数量增加后会迅速变得不稳定。问题并不在模型，而在系统结构。
从工程角度看，这其实是一个非常典型的问题：Agent 的规模问题，本质上是能力搜索问题。
三、Harness 的角色：管理 Agent 的能力空间
在真实的 AI 工程系统中，模型通常不会直接与所有工具交互。中间往往存在一个执行层，用来管理系统能力、调度工具调用，并控制整个执行流程。这个执行层在很多系统中被称为 Harness。
Harness 的职责并不是做推理，而是负责 管理能力接口。
当工具数量很少时，Harness 的角色并不明显。但随着系统能力不断扩展，一个新的问题就会逐渐出现：模型能够看到的能力空间正在迅速膨胀。
如果所有工具都直接暴露给模型，系统复杂度会很快失控。模型不仅需要阅读大量工具描述，还必须在这些能力之间做出正确选择。
因此 Harness 需要承担一个新的职责：控制模型能够看到的能力空间**。**
为了解决这个问题，很多 AI 工程系统都会引入一个新的组件：Tool Router**。**
四、Tool Router：能力检索系统
Tool Router 的核心思想其实非常简单：不要让 LLM 直接面对全部工具**。**
在模型进行决策之前，系统会先筛选出一小部分候选能力，再交给模型进行最终选择。整个流程变成：
User Query
↓
Tool Router
↓
Candidate Tools
↓
LLM Tool Selection
从系统结构上看，这其实是一种 两阶段决策****结构。
第一阶段由 Router完成，它负责在大量能力接口中进行初步筛选。
第二阶段由模型完成，它负责在候选能力中进行最终选择。
如果从信息检索的角度来看，这个结构其实非常熟悉：
Recall
↓
Ranking
Router 负责 Recall，而 LLM 负责 Ranking。
换句话说，Tool Router 本质上是一个能力检索系统。
在早期的 LLM 应用中，RAG 被认为是最重要的基础设施，因为它解决了模型无法访问外部知识的问题。但随着 Agent 系统的发展，另一个问题逐渐浮现：模型并不缺信息，而是缺能力。
RAG 让模型学会找「信息」，而 Tool Router 让模型学会找「能力」。
五、Harness 的三层 Tool Router 架构
在真实工程系统中，Tool Router 通常不会只依赖一次检索，而是采用 分层路由****结构。
这样做的原因很简单：当能力规模达到上百个时，单次检索往往不够稳定。
一个常见的设计是三层路由结构。
第一层负责识别用户意图。例如用户提出“查询昨天销售额”，系统首先需要判断这是一个数据查询任务，而不是文档搜索或通信任务。这一层通常使用轻量模型或 embedding 相似度完成，可以在几十毫秒内完成判断。
第二层负责能力分组筛选。在大多数企业系统中，工具通常会按照领域进行组织，例如数据工具、搜索工具、CRM 工具或 DevOps 工具。当系统识别出用户意图之后，就可以快速过滤掉大量不相关的能力接口。 例如在一个拥有 100 个工具的系统中，这一步往往可以将候选能力减少到 10 个左右。
第三层是语义召回。在选定的工具组内部，Router 会根据语义相似度召回最相关的几个工具。常见做法是为每个工具生成 embedding，并通过向量搜索找到最匹配的能力接口。最终返回的候选工具通常只有 3 到 5 个。
此时模型需要面对的能力空间已经从最初的 100 个工具缩小到了几个候选项，选择难度也大幅降低。
六、Tool Router 的工程实现
从工程角度看，Tool Router 往往是一个独立的系统组件，而不是简单的函数调用。
在很多生产系统中，Router 会以服务形式存在，并与工具注册系统和向量索引协同工作。一个典型结构通常包括三个部分：Tool Registry、Tool Embeddings 和 Router Service。
Tool Registry 用来维护系统中所有工具的定义，包括名称、描述、权限信息以及调用方式。Router Service 在运行时会从 Registry 中读取工具信息，并为这些能力生成语义表示。
为了进行语义检索，每个工具通常会被转换为一个 embedding。这个 embedding 往往由工具名称、功能描述以及使用示例组合生成。例如：
embedding(tool) =
tool_name
+ description
+ usage_examples
+ tags
这样，当用户请求到来时，Router 可以将 Query 转换为 embedding，并在工具向量空间中找到最相关的能力接口。
在实际系统中，Router 通常不会只返回一个工具，而是会召回一个候选集合，例如 Top-5 或 Top-8 工具。随后再由 LLM 在这些候选能力中进行最终选择。这种设计既能提高准确率，又可以保持系统稳定性。
七、Tool Router：LLM 时代的 API Gateway
如果从系统架构的角度来看，Tool Router 的角色其实非常类似于传统系统中的 API Gateway。
在微服务架构中，API Gateway 负责管理和调度大量服务接口，并控制客户端能够访问哪些能力。
而在 Agent 系统中，Tool Router 正在承担类似的职责。
模型本身并不直接执行任务，而是通过 API 调用系统能力。从这个角度来看，一个 Agent 的能力其实就是一组 可调用的 API 接口集合。
随着系统能力不断扩展，工具接口也会持续增长。如果没有一个能力管理层，模型很快就会被海量接口淹没。
Tool Router 正是这一层能力管理系统。
它位于模型与工具之间，负责筛选和管理系统能力，并确保模型始终在一个可控的能力空间中运行。
因此可以说：Tool Router，本质上是 LLM 时代的 API Gateway。
八、从 RAG 到 Tool Router：Agent 系统的下一层基础设施
在早期的 LLM 应用中，RAG 被认为是最重要的基础设施，因为它解决了模型无法访问外部知识的问题。
通过检索外部文档，模型可以突破训练数据的限制，从而获得更强的信息获取能力。
但随着 Agent 系统不断发展，问题开始发生变化。
模型面临的挑战不再只是：如何找到正确的信息。
而是：如何找到正确的能力。
如果说 RAG 扩展的是模型的知识边界，那么 Tool Router 扩展的则是模型的能力边界。
大规模 Agent 系统，需要同时包含这两层结构：
- RAG 负责信息检索
- Tool Router 负责能力调度。
最后
当 Agent 只拥有少量工具时，模型可以直接完成工具选择。
但随着系统能力不断扩展，工具数量很快会增长到几十甚至上百个。此时系统面临的问题已经不再只是「推理」，而是「能力搜索」问题。
Tool Router 的出现，本质上是在 Harness 中引入一层能力管理机制。通过控制模型能够看到的能力空间，系统才能在拥有大量能力的情况下仍然保持稳定运行。
换句话说：
模型决定 Agent 的能力上限，而****Tool Router 决定 Agent 是否能正确使用这些能力。
最后
对于正在迷茫择业、想转行提升，或是刚入门的程序员、编程小白来说，有一个问题几乎人人都在问：未来10年，什么领域的职业发展潜力最大？
答案只有一个：人工智能（尤其是大模型方向）
当下，人工智能行业正处于爆发式增长期，其中大模型相关岗位更是供不应求，薪资待遇直接拉满——字节跳动作为AI领域的头部玩家，给硕士毕业的优质AI人才（含大模型相关方向）开出的月基础工资高达5万—6万元；即便是非“人才计划”的普通应聘者，月基础工资也能稳定在4万元左右。
再看阿里、腾讯两大互联网大厂，非“人才计划”的AI相关岗位应聘者，月基础工资也约有3万元，远超其他行业同资历岗位的薪资水平，对于程序员、小白来说，无疑是绝佳的转型和提升赛道。
对于想入局大模型、抢占未来10年行业红利的程序员和小白来说，现在正是最好的学习时机：行业缺口大、大厂需求旺、薪资天花板高，只要找准学习方向，稳步提升技能，就能轻松摆脱“低薪困境”，抓住AI时代的职业机遇。
如果你还不知道从何开始，我自己整理一套全网最全最细的大模型零基础教程，我也是一路自学走过来的，很清楚小白前期学习的痛楚，你要是没有方向还没有好的资源，根本学不到东西！
下面是我整理的大模型学习资源，希望能帮到你。
👇👇扫码免费领取全部内容👇👇
最后
1、大模型学习路线
2、从0到进阶大模型学习视频教程
从入门到进阶这里都有，跟着老师学习事半功倍。
3、 入门必看大模型学习书籍&文档.pdf（书面上的技术书籍确实太多了，这些是我精选出来的，还有很多不在图里）
4、 AI大模型最新行业报告
2026最新行业报告，针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估，以了解哪些行业更适合引入大模型的技术和应用，以及在哪些方面可以发挥大模型的优势。
5、面试试题/经验
【大厂 AI 岗位面经分享（107 道）】
【AI 大模型面试真题（102 道）】
【LLMs 面试真题（97 道）】
6、大模型项目实战&配套源码
适用人群
四阶段学习规划（共90天，可落地执行）
第一阶段（10天）：初阶应用
该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。
- 大模型 AI 能干什么？
- 大模型是怎样获得「智能」的？
- 用好 AI 的核心心法
- 大模型应用业务架构
- 大模型应用技术架构
- 代码示例：向 GPT-3.5 灌入新知识
- 提示工程的意义和核心思想
- Prompt 典型构成
- 指令调优方法论
- 思维链和思维树
- Prompt 攻击和防范
- …
第二阶段（30天）：高阶应用
该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。
- 为什么要做 RAG
- 搭建一个简单的 ChatPDF
- 检索的基础概念
- 什么是向量表示（Embeddings）
- 向量数据库与向量检索
- 基于向量检索的 RAG
- 搭建 RAG 系统的扩展知识
- 混合检索与 RAG-Fusion 简介
- 向量模型本地部署
- …
第三阶段（30天）：模型训练
恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。
到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？
- 为什么要做 RAG
- 什么是模型
- 什么是模型训练
- 求解器 & 损失函数简介
- 小实验2：手写一个简单的神经网络并训练它
- 什么是训练/预训练/微调/轻量化微调
- Transformer结构简介
- 轻量化微调
- 实验数据集的构建
- …
第四阶段（20天）：商业闭环
对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。
-
硬件选型
-
带你了解全球大模型
-
使用国产大模型服务
-
搭建 OpenAI 代理
-
热身：基于阿里云 PAI 部署 Stable Diffusion
-
在本地计算机运行大模型
-
大模型的私有化部署
-
基于 vLLM 部署大模型
-
案例：如何优雅地在阿里云私有部署开源大模型
-
部署一套开源 LLM 项目
-
内容安全
-
互联网信息服务算法备案
-
…
👇👇扫码免费领取全部内容👇👇
3、这些资料真的有用吗？
这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理，现任上海殷泊信息科技CEO，其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证，服务航天科工、国家电网等1000+企业，以第一作者在IEEE Transactions发表论文50+篇，获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。
资料内容涵盖了从入门到进阶的各类视频教程和实战项目，无论你是小白还是有些技术基础的技术人员，这份资料都绝对能帮助你提升薪资待遇，转行大模型岗位。
这份完整版的大模型 AI 学习资料已经上传优快云，朋友们如果需要可以微信扫描下方优快云官方认证二维码免费领取【保证100%免费】
476
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
