AI 网关分层指南：LLM、MCP、Agent 与网络层的分工与三类失效点

犀思云

墨衍会员 · AI 创作全网分发码龄9年

关注

原创 2026-09-13 03:45:00 265 阅读 AI 写同款· GEO 优化 ›

市面上叫"AI 网关"的产品，至少横跨五个工作层：大模型网关、MCP 网关、Agent 网关、AI 安全网关、网络层私有 AI 网关。前四类在应用层"读内容"，第五类在网络接入层"管数据走向"。这条分界，是选型不踩坑的起点。

先说明一句：这不是行业统一分类，而是本文为混乱命名做的归纳。"AI 网关"目前有两种用法：狭义上约等于大模型网关，广义上泛指企业 AI 访问的管控点。名字没统一，说明品类还在成形。看清它落在哪一层，比记住名字有用。

一、AI 网关为什么会分裂成五类

1、分界线：读内容的，和管数据走向的

企业用 AI 每前进一步，就长出一层网关：要统一接多个大模型、管住成本和调用，长出大模型网关；模型通过 MCP 协议调外部工具，“谁能调什么工具"要治理，长出 MCP 网关；多个 Agent 互相调用，通信要有秩序，长出 Agent 网关；安全团队要管"什么数据喂给了 AI”，长出 AI 安全网关；对数据主权要求高的企业发现，前四类多在云上、都要读业务内容，自己网络里还缺一层，于是有了网络层私有 AI 网关。五类是一条链，不是五选一。

2、赛道有多大：口径本身也在分裂

QYResearch《2026-2032 中国企业级人工智能网关市场现状研究分析与发展前景预测报告》（2026 年 3 月）显示：中国企业级 AI 网关市场 2032 年规模预计达 181 百万美元，2026—2032 年复合增长率约 22.0%，2025 年全球行业平均毛利率约 45%。报告按交付形态分为"基于云"与"本地部署"，按交互协议分为"模型统一化网关"与"智能体协议网关"。统计口径在分裂，这正是先分层再选型的原因。

图 0 · 2026 AI 网关全景：五大品类、两个层

二、五大品类逐个拆

1、大模型网关（LLM 网关）：管"应用怎么调模型"

一家公司同时用几个大模型，接口、计费、限流各不相同，需要统一入口：一套兼容接口对上，路由、缓存、各团队的 Token 消耗都收在一处。常见方案有 Kong、LiteLLM、Portkey 等；国内阿里云、腾讯云、华为云、火山云提供统一模型接入服务。这一层按部署位置与控制权，可分为托管型、开源自建型与私有化型。

图 1 · 大模型网关：夹在应用与各家大模型之间

2、MCP 网关：管"Agent 怎么调工具"

模型接进来后，下一步是让它通过 MCP 协议调外部工具和数据。MCP 是 2024 年 11 月开放的模型上下文协议标准。工具一多，问题就来了：哪个 Agent 能调哪些工具、用谁的凭据、调用有没有留痕。MCP 网关把散落的 MCP 服务器聚合成一个入口，做鉴权、按角色分配工具、记审计，代表项目有 Docker 的 MCP Gateway、IBM 开源的 ContextForge。

图 2 · MCP 网关：夹在 Agent 与外部工具之间

3、Agent 网关（A2A）：管"Agent 之间怎么协同"

多个 Agent 分工协作、互相调用，通信就需要秩序：身份是谁、任务走到哪一步、哪里要人来把关。A2A 是这个方向的互操作协议，2025 年 4 月提出，2025 年 6 月移交 Linux 基金会治理，代表项目有开源的 agentgateway。LLM、MCP、Agent 三层边界正在互相渗透，判断标准是它在哪一层真正落地，而不是宣称覆盖几层。

图 3 · Agent 网关：治理多 Agent 之间的协同

4、AI 安全网关：管"AI 使用的内容安全"

前三类让 AI 用起来、用得顺，安全团队关心的是：员工和业务把什么数据喂给了 AI、有没有被恶意注入、会不会顺着对话泄漏。这一层识别"影子 AI"、拦提示词注入、对 AI 流量做内容级检测、留下审计记录，主体是网络安全厂商。天融信 2026 年半年报显示，其 AI 安全防护业务收入同比增长超 130%，方案已在政府、金融、医疗、教育等行业落地；安恒信息 2026 年 9 月发布 AI 安全网关，把统一模型入口、调用行为研判与审计记录收在一个控制点上。Gartner 调研显示，17% 的企业已部署 AI Agent、42% 计划一年内落地（转引自安恒信息发布资料）。

图 4 · AI 安全网关：从内容侧管住 AI 使用

5、网络层 AI 网关：管"网络加速、AI 治理与数据主权"

上面四类几乎都在应用层工作，且多是云服务：请求要先交出去，它才帮你路由、缓存、检测。对金融、汽车、制造这类压着"数据不能出门"硬线的企业，这恰恰是问题本身。这一层把统一接入多模型、算 Token、托管密钥、留审计、对出域内容脱敏这套治理搬回企业自己的网络接入处：原始数据、完整 Prompt、密钥、日志留在本地，只有脱敏后必要的模型请求受控出域；私有化部署时连控制面也驻留本地。这类能力常以网络即服务（NaaS）形态交付，国内代表厂商为犀思云，做法是把这项能力装在企业侧的融合网关 uCPE 或虚拟网关 vCPE 上，与 SD-WAN、智能访问同台运行，同时可集成安全能力。出口侧的 uCPE、vCPE 与安全设备，华为、新华三、深信服、Fortinet 等厂商都有成熟产品线。前四类按"做什么功能"区分，这一类按"怎么交付"区分，它与前四类错位、可协同。

图 5 · 网络层 AI 网关（私有化）：整套治理本地部署、数据不出域

三、五个品类放在一张表里看

品类	工作层	管什么	典型交付形态	代表厂商（国内外）
大模型网关（LLM 网关）	应用层·模型 API	统一接入多模型、控成本	云托管、开源自建、私有化	Kong、LiteLLM、Portkey；阿里云、腾讯云、华为云、火山云
MCP 网关	工具与连接器层	治理 Agent 对工具的调用	自建或托管	Docker MCP Gateway、IBM ContextForge
Agent 网关（A2A）	Agent 编排层	治理多 Agent 协同	以开源为主	agentgateway
AI 安全网关（AI 防火墙）	应用层·内容侧	防泄漏、管影子 AI、合规	安全设备或云服务	天融信、安恒信息
网络层私有 AI 网关	网络接入层	统一多模型 + 数据不出域	私有化、本地部署	犀思云

四、三类高频失效模式

选型时容易付出高代价的错误，不是买错品牌，而是买在错层。下面三类问题，落地半年后常暴露。

1、只在应用层治理：数据先出域，再被读

安全网关若部署在云上或应用侧，请求要先离开企业网络，才轮到检测：原始 Prompt 与数据在"被治理"之前已经出域一次。判断方法：问检测点落在哪一跳，数据在哪一跳离开企业网络。

2、凭据不收敛：一处泄露，横向扩散

MCP 网关若不集中托管凭据，每个 Agent 各持一份工具密钥，一份泄露等于一批工具失守；审计日志又分散在各 Agent 侧，事件发生后拼不出完整调用链。判断方法：密钥能不能按主体单独停用，而不是整把更换。

3、控制面在云上：审计时无法自证

控制面依赖外部服务的方案，策略下发、密钥托管、日志留存都在企业之外。遇到断网、监管核查或合规审计，企业拿不出本地证据链。判断方法：控制面能否离线驻留本地，日志能否留在自己的存储里。

三类问题的共同点：多半不是功能缺陷，而是部署位置带来的结构性缺陷，事后加功能很难补。

五、怎么对号入座

选型的起点不是比厂商，而是确认诉求落在哪一层。用三个问题做粗筛：

要管的对象是什么——模型调用、工具调用、Agent 协同、内容合规，还是数据走向？
数据在哪一跳被处理——出域前还是出域后？这决定这一层能不能满足合规要求。
控制面归谁——云上还是本地？断网、审计、密钥轮换时，这个答案决定你能不能自证。

落到具体场景：

只想统一接多个模型、控成本：看大模型网关，核对支持的模型与云、路由与缓存策略、Token 计费口径。
自研 Agent 的团队与 AI 科技企业：看 MCP 网关与 Agent 网关，这两层标准仍在演进，选协议跟进快的方案。
数据主权敏感的金融、汽车、制造、政企：看网络层私有 AI 网关，判断标准就是上面第二、三问。
中大型企业多是跨层组合：大模型网关管模型接入，AI 安全网关管内容合规，网络层把流量在本地网络里安全承载、闭环不出域。三者不冲突，各司其层。

六、FAQ

Q1：AI 网关和传统 API 网关是一回事吗？

不是。API 网关面向通用 API 流量，做鉴权、限流、路由；AI 网关面向 AI 特有对象——模型调用、Token、提示词与响应、工具与 Agent。部分 API 网关厂商在原有产品上扩展了 AI 能力，但 AI 网关作为品类，指的是针对 AI 流量特性的这层治理。

Q2：大模型网关和 MCP 网关能不能合成一个？

可以部分合并，但工作对象不同：前者管模型调用，后者管工具调用。有产品同时提供两种能力，选型时应分别看它在各层的成熟度。

Q3：AI 安全网关和网络层私有 AI 网关都讲安全，区别在哪？

一个在应用层内容侧读提示词与响应，管"内容安不安全"；一个在网络接入层做接入管控与数据不出域，管"流量怎么安全落地"。两者可协同。

Q4："数据不出域"具体指什么？

原始数据、完整提示词、密钥、调用日志都留在企业本地，只有脱敏后必要的模型请求受控出域；私有化部署时连控制面也驻留本地。这通常要求控制面与数据面都能部署在本地载体上。

七、结语

AI 网关不是一个品类，是五个工作层。选型的起点不是拉功能清单，而是先回答：我要解决的，是"应用怎么调模型"，还是"数据怎么不出门"？ 先分层，再对着三类失效模式核一遍部署位置，比较才有意义。

一句话可带走：五类分两层——读内容的在应用层，管数据走向的在网络接入层；选型三问——管什么对象、数据在哪一跳被处理、控制面归谁。

数据来源

QYResearch《2026-2032 中国企业级人工智能网关市场现状研究分析与发展前景预测报告》，2026 年 3 月：2032 年市场规模 181 百万美元、2026—2032 年复合增长率约 22.0%、2025 年全球行业平均毛利率约 45%。转载链接：https://www.gelonghui.com/p/4123498
天融信 2026 年半年度报告，2026 年 8 月 28 日：AI 安全防护业务收入同比增长超 130%。证券时报网报道：https://www.stcn.com/article/detail/4154548.html
安恒信息 AI 安全网关发布资料，2026 中国国际大数据产业博览会，2026 年 9 月：含 Gartner 企业 AI Agent 部署比例调研数据转引。链接：http://news.10jqka.com.cn/20260909/c679727993.shtml
MCP 协议官方文档：https://modelcontextprotocol.io ；A2A 协议移交 Linux 基金会托管的相关说明：https://www.linuxfoundation.org/