一、引子:一个被忽视的真相——95% 的企业还在“用大炮打蚊子”
过去两年,行业里有一条默认的工程范式:把所有请求都丢给当下最强的前沿模型(frontier model),不管任务难易。问“美国第三任总统是谁”,和让模型重构一个百万行代码库,走的是同一条最贵的通道。
这种粗放打法正在被账单击穿。CNBC 在 6 月 5 日的报道里引用 Glean CEO Arvind Jain 的估算:å当前企业 AI 用量里,大约 95% 仍然跑在最贵的前沿模型上,哪怕很多任务用便宜得多的模型就能轻松完成。报道把这件事称为 AI 基础设施的下一个分水岭——模型路由(model routing):把简单任务分给便宜、快的模型,把硬骨头才留给昂贵的前沿模型。(来源:CNBC)
而就在这几天,6 月 19 日到 23 日,这个话题从“趋势讨论”变成了“产品密集落地”。一周之内,OpenRouter、Sakana AI、Tetrate(Envoy)、DigitalOcean、OrcaRouter 几乎同时推出了多模型路由 / 编排产品。这不是巧合,而是一个范式正在成形:未来的能力增量,越来越多来自“怎么调度模型”,而不是“单个模型有多大”。
这篇文章就来拆一拆这波浪潮背后的技术逻辑,以及对开发者意味着什么。
二、技术正文:从“选一个最聪明的模型”到“编排一群模型”
1. OpenRouter Fusion:让多个模型“开会”再给你答案
6 月 23 日,OpenRouter 上线了 Fusion。它的思路很激进——不再是“帮你选一个最合适的模型”,而是把一个 prompt 同时发给一组模型,让它们各自独立推理(可调用搜索、代码执行等工具),然后走一套服务端流水线:
-
并行分析(Parallel Analysis):prompt 同时发给一个模型面板(可选 Quality / Budget / 自定义)。 -
裁判阶段(Judge):一个专门的裁判模型审阅所有回答,找出各自的优点、矛盾、覆盖盲区。 -
综合(Synthesis):合成模型把各家回答里最好的部分拼成一份连贯的终稿。 -
交付:你只拿到一份打磨过的答案。
最有意思的是它公布的一组数据:一个预算面板(Gemini 3 Flash + Kimi K2.6 + DeepSeek V4 Pro)拿到了 64.7% 的分数,击败了单独的 GPT-5.5 和 Claude Opus 4.8,与最强前沿模型 Claude Fable 5 只差约 1%,而成本只有大约一半。Fusion 以 openrouter/fusion 这个 model slug 提供,走标准的 OpenAI 兼容 API。(来源:QUASA 报道)
这背后是一个正在被验证的判断:精心编排的多模型协作,能在复杂推理任务上超过任何单一最强模型。
2. Sakana Fugu:学出来的“神经编排器”
同一天,东京的 Sakana AI 宣布 Fugu 正式可用。它不是一个传统的独立基础模型,而是一个训练出来的神经编排器:所有请求打到一个 OpenAI 兼容端点,Fugu 自己判断难度——简单 prompt 自己解决以保速度,复杂任务则自主“招募”并协调一组专家模型。
它的卖点之一非常贴近工程现实:当某个模型供应商宕机或限制访问时,Fugu 会自动绕开故障,把工作流路由到其他模型上,保证业务连续性——这正是“不被单一供应商锁死”的核心价值。性能上,Fugu Ultra 在 SWE-Bench Pro 上拿到 73.7,高于 Opus 4.8 的 69.2 和 GPT-5.5 的 58.6。(来源:AiTech365)
3. Envoy AI Gateway v1.0 与 DigitalOcean Inference Router:把路由做成基础设施
如果说 Fusion 和 Fugu 是“智能编排”,那么 6 月 23 日 Tetrate 发布的 Envoy AI Gateway v1.0 则是把路由做成了生产级网关基础设施。它由 Bloomberg、Nutanix、Tetrate 共同打磨,提供一个统一的 OpenAI 兼容接口,前置 OpenAI、Anthropic、Gemini、Azure、Bedrock,以及 Groq、Together、Mistral、Cohere、DeepSeek 等一长串兼容供应商;并带有按 token 计费的限流、预算、配额,以及原生的 MCP 网关。(来源:PRNewswire)
同一天,DigitalOcean 的 Inference Router(4 月发布的 Inference Engine 的一部分,目前公开预览)给出了一个很实在的成本数字:在每月 70 万分类 + 25 万问答 + 5 万推理请求的流量结构下,相比 Claude Sonnet 4.6 基线节省 39.6%,相比 Opus 4.7 节省 63.7%。它同样走 OpenAI 兼容的 chat completions 端点,并能从响应头里读到每次请求的成本信号。(来源:DigitalOcean 教程)
4. 一个共同的技术约定:OpenAI 兼容接口
把上面几个产品摆在一起,会发现一个清晰的共识:几乎所有路由 / 编排层都选择了 OpenAI 兼容接口作为统一入口。 这意味着——你的应用代码可以基本不动,只把 base_url 和 model 换掉,就能在多个模型之间切换、做 fallback、做成本优化。统一接口,正在成为多模型时代的“事实标准”。
下面是这套范式最朴素的样子(以 OpenAI 兼容 SDK 为例):
from openai import OpenAI
# 统一入口:一个 base_url + 一个 key,背后可路由到多个模型
client = OpenAI(
base_url="https://your-gateway/v1",
api_key="YOUR_KEY",
)
def ask(model: str, prompt: str):
return client.chat.completions.create(
model=model,
messages=[{"role": "user", "content": prompt}],
).choices[0].message.content
# 简单任务走便宜模型,复杂任务升级到前沿模型——同一份代码
cheap = ask("budget-model", "把这段话翻译成英文:……")
premium = ask("frontier-model", "重构这段并发代码并解释取舍:……")
三、落地场景:当你真的要在生产里“一个 key 调多模型”
读到这里,结论已经很清楚:多模型路由不是要不要做的问题,而是怎么做得稳的问题。但真正落到生产环境,开发者会遇到三个绕不开的痛点:
-
稳定性:某家供应商限流或抖动时,业务不能跟着挂。
-
模型覆盖:今天用 Gemini,明天想试 DeepSeek、Kimi、Claude,不想为每家单独对接、各自维护一套鉴权。
-
合规:调用链路、计费、数据流向要清楚、可控、可审计。
这正是模型中转站(model gateway)这一形态的价值所在,也是 wrouter.ai 想解决的问题。它的定位很直接:用一个统一接口、一个 key,把对多模型的调用收拢到一处,让上面那段示例代码在真实业务里跑得住。它的三个基调是:
-
稳定:以高可用、低延迟为目标的中转链路,避免把业务可用性押在单一上游供应商上。
-
模型完整:覆盖主流大模型,让你在一个接口内做选型、对比和切换,而不必反复改造接入层。
-
合规:以合规、可控的方式提供中转服务,调用与计费透明。
用法上,它延续了这波浪潮的共识——OpenAI 兼容接口:
from openai import OpenAI
client = OpenAI(
base_url="https://api.wrouter.ai/v1", # 统一中转入口
api_key="WROUTER_KEY", # 一个 key 调多模型
)
# 同一份代码,按任务难度切换不同模型
resp = client.chat.completions.create(
model="<目标模型名>",
messages=[{"role": "user", "content": "帮我对比两个方案的取舍"}],
)
print(resp.choices[0].message.content)
需要说明的是:上面的代码是这一类统一接口的通用范式示意,具体可用模型名、参数与计费请以 wrouter.ai 官方文档为准。本文不对其具体性能数字做未经核实的承诺——稳定、模型完整、合规,是它的基调,也是选择中转站时真正该看的三件事。
四、结语:路由层,正在成为 AI 应用的“新地基”
把 6 月这一周连起来看,信号已经很明确:行业重心正从“谁家模型最强”转向“怎么把一群模型编排好”。CNBC 说定价权正在从卖模型的一方,转向会聪明花钱的买方;OpenRouter、Sakana、Envoy、DigitalOcean 用产品把这句话落了地。对开发者来说,早一点把调用层收拢到一个统一、可切换、可观测的入口,就是在为未来每一次模型更替省下迁移成本。
如果你正在搭这层地基,不妨从“一个 key、一个统一接口、随时可切换模型”开始,去试着把多模型编排跑通——这是 2026 年下半年最值得投入的工程习惯之一。
参考来源
-
CNBC,《Model routing on AI is a problem for OpenAI and Anthropic》(2026-06-05):https://www.cnbc.com/2026/06/05/model-routing-on-ai-is-a-problem-for-openai-and-anthropic.html
-
QUASA,《OpenRouter Launches Fusion: A Multi-Model "Collective Intelligence" System》(2026-06-23):https://quasa.io/media/openrouter-launches-fusion-a-revolutionary-multi-model-collective-intelligence-system
-
AiTech365,《Sakana AI Launches 'Fugu' for Autonomous Model Orchestration》(2026-06-23):https://aitech365.com/machine-learning/sakana-ai-launches-fugu-to-deliver-advanced-frontier-performance-via-autonomous-model-orchestration/
-
PRNewswire,《Envoy AI Gateway Reaches v1.0》(2026-06-23):https://www.prnewswire.com/news-releases/envoy-ai-gateway-reaches-v1-0--establishing-the-open-source-standard-for-enterprise-ai-traffic-302808088.html
-
DigitalOcean,《Multi-Model API Cost Governance with the Inference Router》(2026-06-23):https://www.digitalocean.com/community/tutorials/inference-router-multi-model-api-cost-governance
1325



被折叠的 条评论
为什么被折叠?



