学生模型和教师模型怎样做路由，阈值应该看哪些指标

写出模型路由的条件分支很容易，证明这个分支选对了才难。只按输入长度分流，短问题也可能需要复杂推理。只让学生先回答再看格式，事实错误可能顺利通过。只用一个评测分数选阈值，又可能牺牲少量高风险任务。路由阈值应由任务质量、严重错误、完整成本和延迟共同决定。

公开方案给出了几种不同思路。Amazon Bedrock的提示路由会在同一模型家族的候选中预测响应质量，并设置回退模型与路由标准。RouteLLM研究的是如何在较强和较弱模型之间做成本与质量权衡。它们的结果依赖数据集、模型组合和评测方法，不能把论文或厂商测试中的节省比例直接套到企业任务上。

路由器先回答哪一个问题

项目负责人需要先选目标。若目标是守住教师质量，同时减少部分成本，教师应当作为质量基线，路由器只把有把握的简单任务交给学生。若目标是在学生成本附近尽量提高质量，学生成为默认模型，部分任务升级教师。两种目标会得到不同阈值，也会承担不同风险。

任务还要按后果分层。一般摘要、内部草稿和低风险分类，可以容忍少量人工修改。涉及权限、金额、外部承诺和自动执行的请求，需要更严格的路由。高风险类别可以直接固定到教师或人工审核，不必让一个全局分数决定所有去向。

候选模型要先单独评测。教师在目标任务上都不稳定，无法成为可靠回退。学生已经接近教师时，复杂路由的收益可能很小。模型对照使用相同输入、工具、提示边界和验收规则，记录各自质量、延迟、用量与失败类型。

可用作路由信号的几类信息

请求进入模型前，可以观察任务类别、输入长度、是否包含多份文档、工具数量、风险标签和历史相似任务。这些信号便宜，也容易解释。它们只能描述难度线索，不能保证短输入一定简单。

路由器还可以使用轻量分类器、嵌入相似度或专门的质量预测模型。模型需要在企业自己的标注数据上验证。训练数据若只包含极简单和极困难两端，中间任务的阈值很容易失真。业务分布发生变化后，路由器也要重新校准。

学生输出后的信号包括结构校验、引用一致性、工具参数验证和任务评分。后验检查更贴近结果，却已经产生了一次学生调用。若绝大多数复杂任务最终都会升级，先调用学生只会增加成本与等待。前置路由和后置验收通常需要组合。

阈值不能只优化平均准确率

可以在开发集上遍历阈值，分别统计学生承担比例、教师升级率、总体任务成功率、严重错误、平均成本和延迟分位数。每一个阈值对应一组结果，团队选择满足业务门槛的点。这里的成本模型是内部建议口径，应明确包含哪些调用和人工费用。

平均准确率会掩盖风险。路由器把大量简单题交给学生，总分可能很好，却把少数高风险请求错分。严重错误需要单独设上限，必要时按任务类别给不同阈值。某些类别没有足够样本，就先走保守路线，不要把未知当成低风险。

延迟也有两种情况。前置路由增加一次判断开销，但可以直接选择目标模型。学生先答再回退会产生串行等待，复杂任务的尾部延迟更明显。测试要记录首Token时间、完整响应时间和端到端任务耗时，不能只看某个模型的生成速度。

建一张路由评测表

每条样本至少保存真实标签、任务类别、风险等级、路由选择、选择分数、学生与教师结果、最终验收和完整成本。若路由器只调用其中一个模型，离线评测阶段可以让两个候选都运行，建立反事实对照。正式上线后再减少双跑比例，用抽样继续监测。

数据集应分为开发、回归和最终测试三部分。开发集选择阈值，回归集保存历史路由故障，最终测试集判断泛化。阈值确定以后，再用小流量灰度观察真实任务分布。线上输入与离线样本差异明显时，离线最优点可能迅速失效。

统计结果不要只给一个总值。按输入长度、任务类型、风险和时间切片。教师升级率在某个时段突然升高，可能是新业务流量进入，也可能是学生或提示版本改变。没有切片，团队容易把分布变化误判为模型退化。

接入层和路由层不要混在一起

多模型接口统一以后，路由服务可以根据配置选择模型。147AI可作为统一调用的候选入口，企业按实验或环境设置不同API Key，并结合调用量、消耗和日志核对实际调用。平台具体可用模型和接入方式以当前页面为准。

路由逻辑、质量分数、任务风险和教师回退条件属于企业应用侧。统一接口不会自动给出可靠的难度判断，也不能代替独立评测。调用层与路由层分开，团队可以替换候选模型而不重写全部业务规则，也能清楚分辨接口故障和路由错误。

配置文件需要版本化。每次改变模型池、阈值、提示或评测器，都生成一个新版本。日志保存当时的路由版本，避免复盘旧请求时使用今天的规则解释昨天的决定。

什么时候该降低学生流量

严重错误突破上限，先降流量。教师升级率连续升高，按失败原因排查。单位合格任务成本已经接近全量教师，停止无效的学生首试。路由器在新任务类型上缺少验证，也应暂时使用教师基线。

相反，学生在某类任务上长期稳定，回归测试没有退化，可以逐步扩大该类流量。每次扩流只改变一个范围，并保留回退。路由不是一次性找出一个完美阈值，它是一套会随任务、模型和价格变化而重新校准的运行机制。

参考资料

• Amazon Bedrock提示路由文档
• RouteLLM论文
• NVIDIA推理参考架构
• 147AI公开状态页面