Lookahead Routing for Large Language Models

文章核心总结与翻译

一、主要内容总结

1. 研究背景与问题

• 大语言模型（LLM）路由技术旨在将查询分配给最优模型，平衡多模型系统的性能与计算效率，但现有方法仅基于输入查询做路由决策，忽略了模型响应中蕴含的语义信息和上下文细节，导致复杂/模糊查询的路由效果不佳。
• 现有路由方法分为相似度-based（如kNN、k-means）和分类器-based（如MLC、RouterDC），均存在“响应无关”的固有缺陷，无法捕捉生成过程中才显现的任务真实需求。

2. 核心方案：Lookahead路由框架

• 核心思想：通过预测候选模型响应的** latent表示**（而非生成完整响应），让路由器“预见”模型输出特征，在不增加大量计算开销的前提下融入响应信息。
• 双任务训练目标：
  1. 路由头损失（$\mathcal{L}$