文章核心总结与翻译
一、主要内容
本文针对高流量、令牌预算受限场景下的多LLM服务路由问题,提出首个无训练在线路由算法。该算法通过近似最近邻搜索(ANNS)高效估计查询特征,基于少量初始查询进行一次性优化学习路由权重,指导后续查询分配,在理论上保证了1-o(1)的竞争比,且经三大基准数据集和8种基线方法验证,在性能、成本效率和吞吐量上均实现显著提升。
二、核心创新点
- 提出首个适配高流量、预算约束场景的无训练在线路由算法,无需模型训练即可实现高效路由。
- 采用ANNS方法估计查询的性能和成本特征,兼顾计算可扩展性与低部署开销,适配动态LLM部署环境。
- 通过少量初始查询(通常约250个)的一次性优化学习路由权重,避免密集计算,满足在线低延迟需求。
- 提供严格的理论保证,在温和假设下竞争比达到1-o(1),且实验验证了算法在不同查询量、部署配置和预算分配策略下的强鲁棒性。
三、关键部分翻译(Markdown格式)
Abstract(摘要)
对大型语言模型(LLM)服务的需求日益增长,给服务提供商带来了巨大的部署和计算成本。LLM路由通过根据模型和查询特征将查询导向最优LLM,提供了一种经济高效的解决方案。然而,现有研究主要聚焦于离线场景,难以适配高查询量和令牌预算受限的在线环境。本文提出首个适用于在线路由场景的无训练算法:利用近似最近邻搜索高效估计查询特征,并通过对少
订阅专栏 解锁全文
1321



被折叠的 条评论
为什么被折叠?



