本文探讨了大型语言模型（LLM）服务的公平性问题，特别是如何在处理请求速率限制的同时提高客户体验。提出了一种新的调度算法——虚拟令牌计数器（VTC），用于实现基于成本函数的公平性，特别是在处理不可预测请求长度和并行加速器上的批处理时。实验证明VTC在确保公平性方面表现出色。
本文是LLM系列文章，针对《Fairness in Serving Large Language Models》的翻译。
摘要
高需求LLM推理服务（例如，ChatGPT和BARD）支持从短聊天会话到长文档阅读的各种请求。为了确保所有客户端请求都得到公平处理，大多数主要的LLM推理服务都有请求速率限制，以确保没有客户端能够主导请求队列。然而，这种基本的公平概念也会导致资源利用不足，在有空闲容量的情况下，客户体验不佳。虽然有大量关于公平调度的文献，但服务LLM由于其不可预测的请求长度和其在并行加速器上的独特批处理特性而带来了新的挑战。
本文介绍了基于成本函数的LLM服务公平性的定义，该函数考虑了处理的输入和输出令牌的数量。为了实现服务的公平性，我们提出了一种新的调度算法——虚拟token计数器（VTC），这是一种基于连续批处理机制的公平调度算法。根据工作节约的要求，我们证明了两个积压客户之间服务差异的2×紧上界。通过广泛的实验，我们证明了VTC在确保公平性方面的优越性能，特别是与其他基线方法相比，后者在各种条件下都存在缺陷。
已下架不支持订阅
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
