Fairness in Serving Large Language Models

本文是LLM系列文章，针对《Fairness in Serving Large Language Models》的翻译。

摘要

高需求LLM推理服务（例如，ChatGPT和BARD）支持从短聊天会话到长文档阅读的各种请求。为了确保所有客户端请求都得到公平处理，大多数主要的LLM推理服务都有请求速率限制，以确保没有客户端能够主导请求队列。然而，这种基本的公平概念也会导致资源利用不足，在有空闲容量的情况下，客户体验不佳。虽然有大量关于公平调度的文献，但服务LLM由于其不可预测的请求长度和其在并行加速器上的独特批处理特性而带来了新的挑战。
本文介绍了基于成本函数的LLM服务公平性的定义，该函数考虑了处理的输入和输出令牌的数量。为了实现服务的公平性，我们提出了一种新的调度算法——虚拟token计数器（VTC），这是一种基于连续批处理机制的公平调度算法。根据工作节约的要求，我们证明了两个积压客户之间服务差异的2×紧上界。通过广泛的实验，我们证明了VTC在确保公平性方面的优越性能，特别是与其他基线方法相比，后者在各种条件下都存在缺陷。

1 引言

2 背景

3 LLM服务中的公平性的定义

4