FlexLLM: A System for Co-Serving Large Language Model Inference and Parameter-Efficient Finetuning-优快云博客

本文是LLM系列文章，针对《FlexLLM: A System for Co-Serving Large Language Model Inference and Parameter-Efficient Finetuning》的翻译。

FlexLLM:一种协同服务的大型语言模型推理和参数有效微调系统

摘要
1 引言
2 背景和挑战
3 共同服务LLM推理和PEFT
4 系统概述
5 静态编译
6 动态调度
7 实现
8 评估
9 相关工作
10 结论

摘要

参数有效微调（PEFT）是一种广泛使用的技术，用于使大型语言模型适应不同的任务。服务提供商通常为用户创建单独的系统来执行PEFT模型微调和推理任务。这是因为现有系统无法处理包括推理和PEFT微调请求的混合工作负载。因此，共享GPU资源未得到充分利用，导致效率低下。为了解决这个问题，我们提出了FlexLLM，这是第一个可以在同一迭代中提供推理和参数高效微调请求的系统。我们的系统利用了这两个任务的互补性，并利用共享的GPU资源，使用一种称为共同服务的方法来联合运行它们。为了实现这一点，FlexLLM引入了一种新的token级微调机制，该机制将序列的微调计算分解为更小的token级计算，并使用依赖并行化和图修剪这两种静态编译优化，以最大限度地减少内存开销和协同服务的延迟。与现有系统相比，FlexLLM的协同服务方法将激活GPU内存开销减少了8倍，并将微调的端到端GPU内存需求减少了36%，同时保持了较低的推理延迟并提高了微调吞吐量。例如，在繁重的推理工作负载下，FlexLLM仍然可以保持80%以上的峰值微调吞吐量，而现有系统无法在微调方面取得任何进展。FlexLLM的源代码在https://github.com/flexflow/FlexFlow/上可用。