2025_NIPS_Loquetier: A Virtualized Multi-LoRA Framework for Unified LLM Fine-tuning and Serving

Loquetier 论文总结与翻译

一、主要内容总结

1. 研究背景

大语言模型（LLMs）规模持续扩大（如LlaMA 3达405B参数、DeepSeek-V3达671B参数），全参数训练的计算和内存成本极高，限制了其可扩展性和可访问性。低秩适配（LoRA）作为参数高效微调（PEFT）的核心技术，因模块化特性适合大规模服务场景，但现有框架无法无缝统一LoRA的微调与推理功能，存在适配器动态加载困难、并发任务效率低、任务切换资源浪费等问题，难以满足生产环境需求。

2. 核心框架：Loquetier

Loquetier是一款虚拟化多LoRA框架，在单一运行时中无缝集成LoRA微调与服务，核心包含两大组件：

• 虚拟化模块（Virtualized Module）：隔离PEFT相关修改，支持在共享基础模型上部署多个适配器，实现任务与设备间的兼容性和隔离性，支持微调任务的实例级迁移，无需重启内核或复制内存。
• 优化计算流与SMLM内核：设计分段多LoRA乘法（SMLM）内核，区分微调、评估、预填充和解码的前向传播行为，支持混合任务执行；统一微调与推理的计算路径，减少内核调用开销，提升批处理效率。

3. 实验结果

在Llama3-8B模型、Alpaca/GSM8K/ShareGPT等数据集上，针对纯推理、纯微调、统一微调与推理三