EdgeLoRA: An Efficient Multi-Tenant LLM Serving System on Edge Devices

文章主要内容总结

本文介绍了EdgeLoRA，这是一种针对资源受限边缘设备设计的高效多租户大语言模型（LLM）服务系统。该系统旨在解决边缘设备上部署微调LLM时面临的关键挑战，包括适配器选择复杂、内存开销大、多租户场景下计算效率低等问题。

EdgeLoRA基于Llama3.1-8B等模型进行了全面评估，结果显示其在延迟、吞吐量和能效方面显著优于现有方案（如llama.cpp）：吞吐量提升高达4倍，能耗更低，同时能支持数量级更多的适配器并行服务且不损失推理性能。其核心设计围绕三个关键技术展开，以适配边缘设备的资源约束和动态多租户负载。

创新点

1. 自适应适配器选择机制（Adaptive Adapter Selection）：通过训练适配器路由器（adapter router），根据用户请求的提示文本和内存中适配器的可用性，自动选择最优适配器，减少人工干预和适配器切换开销。
2. 异构内存管理（Heterogeneous Memory Management）：结合LRU（最近最少使用）缓存和预分配内存池，智能缓存高频使用的适配器，减少内存与磁盘间的频繁交换，降低内存操作开销。
3. 批量LoRA推理（Batch LoRA Inference）：支持不同适配器的请求