EdgeLoRA: An Efficient Multi-Tenant LLM Serving System on Edge Devices

文章主要内容和创新点

主要内容

本文提出了EdgeLoRA，一种针对边缘设备的高效多租户大语言模型（LLM）服务系统，旨在解决边缘环境下多LoRA适配器部署的核心挑战。边缘设备资源受限，而多租户场景中需处理大量个性化请求（如虚拟助手、实时翻译等），传统方法存在适配器选择复杂、内存开销大、推理延迟高等问题。

EdgeLoRA基于llama.cpp框架扩展，通过三项核心技术优化性能：

1. 解决适配器选择难题，实现自动匹配请求与最优适配器；
2. 通过缓存（LRU策略）和预分配内存池减少适配器换入换出的内存开销；
3. 支持不同适配器的请求批量处理，提升计算资源利用率。

实验表明，在Llama3.1-8B等模型上，EdgeLoRA相比现有方案（如llama.cpp）吞吐量提升最高4倍，支持同时服务的适配器数量增加数个数量级，且能耗更低，验证了其在资源受限边缘环境的有效性。

创新点

1. 自适应适配器选择机制（Adaptive Adapter Selection）：通过训练适配器路由器（基于多标签分类器），自动根据请求提示词匹配最优适配器，减少人工干预和切换开销。
2. 异构内存管理（Heterogeneous Memory Management）：结合LRU缓存（保留高频适配器）和预分配内存池（减少动态分配延迟），优化内存使用，支持更多适配器并发服务。