LoRA-Gen: Specializing Large Language Model via Online LoRA Generation

《LoRA-Gen：通过在线LoRA生成实现大型语言模型的专门化》

一、主要内容总结

（一）研究背景与问题

1. 大语言模型（LLM）的规模化优势与局限：尽管增大LLM规模可提升跨任务泛化能力，但其庞大体积导致在处理领域特定任务时，难以在效率和效果间取得良好平衡，尤其在边缘设备部署的小型模型上表现更为突出。
2. 现有参数高效微调方法的不足：传统LoRA微调可能引发灾难性遗忘，而LoRA-MoE等引入专家混合的方法会增加推理成本，且现有方案在未见任务上的泛化能力受限。

（二）核心方法：LoRA-Gen框架

1. 整体架构：利用云端大模型基于任务描述生成LoRA参数，再通过重参数化技术将其合并到边缘侧模型，实现灵活专门化。
2. 关键组件
   • 在线LoRA生成：云端LM根据系统提示（任务描述、少样本示例等）生成元令牌（meta tokens），每个元令牌对应边缘模型的一个Transformer层，通过路由模块从LoRA专家池中选择并组合参数。