超级会员免费看
本文提出PAE MobiLLM，一种面向移动设备的隐私感知且高效的大型语言模型（LLM）微调方法。其核心是服务器辅助的additive side-tuning架构：移动设备保留冻结主干模型，仅本地处理前向传播；服务器托管可训练侧网络，通过激活缓存、单token激活传输和additive adapter设计，显著降低设备端计算量（↓1.79×）、通信成本（↓485.45×）并加速收敛（↑5.25×），同时确保用户数据、真实标签及微调模型全程不出设备。
文章主要内容和创新点总结
主要内容
本文提出了PAE MobiLLM，一种基于服务器辅助的“ additive side-tuning”技术，旨在解决移动设备上大语言模型（LLM）微调面临的资源限制、通信负担和隐私泄露问题。该方法通过将LLM微调任务分配给移动设备和服务器：移动设备保留冻结的主干模型，而计算密集的可训练侧网络卸载到服务器。通过激活缓存、单token激活传输和隐私保护的侧网络设计，PAE MobiLLM在提升效率的同时，确保用户数据、真实标签和微调模型始终保留在本地设备，最终实现了移动设备上高效且隐私安全的LLM微调。
创新点
- 激活缓存机制：服务器缓存历史激活值，重复数据样本无需移动设备重复计算前向传播，减少设备侧计算量。
- 单token（枢纽token）激活传输：仅传输单个激活维度（而非完整激活矩阵），大幅降低设备与服务器间的通信成本。
- ** additive adapter侧网络设计**：服务器基于设备定义的预测差异（而非原始标签）训练适配器模块，避免标签和微调模型泄露。
- 效率与隐私平衡：相比现有方法，实现至少1.79倍设备侧计算量减少、485.45倍通信成本降低和5.25倍收敛速度提升，同时保持数据、标签和模型本地化。
订阅专栏 解锁全文
扫一扫
191
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
