PAE MobiLLM: Privacy-Aware and Efficient LLM Fine-Tuning on the Mobile Device via Additive

文章主要内容和创新点总结

主要内容

本文提出了PAE MobiLLM，一种基于服务器辅助的“ additive side-tuning”技术，旨在解决移动设备上大语言模型（LLM）微调面临的资源限制、通信负担和隐私泄露问题。该方法通过将LLM微调任务分配给移动设备和服务器：移动设备保留冻结的主干模型，而计算密集的可训练侧网络卸载到服务器。通过激活缓存、单token激活传输和隐私保护的侧网络设计，PAE MobiLLM在提升效率的同时，确保用户数据、真实标签和微调模型始终保留在本地设备，最终实现了移动设备上高效且隐私安全的LLM微调。

创新点

1. 激活缓存机制：服务器缓存历史激活值，重复数据样本无需移动设备重复计算前向传播，减少设备侧计算量。
2. 单token（枢纽token）激活传输：仅传输单个激活维度（而非完整激活矩阵），大幅降低设备与服务器间的通信成本。
3. ** additive adapter侧网络设计**：服务器基于设备定义的预测差异（而非原始标签）训练适配器模块，避免标签和微调模型泄露。
4. 效率与隐私平衡：相比现有方法，实现至少1.79倍设备侧计算量减少、485.45倍通信成本降低和5.25倍