2025_NIPS_Memory-Efficient Fine-Tuning of Compressed Large Language Models via sub-4-bit Integer ...

文章核心总结与翻译

一、主要内容

该研究针对大型语言模型（LLMs）微调与部署中面临的高内存需求、高计算成本问题，提出了一种结合参数高效微调（PEFT）与量化优势的方法——参数高效且量化感知适配（PEQA）。

1. 背景挑战：LLMs虽具备强大的任务泛化能力，但全量微调需巨大计算资源，现有PEFT方法（如LoRA）虽减少了可学习参数，却未降低模型本身内存占用；量化技术虽能压缩模型，但多针对部署阶段，难以与微调高效结合。
2. PEQA核心设计：
   • 分解（量化）：将全连接层的参数矩阵分解为低比特整数矩阵和量化尺度；
   • 微调：冻结整数矩阵，仅更新量化尺度以适配下游任务，保持量化结构不变。
3. 实验验证：在GPT-Neo、GPT-J、LLaMA（含65B大模型）上，通过Wikitext2、PennTreeBank、Alpaca等数据集，从语言建模、少样本学习、常识推理等维度验证。结果显示，即使模型量化至4比特以下，PEQA仍能恢复甚至超越全精度模型性能，同时显著降低训练与部署阶段的内存占用，提升推理速度。

二、创新点

1. 首次实现量化与PEFT的深度融合：突破现有方法局限，既保留PEFT“仅更新少量参数”的高效性，又继承量化“压缩模型、加速推理”的优势，实现训练与部署全流程的内存优化。