2025_NIPS_Fine-Tuning Language Models with Just Forward Passes

文章核心总结与翻译

一、主要内容

文章提出一种内存高效的零阶优化器（MeZO），通过改进经典ZO-SGD算法，实现仅用前向传播即可微调大型语言模型（LLM），且内存占用与推理阶段一致。在多种模型（RoBERTa、OPT系列）、任务类型（分类、多选、生成）和参数规模（最高660亿参数）上的实验表明，MeZO性能显著优于零样本学习、上下文学习和线性探测，与反向传播微调相当，同时内存消耗降低高达12倍，GPU小时数减少2倍，还支持全参数微调、LoRA等参数高效技术，可优化准确率等非可微目标。

二、创新点

1. 提出内存高效的零阶优化实现：通过原地参数扰动和随机种子复用，将ZO-SGD的内存占用降至推理水平，突破反向传播的内存限制。
2. 验证零阶方法微调大型LLM的可行性：实证表明MeZO在66B参数模型上仍有效，打破经典零阶方法“随模型规模线性变慢”的理论局限。
3. 兼容多种微调范式：支持全参数微调、LoRA、前缀微调等技术，且可优化非可微目标（如准确率、F1）。
4. 理论支撑：证明预训练和提示词使损失函数的Hessian矩阵具有低有效秩，MeZO的收敛速率依赖于有效秩而非参数数量。

---

三、关键部分翻译（Markdown格式）

Abstract

微调语言模型（LM）已在各类下游任务中取得成功，但随着模型规模扩大，反向传播所需的内存量变得难以承受。零阶