2025_NIPS_Harmony in Divergence: Towards Fast, Accurate, and Memory-efficient Zeroth-order LLM Fine-

文章核心总结与创新点

主要内容

文章聚焦大语言模型（LLM）微调的内存效率与性能平衡问题，指出一阶（FO）微调内存开销大、零阶（ZO）微调收敛慢且精度低的核心矛盾。通过层间差异分析，揭示FO方法能实现适配层需求的差异化幅度更新，而ZO方法因依赖随机扰动导致更新幅度均一化，这是两者性能差距的关键原因。为此提出分歧驱动零阶优化（DiZO），通过基于锚点的可学习投影实现层自适应更新，在保持ZO内存高效优势的同时，逼近FO的学习能力。实验验证DiZO在RoBERTa、OPT、Llama系列模型及多任务中，能减少48% GPU训练时间，精度超越主流ZO基线，部分场景优于FO微调，且可与LoRA等参数高效技术无缝集成。

创新点

1. 提出层间分歧分析方法，首次揭示FO与ZO在更新模式上的核心差异——FO的差异化幅度更新 vs ZO的均一化幅度更新。
2. 设计DiZO优化框架，通过锚点（预训练模型）引导的几何约束投影，让ZO实现层自适应更新，兼顾内存效率与学习能力。
3. 提出ZO-based投影学习策略，结合重初始化和投影裁剪，避免反向传播，确保全流程内存高效。
4. 理论证明DiZO的非凸收敛速率为O(√D/√T)（D为最大层维度），优于传统ZO的O(√d/√T)（d为总参数量），且实证中与LoRA等技术兼容性强。

---

英文原文翻译（Markdown格式）

Abstract

大语言模型（LLM