2025_NIPS_BAdam: A Memory Efficient Full Parameter Optimization Method for Large Language Models

文章核心总结

主要内容

本文提出BAdam优化方法，基于块坐标下降（BCD）框架结合Adam更新规则，实现大语言模型（LLMs）的内存高效全参数微调。通过将模型参数划分为多个块，每次仅更新一个块并清理优化器状态，BAdam大幅降低内存消耗，同时在确定性场景下证明了收敛性。实验中，单RTX3090-24GB GPU可微调Llama 3-8B，4×A100-80GB可微调Llama 3-70B，其内存占用、运行速度优于LoRA等基线方法，在MT-bench和数学基准测试中性能持平甚至超越Adam。

创新点

1. 融合BCD框架与Adam更新规则，提出全参数微调的内存高效方案，无需施加低秩约束。
2. 理论层面证明确定性场景下的收敛性，给出δ-近似平稳点的迭代复杂度边界。
3. 仅新增一个超参数K，支持灵活的块划分方式，代码易集成到PyTorch生态。
4. 块更新机制减少反向传播计算量，在同等数据量下比Adam、LoRA更快完成训练。

---

翻译部分（Markdown格式）

Abstract

本文提出BAdam，一种利用块坐标下降（BCD）框架结合Adam更新规则的优化方法。BAdam为大语言模型的全参数微调提供了内存高效的解决方案。我们在确定性场景下对BAdam进行了理论收敛性分析。实验中，我们分别使用单块RTX3090-24GB GPU和4块A100-80GB GPU，通过BAdam对L