2025_NIPS_No Train No Gain: Revisiting Efficient Training Algorithms For Transformer-based Langua...

文章总结与翻译

一、主要内容

本文聚焦Transformer-based语言模型训练效率问题，针对三类主流高效训练算法（动态架构、批量选择、高效优化器）展开系统性评估，核心内容如下：

1. 研究背景：当前大型语言模型训练需消耗海量计算资源（数十万GPU小时、数百万美元成本），学界提出多种高效训练算法，但现有评估方法存在标准化缺失、加速指标不一致等问题（如对比中间性能而非固定预算下的最终性能、忽略迭代成本差异仅统计迭代次数）。
2. 核心方案：提出参考系统时间（RST） 评估协议，将不同硬件/软件环境下的训练时间映射到参考设备（如NVIDIA RTX 3090、A100）的标准时间，解决跨设备时间对比难题；同时明确评估原则——所有算法在固定计算预算下训练，性能在预算结束时测量，且学习率等调度需与预算单位对齐。
3. 实验设计：在BERT（编码器）和T5（编解码器）模型上，基于GLUE、SuperGLUE、SNI等基准，测试6/12/24小时三种RST预算下的性能，覆盖三类算法：
   • 动态架构：层堆叠（Layer stacking）、层丢弃（Layer dropping）
   • 批量选择：选择性反向传播（Selective backprop）、RHO损失（RHO loss）
   • 高效优化器：Lion、Sophia
4. 关键发现：