2025_NIPS_Multiplication-Free Transformer Training via Piecewise Affine Operations

一、文章主要内容总结

该研究聚焦于神经网络训练中计算成本占比极高的乘法运算，提出通过分段仿射（Piecewise Affine）操作替代乘法，实现无乘法的Transformer训练。核心内容如下：

1. 核心动机：乘法运算（尤其是浮点数乘法）是神经网络训练（如Transformer架构）计算成本和能耗的主要来源，其硬件实现复杂度远高于加法，需更多逻辑门和能量。
2. 核心方法：基于Mitchell对数乘法和Mogami的浮点数整数加法思路，设计分段仿射乘法（PAM），通过将浮点数的符号位、指数位、尾数位以整数形式相加，近似实现乘法效果，且运算成本与加法相当。
3. 扩展与完善：不仅替换矩阵乘法中的标量乘法，还为除法、指数、对数、平方根等所有神经网络操作定义了分段仿射替代函数，同时适配优化器（如AdamW）的更新过程，实现从正向传播、反向传播到优化器更新的全流程无乘法训练。
4. 实验验证：在视觉任务（CIFAR10、ImageNet-1k上的DeiT-Tiny）和语言任务（IWSLT14德英翻译的小型Transformer）中验证，结果显示：仅替换矩阵乘法时性能几乎无损失；全流程无乘法训练时性能仅轻微下降（如翻译任务BLEU值下降0.9），且无需调整训练超参数。
5. 硬件潜力：理论估算表明，分段仿射乘法的能量消耗和硬件面积成本仅为标准float32乘法的3.6%-18%，但需专用硬件支持（如FPGA）才能充分发挥效率优势。